JP6606301B1 - デジタルアシスタントサービスの遠距離拡張 - Google Patents
デジタルアシスタントサービスの遠距離拡張 Download PDFInfo
- Publication number
- JP6606301B1 JP6606301B1 JP2018567925A JP2018567925A JP6606301B1 JP 6606301 B1 JP6606301 B1 JP 6606301B1 JP 2018567925 A JP2018567925 A JP 2018567925A JP 2018567925 A JP2018567925 A JP 2018567925A JP 6606301 B1 JP6606301 B1 JP 6606301B1
- Authority
- JP
- Japan
- Prior art keywords
- electronic device
- user
- response
- user request
- digital assistant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 742
- 230000004044 response Effects 0.000 claims abstract description 561
- 238000004891 communication Methods 0.000 claims description 160
- 230000033001 locomotion Effects 0.000 claims description 117
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 609
- 238000012545 processing Methods 0.000 description 270
- 238000007726 management method Methods 0.000 description 237
- 230000000875 corresponding effect Effects 0.000 description 81
- 230000006870 function Effects 0.000 description 69
- 238000003058 natural language processing Methods 0.000 description 65
- 238000003860 storage Methods 0.000 description 54
- 230000009471 action Effects 0.000 description 52
- 230000008859 change Effects 0.000 description 42
- 230000002093 peripheral effect Effects 0.000 description 40
- 230000015572 biosynthetic process Effects 0.000 description 39
- 238000003786 synthesis reaction Methods 0.000 description 39
- 241000699666 Mus <mouse, genus> Species 0.000 description 38
- 238000001514 detection method Methods 0.000 description 38
- 238000005516 engineering process Methods 0.000 description 37
- 238000005111 flow chemistry technique Methods 0.000 description 36
- 230000003993 interaction Effects 0.000 description 34
- 230000000007 visual effect Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 26
- 230000007246 mechanism Effects 0.000 description 25
- 230000007423 decrease Effects 0.000 description 23
- 238000012549 training Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 15
- 238000009499 grossing Methods 0.000 description 14
- 230000001413 cellular effect Effects 0.000 description 11
- 238000010411 cooking Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 239000008186 active pharmaceutical agent Substances 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000003825 pressing Methods 0.000 description 8
- 230000021317 sensory perception Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000001755 vocal effect Effects 0.000 description 8
- 241000227653 Lycopersicon Species 0.000 description 7
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 7
- 230000003213 activating effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000000977 initiatory effect Effects 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 241001422033 Thestylus Species 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 238000010079 rubber tapping Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000000881 depressing effect Effects 0.000 description 3
- 230000010006 flight Effects 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- MQJKPEGWNLWLTK-UHFFFAOYSA-N Dapsone Chemical compound C1=CC(N)=CC=C1S(=O)(=O)C1=CC=C(N)C=C1 MQJKPEGWNLWLTK-UHFFFAOYSA-N 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005352 clarification Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 229920001746 electroactive polymer Polymers 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 235000013410 fast food Nutrition 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011022 operating instruction Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 235000013550 pizza Nutrition 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000010897 surface acoustic wave method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Machine Translation (AREA)
Abstract
デジタルアシスタントサービスの拡張を提供するためにインテリジェント自動アシスタントを動作させるシステム及びプロセスが提供される。一例の方法は、１つ以上のプロセッサを有する電子デバイスにおいて、第１のユーザからユーザ要求を表す第１の音声入力を受信することを含む。この方法は、第１のユーザの識別情報を入手することと、ユーザの識別情報に従って、ユーザ要求の表現を第２の電子デバイス又は第３の電子デバイスのうちの少なくとも１つに提供することとを更に含む。この方法は、第２の電子デバイス又は第３の電子デバイス、又はその両方が、第１の電子デバイスに応答を提供するかどうかの判定に基づいて、第２の電子デバイス又は第３の電子デバイスからユーザ要求への応答を受信することを更に含む。この方法は、第１のユーザへの応答の表現を提供することを更に含む。
Description
本出願は、一般にインテリジェント自動アシスタントに関し、より具体的には、デジタルアシスタントサービスの遠距離拡張に関する。
（関連出願の相互参照）
（関連出願の相互参照）
本出願は、２０１７年５月１６日に出願された米国仮特許出願第６２／５０７，１５１号の「ＦＡＲ−ＦＩＥＬＤ ＥＸＴＥＮＳＩＯＮ ＦＯＲ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ ＳＥＲＶＩＣＥＳ」、２０１７年６月２日に出願されたデンマーク特許出願第ＰＡ２０１７ ７０４３４号の「ＦＡＲ−ＦＩＥＬＤ ＥＸＴＥＮＳＩＯＮ ＦＯＲ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ ＳＥＲＶＩＣＥＳ」、２０１７年６月２日に出願されたデンマーク特許出願第ＰＡ２０１７ ７０４３５号の「ＦＡＲ−ＦＩＥＬＤ ＥＸＴＥＮＳＩＯＮ ＦＯＲ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ ＳＥＲＶＩＣＥＳ」、及び、２０１７年８月１６日に出願された米国非仮特許出願第１５／６７９，１０８号の「ＦＡＲ−ＦＩＥＬＤ ＥＸＴＥＮＳＩＯＮ ＦＯＲ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ ＳＥＲＶＩＣＥＳ」の優先権を主張し、これらのそれぞれの内容は、全体が参照により本明細書に組み込まれる。
インテリジェント自動アシスタント（又はデジタルアシスタント）は、人間のユーザと電子デバイスとの間の有益なインターフェースを提供することができる。このようなアシスタントは、ユーザが、音声及び／又はテキスト形式の自然言語を使用して、デバイス又はシステムと対話することを可能にする。例えば、ユーザは、電子デバイス上で動作するデジタルアシスタントにユーザ要求を含む音声入力を提供することができる。デジタルアシスタントは、音声入力からユーザの意図を解釈し、ユーザの意図をタスクに操作可能にすることができる。次いで、タスクは、電子デバイスの１つ以上のサービスを実行することによって実行され、ユーザ要求への関連出力応答をユーザに返すことができる。
デジタルアシスタントを使用することは、通常、ユーザとデジタルアシスタントとの間の直接の双方向作用を必要とする。例えば、ユーザは、デジタルアシスタントが動作する電子デバイスに近接する（例えば、同じ部屋にいる）ことが要求されることがある。したがって、デジタルアシスタントは、そのマイクロフォンを介してユーザの音声入力を直接受信し、そのスピーカを介してユーザに応答を提供することができる。特定の状況下では、ユーザが電子デバイスに近接していることを要求すると、ユーザがデジタルアシスタントと対話することが困難であり、不便を招くことがある。例えば、ユーザ及びデジタルアシスタントが動作する電子デバイスが、ユーザの音声入力を受信することができない、又は受信することが困難であるように、距離をおいて（例えば、異なる部屋で）分離される場合、デジタルアシスタントは、デジタルアシスタントサービスをユーザに提供することができない場合がある。したがって、デジタルアシスタントサービスの遠距離拡張のための技術が望まれる。
更に、異なるタイプの電子デバイスは、異なる能力を有することがある。その結果、異なるデバイスにおいて提供されるデジタルアシスタントサービスは異なる場合がある。あるデジタルアシスタントサービスは、デバイス能力の制限によりあるデバイスにおいて提供されない場合がある。例えば、スマートフォンデバイス上で動作するデジタルアシスタントがテキストメッセージの音声読み取りを出力することができる一方、テレビセットトップボックス上で動作するデジタルアシスタントは、デバイスの制限のために同じことをすることができない場合がある。したがって、デバイス能力の制限を緩和するために複数のデバイスを使用するデジタルアシスタントサービスを提供することが望ましい。
デジタルアシスタントサービスを提供するシステム及びプロセスが提供される。
例示的な方法は本明細書に開示される。一例の方法は、１つ以上のプロセッサを有する電子デバイスにおいて、第１のユーザからユーザ要求を表す第１の音声入力を受信することを含む。この方法は、第１のユーザの識別情報を入手することと、ユーザの識別情報に従って、ユーザ要求の表現を第２の電子デバイス又は第３の電子デバイスのうちの少なくとも１つに提供することとを更に含む。この方法は、第２の電子デバイス又は第３の電子デバイス、又はその両方が、第１の電子デバイスに応答を提供するかどうかの判定に基づいて、第２の電子デバイス又は第３の電子デバイスからユーザ要求への応答を受信することを更に含む。この方法は、第１のユーザへの応答の表現を提供することを更に含む。
非一時的なコンピュータ可読媒体の一例が本明細書に開示される。一例の非一時的なコンピュータ可読記憶媒体は、１つ以上のプログラムを記憶する。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されたときに、電子デバイスに、第１のユーザからユーザ要求を表す第１の音声入力を受信させる命令を含む。１つ以上のプログラムは、電子デバイスに、第１のユーザの識別情報を入手させ、ユーザの識別情報に従って、ユーザ要求の表現を第２の電子デバイス又は第３の電子デバイスのうちの少なくとも１つに提供させる命令を更に含む。１つ以上のプログラムは、電子デバイスに、第２の電子デバイス又は第３の電子デバイス、又はその両方が、第１の電子デバイスに応答を提供するかどうかの判定に基づいて、第２の電子デバイス又は第３の電子デバイスからユーザ要求への応答を受信させる命令を更に含む。１つ以上のプログラムは、電子デバイスに、第１のユーザへの応答の表現を提供させる命令を更に含む。
一例の電子デバイスが本明細書に開示される。一例の電子デバイスは、１つ以上のプロセッサと、メモリと、１つ以上のプログラムと、を含み、１つ以上のプログラムはメモリに記憶されており、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、第１のユーザからユーザ要求を表す第１の音声入力を受信する命令を含む。１つ以上のプログラムは、第１のユーザの識別情報を入手し、ユーザの識別情報に従って、ユーザ要求の表現を第２の電子デバイス又は第３の電子デバイスのうちの少なくとも１つに提供する命令を更に含む。１つ以上のプログラムは、第２の電子デバイス又は第３の電子デバイス、又はその両方が、第１の電子デバイスに応答を提供するかどうかの判定に基づいて、第２の電子デバイス又は第３の電子デバイスからユーザ要求への応答を受信する命令を更に含む。１つ以上のプログラムは、第１のユーザへの応答の表現を提供する命令を更に含む。
一例の電子デバイスは、第１のユーザからユーザ要求を表す第１の音声入力を受信する手段を含む。電子デバイスは、第１のユーザの識別情報を入手する手段と、ユーザの識別情報に従って、ユーザ要求の表現を第２の電子デバイス又は第３の電子デバイスのうちの少なくとも１つに提供する手段とを更に含む。電子デバイスは、第２の電子デバイス又は第３の電子デバイス、又はその両方が、第１の電子デバイスに応答を提供するかどうかの判定に基づいて、第２の電子デバイス又は第３の電子デバイスからユーザ要求への応答を受信する手段を更に含む。電子デバイスは、第１のユーザへの応答の表現を提供する手段を更に含む。
一例の方法が本明細書に開示される。一例の方法は、１つ以上のプロセッサを有する電子デバイスにおいて、第１のユーザに関連付けられたイベントの通知を受信することを含む。この方法は、通知を受信したことに応じて、通知の示唆を出力することを更に含む。この方法は、１つ以上の音声入力を受信することと、１つ以上の音声入力に従って、通知が第１の電子デバイスにおいて提供されるべきか否かを判定することとを更に含む。この方法は、通知が第１の電子デバイスにおいて提供されるべきであるという判定に従って、通知を第１の電子デバイスにおいて提供することを更に含む。
一例の非一時的なコンピュータ可読媒体が本明細書に開示される。一例の非一時的なコンピュータ可読記憶媒体は、１つ以上のプログラムを記憶する。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されたときに、電子デバイスに、第１のユーザに関連付けられたイベントの通知を受信させる命令を含む。１つ以上のプログラムは、電子デバイスに、通知を受信したことに応じて、通知の示唆を出力させる命令を更に含む。１つ以上のプログラムは、電子デバイスに、１つ以上の音声入力を受信させ、１つ以上の音声入力に従って、通知が第１の電子デバイスにおいて提供されるべきか否かを判定させる命令を更に含む。１つ以上のプログラムは、電子デバイスに、通知が第１の電子デバイスにおいて提供されるべきであるという判定に従って、通知を第１の電子デバイスにおいて提供させる命令を更に含む。
一例の電子デバイスが本明細書に開示される。一例の電子デバイスは、１つ以上のプロセッサと、メモリと、１つ以上のプログラムと、を備え、１つ以上のプログラムはメモリに記憶されており、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、第１のユーザに関連付けられたイベントの通知を受信する命令を含む。１つ以上のプログラムは、通知を受信したことに応じて、通知の示唆を出力する命令を含む。１つ以上のプログラムは、１つ以上の音声入力を受信し、１つ以上の音声入力に従って、通知が第１の電子デバイスにおいて提供されるべきか否かを判定する命令を含む。１つ以上のプログラムは、通知が第１の電子デバイスにおいて提供されるべきであるという判定に従って、通知を第１の電子デバイスにおいて提供する命令を含む。
一例の電子デバイスは、第１のユーザに関連付けられたイベントの通知を受信する手段を含む。電子デバイスは、通知を受信したことに応じて、通知の示唆を出力する手段を更に含む。電子デバイスは、１つ以上の音声入力を受信する手段と、１つ以上の音声入力に従って、通知が第１の電子デバイスにおいて提供されるべきか否かを判定する手段とを更に含む。電子デバイスは、通知が第１の電子デバイスにおいて提供されるべきであるという判定に従って、通知を第１の電子デバイスにおいて提供する手段を更に含む。
例示的な方法が本明細書に開示される。一例の方法は、１つ以上のプロセッサを有する電子デバイスにおいて、第１のユーザからユーザ要求を表す第１の音声入力を受信することを含む。この方法は、第１の電子デバイスに通信可能に結合することができる１つ以上の電子デバイスに関連付けられた能力データを入手することを更に含む。この方法は、能力データに従って、第１の電子デバイスに通信可能に結合することができる１つ以上の電子デバイスから、ユーザ要求への応答の少なくとも一部を提供する第２の電子デバイスを特定することを更に含む。この方法は、第２の電子デバイスに、第１のユーザへの応答の少なくとも一部を提供させることを更に含む。
一例の非一時的なコンピュータ可読媒体が本明細書に開示される。一例の非一時的コンピュータ可読記憶媒体は、１つ以上のプログラムを記憶する。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されたときに、電子デバイスに、第１のユーザからユーザ要求を表す第１の音声入力を受信させる命令を含む。１つ以上のプログラムは、電子デバイスに、第１の電子デバイスに通信可能に結合することができる１つ以上の電子デバイスに関連付けられた能力データを入手させる命令を更に含む。１つ以上のプログラムは、電子デバイスに、能力データに従って、第１の電子デバイスに通信可能に結合することができる１つ以上の電子デバイスから、ユーザ要求への応答の少なくとも一部を提供する第２の電子デバイスを特定させる命令を更に含む。１つ以上のプログラムは、電子デバイスに、第１のユーザへの応答の少なくとも一部を提供させる命令を更に含む。
例示の電子デバイスが本明細書に開示される。一例の電子デバイスは、１つ以上のプロセッサと、メモリと、１つ以上のプログラムと、を備え、１つ以上のプログラムはメモリに記憶されており、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、第１のユーザからユーザ要求を表す第１の音声入力を受信する命令を含む。１つ以上のプログラムは、第１の電子デバイスに通信可能に結合することができる１つ以上の電子デバイスに関連付けられた能力データを入手する命令を更に含む。１つ以上のプログラムは、能力データに従って、第１の電子デバイスに通信可能に結合することができる１つ以上の電子デバイスから、ユーザ要求への応答の少なくとも一部を提供する第２の電子デバイスを特定する命令を更に含む。１つ以上のプログラムは、第２の電子デバイスに、第１のユーザへの応答の少なくとも一部を提供させる命令を更に含む。
一例の電子デバイスは、第１のユーザからユーザ要求を表す第１の音声入力を受信する手段を含む。電子デバイスは、第１の電子デバイスに通信可能に結合することができる１つ以上の電子デバイスに関連付けられた能力データを入手する手段を更に含む。電子デバイスは、能力データに従って、第１の電子デバイスに通信可能に結合することができる１つ以上の電子デバイスから、ユーザ要求への応答の少なくとも一部を提供する第２の電子デバイスを特定する手段を更に含む。電子デバイスは、第２の電子デバイスに、第１のユーザへの応答の少なくとも一部を提供させる手段を更に含む。
１つ以上のサービス拡張デバイスによるデジタルアシスタントサービスの遠距離拡張技術は、ユーザ双方向作用インターフェースを改善することができる。例えば、１つ以上のサービス拡張デバイスを使用すると、ユーザは、もはや、電子デバイス上で動作するデジタルアシスタントによって提供されるデジタルアシスタントサービスを受信するために電子デバイスと近接する（例えば、同じ部屋内にいる）必要はない。更に、サービス拡張デバイスは、ユーザ要求のコンテンツに依存して、ユーザの近傍に配置されたデバイス及び／又はリモートに配置されたデバイスからユーザ要求への応答を柔軟に得ることができる。例えば、ユーザがパーソナル情報（例えば、カレンダーイベント）を要求した場合、サービス拡張デバイスは、リモート装置ではなく、ユーザ（例えば、ユーザのスマートフォン）の近くに配置されたデバイスから応答を得ることができ、これにより、ユーザにサービスを提供するために必要な時間を削減することができる。いくつかの状況下で、ローカルデバイスから応答を入手することは、機密情報又は秘密情報がローカルデバイスとの間の通信に含まれ得るために、プライバシーの懸念も緩和し得る。更に、異なるデバイスから応答を入手する能力は、サービス拡張デバイスがユーザに応答を提供する能力を高める。例えば、デバイス（例えば、ユーザのスマートフォン）からユーザが要求した情報を入手することができない場合、サービス拡張デバイスは、他のデバイス（例えば、サーバ）から応答を入手することができる。その結果、サービス拡張デバイスは、１つ以上のデバイスから応答を動的に入手し、複数のデバイスからデジタルアシスタントサービスを効率的に拡張することができる。
１つ以上のサービス拡張デバイスは、デジタルアシスタントサービスを提供する際の継続性を高めるために、デジタルアシスタントサービスを更に拡張することができる。例えば、１つ以上のサービス拡張デバイスは、ユーザの場所、動き、嗜好などに依存して、ユーザ要求（例えば、音楽を再生すること）への応答を任意の特定のサービス拡張デバイス又は別の電子デバイスにおいて提供すべきかどうかを判定することができる。サービス拡張を提供するための最良のデバイスを選択するこの能力は、複数のデバイス間でデジタルアシスタントサービスを提供する継続性を高め、ユーザ双方向作用インターフェースを更に改善する。また、１つ以上のサービス拡張デバイスを複数のユーザ（例えば、家族のメンバー）で共有することができ、複数のユーザの認証に基づいてデバイスの動作を行うことができる。その結果、同じサービス拡張デバイスは、複数のユーザに関連付けられた複数の電子デバイスからデジタルアシスタントサービスを拡張することができる。サービス拡張デバイスを共有するこの能力は、デジタルアシスタント拡張サービスの提供の効率を向上させる。
更に、１つ以上のサービス拡張デバイスを使用してユーザに通知を提供する技術は、拡張された距離でユーザに迅速な通知を提供することができる。例えば、ユーザはユーザデバイスから距離が離れている可能性があり、したがって、ユーザデバイスによって提供される通知を直接受信することができない可能性がある。１つ以上のサービス拡張デバイスは、ユーザデバイス（例えば、ユーザのスマートフォン）から通知を受信し、通知に関連付けられたオーディオ及び／又はビジュアル出力をユーザに提供することができる。したがって、サービス拡張デバイスは、ユーザデバイスがユーザに通知を提供できる距離を効果的に拡大した。
更に、複数のデバイスを使用してデジタルアシスタントサービスを提供する技術は、デバイスの能力制限を緩和することができる。例えば、ユーザデバイスは、その能力の限界（例えば、小さなスクリーンサイズ、要求された情報の欠如など）のために、ユーザ要求に応じてサービスを提供することができない場合がある。ユーザデバイスは、サービスを提供することができる別のデバイスを識別し、別のデバイスに要求されたサービスをユーザに提供させることができる。要求されたサービスを提供することができる別のデバイスを識別する能力は、デジタルアシスタントサービスをユーザに提供するためにデバイスの集合の能力を活用し、適切なデバイスを探すためのユーザの負担を軽減することによってユーザ双方向作用の効率を高める。
更に、これらの技術は、デバイスの操作性を向上させ、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより素早くかつ効率的に使用できるようにすることによって、デバイスの電力使用を低減し、バッテリ寿命を改善する。
以下の実施例の説明では、実施可能な具体的な例を示す添付の図面を参照する。様々な例の範囲から逸脱することなく、他の例を使用することができ、構造的変更を行うことができることを理解されたい。
本開示は、１つ以上のサービス拡張デバイスによるデジタルアシスタントサービスの遠距離拡張のための技術を提供する。説明したように、サービス拡張デバイスを使用することにより、ユーザ双方向作用インターフェースを改善することができる。いくつかの例では、第１の電子デバイスは、サービス拡張デバイスとすることができる。第１の電子デバイスは、ユーザ要求を表す音声入力を受信することができる。第１の電子デバイスは、例えば、第２の電子デバイス及び／又は第３の電子デバイスによるユーザの認証に基づいて、ユーザの識別情報を入手することができる。いくつかの例では、第２の電子デバイスは、第１の電子デバイス（例えば、リモートサーバ）からリモートに配置されたデバイスであり得、第３の電子デバイスは、第１の電子デバイス（例えば、ユーザのスマートフォン）の近傍に配置されたデバイスであり得る。識別された後、第１の電子デバイスは、第２の電子デバイス及び第３の電子デバイスのうちの少なくとも１つにユーザ要求の表現を提供することができる。第２の電子デバイス及び第３の電子デバイスの一方又は両方は、第１の電子デバイスに応答を提供するか否かを判定することができる。第１の電子デバイス（例えば、サービス拡張デバイス）は、応答を受信し、応答の表現をユーザに提供することができる。このように、第１の電子デバイスは、第２の電子デバイス及び第３の電子デバイスの一方又は両方によって提供されるデジタルアシスタントサービスを効果的に拡張する。
本開示は、１つ以上のサービス拡張デバイスを使用して通知を提供する技術を更に提供する。上述のように、１つ以上のサービス拡張デバイスを使用することによって、延長された距離で即座に通知をユーザに提供することができるいくつかの例では、第１の電子デバイスは、他のデバイス（例えば、ユーザのスマートフォン）からの通知を受信し、その通知の示唆（例えば、ビープ）を出力することができる。第１の電子デバイスは、その示唆について問い合わせ、第１の電子デバイスに通知の動作を実行するように指示する（例えば、通知を出力する）１つ以上の音声入力を受信することができる。第１の電子デバイスは、通知を提供すべきかどうかを判定し、その判定に従って通知を提供することができる。
本開示は、複数のデバイスを使用してデジタルアシスタントサービスを提供する技術を更に提供する。上述のように、複数のデバイスを用いてデジタルアシスタントサービスを提供することにより、デバイスの能力制限を緩和することができる。いくつかの例では、第１の電子デバイスは、ユーザ要求を表す音声入力を受信し、第１の電子デバイスに通信可能に結合することができる１つ以上の電子デバイスに関連付けられた能力データを入手する。能力データは、デバイス能力及び情報能力を含み得る。能力データに従って、第１の電子デバイスは、ユーザ要求への応答の少なくとも一部を提供するために第２の電子デバイスを識別し、応答の少なくとも一部を第２の電子デバイスに提供させることができる。
以下の説明では、様々な要素を説明するために「第１の」、「第２の」などの用語を使用するが、これらの要素は用語によって限定されるべきではない。これらの用語は、１つの要素を他の要素と区別するためにのみ使用される。例えば、記載された様々な例の範囲から逸脱することなく、第１の入力は第２の入力と呼ぶことができ、同様に、第２の入力は第１の入力と呼ぶことができる。第１の入力及び第２の入力は両方とも入力であり、一部の場合には、個別かつ異なる入力である。
本明細書中の様々な記載された例の説明において使用される用語は、特定の例のみを説明するためのものであり、限定することを意図するものではない。様々な記載された例及び添付の特許請求の範囲の記載において使用されるように、単数形「１つの（a）」、「１つの（an）」、及び「その（the）」は、コンテキストがそうでないことを明確に示さない限り、複数形も含むことが意図される。また、本明細書で使用される「及び／又は」という用語は、任意の１つ以上の関連する列挙された項目の任意かつ全ての可能な組み合わせを指し、包含すると理解される。本明細書で使用される場合、「含む（includes）」、「含む（including）」、「備える（comprises）」及び／又は「備える（comprising）」という用語は、記載された特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を排除するものではない。
「もし」という用語は、コンテキストに依存して、「場合」又は「すると」又は「判定に応じて」又は「検出に応じて」を意味すると解釈され得る。同様に、「判定された場合」又は「［所定の状態又はイベント］が検出された場合」という語句は、コンテキストに応じて、「判定されると」又は「判定に応じて」又は「［所定の状態又はイベント］の検出に応じて」又は「［所定の状態又はイベント］の検出に応じて」を意味すると解釈され得る。
１．システム及び環境
図１は、様々な例に従ったシステム１００のブロック図である。いくつかの例では、システム１００は、デジタルアシスタントを実行する。「デジタルアシスタント」、「仮想アシスタント」、「インテリジェント自動アシスタント」、又は「自動デジタルアシスタント」という用語は、自然言語入力を発話及び／又はテキスト形式に解釈してユーザの意図を推測し、推測されたユーザの意図に基づいてアクションを実行する任意の情報処理システムを参照する。例えば、推定されたユーザの意図を判定するために、システムは、推定されたユーザの意図を実現するために設計されたステップ及びパラメータと共にタスクフローを特定すること、推定されたユーザの意図からタスクフローへ具体的な要件を入力すること、プログラム、方法、サービス、ＡＰＩなどを実行することによってタスクフローを実行すること、及び可聴（例えば、スピーチ）及び／又は視覚形式でユーザに出力応答を生成すること、のうちの任意の１つ以上を実行する。
図１は、様々な例に従ったシステム１００のブロック図である。いくつかの例では、システム１００は、デジタルアシスタントを実行する。「デジタルアシスタント」、「仮想アシスタント」、「インテリジェント自動アシスタント」、又は「自動デジタルアシスタント」という用語は、自然言語入力を発話及び／又はテキスト形式に解釈してユーザの意図を推測し、推測されたユーザの意図に基づいてアクションを実行する任意の情報処理システムを参照する。例えば、推定されたユーザの意図を判定するために、システムは、推定されたユーザの意図を実現するために設計されたステップ及びパラメータと共にタスクフローを特定すること、推定されたユーザの意図からタスクフローへ具体的な要件を入力すること、プログラム、方法、サービス、ＡＰＩなどを実行することによってタスクフローを実行すること、及び可聴（例えば、スピーチ）及び／又は視覚形式でユーザに出力応答を生成すること、のうちの任意の１つ以上を実行する。
具体的には、デジタルアシスタントは、少なくとも部分的に自然言語コマンド、要求、ステートメント、物語、及び／又は問い合わせの形でユーザ要求を受け付けることができる。典型的には、ユーザ要求は、デジタルアシスタントによるタスクの情報応答又は特性のいずれかを求める。ユーザ要求に対する満足な応答は、要求された情報応答、要求されたタスクの実行、又は２つの組み合わせを提供することを含む。例えば、ユーザは、例えば、「私は今どこにいる？」などの質問をデジタルアシスタントに質問する。ユーザの現在場所に基づいて、デジタルアシスタントは、「あなたは西ゲート付近の中央公園にいます」と応答する。ユーザは、例えば、「来週のガールフレンドの誕生日パーティに私の友人を招待して下さい。」というタスクの実行も依頼する。これに応じて、デジタルアシスタントは、「はい、すぐに」と言うことによってアクノリッジし、次に、ユーザの電子アドレス帳にリストされているユーザの友人のそれぞれにユーザに代わって好適なカレンダー招待状を送ることができる。要求されたタスクの実行中、デジタルアシスタントは、延長した期間にわたって複数の情報のやりとりを含む連続したダイアログにおいてユーザと対話する場合がある。様々なタスクの情報又は実行を要求するためにデジタルアシスタントと対話する他の方法が多く存在する。言語応答を提供し、プログラムされた動作をとるのに加えて、デジタルアシスタントは、例えば、文字、アラート、音楽、ビデオ、アニメーションなどの他の視覚的又はオーディオ形式でも応答を提供する。
図１に示すように、いくつかの例では、デジタルアシスタントは、クライアントサーバモデルに従って実行される。デジタルアシスタントは、ユーザデバイス１０４で実行されるクライアント側部分１０２（以下、「ＤＡクライアント１０２」）と、サーバシステム１０８で実行されるサーバ側部分１０６（以下、「ＤＡサーバ１０６」）とを含む。ＤＡクライアント１０２は、１つ以上のネットワーク１１０を介してＤＡサーバ１０６と通信する。ＤＡクライアント１０２は、ユーザ対応入出力処理及びＤＡサーバ１０６との通信などのクライアント側の機能を提供する。ＤＡサーバ１０６は、それぞれのユーザデバイス１０４にそれぞれ存在する任意の数のＤＡクライアント１０２に対してサーバ側の機能を提供する。
いくつかの例では、ＤＡサーバ１０６は、クライアント対応Ｉ／Ｏインターフェース１１２と、１つ以上の処理モジュール１１４と、データ及びモデル１１６と、外部サービスへのＩ／Ｏインターフェース１１８とを含む。クライアント対応Ｉ／Ｏインターフェース１１２は、ＤＡサーバ１０６に対するクライアント対応入出力処理を容易にする。１つ以上の処理モジュール１１４は、データ及びモデル１１６を利用して音声入力を処理し、自然言語入力に基づいてユーザの意図を判定する。更に、１つ以上の処理モジュール１１４は、推定されたユーザの意図に基づいてタスク実行を実行する。いくつかの例では、ＤＡサーバ１０６は、タスク完了又は情報取得のために、ネットワーク１１０を介して外部サービス１２０と通信する。外部サービスへのＩ／Ｏインターフェース１１８は、このような通信を容易にする。
ユーザデバイス１０４は、任意の好適な電子デバイスとすることができる。いくつかの例では、ユーザデバイスは、ポータブル多機能デバイス（例えば、図２Ａに関連して以下に記載されるデバイス２００）、多機能デバイス（例えば、図４に関連して以下に記載されるデバイス４００）、又はパーソナル電子デバイス（例えば、図６Ａ〜Ｂに関連して以下に記載されるデバイス６００）である。ポータブル多機能デバイスは、例えば、ＰＤＡ及び／又は音楽プレーヤ機能などの他の機能も含む携帯電話機である。ポータブル多機能デバイスの具体的な例は、カリフォルニア、クパティーノのアップル社のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスを含む。ポータブル多機能デバイスの他の例は、制限なく、ラップトップ又はタブレットコンピュータを含む。更に、いくつかの例では、ユーザデバイス１０４は、非ポータブル多機能デバイスである。特に、ユーザデバイス１０４は、デスクトップコンピュータ、ゲームコンソール、テレビ、又はテレビのセットトップボックスである。いくつかの例では、ユーザデバイス１０４は、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を含む。更に、ユーザデバイス１０４は、任意選択的に、物理的なキーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理的なユーザインターフェースデバイスを含む。多機能デバイスなどの電子デバイスの様々な例は、以下により詳細に説明される。
通信ネットワーク１１０の例は、ローカルエリアネットワーク（ＬＡＮ）及びワイドエリアネットワーク（ＷＡＮ）、例えばインターネットを含む。通信ネットワーク１１０は、例えば、イーサネット、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ、移動通信用のグローバルシステム（ＧＳＭ（登録商標））、拡張データＧＳＭ環境（ＥＤＧＥ）、符号分割多元アクセス（ＣＤＭＡ）、時分割多元アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）、Ｗｉ−ＭＡＸ、又は任意の他の好適な通信プロトコルなどの様々な有線又は無線プロトコルを含む既知のネットワークプロトコルを使用して実行される。
サーバシステム１０８は、１つ以上の独立したデータ処理装置又はコンピュータの分散ネットワークで実行される。いくつかの例では、サーバシステム１０８は、サーバシステム１０８の基礎をなす計算リソース及び／又はインフラリソースを提供するために、サードパーティサードパーティサービス提供者（例えば、サードパーティサードパーティクラウドサービスプロバイダ）の様々な仮想デバイス及び／又はサービスを使用する。
いくつかの例では、ユーザデバイス１０４は、第２のユーザデバイス１２２を介してＤＡサーバ１０６と通信する。第２のユーザデバイス１２２は、ユーザデバイス１０４と類似又は同一である。例えば、第２のユーザデバイス１２２は、図２Ａ、４、及び６Ａ〜Ｂに関連して以下で説明されるデバイス４００、６００、又は６００と類似する。ユーザデバイス１０４は、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＢＴＬＥなどの直接通信接続を介して、又はローカルＷｉ−Ｆｉネットワークなどの有線又は無線ネットワークを介して第２のユーザデバイス１２２に通信可能に結合されるように構成される。いくつかの例では、第２のユーザデバイス１２２は、ユーザデバイス１０４とＤＡサーバ１０６との間のプロキシとして動作するように構成される。例えば、ユーザデバイス１０４のＤＡクライアント１０２は、第２のユーザデバイス１２２を介して、情報（例えば、ユーザデバイス１０４で受信したユーザ要求）をＤＡサーバ１０６に送信するように構成される。ＤＡサーバ１０６は、情報を処理して、第２のユーザデバイス１２２を介して関連データ（例えば、ユーザ要求に応答するデータコンテンツ）をユーザデバイス１０４に戻す。
いくつかの例では、ユーザデバイス１０４は、ユーザデバイス１０４から送信される情報の量を低減するために、短縮された要求を第２のユーザデバイス１２２に通信するように構成される。第２のユーザデバイス１２２は、短縮された要求に追加するための追加情報を判定して、ＤＡサーバ１０６に送信するための完全な要求を生成するように構成される。このシステムアーキテクチャは、制限された通信能力及び／又は制限されたバッテリ電力を有するユーザデバイス１０４（例えば、腕時計又は類似の小型電子デバイス）が、ＤＡサーバ１０６へのプロキシとしてより高い通信能力及び／又はバッテリ電力を有する第２のユーザデバイス１２２（例えば、携帯電話、ラップトップコンピュータ、タブレットコンピュータなど）を使用することによってＤＡサーバ１０６によって提供されるサービスにアクセスすることを有利に許容することができる。図１には２つのユーザデバイス１０４及び１２２しか示されていないが、いくつかの例では、システム１００は、このプロキシ構成でＤＡサーバシステム１０６と通信するように構成された任意の数及びタイプのユーザデバイスを含むことを理解すべきである。
図１に示すデジタルアシスタントは、クライアント側部分（例えば、ＤＡクライアント１０２）とサーバ側部分（例えばＤＡサーバ１０６）の両方を含むが、いくつかの例では、デジタルアシスタントの機能は、ユーザデバイスにインストールされた独立したアプリケーションとして実行される。これに加えて、デジタルアシスタントのクライアント及びサーバ部分の間の機能の区分は、異なる実装形態で変化し得る。例えば、いくつかの例では、ＤＡクライアントは、ユーザ対応入出力処理機能のみを提供し、デジタルアシスタントの全ての他の機能をバックエンドサーバに委任するシンクライアントである。
２．電子デバイス
２．電子デバイス
デジタルアシスタントのクライアント側部分を実行する電子デバイスの実施形態に着目する。図２Ａは、いくつかの実施形態に従った、タッチ感知ディスプレイシステム２１２を備えたポータブル多機能デバイス２００を示すブロック図である。タッチ感知ディスプレイ２１２は、便宜上「タッチスクリーン」と称される場合があり、「タッチ感知ディスプレイシステム」として知られている又は称される場合がある。デバイス２００は、メモリ２０２（任意選択的に１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ２２２、１つ以上の処理ユニット（ＣＰＵ）２２０、周辺機器インターフェース２１８、ＲＦ回路２０８、オーディオ回路２１０、スピーカ２１１、マイクロフォン２１３、入出力（Ｉ／Ｏ）サブシステム２０６、他の入力コントロールデバイス２１６、及び外部ポート２２４を含む。デバイス２００は、１つ以上の光センサ２６４を任意選択的に含む。デバイス２００は、デバイス２００（例えば、デバイス２００のタッチ感知ディスプレイシステム２１２などのタッチ感知面）の接触の強度を検出する１つ以上の接触強度センサ２６５を任意選択的に含む。デバイス２００は、デバイス２００に触知出力を生成する（例えば、デバイス２００のタッチ感知ディスプレイシステム２１２又はデバイス４００のタッチパッド４５５などのタッチ感知面に触知出力を生成する）１つ以上の触知出力生成器２６７を任意選択的に含む。これらの構成要素は、１つ以上の通信バス又は信号ライン２０３を介して任意選択的に通信する。
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指接触）の力又は圧力（単位面積当りの力）、又はタッチ感知面上の接触の力又は圧力の代替物（代用物）を指す。接触の強度は、少なくとも４つの別個の値を含み、より一般的には、何百もの（例えば、少なくとも２５６個の）別個の値を含む、値の範囲を有する。接触の強度は、様々な手法及び様々なセンサ又はセンサの組み合わせを使用して任意選択的に判定（又は、測定）される。例えば、タッチ感知面の下に又はこれに隣接する１つ以上の力センサは、タッチ感知面上の様々な点における力を測定するために任意選択的に使用される。いくつかの実装形態では、複数の力センサの力測定値を組み合わせて（例えば、加重平均）、接触の推定される力を判定する。同様に、スタイラスの感圧性先端部を任意選択的に使用して、タッチ感知面上のスタイラスの圧力を判定する。あるいは、タッチ感知面上で検出される接触領域のサイズ及び／又はその変化、接触に近接するタッチ感知面の容量及び／又はその変化、及び／又は、接触に近接するタッチ感知面の抵抗及び／又はその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。いくつかの実装形態では、接触の力又は圧力の代替的測定値は、強度閾値を超えているか否かを判定するために直接に用いられる（例えば、強度閾値は、代替的測定値に対応する単位で記述される）。いくつかの実装形態では、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、この推定される力又は圧力を用いて、強度閾値を超えているか否かを判定する（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するための、及び／又は、ユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御部を介して）受け取るための、領域が制限されている、低減されたサイズのデバイス上で、他の場合であればユーザによってアクセスすることが不可能であり得る、追加的なデバイス機能への、ユーザのアクセスが可能となる。
請求項及び明細書で使用されるように、「触知出力」という用語は、デバイスの以前の位置に対するデバイスの物理的な変位、デバイスの他の構成要素（例えば筐体）に対するデバイスの構成要素（例えばタッチ感知面）の物理的な変位、又はユーザの触覚を用いてユーザによって検出されるデバイスの重心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、指、手のひら、又はユーザの手の他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の知覚された変化に対応する触知感覚としてユーザによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として任意選択的に解釈される。いくつかの場合には、ユーザの動作によって物理的に押される（例えば、変位する）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない場合であっても、ユーザは「ダウンクリック」又は「アップクリック」などの触知感覚を感じる。別の例として、タッチ感知面の平滑度の変化がない場合であっても、タッチ感知面の移動は、タッチ感知面の「起伏」としてユーザによって任意選択的に解釈又は感知される。ユーザによるこのような接触の解釈は、ユーザの個別化された感覚知覚を対象とするが、大多数のユーザに共通するタッチの感覚知覚が多く存在する。したがって、触知出力が、ユーザの特定の感覚知覚（例えば、「アップクリック」、「ダウンクリック」、「起伏」）に対応するものとして説明される場合、特に明記しない限り、生成された触知出力は、典型的な（又は平均的な）ユーザに対する説明された感覚知覚を生成するデバイス又はその構成要素の物理的変位に対応する。
デバイス２００は、ポータブル多機能デバイスの一例に過ぎず、デバイス２００は、図示されているより多くの又はより少ない構成要素を任意選択的に有してもよく、２つ以上の構成要素を任意選択的に組み合わせてもよく、又は構成要素の異なる構成又は配置を有してもよいことを理解すべきである。図２Ａに示す様々な構成要素は、１つ以上の信号処理及び／又は特定用途向け集積回路を含むハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方の組み合わせで実装される。
メモリ２０２は、１つ以上のコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体は、例えば、有形的で非一時的である。メモリ２０２は、高速ランダムアクセスメモリを含み、１つ以上の磁気ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体メモリ装置などの不揮発性メモリも含む。メモリコントローラ２２２は、デバイス２００の他の構成要素によるメモリ２０２へのアクセスを制御する。
いくつかの例では、メモリ２０２の非一時的コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスから命令をフェッチして命令を実行することができるコンピュータベースシステム、プロセッサ内蔵システム、又は他のシステムなどの命令実行システム、装置、又はデバイスによって使用される又はこれらと関連する命令（例えば、以下に説明する処理の態様を実行するための）を格納するために使用される。他の例では、（例えば、以下に説明する処理の態様を実行するための）命令は、サーバシステム１０８の非一時的コンピュータ可読記憶媒体（図示せず）に記憶されるか、又は、メモリ２０２の非一時的コンピュータ可読記憶媒体とサーバシステム１０８の非一時的コンピュータ可読記憶媒体との間で分割される。
周辺機器インターフェース２１８は、デバイスの入出力周辺機器をＣＰＵ２２０及びメモリ２０２に結合するために使用される。１つ以上のプロセッサ２２０は、メモリ２０２に格納された様々なソフトウェアプログラム及び／又は命令のセットを動作又は実行して、デバイス２００で種々な機能を実行してデータを処理する。いくつかの実施形態では、周辺機器インターフェース２１８、ＣＰＵ２２０、及びメモリコントローラ２２２は、チップ２０４などのシングルチップで実装される。いくつかの他の実施形態では、これらは別個のチップで実装される。
ＲＦ（無線周波数）回路２０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路２０８は、電気信号と電磁信号とを変換し、電磁信号を介して通信ネットワーク及び他の通信機器と通信する。ＲＦ回路２０８は、これらの機能を実行する周知の回路を任意選択的に含み、限定されないがアンテナシステム、ＲＦ送受信機、１つ以上のアンプ、チューナ、１つ以上の振動子、デジタル信号プロセッサ、コーデックチップセット、加入者識別モジュール（ＳＩＭ）カード、メモリなどを含む。ＲＦ回路２０８は、ワールドワイドウェブ（ＷＷＷ）とも呼ばれるインターネットなどのネットワーク、イントラネット、及び／又はセルラー電話ネットワークなどの無線ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）、及び無線通信によるその他の装置と任意選択的に通信する。ＲＦ回路２０８は、近距離通信無線等による近距離通信（ＮＦＣ）フィールドを検出する周知の回路を任意選択的に含む。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム（ＧＳＭ（登録商標））、拡張データＧＳＭ環境（ＥＤＧＥ）、高速ダウンリンクパケット接続（ＨＳＤＰＡ）、高速アップリンクパケット接続（ＨＳＵＰＡ）、エボリューション、Ｄａｔａ−Ｏｎｌｙ（ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（ＬＴＥ）、近距離無線通信（ＮＦＣ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（登録商標）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／又はＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（ＩＭＡＰ）及び／又はポストオフィスプロトコル（ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（ＸＭＰＰ）、インスタントメッセージング及びプレゼンレバレッジ拡張のためのセッション開始プロトコル（ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（ＩＭＰＳ））、及び／又はショートメッセージサービス（ＳＭＳ）、又は本文書の出願日現在までにまだ開発されていない通信プロトコルを含む任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
オーディオ回路２１０、スピーカ２１１、及びマイクロフォン２１３は、ユーザとデバイス２００との間のオーディオインターフェースを提供する。オーディオ回路２１０は、周辺機器インターフェース２１８からオーディオデータを受信し、オーディオデータを電気信号に変換し、電気信号をスピーカ２１１に送る。スピーカ２１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路２１０は、音波からマイクロフォン２１３によって変換された電気信号を受信する。オーディオ回路２１０は、電気信号をオーディオデータに変換し、処理のためにオーディオデータを周辺機器インターフェース２１８に送信する。オーディオデータは、周辺機器インターフェース２１８によってメモリ２０２及び／又はＲＦ回路２０８から取得及び／又は送信される。いくつかの実施形態では、オーディオ回路２１０は、ヘッドセットジャック（例えば、図３の３１２）も含む。ヘッドセットジャックは、オーディオ回路２１０と、出力専用ヘッドホン又は出力（例えば、一方又は両方の耳用ヘッドホン）と入力（例えば、マイク）の両方を有するヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインターフェースを提供する。
Ｉ／Ｏサブシステム２０６は、タッチスクリーン２１２及び他の入力コントロールデバイス２１６などのデバイス２００上の入出力周辺機器を周辺機器インターフェース２１８に結合する。Ｉ／Ｏサブシステム２０６は、ディスプレイコントローラ２５６、光センサコントローラ２５８、強度センサコントローラ２５９、触覚フィードバックコントローラ２６１、及び他の入力又はコントロールデバイス用の１つ以上の入力コントローラ２６０を任意選択的に含む。１つ以上の入力コントローラ２６０は、他の入力コントロールデバイス２１６から／他の入力コントロールデバイス２１６に電気信号を受信／送信する。他の入力コントロールデバイス２１６は、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、及びクリックホイールなどを任意選択的に含む。いくつかの代替的実施形態では、入力コントローラ２６０は、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに任意選択的に接続される（又は、いずれにも接続されない）。１つ以上のボタン（例えば、図３の３０８）は、スピーカ２１１及び／又はマイクロフォン２１３の音量コントロールのためのアップ／ダウンボタンを任意選択的に含む。１つ以上のボタンは、プッシュボタン（例えば、図３の３０６）を任意選択的に含む。
プッシュボタンを素早く押圧すると、タッチスクリーン２１２のロックを解除するか、又は２００５年１２月２３日に出願された米国特許出願第１１／３２２，５４９号、米国特許第７，６５７，８４９号の「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」に記載されているように、デバイスのロック解除のためにタッチスクリーン上でジェスチャを使う処理を開始し、その全体が参照により本明細書に組み込まれる。プッシュボタン（例えば、３０６）を長く押圧すると、デバイス２００の電源をオン又はオフする。ユーザは、１つ以上のボタンの機能をカスタマイズすることができる。タッチスクリーン２１２は、仮想又はソフトボタン及び１つ以上のソフトキーボードを実施するために使用される。
タッチ感知ディスプレイ２１２は、デバイスとユーザとの間に入力インターフェース及び出力インターフェースを提供する。ディスプレイコントローラ２５６は、タッチスクリーン２１２から／タッチスクリーン２１２に電気信号を受信及び／又は送信する。タッチスクリーン２１２は、ユーザに視覚出力を表示する。視覚出力は、グラフィックス、テキスト、アイコン、動画、及びそれらの任意の組み合わせ（まとめて「グラフィックス」と呼ばれる）を含む。いくつかの実施形態では、視覚出力のいくつか又は全部が、ユーザインターフェースオブジェクトに対応する。
タッチスクリーン２１２は、触覚及び／又は触知接点に基づいてユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン２１２及びディスプレイコントローラ２５６は（メモリ２０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン２１２上で接触（及び任意の接触の移動又は中断）を検出し、その検出された接触をタッチスクリーン２１２上に表示されたユーザインターフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン２１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン２１２は、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を用いるが、他の実施形態では他のディスプレイ技術を使用してもよい。タッチスクリーン２１２及びディスプレイコントローラ２５６は、容量性、抵抗性、赤外線及び表面弾性波技術、並びに他の近接センサアレイ又はタッチスクリーン２１２を用いて１つ以上の接触点を判定する他の要素を含むがこれに限定されない現在知られている又は今後開発される複数のタッチ感知技術のいずれかを使用して接触及びその移動又は切断を検出する。例示的な実施形態では、カリフォルニア、クパティーノのアップル社のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）などで見られるような投影型相互静電容量感知技術が使用される。
タッチスクリーン２１２のいくつかの実施形態のタッチ感知ディスプレイは、米国特許６，３２３，８４６（Ｗｅｓｔｅｒｍａｎら）、６，５７０，５５７（Ｗｅｓｔｅｒｍａｎら）及び／又は６，６７７，９３２（Ｗｅｓｔｅｒｍａｎ）及び／又は米国特許公開２００２／００１５０２４（Ａ１）に記載されたマルチタッチ感知タッチパッドと類似しており、これらの各々は、参照によりその全体が本明細書に組み込まれる。しかしながら、タッチスクリーン２１２は、デバイス２００から視覚出力を表示し、タッチ感知式タッチパッドは、視覚出力を提供しない。
タッチスクリーン２１２のいくつかの実施形態のタッチ感知ディスプレイは、以下の出願に記載される。
（１）２００６年５月２日に出願された米国特許出願第１１／３８１，３１３号の「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」（２）２００４年５月６日に出願された米国特許出願第１０／８４０，８６２号の「
Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」（３）２００４年７月３０日に出願された米国特許出願第１０／９０３，９６４号の「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」（４）２００５年１月３１日に出願された米国特許出願第１１／０４８，２６４号の「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」（５）２００５年１月１８日に出願された米国特許出願第１１／０３８，５９０号の「Ｍｏｄｅ−Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」（６）２００５年９月１６日に出願された米国特許出願第１１／２２８，７５８号の「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」（７）２００５年９月１６日に出願された米国特許出願第１１／２２８，７００号の「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日に出願された米国特許出願第１１／２２８，７３７号の「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ−Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日に出願された米国特許出願第１１／３６７，７４９号の「Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ−Ｈｅｌｄ Ｄｅｖｉｃｅ」これらの出願の全ては、全体が参照により本明細書に組み込まれる。
（１）２００６年５月２日に出願された米国特許出願第１１／３８１，３１３号の「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」（２）２００４年５月６日に出願された米国特許出願第１０／８４０，８６２号の「
Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」（３）２００４年７月３０日に出願された米国特許出願第１０／９０３，９６４号の「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」（４）２００５年１月３１日に出願された米国特許出願第１１／０４８，２６４号の「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」（５）２００５年１月１８日に出願された米国特許出願第１１／０３８，５９０号の「Ｍｏｄｅ−Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」（６）２００５年９月１６日に出願された米国特許出願第１１／２２８，７５８号の「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」（７）２００５年９月１６日に出願された米国特許出願第１１／２２８，７００号の「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日に出願された米国特許出願第１１／２２８，７３７号の「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ−Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日に出願された米国特許出願第１１／３６７，７４９号の「Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ−Ｈｅｌｄ Ｄｅｖｉｃｅ」これらの出願の全ては、全体が参照により本明細書に組み込まれる。
タッチスクリーン２１２は、例えば、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス、指などの好適なオブジェクト又は付属物を使用してタッチスクリーン２１２に接触する。いくつかの実施形態では、ユーザインターフェースは、タッチスクリーン上の指の接触エリアが大きいために、スタイラスベースの入力よりも精度が低い可能性がある指ベースの接触及びジェスチャで主に動作するように設計される。いくつかの実施形態では、デバイスは、粗い指ベースの入力を、ユーザによって望まれる動作を実行するための正確なポインタ／カーソル位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス２００は、特定の機能をアクティブにする又は非アクティブにするタッチパッド（図示しない）を含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しないデバイスのタッチ感知エリアである。タッチパッドは、タッチスクリーン２１２とは別個のタッチ感知面であるか、又はタッチスクリーンによって形成されたタッチ感知面の延長である。
デバイス２００はまた、様々な構成要素に電力供給するための電源システム２６２を含む。電力システム２６２は、電力管理システム、１つ以上の電源（例えばバッテリ、交流（ＡＣ））、充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、及びポータブルデバイスにおける電力の生成、管理及び分配に関連付けられた任意の他の構成要素を含む。
デバイス２００はまた、１つ以上の光学センサ２６４を含む。図２Ａは、Ｉ／Ｏサブシステム２０６における光センサコントローラ２５８に結合された光センサを示す。光センサ２６４は、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを含む。光センサ２６４は、１つ以上のレンズを介して投影された環境から光を受光し、その光を、画像を表すデータに変換する。撮像モジュール２４３（カメラモジュールとも呼ばれる）と関連して、光センサ２６４は静止画像又は動画を撮像する。いくつかの実施形態では、光センサは、タッチスクリーンディスプレイが静止画像及び／又は動画取得のためのビューファインダとして使用されるように、デバイスの前面のタッチスクリーンディスプレイ２１２とは反対のデバイス２００の背面に配置される。いくつかの実施形態では、光センサは、ユーザがタッチスクリーンディスプレイで他のビデオ会議参加者を見る間にビデオ会議のためのユーザの画像が取得されるように、デバイスの前面に配置される。いくつかの実施形態では、光学センサ２６４の位置は、単一の光学センサ２６４がビデオ会議並びに静止画像及び／又は動画取得の両方のためにタッチスクリーンディスプレイと共に使用されるように、ユーザによって（例えば、機器筐体内のレンズ及びセンサを回転させることによって）変更することができる。
デバイス２００は、１つ以上の接触強度センサ２６５も任意選択的に含む。図２Ａは、Ｉ／Ｏサブシステム２０６内の強度センサコントローラ２５９に結合された接触強度センサを示す。接触強度センサ２６５は、１つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用するセンサ）を、任意選択的に含む。接触強度センサ２６５は、環境から接触強度情報（例えば、圧力情報又は圧力情報の代用情報）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えば、タッチ感知ディスプレイシステム２１２）に配置されているか、又はそれに近接している。いくつか実施形態では、少なくとも１つの接触強度センサは、デバイス２００の前面に位置するタッチスクリーンディスプレイ２１２の反対側である、デバイス２００の背面に位置する。
デバイス２００はまた、１つ以上の近接センサ２６６を含む。図２Ａは、周辺機器インターフェース２１８に結合された近接センサ２６６を示す。代替的に、近接センサ２６６は、Ｉ／Ｏサブシステム２０６内の入力コントローラ２６０に結合される。近接センサ２６６は、米国特許出願第１１／２４１，８３９号の「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、１１／２４０，７８８号の「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、１１／６２０，７０２号の「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、１１／５８６，８６２号の「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び１１／６３８，２５１号の「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」に記載されるように動作し、これらの出願の全ては、全体が参照により本明細書に組み込まれる。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに設置されたときに（例えば、ユーザが電話をしているときに）、タッチスクリーン２１２をオフにして無効にする。
デバイス２００は、１つ以上の触知出力生成器２６７も任意選択的に含む。図２Ａは、Ｉ／Ｏサブシステム２０６内の触覚フィードバックコントローラ２６１に結合された触知出力生成器を示す。触知出力生成器２６７は、任意選択的に、スピーカ又は他のオーディオコンポーネントなどの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、又は他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などの、エネルギーを直線状の動きに変換する電気機械デバイスを含む。接触強度センサ２６５は、触覚フィードバックモジュール２３３から触知フィードバック生成命令を受信し、デバイス２００のユーザによって感知することが可能な触知出力をデバイス２００上で生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム２１２）に配置され、又はそれに近接しており、タッチ感知面を垂直方向（例えば、デバイス２００の表面の内／外）に、又は横方向（例えば、デバイス２００の表面と同一の平面内の前後）に移動させることによって触知出力を任意選択的に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス２００の前面に位置するタッチスクリーンディスプレイ２１２の反対側である、デバイス２００の背面上に位置する。
デバイス２００はまた、１つ以上の加速度計２６８も含む。図２Ａは、周辺機器インターフェース２１８に結合された加速度計２６８を示す。代替的に、加速度計２６８は、Ｉ／Ｏサブシステム２０６内の入力コントローラ２６０に結合される。加速度計２６８は、例えば、米国特許公開第２００５０１９００５９号の「ポータブ電子デバイスのための加速度ベースの窃盗検出」、及び、米国特許公開第２００６００１７６９２号の「加速度計に基づいてポータブルデバイスを操作する方法及び装置」に記載のように動作し、これらの両方は、全体が参照により本明細書に組み込まれる。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、ポートレートビュー又はランドスケープビューでタッチスクリーン上に表示される。デバイス２００は、加速度計２６８に加えて、デバイス２００の場所及び向き（例えば、ポートレート又はランドスケープ）に関する情報を取得する磁気計（図示せず）及びＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機（図示せず）を任意選択的に含む。
いくつかの実施形態では、メモリ２０２に格納されたソフトウェアコンポーネントは、オペレーティングシステム２２６、通信モジュール（又は命令のセット）２２８、接触／動きモジュール（又は命令のセット）２３０、グラフィックモジュール（又は命令のセット）２３２、テキスト入力モジュール（又は命令のセット）２３４、全地球測位システム（ＧＰＳ）モジュール（又は命令のセット）２３５、デジタルアシスタントクライアントモジュール２２９、及びアプリケーション（又は命令のセット）２３６を含む。更に、メモリ２０２は、ユーザデータ及びモデル２３１などのデータ及びモデルを格納する。また、いくつかの実施形態では、メモリ２０２（図２Ａ）又は４７０（図４）は、図２Ａ及び４に示すように、デバイス／グローバル内部状態２５７を格納する。デバイス／グローバル内部状態２５７は、もしあるなら、どのアプリケーションが現在アクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー又は他の情報がタッチスクリーンディスプレイ２１２の様々な領域を占領しているかを示すディスプレイの状態、デバイスの様々なセンサ及び入力コントロールデバイス２１６から取得される情報を含むセンサの状態、並びにデバイスの位置及び／又は姿勢に関する位置情報、のうちの任意の１つ以上を含む。
オペレーティングシステム２２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ｉＯＳ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓなどの組み込みオペレーティングシステム）は、汎用的なシステムタスク（例えば、メモリ管理、記憶装置制御、電力管理など）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を促進する。
通信モジュール２２８は、１つ以上の外部ポート２２４を通じて他のデバイスとの通信を促進し、ＲＦ回路２０８及び／又は外部ポート２２４によって受信されたデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート２２４（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥなど）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮなど）を通じて間接的に、他のデバイスに結合するように構成される。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（アップル社の登録商標）デバイス上で使用される３０ピンコネクタと同一又は類似及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール２３０は、（ディスプレイコントローラ２５６と連携して）タッチスクリーン２１２との接触、及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を任意選択的に検出する。接触／動きモジュール２３０は、接触が生じたかを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したかを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）など、接触の検出に関する様々な動作を実行する様々なソフトウェア構成要素を含む。接触／動きモジュール２３０は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、接触点の速さ（大きさ）、速度（大きさ及び方向）及び／又は加速度（大きさ及び／又は方向における変化）を判定することを任意選択的に含む。これらの動作は、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に任意選択的に適用される。いくつかの実施形態では、接触／動きモジュール２３０及びディスプレイコントローラ２５６は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触／動きモジュール２３０は、１つ以上の強度閾値のセットを使用して、ユーザによって操作が実行されたか否か（例えば、ユーザがアイコンを「クリック」したか否か）を判定する。いくつかの実施形態では、強度閾値の少なくともサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティベーション閾値によって判定されず、デバイス２００の物理ハードウェアを変更することなく調整できる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウスの「クリック」の閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく、広い範囲の既定閾値のいずれかに設定することができる。更に、いくつかの実装形態では、デバイスのユーザには、（例えば、個々の強度閾値を調整することによって、及び／又はシステムレベルクリック「強度」パラメータで一度に複数の強度閾値を調整することによって）強度閾値のセットのうちの任意の１つ以上を調整するソフトウェア設定が提供される。
接触／動きモジュール２３０は、ユーザによって入力されたジェスチャを任意選択的に検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば、異なる動き、タイミング、及び／又は検出された接点の強度）を有する。したがって、ジェスチャは、特定の接触パターンを検出することによって任意選択的に検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、続いて指ダウンイベント（例えば、アイコンの位置）と同じ位置（又は実質的に同じ位置）で指アップ（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上の指スワイプジェスチャを検出することは、指ダウンイベントを検出し、続いて１つ以上の指ドラッグイベントを検出し、続いて指アップ（リフトオフ）イベントを検出することを含む。
グラフィックモジュール２３２は、表示されるグラフィックスの視覚的影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性）を変更するコンポーネントを含む、タッチスクリーン２１２又は他のディスプレイ上にグラフィックスをレンダリング及び表示する様々な既知のソフトウェアコンポーネントを含む。本明細書で用いる「グラフィックス」という用語は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインターフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどを含むが、これに限定されない、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール２３２は、使用されるグラフィックスを表すデータを格納する。各グラフィックは、任意選択的に、対応するコードに割り当てられる。グラフィックモジュール２３２は、必要に応じて座標データ及び他のグラフィック特性データと共に表示されるグラフィックスを指定する１つ以上のコードをアプリケーションなどから受信し、スクリーン画像データを生成してディスプレイコントローラ２５６に出力する。
触覚フィードバックモジュール２３３は、触知出力生成器２６７によって使用される命令を生成して、デバイス２００とのユーザ対話に応じてデバイス２００上の１つ以上の場所で触知出力を生成する様々なソフトウェアコンポーネントを含む。
グラフィックモジュール２３２のコンポーネントであるテキスト入力モジュール２３４は、いくつかの例では、様々なアプリケーション（例えば、連絡先２３７、電子メール２４０、ＩＭ２４１、ブラウザ２４７、及びテキスト入力を必要とする他の任意のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール２３５は、デバイスの場所を判定し、この情報を様々なアプリケーションで使用するために（例えば、位置ベースダイヤルで使用するために電話２３８に；写真／ビデオメタデータとしてカメラ２４３に；及び天気ウィジェット、ローカルイエローページウィジェット、及び地図／ナビゲーションウィジェットなどの位置ベースサービスを提供するアプリケーションに）提供する。
デジタルアシスタントクライアントモジュール２２９は、デジタルアシスタントのクライアント側機能性を提供するための様々なクライアント側デジタルアシスタント命令を含む。例えば、デジタルアシスタントクライアントモジュール２２９は、ポータブル多機能デバイス２００の様々なユーザインターフェース（例えば、マイクロフォン２１３、加速度計２６８、タッチ感知ディスプレイシステム２１２、光センサ２２９、他の入力コントロールデバイス２１６など）を介して音声入力（例えば、音声入力）、テキスト入力、タッチ入力、及び／又はジェスチャ入力を受け入れることができる。デジタルアシスタントクライアントモジュール２２９はまた、ポータブル多機能デバイス２００の様々な出力インターフェース（例えば、スピーカ２１１、タッチ感知ディスプレイシステム２１２、触知出力生成器２６７など）を介して、オーディオ（例えば、音声出力）、視覚、及び／又は触知形状の出力などを提供することができる。例えば、出力は、音声、サウンド、アラート、テキストメッセージ、メニュー、グラフィックス、ビデオ、アニメーション、振動、及び／又は上記の２つ以上の組み合わせとして提供される。動作中、デジタルアシスタントクライアントモジュール２２９は、ＲＦ回路２０８を用いてＤＡサーバ１０６と通信する。
ユーザデータ及びモデル２３１は、ユーザに関連付けられた様々なデータ（例えば、ユーザ固有語彙データ、ユーザ嗜好データ、ユーザ指定名称発音、ユーザの電子アドレス帳からのデータ、ＴＯＤＯリスト、ショッピングリストなど）を含み、デジタルアシスタントのクライアント側機能性を提供する。更に、ユーザデータ及びモデル２３１は、ユーザ入力を処理し、ユーザの意図を判定するための様々なモデル（例えば、スピーチ認識モデル、統計的言語モデル、自然言語処理モデル、オントロジ、タスクフローモデル、サービスモデルなど）を含む。
いくつかの例では、デジタルアシスタントクライアントモジュール２２９は、ポータブル多機能デバイス２００の様々なセンサ、サブシステム、及び周辺装置を利用して、ポータブル多機能デバイス２００の周囲環境から追加情報を収集し、ユーザに関連付けられたコンテキスト、現在のユーザ対話、及び／又は現在のユーザ入力を確立する。いくつかの例では、デジタルアシスタントクライアントモジュール２２９は、ユーザの意図を推定するのを助けるために、コンテキスト情報又はそのサブセットにＤＡサーバ１０６へのユーザ入力を提供する。いくつかの例では、デジタルアシスタントは、コンテキスト情報も使用して、ユーザへの出力の準備及び配送の仕方を判定する。コンテキスト情報は、コンテキストデータとして参照される。
いくつかの例では、ユーザ入力に伴うコンテキスト情報は、センサ情報、例えば、照明、周囲ノイズ、周囲温度、周辺環境の画像又はビデオなどを含む。いくつかの例では、コンテキスト情報は、デバイスの物理的状態、例えばデバイスの向き、デバイスの場所、デバイスの温度、電力レベル、速度、加速度、動きパターン、セルラー信号なども含み得る。いくつかの例では、実行中のプロセス、インストールされたプログラム、過去及び現在のネットワーク行動、バックグラウンドサービス、エラーログ、リソース使用などのＤＡサーバ１０６及びポータブル多機能デバイス２００のソフトウェア状態に関する情報は、ユーザ入力に関連するコンテキスト情報としてＤＡサーバ１０６に提供される。
いくつかの例では、デジタルアシスタントクライアントモジュール２２９は、ＤＡサーバ１０６からの要求に応じてポータブル多機能デバイス２００に格納された情報（例えば、ユーザデータ２３１）を選択的に提供する。いくつかの例では、デジタルアシスタントクライアントモジュール２２９は、ＤＡサーバ１０６による要求に応じて自然言語ダイアログ又は他のユーザインターフェースを介してユーザから追加入力も引き出す。デジタルアシスタントクライアントモジュール２２９は、追加入力をＤＡサーバ１０６に渡して、ＤＡサーバ１０６がユーザ要求で表現されたユーザの意図を推論及び／又は実行するのを助ける。
デジタルアシスタントの更なる詳細な説明は、図７Ａ〜Ｃを参照して以下に説明される。デジタルアシスタントクライアントモジュール２２９は、以下に説明するデジタルアシスタントモジュール７２６の任意の数のサブモジュールを含み得ることを認識すべきである。
アプリケーション２３６は、以下のモジュール（又は命令のセット）、又はそのサブセット又はスーパーセットを含む。
●連絡先モジュール２３７（アドレス帳又は連絡先リストと呼ばれる場合もある）、
●電話モジュール２３８、
●テレビ会議モジュール２３９、
●電子メールクライアントモジュール２４０、
●インスタントメッセージ（ＩＭ）モジュール２４１、
●トレーニングサポートモジュール２４２、
●静止及び／若しくは動画用カメラモジュール２４３、
●画像管理モジュール２４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール２４７、
●カレンダーモジュール２４８、
●いくつかの例では、ウィジェットモジュール２４９は、天気ウィジェット２４９−１、株式ウィジェット２４９−２、計算機ウィジェット２４９−３、目覚まし時計ウィジェット２４９−４、辞書ウィジェット２４９−５、及びユーザ作成ウィジェット２４９−６と同様にユーザによって得られた他のウィジェットのうちの任意の１つ以上を含む。
●ユーザ作成ウィジェット２４９−６を作成するウィジェットクリエータモジュール２５０；
●検索モジュール２５１；
●ビデオプレーヤモジュールと音楽プレーヤモジュールとを融合させたビデオ及び音楽プレーヤモジュール２５２；
●メモモジュール２５３；
●地図モジュール２５４；並びに／又は
●オンラインビデオモジュール２５５
●連絡先モジュール２３７（アドレス帳又は連絡先リストと呼ばれる場合もある）、
●電話モジュール２３８、
●テレビ会議モジュール２３９、
●電子メールクライアントモジュール２４０、
●インスタントメッセージ（ＩＭ）モジュール２４１、
●トレーニングサポートモジュール２４２、
●静止及び／若しくは動画用カメラモジュール２４３、
●画像管理モジュール２４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール２４７、
●カレンダーモジュール２４８、
●いくつかの例では、ウィジェットモジュール２４９は、天気ウィジェット２４９−１、株式ウィジェット２４９−２、計算機ウィジェット２４９−３、目覚まし時計ウィジェット２４９−４、辞書ウィジェット２４９−５、及びユーザ作成ウィジェット２４９−６と同様にユーザによって得られた他のウィジェットのうちの任意の１つ以上を含む。
●ユーザ作成ウィジェット２４９−６を作成するウィジェットクリエータモジュール２５０；
●検索モジュール２５１；
●ビデオプレーヤモジュールと音楽プレーヤモジュールとを融合させたビデオ及び音楽プレーヤモジュール２５２；
●メモモジュール２５３；
●地図モジュール２５４；並びに／又は
●オンラインビデオモジュール２５５
メモリ２０２に格納される他のアプリケーション２３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と併せて、連絡先モジュール２３７は、（例えば、メモリ２０２又はメモリ４７０内の連絡先モジュール２３７のアプリケーション内部状態２９２に格納されている）アドレス帳又は連絡先リストを管理するために使用され、アドレス帳に名前を追加すること、アドレス帳から名前を削除すること、電話番号、電子メールアドレス、物理アドレス又はその他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類及びソートすること、電話２３８、ビデオ会議モジュール２３９、電子メール２４０、又はＩＭ２４１による通信を開始及び／又は容易にするための電話番号又は電子メールアドレスを提供すること、などを含む。
ＲＦ回路２０８、オーディオ回路２１０、スピーカ２１１、マイクロフォン２１３、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と併せて、電話モジュール２３８は、電話番号に対応する文字列を入力し、連絡先モジュール２３７内の１つ以上の電話番号にアクセスし、入力された電話番号を修正し、それぞれの電話番号をダイヤルし、会話を行い、会話が完了したら切断又は電話を切るために使用される。このように、無線通信は、複数の通信規格、プロトコル、及び技術のいずれかを用いる。
ＲＦ回路２０８、オーディオ回路２１０、スピーカ２１１、マイクロフォン２１３、タッチスクリーン２１２、ディスプレイコントローラ２５６、光センサ２６４、光センサコントローラ２５８、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、連絡先モジュール２３７、及び電話モジュール２３８と併せて、ビデオ会議モジュール２３９は、ユーザの指示に従ってユーザと１人以上の他の参加者との間のビデオ会議を開始、実施及び終了するための実行可能命令を含む。
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と併せて、電子メールクライアントモジュール２４０は、ユーザの指示に応じて電子メールを作成し、送信し、受信し、管理するための実行可能命令を含む。画像管理モジュール２４４と併せて、電子メールクライアントモジュール２４０は、カメラモジュール２４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と併せて、インスタントメッセージングモジュール２４１は、インスタントメッセージに対応する一連の文字を入力し、以前に入力された文字を変更し、（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）又はマルチメディアメッセージサービス（ＭＭＳ）プロトコル、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して）それぞれのインスタントメッセージを送信し、インスタントメッセージを受信し、受信したインスタントメッセージを検視するための実行可能命令を含む。いくつかの実施形態では、送信及び／又は受信されたインスタントメッセージは、グラフィックス、写真、オーディオファイル、ビデオファイル並びに／又は、ＭＭＳ及び／若しくは強化されたメッセージングサービス（ＥＭＳ）でサポートされた他のアタッチメントを含む。本明細書で使用される「インスタントメッセージング」は、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送られるメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを用いて送信されるメッセージ）の両方を参照する。
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、ＧＰＳモジュール２３５、地図モジュール２５４、及び音楽プレーヤモジュールと併せて、トレーニングサポートモジュール２４２は、（例えば、時間、距離、及び／又はカロリー燃焼の目標と共に）トレーニングを作成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、並びにトレーニングデータを表示し、記憶し、送信する実行可能命令を含む。
タッチスクリーン２１２、ディスプレイコントローラ２５６、光センサ２６４、光センサコントローラ２５８、接触／動きモジュール２３０、グラフィックモジュール２３２、及び画像管理モジュール２４４と併せて、カメラモジュール２４３は、静止画像又はビデオ画像（ビデオストリームを含む）をキャプチャしてメモリ２０２に格納し、静止画像又はビデオ画像の特性を修正し、又はメモリ２０２から静止画像又はビデオ画像を削除する実行可能命令を含む。
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びカメラモジュール２４３と併せて、画像管理モジュール２４４は、静止画像及び／又はビデオ画像を整理し、修正し（例えば、編集）、さもなければ処理し、ラベル付けし、削除し、提示し（例えば、デジタルスライドショー又はアルバムで）、及び保存する実行可能命令を含む。
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と併せて、ブラウザモジュール２４７は、ウェブページ又はその一部、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含むユーザの命令に従ってインターネットを閲覧するための実行可能命令を含む。
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、電子メールクライアントモジュール２４０、及びブラウザモジュール２４７と併せて、カレンダーモジュール２４８は、ユーザの命令に従ってカレンダー及びカレンダーに関連するデータ（例えば、カレンダーエントリ、ＴＯＤＯリストなど）を作成、表示、修正、及び格納するための実行可能命令を含む。
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びブラウザモジュール２４７と併せて、ウィジェットモジュール２４９は、ユーザによってダウンロードされ使用される（例えば、天気ウィジェット２４９−１、株式ウィジェット２４９−２、計算機ウィジェット２４９−３、目覚まし時計ウィジェット２４９−４、及び辞書ウィジェット２４９−５）、又はユーザによって作成される（例えば、ユーザ作成ウィジェット２４９−６）ミニアプリケーションである。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（カスケーディングスタイルシート）ファイル、及びジャバスクリプトファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（拡張マークアップ言語）ファイル及びジャバスクリプトファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びブラウザモジュール２４７と併せて、ウィジェット作成モジュール２５０は、ウィジェットを作成するためにユーザによって使用される（例えば、ウェブページのユーザ指定部分をウィジェットに変える）。
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と併せて、検索モジュール２５１は、ユーザの命令に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定検索ターム）に一致するテキスト、音楽、サウンド、画像、ビデオ、及び／又は他のファイルをメモリ２０２内で検索するための実行可能命令を含む。
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、オーディオ回路２１０、スピーカ２１１、ＲＦ回路２０８、及びブラウザモジュール２４７と併せて、ビデオ及び音楽プレーヤモジュール２５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイルフォーマットに格納された記録音楽及び他のサウンドファイルをユーザがダウンロード及び再生することを可能にする実行可能命令と、（例えば、タッチスクリーン２１２上に、又は外部ポート２２４を介して外部の接続されたディスプレイ上に）ビデオを表示、提示、又はさもなければ再生する実行可能命令と、を含む。いくつかの実施形態では、デバイス２００は、ｉＰｏｄ（アップル社の登録商標）などのＭＰ３プレーヤの機能を任意選択的に含む。
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と併せて、メモモジュール２５３は、ユーザの命令に従ってメモ、ＴＯＤＯリストなどを作成し管理するための実行可能命令を含む。
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、ＧＰＳモジュール２３５、及びブラウザモジュール２４７と併せて、地図モジュール２５４は、ユーザの命令に従って地図及び地図に関連するデータ（例えば、運転指示、店舗に関するデータ、特定の場所又はその近くの他の場所、及び他の場所ベースのデータ）を受信、表示、修正、及び格納するために使用される。
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、オーディオ回路２１０、スピーカ２１１、ＲＦ回路２０８、テキスト入力モジュール２３４、電子メールクライアントモジュール２４０、及びブラウザモジュール２４７と併せて、オンラインビデオモジュール２５５は、ユーザが特定のオンラインビデオへのリンク付きの電子メールにアクセスし、ブラウジングし、（例えば、ストリーミング及び／又はダウンロードによって）受信し、（例えば、タッチスクリーン上又は外部ポート２２４を介して外部の接続されたディスプレイ上に）再生し、送信し、及びさもなければＨ．２６４などの１つ以上のファイル形式でオンラインビデオを管理することを可能にする命令を含む。いくつかの実施形態では、インスタントメッセージングモジュール２４１は、電子メールクライアントモジュール２４０よりも、特定のオンラインビデオにリンクを送るために使用される。オンラインビデオアプリケーションの追加の説明は、２００７年６月２０日に出願された米国仮特許出願第６０／９３６，５６２号の「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ， Ｍｅｔｈｏｄ， ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び、２００７年１２月３１日に出願された米国特許出願第１１／９６８，０６７号の「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ， Ｍｅｔｈｏｄ， ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」に見出すことができ、これらの内容は、全体が参照により本明細書に組み込まれる。
上記で特定されたモジュール及びアプリケーションのそれぞれは、上記の１つ以上の機能及び本出願に記載された方法（例えば、本明細書に記載のコンピュータにより実行される方法及び他の情報処理方法）を実行する実行可能命令のセットに対応する。これらのモジュール（例えば、命令のセット）は、個別のソフトウェアプログラム、手順、又はモジュールとして実装する必要がないので、様々な実施形態でこれらのモジュールの様々なサブセットを組み合わせる又はさもなければ再構成することができる。例えば、ビデオプレーヤモジュールは、単一モジュール（例えば、ビデオ及び音楽プレーヤモジュール２５２、図２Ａ）に音楽プレーヤモジュールと組み合わせることができる。いくつかの実施形態では、メモリ２０２は、上記で特定されたモジュール及びデータ構造体のサブセットを記憶する。更に、メモリ２０２は、上述しない追加モジュール及びデータ構造体を記憶する。
いくつかの実施形態では、デバイス２００は、デバイス上の所定の機能のセットの操作が、タッチスクリーン及び／又はタッチパッドを介して排他的に行われるデバイスである。デバイス２００の操作のためのプライマリ入力コントロールデバイスとして、タッチスクリーン及び／又はタッチパッドを用いることにより、デバイス２００上の物理的な入力コントロールデバイス（押しボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを介して排他的に実行される所定の機能のセットは、ユーザインターフェース間のナビゲーションを任意選択的に含む。いくつかの実施形態では、タッチパッドは、ユーザがタッチした場合、デバイス２００に表示される任意のユーザインターフェースからメイン、ホーム、又はルートメニューにデバイス２００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを用いて実施される。いくつかの他の実施形態では、メニューボタンは、タッチパッドの代わりに物理的プッシュボタン又は他の物理的入力コントロールデバイスである。
図２Ｂは、いくつかの実施形態に従ってイベント処理をする例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ２０２（図２Ａ）又は４７０（図４）は、（例えば、オペレーティングシステム２２６内の）イベントソータ２７０及び対応するアプリケーション２３６−１（例えば、上述したアプリケーション２３７〜２５１、２５５、４８０〜４９０のいずれか）を含む。
イベントソータ２７０は、イベント情報を受信し、イベント情報を配信するアプリケーション２３６−１及びアプリケーション２３６−１のアプリケーションビュー２９１を判定する。イベントソータ２７０は、イベントモニタ２７１及びイベントディスパッチャモジュール２７４を含む。いくつかの実施形態では、アプリケーション２３６−１は、アプリケーションがアクティブ又は実行中の時、タッチ感知ディスプレイ２１２上に表示される現在のアプリケーションビューを示す、アプリケーション内部状態２９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態２５７は、いずれのアプリケーションが現在アクティブであるかを判定するために、イベントソータ２７０によって使用され、アプリケーション内部状態２９２は、イベント情報の配信先となるアプリケーションビュー２９１を判定するために、イベントソータ２７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態２９２は、アプリケーション２３６−１が実行を再開したときに使用される再開情報、情報が表示されているか又はアプリケーション２３６−１による表示の準備ができていることを示すユーザインターフェース状態情報、ユーザがアプリケーション２３６−１の以前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって取られた以前のアクションのリドゥ／アンドゥキューのうちの任意の１つ以上などの追加情報を含む。
イベントモニタ２７１は、周辺機器インターフェース２１８からイベント情報を受信する。イベント情報は、サブイベントに関する情報（例えば、マルチタッチジェスチャの一部としてのタッチ感知ディスプレイ２１２上のユーザタッチ）を含む。周辺機器インターフェース２１８は、Ｉ／Ｏサブシステム２０６、又は、近接センサ２６６、加速度計２６８、及び／又は（オーディオ回路２１０を介して）マイクロフォン２１３などのセンサから受信した情報を送信する。周辺機器インターフェース２１８がＩ／Ｏサブシステム２０６から受信した情報は、タッチ感知ディスプレイ２１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ２７１は、所定の間隔で周辺機器インターフェース２１８に要求を送信する。これに応じて、周辺機器インターフェース２１８は、イベント情報を送信する。他の実施形態では、周辺機器インターフェース２１８は、重要なイベント（例えば、所定のノイズ閾値を上回る及び／又は所定の期間を超える入力を受信する）がある場合にのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ２７０はまた、ヒットビュー判定モジュール２７２及び／又はアクティブイベント認識部判定モジュール２７３を含む。
ヒットビュー判定モジュール２７２は、タッチ感知ディスプレイ２１２が複数のビューを表示する場合に、サブイベントが１つ以上のビュー内で発生した場所を判定するためのソフトウェア手順を提供する。ビューは、制御部及びユーザがディスプレイ上で見ることができる他の要素で構成されている。
アプリケーションに関連付けられたユーザインターフェースの別の態様は、ビューのセットであり、本明細書では、情報が表示され、タッチベースのジェスチャが発生するアプリケーションビュー又はユーザインターフェースウィンドウと呼ばれる場合がある。タッチが検出された（対応するアプリケーションの）アプリケーションビューは、アプリケーションのプログラム又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出された最低レベルのビューはヒットビューと呼ばれ、正しい入力として認識されるイベントのセットは、タッチベースのジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて判定される。
ヒットビュー判定モジュール２７２は、タッチベースのジェスチャのサブイベントに関する情報を受信する。アプリケーションが階層内に編成された複数のビューを有する場合、ヒットビュー判定モジュール２７２は、ヒットビューを、サブイベントを処理すべき階層内の最も低いビューとして識別する。ほとんどの状況において、ヒットビューは、開始サブイベント（例えば、イベント又は潜在的イベントを形成するサブイベントのシーケンスにおける最初のサブイベント）が発生する最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール２７２によって識別されると、ヒットビューは、典型的には、ヒットビューとして識別された同じタッチ又は入力ソースに関連する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール２７３は、ビュー階層内のどのビューがサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール２７３は、ヒットしたビューだけがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール２７３は、サブイベントの物理的位置を含む全てのビューがアクティブに関与するビューであると判定し、したがって、全てのアクティブに関与するビューがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューと関連付けられたエリアに完全に制限される場合でさえ、階層における上位のビューは、アクティブに関与しているビューのままである。
イベントディスパッチャモジュール２７４は、イベント情報をイベント認識部（例えば、イベント認識部２８０）に発送する。アクティブイベント認識部判定モジュール２７３を含む実施形態では、イベントディスパッチャモジュール２７４は、アクティブイベント認識部判定モジュール２７３によって判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール２７４は、それぞれのイベント受信部２８２により取得されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム２２６は、イベントソータ２７０を含む。代わりに、アプリケーション２３６−１は、イベントソータ２７０を含む。更に他の実施形態では、イベントソータ２７０は、独立型のモジュール、又は接触／動きモジュール２３０などの、メモリ２０２に記憶された別のモジュールの一部である。
いくつかの実施形態では、アプリケーション２３６−１は、それぞれがアプリケーションのユーザインターフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベントハンドラ２９０及び１つ以上のアプリケーションビュー２９１を含む。アプリケーション２３６−１のそれぞれのアプリケーションビュー２９１は、１つ以上のイベント認識部２８０を含む。典型的には、それぞれのアプリケーションビュー２９１は、複数のイベント認識部２８０を含む。他の実施形態では、イベント認識部２８０のうちの１つ以上は、ユーザインターフェースキット（図示せず）、又はアプリケーション２３６−１が方法及び他の性質をそれから継承する上位レベルのオブジェクトなどの個別のモジュールの一部である。いくつかの実施形態では、それぞれのイベントハンドラ２９０は、データアップデーター２７６、オブジェクトアップデーター２７７、ＧＵＩアップデーター２７８、及び／又はイベントソータ２７０から受信したイベントデータ２７９のうちの任意の１つ以上を含む。イベントハンドラ２９０は、アプリケーション内部状態２９２を更新するために、データアップデーター２７６、オブジェクトアップデーター２７７、又はＧＵＩアップデーター２７８を利用する又は呼び出す。代替的に、アプリケーションビュー２９１のうちの任意の１つ以上は、１つ以上の対応するイベントハンドラ２９０を含む。また、いくつかの実施形態では、データアップデーター２７６、オブジェクトアップデーター２７７、及びＧＵＩアップデーター２７８のうちの任意の１つ以上は、対応するアプリケーションビュー２９１を含む。
対応するイベント認識部２８０は、イベントソータ２７０からイベント情報（例えば、イベントデータ２７９）を受信し、イベント情報からイベントを特定する。イベント認識部２８０は、イベント受信部２８２及びイベント比較部２８４を含む。いくつかの実施形態では、イベント認識部２８０は、メタデータ２８３とイベント配信命令２８８（サブイベント配信命令を含む）との少なくともサブセットを含む。
イベント受信部２８２は、イベントソータ２７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチ移動の情報を含む。サブイベントに依存して、イベント情報は、サブイベントの位置などの追加情報も含む。サブイベントがタッチの動きに関連する場合、イベント情報は、サブイベントの速度及び方向も含む。いくつかの実施形態では、イベントは、デバイスの一方の向きから別の向き（例えば、ポートレート方向からランドスケープ方向へ、又はその逆）への回転を含み、イベント情報は、デバイスの現在の向き（デバイス姿勢とも呼ばれる）に関する対応する情報を含む。
イベント比較部２８４は、イベント情報を所定のイベント又はサブイベント定義と比較し、比較に基づいて、イベント又はサブイベントを判定し、又はイベント又はサブイベントの状態を判定又は更新する。いくつかの実施形態では、イベント比較部２８４は、イベント定義２８６を含む。イベント定義２８６は、イベントの定義（例えば、所定のサブイベントのシーケンス）、例えば、イベント１（２８７−１）、イベント２（２８７−２）などを含む。いくつかの実施形態では、イベント（２８７）内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチ移動、タッチ解除、及び多重タッチを含む。１つの例では、イベント１（２８７−１）の定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階での表示されたオブジェクト上の第１のタッチ（タッチ開始）と、所定の段階での第１のリフトオフ（タッチ終了）と、所定の段階での表示されたオブジェクト上の第２のタッチ（タッチ開始）と、所定の段階での第２のリフトオフ（タッチ終了）とを含む。別の例では、イベント２（２８７−２）の定義は、表示されたオブジェクトに対するドラッグである。ドラッグは、例えば、所定の段階での表示されたオブジェクト上のタッチ（又は接触）、タッチ感知ディスプレイ２１２を横切るタッチの動き、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントは、１つ以上の関連するイベントハンドラ２９０に対する情報を含む。
いくつかの実施形態では、イベント定義２８７は、それぞれのユーザインターフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部２８４は、どのユーザインターフェースオブジェクトがサブイベントと関連付けられるかを判定するためのヒットテストを実行する。例えば、３つのユーザインターフェースオブジェクトがタッチ感知ディスプレイ２１２に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ２１２上でタッチが検出されると、イベント比較部２８４は、３つのユーザインターフェースオブジェクトのうちのどれがタッチ（サブイベント）と関連付けられているかを判定するためのヒットテストを実行する。表示された各々のオブジェクトがそれぞれのイベントハンドラ２９０と関連付けられている場合、イベント比較部は、ヒットテストの結果を使用して、どのイベントハンドラ２９０をアクティブ化するべきかを判定する。例えば、イベント比較部２８４は、サブイベント及びヒットテストをトリガするオブジェクトと関連付けられたイベントハンドラを選択する。
いくつかの実施形態では、それぞれのイベント（２８７）についての定義はまた、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまでイベント情報の配信を遅延させる遅延アクションを含む。
それぞれのイベント認識部２８０が、一連のサブイベントがイベント定義２８６におけるイベントのいずれとも一致しないと判定するとき、それぞれのイベント認識部２８０は、イベント不可能、イベント失敗、又はイベント終了状態に入り、その後は、タッチベースのジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューに対してアクティブのままである他のイベント認識部がある場合、そのイベント認識部は、進行中のタッチベースのジェスチャのサブイベントを追跡及び処理することを続ける。
いくつかの実施形態では、それぞれのイベント認識部２８０は、イベント配信システムがどのようにサブイベント配信を実行するべきかをアクティブに関与しているイベント認識部に示す構成変更可能なプロパティ、フラグ、及び／又はリストを有するメタデータ２８３を含む。いくつかの実施形態では、メタデータ２８３は、イベント認識部が相互にどのように対話するか又は対話することが可能とされているかについて示す構成変更可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ２８３は、サブイベントがビュー階層又はプログラム階層における様々なレベルに配信されるかを示す構成変更可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部２８０は、イベントのうちの任意の１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベントハンドラ２９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部２８０は、イベントと関連付けられたイベント情報をイベントハンドラ２９０に配信する。イベントハンドラ２９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信（及び送信を延期する）することとは別個である。いくつかの実施形態では、イベント認識部２８０は、認識されたイベントと関連付けられたフラグをスローし、フラグと関連付けられたイベントハンドラ２９０は、フラグをキャッチし、所定の処理を実行する。
いくつかの実施形態では、イベント配信命令２８８は、イベントハンドラをアクティブ化することなくサブイベントに関するイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベントハンドラ又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベントハンドラは、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データアップデーター２７６は、アプリケーション２３６−１で使用されるデータを作成及び更新する。例えば、データアップデーター２７６は、連絡先モジュール２３７で使用される電話番号を更新し、又はビデオ再生モジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクトアップデーター２７７は、アプリケーション２３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデーター２７７は、新たなユーザインターフェースオブジェクトを作成し、又はユーザインターフェースオブジェクトの位置を更新する。ＧＵＩアップデーター２７８は、ＧＵＩを更新する。例えば、ＧＵＩアップデーター２７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール２３２に送る。
いくつかの実施形態では、イベントハンドラ２９０は、データアップデーター２７６、オブジェクトアップデーター２７７、及びＧＵＩアップデーター２７８を含み、又はそれらへのアクセスを有する。いくつかの実施形態では、データアップデーター２７６、オブジェクトアップデーター２７７、及びＧＵＩアップデーター２７８は、それぞれのアプリケーション２３６−１又はアプリケーションビュー２９１の単一のモジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の議論はまた、入力デバイスで多機能デバイス２００を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、単一若しくは複数のキーボードの押圧若しくは保持に任意選択的に連携されたマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、及び／又はそれらの任意の組み合わせは、任意選択的に、認識されることになるイベントを定義するサブイベントに対応する入力として利用される。
図３は、いくつかの実施形態に従ったタッチスクリーン２１２を有するポータブル多機能デバイス２００を示している。タッチスクリーンは、ユーザインターフェース（ＵＩ）３００内に１つ以上のグラフィックスを任意選択的に表示する。この実施形態では、以下に説明する他のものと同様に、ユーザは、例えば、１本以上の指３０２（図では縮尺通りに描かれていない）又は１つ以上のスタイラス３０３（図では縮尺通りに描かれていない）を用いて、グラフィックス上でジェスチャを行うことによって、グラフィックスのうちの任意の１つ以上を選択することが可能になる。いくつかの実施形態では、ユーザが１つ以上のグラフィックスとの接触を解除すると、１つ以上のグラフィックスの選択が生じる。いくつかの実施形態では、ジェスチャは、デバイス２００と接触した指の１つ以上のタップ、１つ以上のスワイプ（左から右、右から左、上向き及び／又は下向き）、及び／又はローリング（右から左、左から右、上向き及び／又は下向き）を任意選択的に含む。いくつかの実装形態又は状況において、グラフィックとの不注意による接触はグラフィックを選択しない。例えば、アプリケーションアイコンをスイープするスワイプジェスチャは、選択に対応するジェスチャがタップであれば、対応するアプリケーションを任意選択的に選択しない。
デバイス２００はまた、「ホーム」又はメニューボタン３０４などの１つ以上の物理ボタンを含む。上記で説明されているように、メニューボタン３０４は、デバイス２００上で実行されるアプリケーションのセット内の任意のアプリケーション２３６にナビゲーションするために用いられる。代替的に、いくつかの実施形態では、メニューボタンは、タッチスクリーン２１２に表示されるＧＵＩ内のソフトキーとして実施される。
一実施形態では、デバイス２００は、タッチスクリーン２１２、メニューボタン３０４、デバイスの電源をオン／オフし、デバイスをロックするためのプッシュボタン３０６、音量調節ボタン３０８、加入者識別モジュール（ＳＩＭ）カードスロット３１０、ヘッドセットジャック３１２、及びドッキング／充電用外部ポート２２４を含む。プッシュボタン３０６は、ボタンを押し下げ、所定の時間インターバルの間にボタンを押し下げた状態で保持することによってデバイスの電力をオン／オフし、ボタンを押し下げ所定の時間インターバルが経過する前にボタンを解放することによってデバイスをロックし、及び／又はデバイスのロックを解除し若しくはロック解除処理を開始するために任意選択的に使用される。代替的な実施形態では、デバイス２００はまた、マイクロフォン２１３を通じていくつかの機能をアクティブ化又は非アクティブ化するための口頭入力を受け付ける。デバイス２００はまた、タッチスクリーン２１２上の接触の強度を検出する１つ以上の接触強度センサ２６５、及び／又はデバイス２００のユーザについての触知出力を生成する１つ以上の触知出力生成器２６７を任意選択的に含む。
図４は、いくつかの実施形態に従った、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス４００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス４００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス４００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）４１０、１つ以上のネットワーク又は他の通信インターフェース４６０、メモリ４７０、及びこれらの構成要素を相互接続する１つ以上の通信バス４２０を含む。通信バス４２０は、システム構成要素の間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を任意選択的に含む。デバイス４００は、典型的には、タッチスクリーンディスプレイであるディスプレイ４４０を含む入出力（Ｉ／Ｏ）インターフェース４３０を含む。Ｉ／Ｏインターフェース４３０はまた、キーボード及び／又はマウス（又は、他のポインティングデバイス）４５０、並びにタッチパッド４５５、デバイス４００上で触知出力を生成する（例えば、図２Ａを参照して上記説明された触知出力生成器２６７と同様の）触知出力生成器４５７、センサ４５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図２Ａを参照して上記説明された接触強度センサ２６５と同様の接触強度センサ）を任意選択的に含む。メモリ４７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを任意選択的に含む。メモリ４７０は、ＣＰＵ４１０からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。いくつかの実施形態では、メモリ４７０は、ポータブル多機能デバイス２００（図２Ａ）のメモリ２０２に記憶されたプログラム、モジュール、及びデータ構造、又はそれらのサブセットに類似する、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ４７０は、ポータブル多機能デバイス２００のメモリ２０２に存在しない追加のプログラム、モジュール、及びデータ構造を任意選択的に記憶する。例えば、デバイス４００のメモリ４７０は、描画モジュール４８０、プレゼンテーションモジュール４８２、ワード処理モジュール４８４、ウェブサイト作成モジュール４８６、ディスクオーサリングモジュール４８８、及び／又はスプレッドシートモジュール４９０を任意選択的に記憶するが、ポータブル多機能デバイス２００（図２Ａ）のメモリ２０２は、これらのモジュールを任意選択的に記憶しない。
図４中の上記で特定された各要素は、いくつかの例では、上記で言及されたメモリデバイスのうちの任意の１つ以上に格納される。上記で特定された各モジュールは、上述の機能を実行する命令のセットに対応する。上記で特定されたモジュール又はプログラム（例えば、命令のセット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において結合されるか、さもなければ再構成される。いくつかの実施形態では、メモリ４７０は、上記で特定されたモジュール及びデータ構造体のサブセットを記憶する。更に、メモリ４７０は、上述しない追加モジュール及びデータ構造を記憶する。
ここで、例えば、ポータブル多機能デバイス２００に実施することができるユーザインターフェースの実施形態に注目する。
図５Ａは、いくつかの実施形態に従った、ポータブル多機能デバイス２００上のアプリケーションのメニューの例示的なユーザインターフェースを示している。類似のユーザインターフェースは、デバイス４００に実施される。いくつかの実施形態では、ユーザインターフェース５００は、以下の要素、又はそのサブセット若しくはスーパーセットを含む。
セルラー及びＷｉ−Ｆｉ信号などの無線通信用の信号強度インジケータ５０２、
●時間５０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ５０５、
●バッテリ状態インジケータ５０６、
●下記などの、頻繁に使用されるアプリケーションのアイコンを有するトレイ５０８、
○不在着信又はボイスメールメッセージの数のインジケータ５１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール２３８用のアイコン５１６、
○未読電子メールの数のインジケータ５１０を任意選択的に含む「メール」とラベル付けされた、電子メールクライアントモジュール２４０用のアイコン５１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール２４７用のアイコン５２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（アップル社の登録商標）モジュール２５２とも参照されるビデオ及び音楽プレーヤモジュール２５２用のアイコン５２２及び
●下記などの、その他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール２４１用のアイコン５２４、
○「カレンダー」とラベル付けされた、カレンダーモジュール２４８用のアイコン５２６、
○「写真」とラベル付けされた、画像管理モジュール２４４用のアイコン５２８、
○「カメラ」とラベル付けされた、カメラモジュール２４３用のアイコン５３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール２５５用のアイコン５３２、
○「株価」とラベル付けされた、株価ウィジェット２４９−２用のアイコン５３４、
○「地図」とラベル付けされた、地図モジュール２５４用のアイコン５３６、
○「気象」とラベル付けされた、気象ウィジェット２４９−１用のアイコン５３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット２４９−４用のアイコン５４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール２４２用のアイコン５４２、
○「メモ」とラベル付けされた、メモモジュール２５３用のアイコン５４４、及び
○デバイス２００及びその様々なアプリケーション２３６の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュール用のアイコン５４６
●時間５０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ５０５、
●バッテリ状態インジケータ５０６、
●下記などの、頻繁に使用されるアプリケーションのアイコンを有するトレイ５０８、
○不在着信又はボイスメールメッセージの数のインジケータ５１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール２３８用のアイコン５１６、
○未読電子メールの数のインジケータ５１０を任意選択的に含む「メール」とラベル付けされた、電子メールクライアントモジュール２４０用のアイコン５１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール２４７用のアイコン５２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（アップル社の登録商標）モジュール２５２とも参照されるビデオ及び音楽プレーヤモジュール２５２用のアイコン５２２及び
●下記などの、その他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール２４１用のアイコン５２４、
○「カレンダー」とラベル付けされた、カレンダーモジュール２４８用のアイコン５２６、
○「写真」とラベル付けされた、画像管理モジュール２４４用のアイコン５２８、
○「カメラ」とラベル付けされた、カメラモジュール２４３用のアイコン５３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール２５５用のアイコン５３２、
○「株価」とラベル付けされた、株価ウィジェット２４９−２用のアイコン５３４、
○「地図」とラベル付けされた、地図モジュール２５４用のアイコン５３６、
○「気象」とラベル付けされた、気象ウィジェット２４９−１用のアイコン５３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット２４９−４用のアイコン５４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール２４２用のアイコン５４２、
○「メモ」とラベル付けされた、メモモジュール２５３用のアイコン５４４、及び
○デバイス２００及びその様々なアプリケーション２３６の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュール用のアイコン５４６
図５Ａに示されたアイコンのラベルは単なる例示的なものであることを理解すべきである。例えば、ビデオ及び音楽プレーヤモジュール２５２用のアイコン５２２は、任意選択的に「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルは、様々なアプリケーションアイコン用に任意選択的に用いられる。いくつかの実施形態では、それぞれのアプリケーションアイコン用のラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコン用のラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは別個である。
図５Ｂは、ディスプレイ５５０（例えば、タッチスクリーンディスプレイ２１２）とは別個のタッチ感知面５５１（例えば、タブレット又はタッチパッド４５５、図４）を有するデバイス（例えば、デバイス４００、図４）上の例示的なユーザインターフェースを示している。デバイス４００はまた、タッチ感知面５５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ４５７うちの任意の１つ以上）、及び／又はデバイス４００のユーザについての触知出力を生成する１つ以上の触知出力生成器４５９を任意選択的に含む。
以下の実施例のうちのいくつかはタッチスクリーンディスプレイ２１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、いくつかの実施形態では、デバイスは、図５Ｂに示されるように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図５Ｂの５５１）は、ディスプレイ（例えば、５５０）上の主軸（例えば、図５Ｂの５５３）に対応する主軸（例えば、図５Ｂの５５２）を有する。これらの実施形態に従って、デバイスは、タッチ感知面５５１との接触（例えば、図５Ｂの５６０及び５６２）を、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図５Ｂでは、５６０は５６８に対応し、５６２は５７０に対応する）において検出する。このように、タッチ感知面がディスプレイとは別個であるとき、タッチ感知面（例えば、図５Ｂの５５１）上でデバイスによって検出されたユーザ入力（例えば、接触５６０及び接触５６２、並びにそれらの移動）が、多機能デバイスのディスプレイ（例えば、図５Ｂでの５５０）上でユーザインターフェースを操作するためにデバイスによって使用される。同様の方法は、本明細書で説明される他のユーザインターフェースに任意選択的に使用されることを理解されたい。
更に加えて、以下の実施例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ）を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの任意の１つ以上は、別の入力デバイスからの入力（例えば、マウスベースの入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、（例えば、接触の代わりに）マウスクリックと任意選択的に置き換えられ、その後、スワイプの経路に沿って（例えば、接触の移動の代わりに）カーソルの移動が行われる。別の例として、タップジェスチャは、（例えば、接触の検出、それに続いて接触の検出を停止する代わりに）カーソルがタップジェスチャの位置の上に位置する間のマウスクリックと任意選択的に置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスは任意選択的に同時に使用され、又はマウス及び指の接触が任意選択的に同時に使用されることを理解されたい。
図６Ａは、例示的なパーソナル電子デバイス６００を示す。デバイス６００は、本体６０２を含む。いくつかの実施形態では、デバイス６００は、デバイス２００及び４００（例えば、図２Ａ〜４Ｂ）に関連して説明した特徴のいくつか又は全てを含む。いくつかの実施形態では、デバイス６００は、タッチ感知ディスプレイスクリーン６０４、以下、タッチスクリーン６０４を有する。代替的に、又はタッチスクリーン６０４に加えて、デバイス６００は、ディスプレイ及びタッチ感知面を有する。デバイス２００及び４００と共に、いくつかの実施形態では、タッチスクリーン６０４（又はタッチ感知面）は、適用される接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを有する。タッチスクリーン６０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供する。デバイス６００のユーザインターフェースは、その強度に基づくタッチに応じて、異なる強度のタッチがデバイス６００上で異なるユーザインターフェース操作を呼び出すことができることを意味する。
タッチ強度を検出して処理する技術は、例えば、関連出願：２０１３年５月８日に出願された国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号の「Ｄｅｖｉｃｅ， Ｍｅｔｈｏｄ， ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」、及び２０１３年１１月１１日に出願された国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号の「Ｄｅｖｉｃｅ， Ｍｅｔｈｏｄ， ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」に見出すことができ、これらのそれぞれは、全体が参照により本明細書に組み込まれる。
いくつかの実施形態では、デバイス６００は、１つ以上の入力機構６０６及び６０８を有する。入力機構６０６及び６０８は、含まれる場合、物理的である。物理入力機構の例としては、押しボタン及び回転可能な機構が挙げられる。いくつかの実施形態では、デバイス６００は、１つ以上のアタッチメント機構を有する。このようなアタッチメント機構は、含まれる場合、例えば、帽子、アイウェア、イヤリング、ネックレス、シャツ、ジャケット、ブレスレット、時計用ストラップ、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス６００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス６００を装着することを可能にする。
図６Ｂは、例示的なパーソナル電子デバイス６００を示す。いくつかの実施形態では、デバイス６００は、図２Ａ、２Ｂ、及び４に関連して説明された構成要素のいくつか又は全てを含む。デバイス６００は、１つ以上のコンピュータプロセッサ６１６及びメモリ６１８と共にＩ／Ｏ部６１４に動作可能に結合するバス６１２を有する。Ｉ／Ｏ部６１４は、タッチ感知構成要素６２２、及び任意選択的にタッチ強度感知構成要素６２４を有し得るディスプレイ６０４に接続される。これに加えて、Ｉ／Ｏ部６１４は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技術を使用して、アプリケーション及びオペレーティングシステムデータを受信する通信ユニット６３０に接続される。デバイス６００は、入力機構６０６及び／又は６０８を含む。入力機構６０６は、例えば、回転可能な入力デバイス又は押圧可能及び回転可能な入力デバイスである。入力機構６０８は、いくつかの例では、ボタンである。
入力機構６０８は、いくつかの例では、マイクロフォンである。パーソナル電子デバイス６００は、例えば、ＧＰＳセンサ６３２、加速度計６３４、方向センサ６４０（例えばコンパス）、ジャイロスコープ６３６、動きセンサ６３８、及び／又はこれらの組み合わせなどの各種センサを含み、これらの全てはＩ／Ｏ部６１４に動作可能に接続される。
パーソナル電子デバイス６００のメモリ６１８は、コンピュータ実行可能命令を記憶する非一時的コンピュータ可読記憶媒体であり、例えば、１つ以上のコンピュータプロセッサ６１６によって実行されると、コンピュータプロセッサに以下の技術及び処理を実行させる。例えば、コンピュータ実行可能命令は、命令実行システム、装置、又はデバイスから命令をフェッチし、命令を実行することができるコンピュータベースのシステム、プロセッサを含むシステム、又は他のシステムなどの命令実行システム、装置、又はデバイスによって使用されるか又はそれらに関連して使用される任意の非一時的コンピュータ可読記憶媒体内に格納及び／又はトランスポートされる。パーソナル電子デバイス６００は、図６Ｂの構成要素及び構成に限定されないが、他の構成要素又は追加の構成要素を複数の構成に含むことができる。
本明細書で用いられる「アフォーダンス」という用語は、例えば、デバイス２００、４００、６００、８１０Ａ〜Ｃ、８２０、８３０、８４０、１１８２、１１８６、１８８０、及び／又は１８８２（図２、４、６、８Ａ〜８Ｂ、９Ａ〜９Ｃ、１０Ａ〜１０Ｃ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｃ、１３Ａ〜１３Ｂ、１４、１５Ａ〜１５Ｇ、及び１８Ａ〜１８Ｅ）のディスプレイスクリーンに表示されるユーザ対話型グラフィカルユーザインターフェースオブジェクトを参照する。例えば、画像（例えば、アイコン）、ボタン、及びテキスト（例えば、ハイパーリンク）はそれぞれ、アフォーダンスを構成する。
本明細書で用いられる「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインターフェースの現在の部分を示す入力要素を参照する。カーソル又は他の位置マーカを含むいくつかの実施形態では、カーソルは、カーソルが特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素）上にある間に、入力（例えば、プレス入力）がタッチ感知面（例えば、図４のタッチパッド４５５又は図５Ｂのタッチ感知面５５１）上で検出されると、特定のユーザインターフェース要素が検出された入力に従って調整されるように、「フォーカスセレクタ」として働く。タッチスクリーンディスプレイ上のユーザインターフェース要素との直接双方向作用を可能にするタッチスクリーンディスプレイ（例えば、図２Ａのタッチ感知ディスプレイシステム２１２又は図５Ａのタッチスクリーン２１２）を含むいくつかの実装形態では、タッチスクリーン上の検出された接触は、特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素）の位置においてタッチスクリーンディスプレイ上で入力（例えば、接触による押圧入力）が検出されると、特定のユーザインターフェース要素が検出された入力に従って調整されるように、「フォーカスセレクタ」として働く。いくつかの実施態様では、フォーカスは、（例えば、タブキー又は矢印キーを使用して１つのボタンから別のボタンにフォーカスを移動することによって）タッチスクリーンディスプレイ上のカーソルの移動又は接触の移動に対応することなく、ユーザインターフェースの１つの領域からユーザインターフェースの別の領域に移動する。これらの実施形態では、フォーカスセレクタは、ユーザインターフェースの異なる領域間のフォーカスの移動に従って移動する。フォーカスセレクタが取る特定の形式に関係なく、フォーカスセレクタは、一般に、（例えば、デバイスに、ユーザが対話しようとしているユーザインターフェースの要素を示すことによって）ユーザの意図した対話をユーザインターフェースと通信するように、ユーザによって制御されるユーザインターフェース要素（又はタッチスクリーンディスプレイ上の接点）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）で検出されている間に、それぞれのボタンに対するフォーカスセレクタ（例えば、カーソル、接点、又は選択ボックス）の位置は、（デバイスのディスプレイ上に示された他のユーザインターフェース要素とは対照的に）ユーザがそれぞれのボタンをアクティブにしようとしていることを示す。
明細書及び請求項中で使用される接触の「特性強度」という用語は、１つ以上の接触の強度に基づく接触の特性を参照する。いくつかの実施形態では、特性強度は、複数の強度サンプルに基づいている。特性強度は、（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の動きの開始を検出する前若しくは後、接触の終わりを検出する前、接触の強度の増加を検出する前若しくは後、及び／又は接触の強度の低下を検出する前若しくは後に）所定のイベントに対する所定の数の強度サンプル、又は所定の時間期間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）中に収集された強度サンプルのセットに任意選択的に基づいている。接触の特性強度は、接触強度の最大値、接触強度の平均値（mean value）、接触強度の平均値（average value）、接触強度の上位１０パーセント値、接触強度の最大の半分の値、接触強度の最大の９０パーセントの値などのうちの任意の１つ以上に任意選択的に基づいている。いくつかの実施形態では、接触の持続時間は、特性強度を判定する際に（例えば、特性強度が経時的な接触強度の平均である場合に）使用される。いくつかの実施形態では、特性強度は、ユーザによって操作が行われたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１つ以上の強度閾値のセットは、第１の強度閾値と第２の強度閾値とを含む。この例では、第１の閾値を超えない特性強度を有する接触は第１の動作をもたらし、第１の強度閾値を超え、第２の強度閾値を超えない特性強度を有する接触は第２の動作をもたらし、第２の閾値を超える特徴的強度を有する接触は第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との比較は、第１の動作又は第２の動作を実行するかどうかを判定するために使用されるのではなく、１つ以上の動作を実行するかどうかを判定する（例えば、それぞれの動作を実行するか、又はそれぞれの動作を実行するのを控えるか）ために使用される。
いくつかの実施形態では、ジェスチャの部分は、特性強度を判定する目的で識別される。例えば、タッチ感知面は、接触強度が増加する開始位置点から終了位置点に移行する連続スワイプ接触を受ける。この例では、終了位置における接触の特性強度は、スワイプ接触全体（例えば、終了位置でのスワイプ接触の部分のみ）ではなく、連続スワイプ接触の一部のみに基づく。いくつかの実施形態では、平滑化アルゴリズムは、接触の特性強度を判定する前に、スワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、非加重すべり平均平滑化アルゴリズム、三角形平滑化アルゴリズム、メディアンフィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの任意の１つ以上を任意選択的に含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定するためにスワイプ接触の強度における狭いスパイク又はディップを排除する。
タッチ感知面上の接触の強度は、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び／又は１つ以上の他の強度などの１つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押圧強度閾値は、デバイスが典型的には物理マウス又はトラックパッドのボタンのクリックに関連付けられた操作を実行する強度に対応する。いくつかの実施形態では、深い押圧強度閾値は、デバイスが典型的には物理マウス又はトラックパッドのボタンのクリックに関連付けられた操作とは異なる操作を実行する強度に対応する。いくつかの実施形態では、軽い押圧強度閾値以下の特性強度で接触が検出された（例えば、それを下回ると接触がもはや検出されなくなる名目上の接触検出強度閾値を上回る）場合、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連する操作を実行することなく、タッチ感知面上の接触の動きに従ってフォーカスセレクタを移動させる。一般に、他に明記しない限り、これらの強度閾値は、異なるユーザインターフェース形状のセットの間で一致する。
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度までの接触の特性強度の増加は、「軽い押圧」入力と呼ばれることがある。深い押圧強度閾値を下回る強度から深い押圧強度閾値を超える強度までの接触の特性強度の増加は、「深い押圧」入力と呼ばれることがある。接触検出強度閾値を下回る強度から接触検出強度閾値と軽い押圧強度閾値との間の強度までの接触の特性強度の増加は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から接触検出強度閾値を下回る強度まで接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロより大きい。
本明細書で説明される一部の実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（又は、複数の接触）で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度における増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、対応する動作は、押圧入力強度閾値を上回る、対応する接触の強度の増大（例えば、対応する押圧入力の「ダウンストローク」）を検出したことに応じて実行される。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回る、対応する接触の強度の増大、及び後続の、押圧入力強度閾値を下回る接触の強度の減少を含み、対応する動作は、その後続の押圧入力閾値を下回る対応する接触の強度の減少（例えば、対応する押圧入力の「アップストローク」）を検出したことに応じて、実行される。
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある不測の入力を回避するために、強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との所定の関連性を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもＸ強度単位低いか、又は、ヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％若しくは何らかの妥当な比率である）。したがって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回る対応する接触の強度の増大、及び後続の、押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、対応する動作は、そのヒステリシス強度閾値を下回る、後続の対応する接触の強度の減少（例えば、対応する押圧入力の「アップストローク」）を検出したことに応じて、実行される。同様に、いくつか実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、ヒステリシス強度以下の強度への、後続の接触の強度の減少を検出する場合にのみ検出され、対応する動作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増大、又は接触の強度の減少）に応じて、実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力に応じて、又はその押圧入力を含むジェスチャに応じて実行される動作の説明は、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じて、任意選択的にトリガされる。更に、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて動作が実行されるとして説明される実施例では、その動作は、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る、接触の強度の減少を検出したことに応じて任意選択的に実行される。
３．デジタルアシスタントシステム
図７Ａは、様々な例によるデジタルアシスタントシステム７００のブロック図を示している。いくつかの例において、デジタルアシスタントシステム７００は、独立型のコンピュータシステムで実行される。いくつかの例において、デジタルアシスタントシステム７００は、複数のコンピュータにわたって分散される。いくつかの例において、デジタルアシスタントのモジュール及び機能の一部は、サーバ部分とクライアント部分とに分けられ、クライアント部分は、例えば図１に示すように、１つ以上のユーザデバイス（例えば、デバイス１０４、１２２、２００、４００、６００、８１０Ａ〜Ｃ、８３０、８４０、１１８２、１１８６、１８８０、及び／又は１８８２）にあり、１つ以上のネットワークを介してサーバ部分（例えば、サーバシステム１０８）と通信する。いくつかの例において、デジタルアシスタントシステム７００は、図１に示すサーバシステム１０８（及び／又はＤＡサーバ１０６）の実装形態である。デジタルアシスタントシステム７００はデジタルアシスタントシステムの単に一例であり、デジタルアシスタントシステム７００は、図示されているのよりも多い又は少ない構成要素を有することができ、２つ以上の構成要素を結合させることができ、あるいは、構成要素の異なる設定又は配列を有することができることに留意されたい。図７Ａに示す様々な構成要素は、ハードウェア、１つ以上のプロセッサによって実行するソフトウェア命令、１つ以上の信号処理及び／又は特定用途向け集積回路を含むファームウェア、あるいはその組み合わせにおいて実装される。
図７Ａは、様々な例によるデジタルアシスタントシステム７００のブロック図を示している。いくつかの例において、デジタルアシスタントシステム７００は、独立型のコンピュータシステムで実行される。いくつかの例において、デジタルアシスタントシステム７００は、複数のコンピュータにわたって分散される。いくつかの例において、デジタルアシスタントのモジュール及び機能の一部は、サーバ部分とクライアント部分とに分けられ、クライアント部分は、例えば図１に示すように、１つ以上のユーザデバイス（例えば、デバイス１０４、１２２、２００、４００、６００、８１０Ａ〜Ｃ、８３０、８４０、１１８２、１１８６、１８８０、及び／又は１８８２）にあり、１つ以上のネットワークを介してサーバ部分（例えば、サーバシステム１０８）と通信する。いくつかの例において、デジタルアシスタントシステム７００は、図１に示すサーバシステム１０８（及び／又はＤＡサーバ１０６）の実装形態である。デジタルアシスタントシステム７００はデジタルアシスタントシステムの単に一例であり、デジタルアシスタントシステム７００は、図示されているのよりも多い又は少ない構成要素を有することができ、２つ以上の構成要素を結合させることができ、あるいは、構成要素の異なる設定又は配列を有することができることに留意されたい。図７Ａに示す様々な構成要素は、ハードウェア、１つ以上のプロセッサによって実行するソフトウェア命令、１つ以上の信号処理及び／又は特定用途向け集積回路を含むファームウェア、あるいはその組み合わせにおいて実装される。
デジタルアシスタントシステム７００は、メモリ７０２、１つ以上のプロセッサ７０４、入出力（input/output、Ｉ／Ｏ）インターフェース７０６、及びネットワーク通信インターフェース７０８を含む。これらの構成要素は、１つ以上の通信バス又は信号ライン７１０を介して互いに通信することができる。
いくつかの例において、メモリ７０２は、高速ランダムアクセスメモリ及び／又は不揮発性コンピュータ可読記憶媒体（例えば、１つ以上の磁気ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイス）など、非一時的コンピュータ可読媒体を含む。
いくつかの例において、Ｉ／Ｏインターフェース７０６は、ディスプレイ、キーボード、タッチスクリーン、及びマイクロフォンなどのデジタルアシスタントシステム７００の入出力装置７１６をユーザインターフェースモジュール７２２に結合する。Ｉ／Ｏインターフェース７０６は、ユーザインターフェースモジュール７２２と連動して、ユーザ入力（例えば、音声入力、キーボード入力、タッチ入力等）を受け付け、それらを適切に処理する。いくつかの例において、例えば、デジタルアシスタントが、スタンドアロンユーザデバイスに実行される場合、デジタルアシスタントシステム７００は、それぞれ、図２、４、６Ａ〜６Ｂ、８Ａ〜８Ｂ、９Ａ〜９Ｃ、１０Ａ〜１０Ｃ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｃ、１３Ａ〜１３Ｂ、１４、１５Ａ〜１５Ｇ、及び１８Ａ〜１８Ｅにおいてデバイス２００、４００、６００、８１０Ａ〜Ｃ、８２０、８３０、８４０、１１８２、１１８６、１８８０、及び／又は１８８２に関して記載された構成要素及びＩ／Ｏ通信インターフェースのいずれかを含む。いくつかの例において、デジタルアシスタントシステム７００は、デジタルアシスタント実装形態のサーバ部分を表し、ユーザデバイス（例えば、デバイス１０４、２００、４００、６００、８１０Ａ〜Ｃ、８３０、８４０、１１８２、１１８６、１８８０、及び／又は１８８２）上にあるクライアント側部分を介してユーザと対話することができる。
いくつかの例において、ネットワーク通信インターフェース７０８は、有線通信ポート７１２及び／又は無線伝送及び受信回路７１４を含む。有線通信ポートは、例えば、イーサネット、ユニバーサルシリアルバス（ＵＳＢ）、ファイアーワイヤ（ＦＩＲＥＷＩＲＥ）など、１つ以上の有線インターフェースを介して通信信号を受信及び送信する。無線回路７１４は、ＲＦ信号及び／又は光信号を、通信ネットワーク及び他の通信装置から／へ、受信及び送信する。無線通信は、ＧＳＭ、ＥＤＧＥ、ＣＤＭＡ、ＴＤＭＡ、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、ＶｏＩＰ、Ｗｉ−ＭＡＸ、又は他の任意の好適な通信プロトコルなどの複数の通信標準、プロトコル、及び技術のいずれかを使用する。ネットワーク通信インターフェース７０８は、インターネット、イントラネット、及び／又は、セルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなど、ネットワークを有するデジタルアシスタントシステム７００と他のデバイスとの通信を可能にする。
いくつかの例において、メモリ７０２、又はメモリ７０２のコンピュータ可読記憶メディアは、プログラム、モジュール、命令、及び、以下の全て又はサブセットを含むデータ構造体を記憶する：オペレーティングシステム７１８、通信モジュール７２０、ユーザインターフェースモジュール７２２、１つ以上のアプリケーション７２４、及びデジタルアシスタントモジュール７２６。具体的には、メモリ７０２、又はメモリ７０２のコンピュータ可読記憶メディアは、以下に記載のプロセスを実行する命令を記憶する。１つ以上のプロセッサ７０４が、これらのプログラム、モジュール、及び命令を実行し、データ構造体からの読み取り／データ構造体への書き込みを行う。
オペレーティングシステム７１８（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ｉＯＳ、ＯＳＸ、ＷＩＮＤＯＷＳ、又は、ＶｘＷｏｒｋｓなどの埋め込みオペレーティングシステム）は、一般システムタスク（例えば、メモリ管理、記憶装置制御、電力管理等）を制御及び管理する様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア、ファームウェア、及びソフトウェア構成要素の間の通信を容易にする。
通信モジュール７２０は、ネットワーク通信インターフェース７０８を介するデジタルアシスタントシステム７００と他のデバイスとの通信を容易にする。例えば、通信モジュール７２０は、それぞれ、図２Ａ、４、６Ａ〜Ｂに示すデバイス２００、４００、及び６００などの電子デバイスのＲＦ回路２０８と通信する。通信モジュール７２０はまた、無線回路７１４及び／又は有線通信ポート７１２によって受信されたデータを処理する様々な構成要素を含む。
ユーザインターフェースモジュール７２２は、Ｉ／Ｏインターフェース７０６を介してユーザから（例えば、キーボード、タッチスクリーン、ポインティングデバイス、コントローラ、及び／又はマイクロフォンから）コマンド及び／又は入力を受信し、ディスプレイ上にユーザインターフェースオブジェクトを生成する。ユーザインターフェースモジュール７２２はまた、Ｉ／Ｏインターフェース７０６を介して（例えば、ディスプレイ、オーディオチャネル、スピーカ、タッチパッドなどを介して）、出力（例えば、スピーチ、サウンド、アニメーション、文字、アイコン、振動、触覚フィードバック、ライト等）を用意し、ユーザに配信する。
アプリケーション７２４は、１つ以上のプロセッサ７０４によって実行されるように構成されたプログラム及び／又はモジュールを含む。例えば、デジタルアシスタントシステムがスタンドアロンユーザデバイスに実行される場合、アプリケーション７２４は、ゲーム、カレンダーアプリケーション、ナビゲーションアプリケーション、又は電子メールアプリケーションなど、ユーザアプリケーションを含む。デジタルアシスタントシステム７００がサーバに実行される場合、アプリケーション７２４は、例えば、リソース管理アプリケーション、診断アプリケーション、又はスケジューリングアプリケーションを含む。
メモリ７０２はまた、デジタルアシスタントモジュール７２６（又はデジタルアシスタントのサーバ部分）を記憶する。いくつかの例において、デジタルアシスタントモジュール７２６は、以下のサブモジュール、又はそのサブセット若しくはスーパーセットを含む：入出力処理モジュール７２８、音声テキスト化（speech-to-text、ＳＴＴ）処理モジュール７３０、自然言語処理モジュール７３２、ダイアログフロー処理モジュール７３４、タスクフロー処理モジュール７３６、サービス処理モジュール７３８、及びスピーチ合成モジュール７４０。これらのモジュールはそれぞれ、デジタルアシスタントモジュール７２６の以下のシステム又はデータ及びモデル、あるいはそのサブセット又はスーパーセットのうちの１つ以上にアクセスすることができる：オントロジ７６０、語彙索引７４４、ユーザデータ７４８、タスクフローモデル７５４、サービスモデル７５６、及びＡＳＲシステム。
いくつかの例において、デジタルアシスタントは、デジタルアシスタントモジュール７２６に実施された処理モジュール、データ、及びモデルを使用して、以下のうちの少なくとも一部を実行することができる：音声入力をテキストに変換することと、ユーザから受信した自然言語入力において表現されたユーザの意図を識別することと、ユーザの意図を十分に推測するのに必要な情報を能動的に引き出し、得ること（例えば、言葉、ゲーム、意図等の曖昧さを解消することによって）と、推定された意図を満たすようにタスクフローを判定することと、推定された意図を満たすようにタスクフローを実行すること。
いくつかの例において、図７Ｂに示すように、Ｉ／Ｏ処理モジュール７２８は、図７ＡのＩ／Ｏデバイス７１６を介してユーザと、又は図７Ａのネットワーク通信インターフェース７０８を介してユーザデバイス（例えば、デバイス１０４、２００、４００、又は６００）と対話して、ユーザ入力（例えば、音声入力）を取得し、ユーザ入力に対する応答を提供する（例えば、音声出力として）。Ｉ／Ｏ処理モジュール７２８は、ユーザ入力の受信とともに又はその直後に、ユーザデバイスからユーザ入力に関連付けられたコンテキスト情報を任意選択的に取得する。コンテキスト情報は、ユーザ入力に関連するユーザ固有のデータ、語彙、及び／又は嗜好を含む。いくつかの例において、コンテキスト情報は、ユーザ要求が受信されたときのユーザデバイスのソフトウェア及びハードウェア状態、及び／又は、ユーザ要求が受信されたときのユーザの周囲環境に関する情報も含む。いくつかの例において、Ｉ／Ｏ処理モジュール７２８はまた、ユーザ要求に関してユーザに補足質問を送り、回答を受信する。ユーザ要求がＩ／Ｏ処理モジュール７２８によって受信され、ユーザ要求が音声入力を含む場合、Ｉ／Ｏ処理モジュール７２８は、音声テキスト化変換をするＳＴＴ処理モジュール７３０（又は音声認識装置）に音声入力を転送する。
ＳＴＴ処理モジュール７３０は、１つ以上のＡＳＲシステムを含む。１つ以上のＡＳＲシステムは、Ｉ／Ｏ処理モジュール７２８を介して受信した音声入力を処理して認識結果を生成することができる。各ＡＳＲシステムは、フロントエンド音声プリプロセッサを含む。フロントエンド音声プリプロセッサは、音声入力から代表的な特徴を抽出する。例えば、フロントエンド音声プリプロセッサは、音声入力をフーリエ変換して、その音声入力を代表的な多次元ベクトルのシーケンスとして特徴付けるスペクトル特徴を抽出する。更に、各ＡＳＲシステムは、１つ以上の音声認識モデル（例えば、音響モデル及び／又は言語モデル）を含み、１つ以上の音声認識エンジンを実装する。音声認識モデルの例としては、隠れマルコフモデル、ガウス混合モデル、ディープニューラルネットワークモデル、ｎグラム言語モデル、その他の統計モデルが挙げられる。音声認識エンジンの例としては、動的時間伸縮ベースのエンジン、及び、重み付き有限状態トランスデューサ（weighted finite-state transducer、ＷＦＳＴ）ベースのエンジンが挙げられる。１つ以上の音声認識モデル及び１つ以上の音声認識エンジンが、フロントエンド音声プリプロセッサの抽出された代表的特徴を処理して中間認識結果（例えば、音素、音素列、部分語）を生成するために使用される。いくつかの例において、音声入力は、少なくとも部分的にサードパーティサードパーティサービスによって又はユーザのデバイス（例えばデバイス１０４、２００、４００、６００）で処理されて認識結果を生成する。ＳＴＴ処理モジュール７３０が、文字列（例えば、単語、単語の列、又はトークンの列）を含む認識結果を生成すると、その認識結果を自然言語処理モジュール７３２に渡して意図推論を行う。いくつかの例において、ＳＴＴ処理モジュール７３０は、音声入力の複数の候補文字表現を生成する。各候補文字表現は、音声入力に対応する単語又はトークンの列である。いくつかの例において、各候補文字表現は、音声認識信頼度スコアに関連付けられる。ＳＴＴ処理モジュール７３０は、音声認識信頼度スコアに基づいて、候補文字表現をランク付けし、意図推論を行う自然言語処理モジュール７３２にｎの最良の（例えば、最上位のｎの）候補文字表現を提供し、但しｎはゼロより大きい所定の整数である。例えば、１つの例では、最上位（ｎ＝１）の候補文字表現のみが、意図推論を行う自然言語処理モジュール７３２に渡される。別の例では、５つの最上位の（ｎ＝５）候補文字表現が、意図推論を行う自然言語処理モジュール７３２に渡される。
音声テキスト化処理に関して更に詳しくは、参照することによりその開示全体が本明細書に組み込まれる、２０１１年９月２０日に出願された、「Ｃｏｎｓｏｌｉｄａｔｉｎｇ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ Ｒｅｓｕｌｔｓ」と題する米国実用出願第１３／２３６，９４２号に記載されている。
いくつかの例において、ＳＴＴ処理モジュール７３０は、音声アルファベット変換モジュール７３１を介して認識可能な単語の語彙を含む及び／又はこれにアクセスする。各語彙単語は、音声認識音標アルファベットで表された単語の１つ以上の候補発音に関連付けられている。具体的には、認識可能な単語の語彙は、複数の候補発音に関連付けられた単語を含む。例えば、この語彙は、候補発音の
に関連付けられた単語「ｔｏｍａｔｏ（トマト）」を含む。更に、語彙の単語は、ユーザからの以前の音声入力に基づくカスタム候補発音に関連付けられる。そのようなカスタム候補発音は、ＳＴＴ処理モジュール７３０に記憶され、デバイス上のユーザのプロファイルを介して特定のユーザに関連付けられる。いくつかの例において、単語の候補発音は、単語のスペル及び１つ以上の言語的及び／又は音声規則に基づいて判定される。いくつかの例において、候補発音は、例えば、既知の基準発音に基づいて、手動で生成される。
いくつかの例において、候補発音は、候補発音の共通性に基づいてランク付けされる。例えば、候補発音
では、前者が、より一般的に使用される発音（例えば、全てのユーザの間で、特定の地理的領域内のユーザについて、又は任意の他の適切なサブセットのユーザについて）であるため、前者が後者より高くランク付けされる。いくつかの例において、候補発音は、その候補発音がユーザに関連するカスタム候補発音であるかどうかに基づいて、ランク付けされる。例えば、カスタム候補発音は、標準候補発音よりも上位にランク付けされる。これは、標準発音から逸脱した固有の発音を有する適切な名詞を認識するのに有用であり得る。いくつかの例において、候補発音は、地理的起源、国籍、又は民族性などの１つ以上の音声特性と関連付けられる。例えば、候補発音
は、米国と関連付けられ、一方、候補発音
は、英国と関連付けられる。更に、候補発音のランクは、デバイスのユーザのプロファイルに記憶されたユーザの１つ以上の特徴（例えば、地理的起源、国籍、民族性等）に基づく。例えば、ユーザは米国に関連するとユーザのプロファイルから判定することができる。ユーザが米国に関連することに基づいて、候補発音
（米国と関連する）は、候補発音
（英国と関連する）より上位にランク付けされる。いくつかの例において、ランク付けされた候補発音のうちの１つが予測発音（例えば、最尤発音）として選択される。
音声入力を受信すると、ＳＴＴ処理モジュール７３０を用いて、音声入力に対応する音素を判定し（例えば、音響モデルを用いて）、次いで、音素に一致する単語を判定する（例えば、言語モデルを用いて）。例えば、ＳＴＴ処理モジュール７３０は、最初に、音声入力の一部に対応する音素の列
を識別し、次いで、語彙インデックス７４４に基づいて、このシーケンスが単語「トマト」に対応すると判定することができる。
いくつかの例において、ＳＴＴ処理モジュール７３０は、近似マッチング技法を使用して、発言内の単語を判定する。これにより、例えば、ＳＴＴ処理モジュール７３０は、音素の特定のシーケンスがその単語の音素の候補シーケンスの１つではない場合であっても、音素の列
は単語「トマト」に対応すると判定する。
デジタルアシスタントの自然言語処理モジュール７３２（「自然言語プロセッサ」）は、ＳＴＴ処理モジュール７３０が生成したｎ最良候補文字表現（「単語の列」又は「トークン列」）を取り込み、各候補文字表現をデジタルアシスタントが認識した１つ以上の「実施可能な意図」と関連付ける。「実施可能な意図」（又は「ユーザ意図」）は、デジタルアシスタントによって実行することができるタスクを表し、タスクフローモデル７５４において実施される関連タスクフローを有することができる。関連タスクフローは、タスクを実行するためにデジタルアシスタントが取り込む一連のプログラムされたアクション及びステップである。デジタルアシスタントの能力の範囲は、タスクフローモデル７５４に実施され記憶されたタスクフローの数及び多様性に依存し、すなわち、デジタルアシスタントが認識する「実施可能な意図」の数及び多様性に依存する。しかし、デジタルアシスタントの有効性は、自然言語で表現されたユーザ要求から正しい「実施可能な意図」を推測するためのアシスタントの能力に依存する。
いくつかの例において、自然言語処理モジュール７３２はまた、ＳＴＴ処理モジュール７３０から得られる単語又はトークンの列に加えて、ユーザ要求に関連付けられたコンテキスト情報を、例えばＩ／Ｏ処理モジュール７２８から、受信する。自然言語処理モジュール７３２は、任意選択的にコンテキスト情報を使用して、ＳＴＴ処理モジュール７３０から受信した候補文字表現に含まれる情報を明確化、補完、及び／又は更に定義する。コンテキスト情報は、例えば、ユーザの嗜好、ユーザデバイスのハードウェア、及び／又はソフトウェアの状態、ユーザ要求の前、間、又は直後に収集されたセンサ情報、デジタルアシスタントとユーザとの間の事前の対話（例えば、台詞）を含む。本明細書に記載されているように、コンテキスト情報は、いくつかの例において、動的であり、台詞の時間、場所、内容、及びその他の要因に関連して変化する。
いくつかの例において、自然言語処理は、例えば、オントロジ７６０に基づく。オントロジ７６０は、多数のノードを含む階層構造であり、各ノードは、「実施可能な意図」、又は、「実施可能な意図」のうちの１つ以上に関連する「属性」若しくは他の「属性」を表す。上記のように、「実施可能な意図」は、デジタルアシスタントが実行することができる、すなわち、デジタルアシスタントが「実施可能」又はそれに作用することができる、タスクを表す。「属性」は、実施可能な意図又は別の属性の副態様に関連付けられたパラメータを表す。オントロジ７６０内の実施可能な意図ノードと属性ノードとの間のリンクは、属性ノードによって表されるパラメータが、実施可能な意図ノードによって表されるタスクにどのように関係するかを定義する。
いくつかの例において、オントロジ７６０は、実施可能な意図ノードと属性ノードとからなる。オントロジ７６０内では、各実施可能な意図ノードは、直接に、あるいは１つ以上の中間属性ノードを介して、１つ以上の属性ノードにリンクされる。同様に、各属性ノードは、直接に、あるいは１つ以上の中間属性ノードを介して、１つ以上の実施可能な意図ノードにリンクされる。例えば、図７Ｃに示すように、オントロジ７６０は、「レストラン予約」ノード（すなわち、実施可能な意図ノード）を含む。属性ノード「レストラン」、「日付／時間」（予約の）、及び「参加人数」はそれぞれ、実施可能な意図ノード（すなわち、「レストラン予約」ノード）に直接リンクされる。
更に、属性ノード「料理」、「価格帯」、「電話番号」、及び「場所」は、属性ノード「レストラン」のサブノードであり、それぞれ「レストラン予約」ノード（すなわち、実施可能な意図ノード）に中間属性ノード「レストラン」を介してリンクされる。別の例では、図７Ｃに示すように、オントロジ７６０は、「リマインダ設定」ノード（すなわち、別の実施可能な意図ノード）も含む。属性ノード「日付／時間」（リマインダを設定する）及び「テーマ」（リマインダ用）はそれぞれ、「リマインダ設定」ノードにリンクされる。属性「日付／時間」は、レストラン予約を行うタスクとリマインダを設定するタスクとの両方に関連するので、属性ノード「日付／時間」は、オントロジ７６０において「レストラン予約」ノードと「リマインダ設定」ノードとの両方にリンクされる。
実施可能な意図ノード、及びそのリンクされた概念ノードを「ドメイン」として記述する。本論考では、各ドメインは、それぞれの実施可能な意図に関連付けられ、特定の実施可能な意図に関連付けられたノード群（及びその間の関係）を指す。例えば、図７Ｃに示すオントロジ７６０は、レストラン予約ドメイン７６２の一例と、オントロジ７６０内のリマインダドメイン７６４の一例とを含む。レストラン予約ドメインは、実施可能な意図ノード「レストラン予約」、属性ノード「レストラン」、「日付／時間」、及び「参加人数」、そして、サブ属性ノード「料理」、「価格帯」、「電話番号」、及び「場所」を含む。リマインダドメイン７６４は、実施可能な意図ノード「リマインダ設定」と、属性ノード「テーマ」及び「日時／時間」を含む。いくつかの例において、オントロジ７６０は多数のドメインからなる。各ドメインは、１つ以上の他のドメインとの間で１つ以上の属性ノードを共用する。例えば、「日付／時間」属性ノードは、レストラン予約ドメイン７６２及びリマインダドメイン７６４に加えて、多数の異なるドメイン（例えば、スケジューリングドメイン、旅行予約ドメイン、映画チケットドメイン等）に関連付けられる。
例えば図７Ｃはオントロジ７６０内に２つの例示的ドメインを示すが、他のドメインは、例えば、「映画を探す」、「電話をかける」、「方向を見つける」、「ミーティングの予定を入れる」、「メッセージを送る」、及び「質問に回答する」、「リストを読み出す」、「ナビゲーション命令の提供」、「タスクの命令を与える」などを含む。「メッセージを送る」ドメインは、「メッセージを送る」の実施可能な意図に関連付けられ、「受信者」、「メッセージのタイプ」、及び「メッセージ本文」などの属性ノードを更に含む。属性ノード「受信者」は、例えば、「受信者名」及び「メッセージアドレス」などのサブ属性ノードによって、更に定義される。
いくつかの例において、オントロジ７６０は、デジタルアシスタントが理解及び作用することができる全てのドメイン（したがって実施可能な意図）を含む。いくつかの例において、オントロジ７６０は、例えば全ドメイン又はノードを追加又は除去することによって、又はオントロジ７６０内のノード間の関係を修正することによって、修正される。
いくつかの例において、複数の関係する実施可能な意図に関連付けられたノードは、オントロジ７６０において「スーパードメイン」の下でクラスタ化される。例えば、「旅行」スーパードメインは、旅行に関係する属性ノード及び実施可能な意図ノードのクラスタを含む。旅行に関係する実施可能な意図ノードは、「航空会社の予約」、「ホテル予約」、「レンタカー」、「行き方を知る」、「興味のあるポイントを見つける」などを含む。同じスーパードメイン（例えば「旅行」スーパードメイン）下の実施可能な意図ノードは、多数の属性ノードを共通して有する。例えば、「航空会社の予約」、「ホテル予約」、「レンタカー」、「行き方を知る」及び「興味のあるポイントを見つける」の実施可能な意図ノードは、属性ノード「出発場所」、「行先」、「出発日／時間」、「到着日／時間」及び「参加人数」のうちの１つ以上を共用する。
いくつかの例において、オントロジ７６０内の各ノードは、そのノードによって表される属性又は実施可能な意図に関係する単語及び／又は句のセットに関連付けられる。各ノードに関連付けられた単語及び／又は句のそれぞれのセットは、そのノードに関連付けられたいわゆる「語彙」である。各ノードに関連付けられた単語及び／又は語句のそれぞれのセットは、そのノードが表す属性又は実施可能な意図に関連付けて語彙インデックス７４４において記憶される。例えば、図７Ｂに戻ると、「レストラン」の属性のノードに関連付けられた語彙は、「食べ物」、「飲み物」、「料理」、「空腹」、「食」、「ピザ」、「ファーストフード」、「食事」などの単語を含む。別の例では、「電話のコールを開始する」の実施可能な意図のノードに関連付けられた語彙は、「コール」、「電話」、「ダイヤル」、「ベル」、「この番号をコールする」、「に電話をかける」などの単語及び語句を含む。語彙インデックス７４４は、異なる言語の単語及び語句を任意選択的に含む。
自然言語処理モジュール７３２は、ＳＴＴ処理モジュール７３０から候補文字表現（例えば、文字列又はトークン列）を受信し、候補表現ごとに、候補文字表現中の単語がどのノードを暗示しているかを判定する。いくつかの例において、候補文字表現中の単語又は語句がオントロジ７６０内の１つ以上のノードに関連付けられていることが発見される（語彙インデックス７４４を介して）と、この単語又は語句は、それらのノードを「トリガ」又は「起動」する。起動されたノードの量及び／又は相対的重要度に基づいて、自然言語処理モジュール７３２は、デジタルアシスタントが実行することをユーザが意図したタスクとして実施可能な意図のうちの１つを選択する。いくつかの例において、最も「トリガ」されたノードを有するドメインが選択される。いくつかの例において、信頼値が最も高いドメインが選択される（例えば、その様々なトリガされたノードの相対的重要度に基づいて）。いくつかの例において、ドメインは、トリガされたノードの数及び重要度の組み合わせに基づいて選択される。いくつかの例において、ユーザからの類似の要求をデジタルアシスタントが前に正しく解釈したかどうかなど、追加的な要因が、ノードを選択する際に同様に考慮される。
ユーザデータ７４８は、ユーザ固有の語彙、ユーザ嗜好、ユーザアドレス、ユーザのデフォルト及び第２言語、ユーザの連絡先リスト、各ユーザのその他の短期又は長期情報などのユーザ固有情報を含む。いくつかの例において、自然言語処理モジュール７３２は、ユーザ固有情報を用いて、ユーザ入力に含まれる情報を補完してユーザの意図を更に定義する。自然言語処理モジュール７３２は、例えばユーザ要求「友人を私の誕生パーティに招待する」について、誰が「友人」か、及び「誕生パーティ」はいつ、どこで行われるかを、ユーザ要求において明示的にそのような情報を提供するようにユーザに求めるのではなくて、ユーザデータ７４８にアクセスして判定することができる。
いくつかの例において、自然言語処理モジュール７３２は、１つ以上の機械学習機構（例えば、ニューラルネットワーク）を使用して実行されることを認識されたい。具体的には、１つ以上の機械学習機構は、候補文字表現と、候補文字表現に関連付けられたコンテキスト情報とを受け取るように構成される。１つ以上のマシン学習機構は、候補文字表現及び関連するコンテキスト情報に基づいて、候補実施可能な意図のセットにわたる意図信頼度スコアを判定するように構成される。自然言語処理モジュール７３２は、判定された意図信頼度スコアに基づいて、候補実施可能な意図のセットから１つ以上の候補実施可能な意図を選択することができる。いくつかの例において、オントロジ（例えば、オントロジ７６０）はまた、１つ以上の候補実施可能な意図を候補実施可能な意図のセットから選択するために使用される。
トークン列に基づくオントロジの探索のその他の詳細は、参照することによりその開示全体が本明細書に組み込まれる、２００８年１２月２２日に出願した、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｓｅａｒｃｈｉｎｇ Ｕｓｉｎｇ Ａｎ Ａｃｔｉｖｅ Ｏｎｔｏｌｏｇｙ」という米国実用出願第１２／３４１，７４３号に記載されている。
いくつかの例において、自然言語処理モジュール７３２が、ユーザ要求に基づいて実施可能な意図（又はドメイン）を識別すると、自然言語処理モジュール７３２は、識別された実施可能な意図を表すための構造化されたクエリを生成する。いくつかの例において、構造化されたクエリは、実施可能な意図のドメイン内の１つ以上のノードのパラメータを含み、パラメータのうちの少なくともいくつかは、ユーザ要求において指定された特定の情報及び要件を追加される。例えば、ユーザは「寿司屋に７時に夕食の予約をして」と言う。この場合、自然言語処理モジュール７３２は、ユーザ入力に基づいて、実施可能な意図は「レストラン予約」であると正しく識別することができる。このオントロジによれば、「レストラン予約」ドメインの構造化されたクエリは、｛料理｝、｛時間｝、｛日付｝、｛参加人数｝などのパラメータを含む。いくつかの例において、音声入力及びＳＴＴ処理モジュール７３０を使用して音声入力から導出されたテキストに基づいて、自然言語処理モジュール７３２は、レストラン予約ドメインの部分的構造化されたクエリを生成し、この部分的構造化されたクエリは、パラメータ｛料理＝“寿司”｝及び｛時間＝“午後７時”｝のパラメータを含む。しかし、この例では、ユーザの発話は、ドメインに関連付けられた構造化されたクエリを完成するのには不十分な情報を含む。このため、｛参加人数｝及び｛日付｝などの他の必要なパラメータは、現在入手可能な情報に基づいて、構造化されたクエリにおいて指定されない。いくつかの例において、自然言語処理モジュール７３２は、受信したコンテキスト情報を構造化されたクエリのいくつかのパラメータに追加する。例えば、いくつかの例において、ユーザが「自分の近くの」寿司屋を要求した場合、自然言語処理モジュール７３２は、ユーザデバイスからＧＰＳ座標を構造化されたクエリ内の｛場所｝パラメータに追加する。
いくつかの例において、自然言語処理モジュール７３２は、ＳＴＴ処理モジュール７３０から受信した候補文字表現の各々について、複数の候補実施可能な意図を識別する。更に、いくつかの例において、識別された候補実施可能な意図ごとに、それぞれの構造化されたクエリ（部分的又は完全な）が生成される。自然言語処理モジュール７３２は、候補実施可能な意図ごとに意図信頼度スコアを判定し、その意図信頼度スコアに基づいて候補実施可能な意図をランク付けする。いくつかの例において、自然言語処理モジュール７３２は、任意の完成したパラメータを含む生成された１つ以上の構造化されたクエリをタスクフロー処理モジュール７３６（「タスクフロープロセッサ」）に渡す。いくつかの例において、タスクフロー処理モジュール７３６に、最良のｍ個（例えば、最上位のｍ個）の候補実施可能な意図の１つ以上の構造化されたクエリが提供され、ｍはゼロよりも大きい所定の整数である。いくつかの例において、最良のｍ個の候補実施可能な意図の１つ以上の構造化されたクエリが、対応する候補文字表現と共にタスクフロー処理モジュール７３６に提供される。
音声入力の複数の候補文字表現から判定された複数の候補実施可能な意図に基づくユーザの意図の推定の他の詳細は、参照することによりその開示全体が本明細書に組み込まれる、２０１４年６月６日に出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｆｅｒｒｉｎｇ Ｕｓｅｒ Ｉｎｔｅｎｔ Ｆｒｏｍ Ｓｐｅｅｃｈ Ｉｎｐｕｔｓ」という米国実用出願第１４／２９８，７２５号に記載されている。
タスクフロー処理モジュール７３６は、自然言語処理モジュール７３２から１つ以上の構造化されたクエリを受信し、構造化されたクエリを完成し、必要に応じて、ユーザの最終的な要求を「完成」するのに必要なアクションを実行する。いくつかの例において、これらのタスクを完成するために必要な様々な手順が、タスクフローモデル７５４において提供される。いくつかの例において、タスクフローモデル７５４は、ユーザからの追加情報を得る手順と、実施可能な意図に関連付けられたアクションを実行するタスクフローとを含む。
上記のように、タスクフロー処理モジュール７３６は、構造化されたクエリを完成するために、追加情報を得るためのユーザとの更なる対話を開始する、及び／又は潜在的に曖昧な発話の曖昧さを解消する必要がある。そのような対話が必要な場合、タスクフロー処理モジュール７３６は、ユーザとの対話に携わるために対話フロー処理モジュール７３４を呼び出す。いくつかの例において、対話フロー処理モジュール７３４は、ユーザに追加情報を問い合わせる方法（及び／又は場合）を判定し、ユーザ応答を受信して処理する。質問がユーザに提供され、Ｉ／Ｏ処理モジュール７２８を介してユーザから回答が受け取られる。いくつかの例において、対話フロー処理モジュール７３４は、音声及び／又は視覚出力を介してユーザに対話出力を提示し、ユーザからの入力を発話又は物理的（例えば、クリック）応答を介して受け取る。上記の例を続けると、タスクフロー処理モジュール７３６が対話フロー処理モジュール７３４を呼び出して、ドメイン「レストラン予約」に関連付けられた構造化されたクエリの「参加人数」及び「日付」情報を判定する場合、対話フロー処理モジュール７３４は、「何人分？」及び「どの日に？」などの質問を生成してユーザに渡す。ユーザからの回答を受信すると、対話フロー処理モジュール７３４は、次いで、欠落した情報を構造化されたクエリに追加する、又は、タスクフロー処理モジュール７３６に情報を渡して、構造化されたクエリから欠落した情報を完成する。
タスクフロー処理モジュール７３６が実施可能な意図の構造化されたクエリを完成すると、タスクフロー処理モジュール７３６は、実施可能な意図に関連付けられた最終的タスクの実行に進む。したがって、タスクフロー処理モジュール７３６は、構造化されたクエリに含まれる特定のパラメータに応じてタスクフローモデルにおけるステップ及び命令を実行する。例えば、「レストラン予約」の実施可能な意図のタスクフローモデルは、レストランに連絡し、特定の時間の特定の参加人数用の予約を実際に要求するステップ及び命令を含む。例えば、以下のような構造化されたクエリを使用して：｛レストラン予約，レストラン＝ＡＢＣ Ｃａｆｅ，日付＝２０１２年３月１２日，時間＝午後７時，参加人数＝５｝、タスクフロー処理モジュール７３６は、以下のステップを実行する：（１）ＡＢＣ Ｃａｆｅのサーバ又はＯＰＥＮＴＡＢＬＥ（登録商標）などのレストラン予約システムにログオンすることと、（２）ウェブサイトのフォームに日付、時間、及び参加人数の情報を入力することと、（３）フォームを提出することと、（４）ユーザのカレンダーに予約のカレンダーエントリを行うこと。
いくつかの例において、タスクフロー処理モジュール７３６は、サービス処理モジュール７３８（「サービス処理モジュール」）の支援を用いて、ユーザ入力において要求されたタスクを完了する、又はユーザ入力において要求された情報回答を提供する。例えば、サービス処理モジュール７３８は、タスクフロー処理モジュール７３６に代わって動作し、電話をかけ、カレンダーエントリを設定し、地図検索を呼び出し、ユーザデバイスにインストールされた他のユーザアプリケーションを呼び出し又は対話し、サードパーティサードパーティサービス（例えば、レストラン予約ポータル、ソーシャルネットワーキングウェブサイト、バンキングポータル等）を呼び出す又は対話する。いくつかの例において、各サービスによって必要とされるプロトコル及びアプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）は、サービスモデル７５６の中の各サービスモデルによって指定される。サービス処理モジュール７３８は、サービスの適切なサービスモデルにアクセスし、サービスモデルに従ってサービスが要求するプロトコル及びＡＰＩに従ってサービスに対する要求を生成する。
例えば、レストランが、オンライン予約サービスを可能にした場合、レストランは、予約を行うために必要なパラメータを指定するサービスモデルと、必要なパラメータの値をオンライン予約サービスに通信するＡＰＩとを提出する。サービス処理モジュール７３８は、タスクフロー処理モジュール７３６から要求があると、サービスモデルに記憶されたウェブアドレスを用いてオンライン予約サービスとのネットワーク接続を確立し、オンライン予約サービスのＡＰＩに応じた形式で予約の必要パラメータ（例えば、時刻、日付、参加人数）をオンライン予約インターフェースに送る。
いくつかの例において、自然言語処理モジュール７３２、対話フロー処理モジュール７３４、及びタスクフロー処理モジュール７３６は、まとめて、繰り返して、ユーザの意図を推定及び定義し、ユーザの意図をより明確化及び精緻化するための情報を取得し、ユーザの意図を満たすように応答（すなわち、ユーザへの出力、又はタスクの完了）を最終的に生成する。生成された応答は、ユーザの意図を少なくとも部分的に満たす音声入力に対する対話応答である。更に、いくつかの例において、生成された応答は、オーディオ出力として出力される。これらの例において、生成された応答は、音声合成モジュール７４０（例えば、音声合成装置）に送られ、そこで音声形式で対話応答を合成するために処理することができる。更に他の例では、生成された応答は、音声入力におけるユーザ要求を満たすことに関係するデータコンテンツである。
タスクフロー処理モジュール７３６が自然言語処理モジュール７３２から複数の構造化されたクエリを受信する例では、タスクフロー処理モジュール７３６は、受信した構造化されたクエリの第１の構造化されたクエリを最初に処理して、第１の構造化されたクエリの完成及び／又は第１の構造化されたクエリによって表される１つ以上のタスク又はアクションの実行を試みる。いくつかの例において、第１の構造化されたクエリは、最高位にランク付けされた実施可能な意図に対応する。他の例では、第１の構造化されたクエリは、対応する音声認識信頼度スコア及び対応する意図信頼度スコアの組み合わせに基づいて、受信された構造化されたクエリから選択される。いくつかの例において、タスクフロー処理モジュール７３６が、第１の構造化されたクエリの処理中にエラーに遭遇した（例えば、必要なパラメータを判定できないことにより）場合、タスクフロー処理モジュール７３６は、下位にランク付けされた実施可能な意図に対応する受信した構造化されたクエリのうちの第２の構造化されたクエリを選択して処理することができる。第２の構造化されたクエリは、例えば、対応する候補文字表現の音声認識信頼度スコア、対応する候補実施可能な意図の意図信頼度スコア、第１の構造化されたクエリにおける欠落した必要なパラメータ、又はその任意の組み合わせに基づいて、選択される。
音声合成モジュール７４０は、ユーザに提示する音声出力を合成するように構成される。音声合成モジュール７４０は、デジタルアシスタントが提供するテキストに基づいて、音声出力を合成する。例えば、生成される対話応答は、文字列の形である。音声合成モジュール７４０は、文字列を可聴音出力に変換する。音声合成モジュール７４０は、連結的合成、単位選択合成、ダイフォン（diphone）合成、ドメイン固有合成、フォルマント合成、調音合成、隠れマルコフモデル（hidden Markov model、ＨＭＭ）ベースの合成、及び正弦波合成を含むがこれらに限定されない、文字から音声出力を生成するための任意の適切な音声合成技術を使用する。いくつかの例において、音声合成モジュール７４０は、単語に対応する音素列に基づいて個々の単語を合成するように構成される。例えば、生成された対話応答内の単語に音素列が関連付けられる。音素列は、単語に関連付けられたメタデータに記憶される。音声合成モデル７４０は、メタデータ中の音素列を直接処理して音声形式で単語を合成するように構成される。
いくつかの例において、音声合成モジュール７４０を用いる代わりに（又はそれに加えて）、リモート装置（例えば、サーバシステム１０８）で音声合成が行われ、合成された音声がユーザデバイスに送られ、ユーザに出力される。例えば、これは、デジタルアシスタントの出力がサーバシステムで生成されるいくつかの実装形態において生じ得る。また、サーバシステムは一般的にユーザデバイスよりも処理能力やリソースが多いため、クライアント側の合成で実施されたであろうものよりも高い品質の音声出力を得ることができる。
デジタルアシスタントについて更に詳しくは、参照することによりその開示全体が本明細書に組み込まれる、２０１１年１月１０日に出願された、「Ｉｎｔｅｌｌｉｇｅｎｔ Ａｕｔｏｍａｔｅｄ Ａｓｓｉｓｔａｎｔ」と題する米国実用出願第１２／９８７，９８２号と、２０１１年９月３０日に出願された、「Ｇｅｎｅｒａｔｉｎｇ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ Ｔａｓｋ Ｉｔｅｍｓ Ｔｈａｔ Ｒｅｐｒｅｓｅｎｔ Ｔａｓｋｓ ｔｏ Ｐｅｒｆｏｒｍ」と題するの米国実用出願第１３／２５１，０８８号とにおいて見ることができる。
４．ユーザ入力に基づいてデジタルアシスタントサービスを提供するデジタルアシスタントの例示的な機能
４．ユーザ入力に基づいてデジタルアシスタントサービスを提供するデジタルアシスタントの例示的な機能
図２、４、６、８Ａ〜８Ｂ、９Ａ〜９Ｃ、１０Ａ〜１０Ｃ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｃ、１３Ａ〜１３Ｂ、１４は、電子デバイス上で動作するデジタルアシスタントによるデジタルアシスタントサービスを提供する機能を示している。いくつかの例において、デジタルアシスタント（例えば、デジタルアシスタントシステム７００）は、様々な例に応じてユーザデバイスにより実行される。いくつかの例において、ユーザデバイス、サーバ（例えば、サーバ１０８、デバイス８２０）又はその組み合わせがデジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）を実行し得る。ユーザデバイスは、例えば、デバイス２００、４００、６００、８１０Ａ〜Ｃ、８２０、８３０、８４０、１１８２、及び／又は１１８６を用いて実行することができる。いくつかの例において、ユーザデバイスは、オーディオ出力能力及びネットワーク接続性を有するデバイス、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータ、又はタブレットコンピュータである。
図８Ａ〜８Ｂは、様々な例に応じて、ユーザ入力に基づいて１つ以上の電子デバイス８１０Ａ〜Ｃでデジタルアシスタントサービスを提供する機能性を示している。いくつかの例において、電子デバイス８１０Ａ（及び同様に他の電子デバイス８１０Ｂ〜Ｃ）は、１つ以上のオーディオ入出力装置（例えば、マイクロフォン及び１つ以上のスピーカ）と、１つ以上のネットワーク通信インターフェースとを含むことができる。デバイス８１０Ａ及びデバイス８１０Ｂ〜Ｃは、電子デバイス８１０又はデバイス８１０としてまとめて参照される。デバイス８１０Ａ、及び同様にデバイス８１０Ｂ〜Ｃは、サラウンド音を提供するために、複数のスピーカを含むことができる。いくつかの例において、電子デバイス８１０は、デバイス操作指示を提供する１つ以上のインジケータ（例えばライト）を更に含むことができる。例えば、デバイス８１０Ａの１つ以上のインジケータは、デバイス８１０Ａが電源投入され、ネットワークに接続されて、オーディオを出力すること等を示すために、光を発することができる。デバイス８１０Ａ〜Ｃは、他のデバイスからのデジタルアシスタントサービスを拡張するためのサービス拡張デバイスになり得る。
図８Ａに示すように、いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ｎｅａｒ−ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）、ＢＴＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ、Ｂｌｕｅｔｏｏｔｈ低エネルギー）などの直接通信接続を介して、又はローカルＷｉＦｉネットワークなどの有線若しくは無線ネットワークを介して、他の電子デバイス（例えば、デバイス８１０Ｂ〜Ｃ、８２０、８３０、及び／又は８４０）に通信可能に結合するように構成することができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、Ｂｌｕｅｔｏｏｔｈ発見を介してデバイス８１０Ｂ〜Ｃを検出し、Ｂｌｕｅｔｏｏｔｈ接続を介してデバイス８１０Ｂ〜Ｃと通信可能に結合することができる。別の例として、デバイス８１０Ａ上で動作するデジタルアシスタントは、ＷｉＦｉネットワークを検出し、ＷｉＦｉネットワークを介してデバイス８３０及び８４０に通信可能に結合することができる。別の例として、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０（例えば、ユーザのスマートフォンなどのクライアントデバイス）がデバイス８１０Ａに近接又は物理的に接触している場合に近距離通信を検出することができる。例えば、デバイス８１０Ａとデバイス８３０とをペアにするには、ユーザ８０４は、デバイス８３０でデバイス８１０Ａをタップすることによって、これらの２つのデバイスの間に近距離通信を確立することができる。別の例として、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０（例えば、ユーザのスマートフォンなどのクライアントデバイス）が所定の距離内（例えば、Ｂｌｕｅｔｏｏｔｈ通信の範囲内）にあることを検出し、デバイス８３０との接続を確立することができる。例えば、ユーザ８０４がデバイス８３０とともにエリア８００に接近又は進入するとき、デバイス８１０Ａで動作するデジタルアシスタントは、デバイス８３０が通信範囲内にあることを検出し、これによりデバイス８３０と接続することができる。別の例として、デバイス８１０Ａ上で動作するデジタルアシスタントは、２つのデバイスの間の１つ以上の前に確立された接続に基づいてデバイス８３０との接続を確立することができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、それが過去に接続したデバイスを示すログファイルと、任意選択的に、接続パラメータとを記憶することができる。これにより、デバイス８１０Ａ上で動作するデジタルアシスタントは、例えば、それが前にデバイス８３０に接続したことがあると判定することができる。そのような判定に基づいて、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０との接続を確立することができる。
いくつかの例において、電子デバイス８２０をサーバとすることができ、そして、デバイス８３０及びデバイス８４０を電子デバイス８１０の近傍に配置されたクライアントデバイスとすることができる。例えば、デバイス８２０をリモートに配置されたクラウドサーバとすることができ、デバイス８３０及び８４０を、それぞれ、ユーザのスマートフォン及びＴＶセットトップボックスにすることができる。いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８２０、８３０、及び８４０のうちの少なくとも１つと１つ以上の接続を確立してから、ユーザ要求を備えるユーザ入力を受信する、及び／又はデバイス８２０、８３０、及び８４０のうちの１つ以上のデバイスにユーザ要求の表現を提供することができる。ユーザ入力を受信し、デバイス８２０、８３０、及び／又は８４０にユーザ要求の表現を提供する工程は、以下に更に詳しく説明される。ユーザ入力を受信する前に接続を確立すること及び他のデバイスにユーザ要求の表現を提供することにより、ユーザ要求に対する応答を提供する作業効率及び速度を向上させることができる。例えば、接続を事前に確立することにより、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ入力を受信した後に接続を確立するための時間を浪費しないことが可能である。
いくつかの例において、デバイス８１０Ａとデバイス８３０（例えば、ユーザのスマートフォンなどのクライアントデバイス）との間の接続を確立した後、デバイス８１０Ａ及び／又はデバイス８３０上で動作するデジタルアシスタントは、確立された接続をデバイス８２０（例えばサーバ）に通知することができる。以下で更に詳しく説明するように、デバイス８１０Ａ上で動作するデジタルアシスタントは、応答を得るためにデバイス８２０及びデバイス８３０の一方又は両方にユーザ要求の表現を提供することができる。デバイス８２０はサーバなどのリモート装置でもよく、デバイス８３０は、デバイス８１０Ａの近傍に配置されたデバイスでもよい。これにより、デバイス８２０（例えばリモートサーバ）にデバイス８１０Ａとデバイス８３０との間の接続を通知することで、効率的な運用を容易にすることができる。例えば、以下に説明するように、一部の実施形態では、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８２０及びデバイス８３０の両方にユーザ要求の表現を提供し得る。デバイス８２０及び／又はデバイス８３０は、デバイス８３０（例えば、デバイス８１０Ａの近傍に配置されたクライアントデバイス）が応答を提供できると判定することができる。これにより、デバイス８３０とデバイス８１０Ａとは接続されているとデバイス８２０は通知されるため、デバイス８２０はデバイス８１０Ａに応答を提供しなくてもよい。代わりに、デバイス８２０は、デバイス８３０と連携して応答を提供することができる。いくつかの例において、デバイス８３０（例えば、ユーザのスマートフォン）がデバイス８１０Ａの近傍に配置されているため、より迅速でより効率的な形で応答が提供され得る。
いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、同じタイプを有する１つ以上のデバイスとの接続を確立することができる。例えば、図８Ａに示すように、複数のデバイス８１０Ａ〜Ｃをサービス拡張デバイスとすることができ、エリア８００内に配置することができる。これによりデバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８１０Ｂ及びデバイス８１０Ｃのそれぞれと接続を確立することができる。以下で更に詳しく説明するように、デバイス８１０Ａ、８１０Ｂ、８１０Ｃ間の接続を確立することにより、エリア８００に配置された任意のデバイス８１０Ａ〜Ｃによってユーザ８０４に応答を提供することができる。これにより、柔軟性が生まれ、ユーザ対話効率が向上する。例えば、ユーザ８０４は、デバイス８１０Ａに音声入力（例えば「音楽再生」）を提供し、デバイス８１０Ｃによる応答（例えば、デバイス８１０Ｃでの音楽再生）を受信することができる。
いくつかの実施形態では、デバイス８１０Ａ〜Ｃは、あるデバイスから別のデバイスへデジタルアシスタントサービスを拡張するサービス拡張デバイスにすることができる。例えば、図８Ａに示すように、電子デバイス８１０Ａ〜Ｃは、電子デバイス８３０（例えば、スマートフォンデバイス）及び／又は電子デバイス８４０（例えば、ＴＶセットトップボックス）の近傍に配置されて、電子デバイス８３０及び／又は８４０が提供するデジタルアシスタントサービスを拡張することができる。いくつかの例において、デバイス８３０及び／又は８４０の近傍にデバイス８１０Ａ〜Ｃを配置することは、デバイス８３０及び／又は８４０を囲む所定の境界内、あるいはデバイス８３０及び／又は８４０から所定の距離内にデバイス８１０Ａ〜Ｃを配置すること含み得る。例えば、デバイス８１０Ａ〜Ｃは、デバイス８３０又は８４０と同じ住宅又は建物内に配置され得る。図８Ａに示すように、ユーザ８０４は、１つ以上の部屋８７１、８７３、及び８７５を含み得る、エリア８００内に又はその近くに物理的に居てもよい。ユーザ８０４は部屋８７１内に物理的に位置してもよく、電子デバイス８３０（例えば、ユーザのスマートフォン）は別の部屋８７３に配置されてもよい。いくつかの例において、デバイス８３０はユーザ８０４と直接通信することができない（例えば、デバイス８３０がそのマイクロフォンを介してユーザ８０４の音声入力を直接受信することができないことがある）にもかかわらず、デバイス８３０によって提供されるデジタルアシスタントサービスにユーザ８０４がアクセスしたいことがある。以下で更に詳しく説明するように、いくつかの例において、デバイス８１０Ａ〜Ｃは、デバイス８３０によって提供されるデジタルアシスタントサービスを拡張するサービス拡張デバイスとして機能することができる。
いくつかの実施形態では、１つ以上のデバイス８１０Ａ〜Ｃは、単一のデバイス又はユーザに関連付けられていてもいなくてもよい。デバイス８１０Ａ〜Ｃ（例えば、サービス拡張デバイス）は、複数のユーザによって共用可能であり、複数のデバイスのためにデジタルアシスタントサービスを拡張することができる。いくつかの例において、１つ以上のデバイス８１０Ａ〜Ｃは、複数のユーザにデジタルアシスタントサービスを拡張することができる。図８Ｂに示すように、ユーザ８０４及びユーザ８０６は、１つ以上のデバイス８１０Ａ〜Ｃを共用することができる。例えば、ユーザ８０４は、関連するデバイス８３０（例えば、ユーザ８０４のスマートフォン又はスマートウォッチ）を有してもよく、ユーザ８０６は、関連するデバイス８３２（例えば、ユーザ８０６のスマートフォン又はタブレット）を有してもよい。いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８１０Ａ自体とデバイス８３０との間の接続と、デバイス８１０Ａ自体とデバイス８３２との間の接続とを確立することができる。したがって、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０及び８３２の一方又は両方のためにデジタルアシスタントサービスを拡張することができる。複数のデバイスのためにデジタルアシスタントサービスを拡張する能力は、例えば、複数のユーザ（例えば、家族）にデバイス８１０Ａ〜Ｃを共用させることを可能にする。
図８Ａに戻って参照すると、いくつかの実施形態において、電子デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ要求を表す音声入力をユーザ８０４から受信することができる。例えば、ユーザ８０４は、「私のカレンダーには明日は何がある？」、「私の最初のミーティングはいつ？」、「天気はどう？」、又は「私の映画アプリケーションからスターウォーズを再生して」などの１つ以上の音声入力を与えることができる。いくつかの例において、ユーザ要求は、ユーザ８０４に固有の情報の要求にすることができる。例えば、「私のカレンダーには明日は何がある？」又は「明日の私の最初のミーティングはいつ？」などの音声入力は、ユーザ８０４に固有の情報の要求を表す。いくつかの例において、ユーザ要求は、非ユーザ固有情報の要求にすることができる。例えば、「明日の天気はどう？」又は「ＡＡＰＬの今日の株価は？」などの音声入力は、いずれかの特定のユーザに固有ではない情報の要求を表す。
いくつかの実施形態において、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザの音声入力を受信する前に、所定のコンテンツを含む追加の音声入力を受信することができる。追加の音声入力の受信に応じて、デジタル８１０Ａ上で動作するデジタルアシスタントは、デバイス８１０Ａを起動することができる。例えば、デバイス８１０Ａは、待機モード又は低電力モードにされてもよい。待機モード又は低電力モードにされたデバイス８１０Ａは、消費電力を低減することができ、いくつかの例において、ユーザのプライバシーの保護性を高めることができる。例えば、待機モード又は低電力モードの間、デバイス８１０Ａ上で動作するデジタルアシスタントは、限定された音声検出及び／又は音声処理機能のみを可能にされる。デバイス８１０Ａの他の機能（例えば、カメラ、表示ランプ、スピーカ等）は無効化され得る。いくつかの例において、待機モード又は低電力モードの間、デバイス８１０Ａ上で動作するデジタルアシスタントは、やはり音声入力を検出し、音声入力が「起きて、スピーカ」又は「ねえ、スピーカ」などの所定のコンテンツを含むかどうかを判定することができる。その判定に基づいて、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８１０Ａを起動することができる。いくつかの例において、デバイス８１０Ａが起動された後、デバイス８１０Ａは、待機モードを終了し、通常動作モードに切り替わる。通常動作モードにおいて、デバイス８１０Ａ上で動作するデジタルアシスタントは、追加の機能を実行することができる。
図８Ａに示すように、エリア８００（例えば、住宅）において、複数のデバイス８１０Ａ〜Ｃを配置することができる。いくつかの例において、デバイス８１０Ａ〜Ｃのうちの１つを起動する音声入力は、近くに配置されている他の装置を起動することもしないことも可能である。例えば、上記のように、ユーザ８０４は、所定のコンテンツ（例えば「起きて、スピーカ」）を含む音声入力をデバイス８１０Ａに提供することができる。いくつかの例において、デバイス８１０Ｂは、エリア８００の別の部分（例えば、別の部屋に）に配置されてもよく、これにより音声入力を受信しないことがある。その結果、デバイス８１０Ｂを起動しないことがある。いくつかの例において、デバイス８１０Ｂは、デバイス８１０Ａの近傍（例えば、同じ部屋）に配置されてもよく、所定のコンテンツを含む音声入力も受信してもよい。いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８１０Ｂと連動して、どのデバイスが起動されるべきかを判定することができる。例えば、デバイス８１０Ａ及びデバイス８１０Ｂ上で動作するデジタルアシスタントは、音声入力に関連付けられた音量又は音圧を検出し、記録することができる。デバイス８１０Ａで検出された音圧とデバイス８１０Ｂで検出された音圧との比較に基づいて、これらの２つのデバイスに対するユーザの位置を判定することができる。例えば、ユーザはデバイス８１０Ｂよりもデバイス８１０Ａに物理的に近いと判定することができる。その結果、デバイス８１０Ｂを起動しないことが可能であると同時に、デバイス８１０Ａを起動することができる。どのデバイスが起動されるべきかの判定は、ユーザの音声入力（例えば、ユーザ８０４が「リビングのスピーカ、起きて」と述べる）、及び／又は、ユーザの嗜好、ユーザの相対的位置、デバイスの能力及び属性（例えば、あるデバイスは別のデバイスよりある特定のタスクを実行するのに優れている）などの任意のコンテンツ情報に基づくことができることが理解される。
いくつかの実施形態において、電子デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザの音声入力を受信した後、ユーザ要求に関する１つ以上の音声問い合わせを出力することができる。例えば、ユーザの音声入力に基づいて、ユーザの意図を判定又はクリアしないことがあり、あるいは、デバイス８１０Ａ上で動作するデジタルアシスタントが、音声入力を適切に受信していないことがある。したがって、デバイス８１０Ａ上で動作するデジタルアシスタントは、「それは何？」又は「それがよく分からなかった」などの音声問い合わせを出力することができ、これにより、ユーザ要求の明確化を求めることができる。これにより、ユーザ８０４は、１つ以上の音声問い合わせに応じて、自分の要求を明確にする１つ以上の追加のユーザ入力を与える（例えば、前の音声入力を繰り返す又は言い換える）ことができる。また、デバイス８１０Ａは、１つ以上の追加の音声入力を受信することができる。
一部の実施形態では、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザの音声入力を受信した後、ユーザ８０４の識別情報を得ることができる。このように、電子デバイス８１０Ａは、１人以上のユーザ（例えば、図８Ｂに示すユーザ８０４及び８０６）に関連付けられた複数のデバイス（例えば、デバイス８３０及び８３２）のためにデジタルアシスタントサービスを拡張することができる。これにより、電子デバイス８１０Ａ上で動作するデジタルアシスタントは、特定のユーザ（例えば、ユーザ８０４又はユーザ８０６）に関連付けられた適切なデバイスからのデジタルアシスタントサービスの拡張を提供するために、ユーザの識別情報を得ることができる。図９Ａ〜９Ｃは、様々な例に応じて、電子デバイス８１０Ａでユーザ８０４の識別情報を得る機能性を示している。図８Ａ及び９Ａ〜９Ｃを参照すると、いくつかの例において、電子デバイス８１０Ａは認証モジュール９１２を含むことができる。認証モジュール９１２は、音声バイオメトリックセンサ、顔認識システム、指紋リーダ、ＮＦＣセンサなどの１つ以上のセンサを含むことができる。いくつかの例において、図９Ａに示すように、認証モジュール９１２は、ユーザ８０４に関連付けられた認証データ９０６を取得することができる。いくつかの例において、認証データ９０６は、ユーザの音声バイオメトリクス及び／又は指紋、及び／又はユーザの顔認識データを含むことができる。例えば、ユーザ８０４の音声バイオメトリクスは、音響パターンや声紋などのユーザの音声特性を含むことができる。ユーザ８０４の顔認識データは、眼、鼻、頬骨、顎などの相対的位置、大きさ及び／又は形状など、ユーザを一意に識別することができるユーザの顔の特徴を含むことができる。
いくつかの例において、認証データ９０６は、ユーザを識別する別の電子デバイスの感知を含むことができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ８０４のウェアラブルデバイス（例えば、スマートウォッチ）がデバイス８１０Ａの近傍に配置されていることを検出し、ＮＦＣ（例えば、Ｂｌｕｅｔｏｏｔｈ）を介してウェアラブルデバイスと通信し、ウェアラブルデバイス（例えば、ユーザの携帯時計で既に認証された）から認証データ９０６を取得することができる。別の例として、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザを識別するユーザのスマートフォンにデバイス８１０Ａが物理的に接触していることを検出し、ＮＦＣ（例えば、Ｂｌｕｅｔｏｏｔｈ）を介してユーザのスマートフォンと通信し、ユーザのスマートフォンから認証データ９０６を取得することができる。いくつかの例において、認証データ９０６は、ユーザの指紋、パスワードなどのユーザの他の資格情報を含むことができる。電子デバイス８１０Ａ上で動作するデジタルアシスタントは、任意の形でユーザ８０４に関連付けられた任意の認証データを得ることができることが理解される。
図８Ａ及び９Ａ〜９Ｃを参照すると、デバイス８１０Ａ上で動作するデジタルアシスタントは、認証データ９０６に基づいて、ユーザ８０４の識別情報の判定を得ることができる。図９Ｂに示すように、いくつかの例で、電子デバイス８１０Ａ上で動作するデジタルアシスタントは、得られた認証データ９０６を認証するために電子デバイス８３０に提供することができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザの音声バイオメトリックデータ、ユーザの顔認識データ、ユーザの指紋データ、デバイス感知データ、及び／又は他の資格情報を電子デバイス８３０に提供することができる。上記のように、電子デバイス８３０は、ユーザ８０４に関連付けられたデバイス（例えば、ユーザ８０４のスマートフォン）でもよく、これによりユーザ識別情報を記憶することができる。デバイス８３０は、受信した認証データ９０６に基づいて、記憶されているユーザ識別情報（例えばパスワードや指紋）と一致する資格情報を認証データ９０６が含むかどうかを判定することができる。認証データ９０６が、ユーザ識別情報に一致する資格情報を含む場合、デバイス８３０は、ユーザ８０４のユーザ識別情報９１０の判定をデバイス８１０Ａに送ることができる。
図９Ｃを参照すると、上記のように、デバイス８１０Ａ上で動作するデジタルアシスタントは、認証データ９０６をデバイス８３０に提供することができる。いくつかの実施形態において、デバイス８３０（例えば、スマートフォン）は、ユーザ８０４の識別情報を得ることができないことがあり、これにより、電子デバイス８２０に認証データ９０６を転送することできる。例えば、デバイス８３０は、ユーザを識別することができる音声生体情報を記憶していないことがあり、したがって、ユーザ８０４の識別情報を判定することができないことがある。デバイス８３０は、これにより、認証データ９０６をデバイス８２０に転送することができる。いくつかの例において、デバイス８２０は、デバイス８１０Ａ及び８３０からリモートに配置することができる。例えば、デバイス８２０は、ネットワーク８５０を介してデバイス８１０Ａ及び８３０に通信可能に結合されたサーバとすることができる。デバイス８２０は、ユーザ識別情報を記憶することができ、これにより、記憶された識別情報と一致する資格情報を認証データ９０６が含むかどうかを判定することができる。ユーザ８０４のユーザ識別情報と一致する資格情報を認証データ９０６が含むとデバイス８２０が判定した場合、デバイス８２０は、ユーザ８０４のユーザ識別情報９２６の判定をデバイス８１０Ａに送ることができる。いくつかの例において、デバイス８２０は、ユーザ８０４のユーザ識別情報９２６の判定をデバイス８１０Ａに直接送ることができる。いくつかの例において、デバイス８２０は、ユーザ８０４のユーザ識別情報９２６の判定をデバイス８３０に送り、次いで、デバイス８３０はデバイス８１０Ａに転送することができる。
いくつかの例において、ユーザ８０４の識別情報の取得は、所定のコンテンツを含む音声入力に基づくことができる。上記のように、デバイス８１０Ａ上で動作するデジタルアシスタントは、所定のコンテンツ（例えば「起きて、スピーカ」、「ねえ、スピーカ」）を含む音声入力に基づいて、デバイス８１０Ａを起動することができる。所定のコンテンツを含む音声入力はまた、音響パターンや声紋などのユーザの音声の特徴を含み得る、ユーザ８０４の音声バイオメトリックを判定するために使用することができる。その結果、所定のコンテンツを含む音声入力（例えば、デバイス８１０Ａを起動する音声入力）を、上に記載したのと同様の形で、ユーザ８０４を識別するために使用することができる。
図１０Ａ〜１０Ｃは、様々な例に応じて、情報に対するユーザ要求に基づいて、デジタルアシスタントサービスを提供する機能性を示している。図８Ａ及び１０Ａ〜１０Ｃを参照すると、電子デバイス８１０Ａ上で動作するデジタルアシスタントは、取得されたユーザ識別情報に従って、ユーザ要求１００８の表現をデバイス８２０又はデバイス８３０の少なくとも一方に提供することができる。上記のように、いくつかの例で、デバイス８２０は、デバイス８１０Ａ〜Ｃ及び８３０からリモートに配置されたサーバでもよい。デバイス８３０は、ユーザ８０４に関連付けられたクライアントデバイス（例えば、ユーザのスマートフォン）でもよく、デバイス８１０Ａ〜Ｃの近傍に（例えば、同じ住宅又は建物内に）配置されてもよい。
いくつかの実施形態において、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ要求１００８の表現をリモート装置に提供する前に、デバイス８１０Ａの近傍に配置されたデバイスにユーザ要求１００８の表現を提供することができる。図１０Ａに示すように、ユーザ８０４は、「明日の私の最初のミーティングはいつ？」などの音声入力１００６を与えることができる。したがって、音声入力１００６には、例えばユーザ８０４の翌日の最初のミーティングの時間に関する、情報のユーザ要求が含まれる。いくつかの実施形態において、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０がデバイス８１０Ａに通信可能に結合されているかどうかを判定することができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０が通信範囲内にあるか、Ｂｌｕｅｔｏｏｔｈ又はＷｉＦｉ接続などのＮＦＣを介して接続が確立可能であるかを検出することができる。デバイス８３０はデバイス８１０Ａに通信可能に結合されているという判定に従って、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ要求１００８の表現をデバイス８３０に提供することができる。一部の実施形態において、デバイス８３０は、デバイス８１０Ａの近傍に配置されたデバイス（例えば、ユーザのスマートフォン）であり、そして、デバイス８１０Ａ上で動作するデジタルアシスタントは、図８Ａに示すデバイス８２０などのリモート装置にユーザ要求の表現を更に提供しなくてもよい。その結果、ユーザ要求はリモートに送信されず、デバイス８１０Ａの近傍に配置されたデバイス（例えば、ユーザのパーソナルデバイス）内に留まることができる。デバイス８１０Ａの近傍に配置されたデバイス８３０のみにユーザ要求１００８の表現を与えることにより、デバイス８３０からの応答をリモート装置との通信時間を消費する必要なしに高速かつ効率的に取得することができる。その結果、デバイス８１０Ａでのユーザ要求に対する応答速度を向上させることができる。また、ユーザ要求（例えば、音声入力１００６に含まれるユーザ要求）は、機密又は秘匿のユーザ固有情報（例えば、ユーザのカレンダー情報）の要求を含んでもよい。その結果、プライバシーの懸念から、クラウドサーバなどのリモート装置にユーザ要求１００８の表現を送らないことが望ましいことがある。
図１０Ａに示すように、いくつかの例において、デバイス８３０は、デバイス８１０Ａからユーザ要求１００８の表現を受信し、このユーザ要求に対する応答を提供できるかどうかを判定する。例えば、上記のように、ユーザ要求は、翌日のユーザ８０４の最初のミーティングの時間の情報の要求を含んでもよい。デバイス８３０は、ユーザ８０４のカレンダー情報がデバイス８３０に記憶されていると判定し、それにより、ユーザ要求に対する応答を提供することができると判定することができる。したがって、デバイス８３０は、デバイス８１０Ａにユーザ要求に対する応答１０１０を送ることができる。応答１０１０は、例えば、ユーザ８０４の翌日の最初のミーティング時間を含むことができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０からユーザ要求に対する応答１０１０を受信し、応答１０１０の表現をユーザ８０４に提供することができる。図１０Ａに示すように、デバイス８１０Ａ上で動作するデジタルアシスタントは、「最初のミーティングは明日の朝午前９時です」などの音声出力１０１２を提供することができる。
このように、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０がデバイス８１０Ａに通信可能に結合されているかどうかを判定することができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０が通信の範囲内にあるかどうか、Ｂｌｕｅｔｏｏｔｈ又はＷｉＦｉ接続を介して２つのデバイスの間に接続が確立され得るどうかを検出することができる。図１０Ｂを参照すると、いくつかの実施形態において、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０がデバイス８１０Ａに通信可能に結合されていないと判定することができる。例えば、デバイス８３０が通信の範囲外にあるため、又は２つのデバイスの間に接続を確立することができないため、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０を検出することができないことがある。デバイス８３０がデバイス８１０Ａに通信可能に結合されていないという判定に従って、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ要求１００８の表現をデバイス８２０に提供することができる。上記のように、デバイス８２０をサーバなどのリモート装置とすることができる。いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、ネットワーク８５０を介してデバイス８２０にユーザ要求１００８の表現を提供することができる。
いくつかの実施形態において、図１０Ｂに示すように、デバイス８２０は、デバイス８１０Ａからユーザ要求１００８の表現を受信し、このユーザ要求に対する応答を提供できるかどうかを判定する。例えば、上記のように、ユーザ要求は、ユーザ８０４の翌日の最初のミーティング時間の情報の要求を含んでもよい。デバイス８２０は、デバイス８２０がユーザ８０４のカレンダー情報（例えば、ユーザ８０４のクラウドアカウントに記憶されている）を記憶している又はこれへのアクセス権を有していると判定し、これにより、デバイス８２０はユーザ要求に対する応答を提供することができると判定することができる。したがって、デバイス８２０は、デバイス８１０Ａにユーザ要求に対する応答１０１４を送ることができる。ユーザ要求に対する応答１０１４は、例えば、ユーザの翌日の最初のミーティングの時間を含み得る。デバイス８１０Ａは、デバイス８２０からユーザ要求に対する応答１０１４を受信し、応答１０１４の表現をユーザ８０４に提供することができる。図１０Ｂに示すように、デバイス８１０Ａ上で動作するデジタルアシスタントは、「あなたの最初のミーティングは明日の朝午前９時です」などの音声出力１０１２を提供することができる。いくつかの例において、デバイス８１０Ａは、ユーザ８０４に応答を提供した後、その後の音声入力を監視し続けることができる。
図１０Ｃを参照すると、一部の実施形態において、ユーザ８０４は、「今日のＡＡＰＬの株価は？」などの音声入力１０２０を提供することができる。このタイプの音声入力は、非ユーザ固有情報のユーザ要求を表す。非ユーザ固有情報は特定のユーザに固有ではなく、気象情報、株価情報、スポーツ試合情報などの一般情報でもよい。いくつかの実施形態において、図１０Ｃに示すように、デバイス８１０Ａ上で動作するデジタルアシスタントは、非ユーザ固有情報のユーザ要求１０２２の表現をデバイス８３０にではなくデバイス８２０に提供することができる。上記のように、デバイス８２０は、デバイス８１０Ａからリモートに配置されたサーバでもよく、デバイス８３０は、デバイス８１０Ａの近傍に配置されたユーザのスマートフォンでもよい。いくつかの実施形態において、非ユーザ固有情報（例えば、天気、株価、ゲームスコア等）は、デバイス８３０（例えば、ユーザのスマートフォン）において利用可能でない及び／又は更新されないことがある。これにより、デバイス８１０Ａは、デバイス８１０Ａの近傍に配置されたデバイス（例えば、ユーザのパーソナルデバイス）ではなくて、リモート装置（例えばサーバ）から非ユーザ固有情報を取得することがより適切で効率的であると判定することができる。したがって、デバイス８１０Ａ上で動作するデジタルアシスタントは、ネットワーク８５０を介してデバイス８２０（例えば、サーバ）に非ユーザ固有情報のユーザ要求１０２２の表現を提供することができる。
デバイス８２０は、図１０Ｃに示すように、デバイス８１０Ａからユーザ要求１０２２の表現を受信し、デバイス８２０はユーザ要求に対する応答を提供可能であると判定する。例えば、上記のように、ユーザ要求は、ＡＡＰＬの株価情報の要求を含むことができる。デバイス８２０は、デバイス８２０は関連データソース（例えば、金融ウェブサイト）から情報を得ることができ、したがって、ユーザ要求に対する応答を提供することができると判定することができる。それにより、デバイス８２０は、デバイス８１０Ａにユーザ要求に対する応答１０２４を送ることができる。ユーザ要求に対する応答１０２４は、例えば、ＡＡＰＬの現在の株価を含むことができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８２０からの応答１０２４を受信し、応答１０２４の表現をユーザ８０４に提供することができる。図１０Ｃに示すように、デバイス８１０Ａ上で動作するデジタルアシスタントは、「ＡＡＰＬの今日の終値は２００ドルでした」などの音声出力１０２６を提供することができる。
図１１Ａ〜１１Ｄは、様々な例に応じた、タスク実行のユーザ要求に基づいてデジタルアシスタントサービスを提供する機能性を示している。図１１Ａ及び１１Ｂを参照すると、いくつかの実施形態において、ユーザ８０４は、タスク実行のユーザ要求を表す音声入力１１０６を提供することができる。例えば、音声入力１１０６は、「トップガンのマイティウイングを再生して」を含み得る。音声入力１１０６は、それにより、特定の楽曲の再生のタスク実行の要求を表す。いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ要求に対する応答をデバイス８３０（例えば、ユーザ８０４のパーソナルスマートフォンなどのデバイス８１０Ａの近傍に配置されたデバイス）又はデバイス８２０（例えば、リモートサーバ）によって提供することができるかどうかを判定することができないことがある（例えば、情報が不十分であることによる）。上記の例で、デバイス８１０Ａは、ユーザ８０４のスマートフォン又はサーバが「マイティウイング」という歌を記憶しているかどうかを判定するための十分な情報を有さない可能性がある。したがって、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０及びデバイス８２０の両方にユーザ要求１１０８の表現を提供することができる。
図１１Ａに示すように、デバイス８２０及びデバイス８３０の両方が、ユーザ要求１１０８（例えば、タスク実行のユーザ要求）の表現を受信する。デバイス８２０及びデバイス８３０の一方又は両方が、それぞれのデバイスがユーザ要求１１０８に対する応答を提供できるかどうかを判定することができる。例えば、デバイス８３０は、それがマイティウイングという歌を記憶しているかどうかを判定することができ、記憶していれば、デバイス８３０はその応答を提供することができると判定することができる。デバイス８２０は、同様の判定を行うことができる。いくつかの例において、判定はデバイス８２０とデバイス８３０とで別個に、独立して行うことができる。例えば、デバイス８２０及びデバイス８３０の両方が、それらが「マイティウイング」という歌を記憶しているかどうかを判定し、他のデバイスに判定の結果を通信することができる。いくつかの例において、デバイス８２０又はデバイス８３０の一方が、まず判定を行い、次いで、通知を他方のデバイスに送ることができる。例えば、デバイス８３０は、デバイス８３０に「マイティウイング」という歌が記憶されているかどうかを判定し、判定の通知をデバイス８２０に送ることができる。デバイス８３０は、デバイス８３０が「マイティウイング」という歌を記憶していると判定した場合、デバイス８２０が更に判定を行わないように、デバイス８３０は、対応する通知をデバイス８２０に送ることができる。デバイス８３０は「マイティウイング」という歌を有していないとデバイス８３０が判定した場合、デバイス８３０は対応する通知をデバイス８２０に送ることができ、そうして、デバイス８２０は、次いで、デバイス８２０が要求された歌を記憶しているかどうか、又はその歌へのアクセス権を有するかどうかを判定することができる。同様に、デバイス８２０がまず判定を行い、次いで、デバイス８３０に通知を送ることができる。いくつかの実施形態において、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８２０及びデバイス８３０の一方又は両方に、それぞれのデバイスがユーザ要求に対する応答を提供することができるかどうかを判定させることができる。例えば、デバイス８２０及び８３０に送られるユーザ要求１１０８の表現は、デバイス８２０及び８３０の一方又は両方のデバイスが要求された応答を提供することができるかどうかの判定をデバイス８２０及び８３０の一方又は両方に求める明示的又は暗黙の要求を含み得る。
図１１Ａに示すように、いくつかの例において、デバイス８２０（例えば、サーバ）は、ユーザ要求に対する応答を提供することができると判定することでき、そして、デバイス８３０（例えば、ユーザのスマートフォン）は、ユーザ要求に対する応答を提供できないと判定することができる。例えば、デバイス８２０は、デバイス８２０は要求された歌「マイティウイング」を記憶している、又はその歌へのアクセス権を有していると判定することができ、デバイス８３０は、デバイス８３０はその歌を記憶していないと判定することができる。したがって、デバイス８２０は、デバイス８１０Ａにユーザ要求に対する応答１１１２を提供することができる。例えば、デバイス８２０は、「マイティウイング」という歌をデバイス８１０Ａにストリームすることができる。デバイス８１０Ａは、デバイス８２０からの応答１１１２を受信し、応答１１１２の表現をユーザ８０４に提供する。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、「マイティウイング」という歌のストリーミングを受信し、その歌のオーディオ出力１１１４を提供する。
図１１Ｂを参照すると、いくつかの例において、デバイス８３０（例えば、ユーザのスマートフォン）は、ユーザ要求に対する応答を提供することができると判定することができ、また、デバイス８２０（例えば、サーバ）は、ユーザ要求に対する応答を提供できないと判定することができる。例えば、デバイス８３０は、「マイティウイング」という歌を記憶していると判定することができ、そして、デバイス８２０は、その歌を記憶しておらず、更なるユーザ対話（例えば、歌を購入するようにユーザに求めること）を必要とせずに要求された歌にアクセスすることはできないと判定することができる。したがって、デバイス８３０は、デバイス８１０Ａにユーザ要求に対する応答１１１２を提供することができる。例えば、デバイス８３０は、「マイティウイング」という歌をデバイス８１０Ａにストリームすることができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０から応答１１２２を受信し、応答１１２２の表現をユーザ８０４に提供する。例えば、デバイス８１０Ａは、「マイティウイング」という歌のストリーミングを受信し、歌のオーディオ出力１１２４を提供する。
図１１Ａ及び１１Ｂを参照すると、いくつかの例において、デバイス８３０（例えば、ユーザのスマートフォン）及びデバイス８２０（例えば、サーバ）の両方が、それぞれのデバイスはユーザ要求に対する応答を提供することができると判定することができる。例えば、デバイス８３０は、「マイティウイング」という歌を記憶していると判定し、そして、デバイス８２０は、要求された歌を記憶もしている（例えば、ユーザのクラウドアカウントに）又は更なるユーザ対話を必要とせずにその歌にアクセスすることができる（例えば、ユーザがその歌を購入する必要なしに）と判定することができる。したがって、デバイス８２０又はデバイス８３０のいずれかが、ユーザ要求に対する応答をデバイス８１０Ａに提供することができる。いくつかの例において、応答を提供するデバイスの複数のデバイスからの選択は、所定の条件に基づくことができる。例えば、この所定の条件は、事前に設定されたポリシー（例えば、２つ以上のデバイスが応答を提供することができる場合、デバイス８３０が応答を提供するデフォルトデバイスである）、接続帯域幅の条件（例えば、より高い帯域幅の接続を有するデバイスが応答を提供するデバイスである）、ユーザの嗜好の条件（例えば、セルラーデータ使用量を節約するために、ユーザは、応答の提供にＷｉ−Ｆｉを介してデバイス８１０Ａに接続されたデバイスを使用することを好む）等を含むことができる。所定の条件に基づいて、デバイス８２０及びデバイス８３０の一方が、「マイティウイング」という歌をデバイス８１０Ａにストリームすることができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ要求に対する応答を受信し、その応答の表現をユーザに提供する。例えば、デバイス８１０Ａは、「マイティウイング」という歌のストリーミングを受信し、その歌のオーディオ出力を提供する。
図１１Ｃを参照すると、いくつかの実施形態で、ユーザ８０４は、タスク実行のユーザ要求を表す音声入力１１２６を提供することができる。音声入力１１２６は、例えば、「映画スターウォーズを再生して」を含むことができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、音声入力１１２６を受信する。いくつかの例において、デバイス８１０Ａは、音声入力１１２６に基づいて、リモート装置（例えば、サーバなどのデバイス８２０）にではなくてデバイス８１０Ａの近傍に配置されたデバイス（例えば、デバイス８４０）にユーザ要求１１２８の表現を提供することができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、いくつかの理由でリモート装置にユーザ要求１１２８の表現を提供しないことがある。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８１０Ａの近傍に配置されたデバイス（例えば、ＴＶセットトップボックスなどのデバイス８４０）において情報が入手可能であると見られること、リモート装置への接続が存在しない又は弱いこと、リモート装置への帯域幅が限られている又は劣ること、所定の構成が、デバイス８１０Ａの近傍にあるデバイス（例えば、Ｗｉ−Ｆｉを介してデバイス８１０Ａに接続されたデバイス）にユーザ要求の表現を提供することを求めることなどを判定することができる。上記のように、デバイス８４０は、デバイス８１０Ａの近傍に配置されたＴＶセットトップボックスでもよく、デバイス８２０はリモートに配置されたサーバでもよい。いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８１０Ａの近傍に配置されたデバイス（例えばデバイス８４０）にユーザ要求の表現を常に提供するように構成することができる。いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ要求のタイプ及び／又はコンテンツに基づいて、デバイス８１０Ａの近傍に配置されたデバイス（例えば、デバイス８４０）又はリモート装置（例えばデバイス８２０）にユーザ要求の表現を提供するように構成することができる。上記のように、いくつかの例において、ユーザ要求がユーザ固有情報の要求であれば、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８１０Ａの近傍に配置されたデバイス（例えば、ユーザのスマートフォン）にユーザ要求の表現を提供することができ、ユーザ要求が非ユーザ固有情報の要求であれば、デバイス８１０Ａはリモート装置（例えば、サーバ）にユーザ要求の表現を提供することができる。
図１１Ｃに示すように、デバイス８４０は、デバイス８４０がユーザ要求に対する応答を提供することができるかどうかをデバイス８４０に判定させることができるユーザ要求１１２８の表現を受信する。例えば、デバイス８４０は、映画スターウォーズを記憶していて、デバイス８１０Ａに応答を提供することができると判定することができる。他の例として、デバイス８４０は、ユーザの個人用カレンダー、連絡先、写真、メディアアイテムなどを含むデータを記憶していると判定することができ、これにより、これらの記憶されたデータを使用して情報又はタスク実行のユーザ要求に対する応答を提供することができる。デバイス８４０がユーザ要求に対する応答を提供することができるという判定に従って、デバイス８４０は、デバイス８１０Ａに応答１１３４を提供することができる。例えば、デバイス８４０は、映画「スターウォーズ」をデバイス８１０Ａにストリームすることができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８１０Ａから応答１１３４を受信し、応答１１３４の表現をユーザに提供する。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、そのディスプレイ及びスピーカを使用し、オーディオ出力１１３６を提供する（例えば、映画「スターウォーズ」を再生する）ことができる。いくつかの例において、デバイス８４０は、応答の少なくとも一部をデバイス８１０Ａに提供し、その一方で、応答の他の部分を１つ以上の他のデバイスに提供することができる。例えば、デバイス８４０は、映画「スターウォーズ」のオーディオ部分をデバイス８１０Ａに提供し、その一方で、この映画のビデオ部分をデバイス１１３７（例えば、ＴＶ）に提供することができる。
図１１Ｃを参照すると、上記のように、デバイス８４０は、デバイス８４０にユーザ要求に対する応答を提供することができるかどうかを判定させることができるユーザ要求１１２８の表現を受信する。いくつかの例において、デバイス８４０は、ユーザ要求に対する応答を提供することはできないと判定することができる。例えば、デバイス８４０は、映画「スターウォーズ」を記憶しておらず、したがって、応答を提供することはできないと判定することができる。他の例として、デバイス８４０は、ユーザ要求がデバイス８４０に記憶されていない情報（例えば、株情報、ウェブ検索要求等）についてであると判定し、したがってデバイス８４０は応答を提供することはできないと判定することができる。
図１１Ｃに示すように、デバイス８４０はユーザ要求に対する応答を提供できないという判定に従って、デバイス８４０は、ネットワーク８５０を介してデバイス８２０にユーザ要求１１２８の表現を転送することができる。上記のように、デバイス８２０はサーバとすることができる。デバイス８２０は、ユーザ要求１１２８の表現に基づいて、デバイス８２０が応答を提供することができるかどうかを判定することができる。例えば、デバイス８２０は、要求された映画を記憶しているかどうか、又は要求された映画がユーザ８０４のクラウドアカウントから又はウェブソース（例えば、メディアウェブサイト）からアクセス可能かどうかを判定することができる。デバイス８２０が、要求された映画を記憶していると、又は要求された映画がアクセス可能であると判定した場合、デバイス８２０は、応答を提供することができると判定する。いくつかの例において、デバイス８２０は、デバイス８４０に応答１１３２を提供することができ、デバイス８４０は、次いで、デバイス８１０Ａ及び任意選択的にデバイス１１３７（例えば、ＴＶ）に転送することができる。いくつかの例において、デバイス８２０は、デバイス８１０Ａ及び任意選択的にデバイス１１３７に直接応答１１３２を提供することができる。例えば、デバイス８２０は、映画「スターウォーズ」のビデオ部分をデバイス１１３７に（デバイス８４０を介して）送りつつ、映画「スターウォーズ」のオーディオ部分をデバイス８１０Ａに送ることができる。デバイス８１０Ａ上で動作するデジタルアシスタント、及び任意選択的にデバイス１１３７は、応答１１３２を受信し、応答１１３２の表現をユーザに提供する。例えば、デバイス８１０Ａ上で動作するデジタルアシスタント、及び任意選択的にデバイス１１３７は、受信した応答１１３２に基づく出力１１３６を提供する（例えば、映画「スターウォーズ」を再生する）ことができる。
図１１Ｃに示す例を利用して、音声入力１１２６を提供する代わりに、ユーザ８０４は、「私のＴＶで映画スターウォーズを再生し、私のコンピュータ上に別の画面を設定して」などの音声入力を提供することができる。上記と同様に、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８４０にユーザ要求の表現を提供し、デバイス８４０（例えば、デバイス８１０Ａの近傍に配置されたＴＶセットトップボックス）又はデバイス８２０（例えば、サーバ）が応答を提供できるかどうかの判定に基づいて、デバイス８４０又はデバイス８２０からユーザ要求に対する応答を受信することができる。いくつかの実施形態において、ユーザ要求は、ユーザ要求に対する応答を複数のデバイスに提供することを指示することができる。これにより、デバイス８４０及び／又はデバイス８２０は、応答を適切に提供することができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、応答の一部（例えば、映画のオーディオ部分）を受信することができ、デバイス１１３７は、応答の別の部分（例えば、映画のビデオ部分）を受信することができ、また、別のデバイス（例えば、ユーザのコンピュータ）は、その応答の複製（例えば、映画のオーディオ部分及びビデオ部分のコピー）を受信することができる。いくつかの例において、ユーザ８０４は、デバイス８１０Ａではなくて、自分のコンピュータ又はタブレットなどのデバイスを使用して映画を見たいことがある。ユーザ８０４は、「映画スターウォーズを私のコンピュータで再生して」又は「映画スターウォーズを私のタブレットで再生して」などの音声入力を提供することができる。音声入力は、タスク実行を開始する（例えば、映画スターウォーズの再生を開始する）ための初期入力として提供されてもよい。音声入力はまた、タスクが実行されている間に（例えば、デバイス８４０が映画をデバイス８１０Ａ及び／又はデバイス１１３７にストリームしている間に）、後続の入力として提供されてもよい。上記と同様に、デバイス８１０Ａは、デバイス８４０及び／又はデバイス８２０にユーザ要求の表現を提供することができる。ユーザ要求の表現は、応答がユーザのコンピュータ又はタブレット（図１１Ｃには示さず）に提供されることを示すことができる。これによりユーザのコンピュータ又はタブレットは、デバイス８４０（例えば、デバイス８１０Ａの近傍に配置されたＴＶセットトップボックス）又はデバイス８２０（例えば、サーバ）が応答を提供することができるかどうかの判定に基づいて、デバイス８４０又はデバイス８２０からユーザ要求に対する応答を受信することができる。
図１１Ｄを参照すると、いくつかの実施形態において、ユーザ８０４は「ジェーンに電話し、ケビンと会議」などの音声入力１１５２を提供することができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、音声入力１１５２を受信し、ユーザ要求１１５４の表現をデバイス８３０（例えば、ユーザのスマートフォン）に提供することができる。ユーザ要求１１５４は、デバイス８３０でタスクを実行するための要求（例えば、ジェーンに電話し、ケビンと会議）を含むことができる。デバイス８３０は、ユーザ要求１１５４の表現を受信し、デバイス８３０はタスクを実行することができると判定する。図１〜７Ｃに関連して前述したように、他の例では同様に、デバイス８３０（及び／又はデバイス８１０Ａ）上で動作するデジタルアシスタントの自然言語処理モジュールは、ユーザ要求に基づいて実施可能な意図を識別し、識別された実施可能な意図を表す構造クエリを生成することができる。例えば、そのようにして、デバイス８３０は、音声入力１１５２に基づいて、実施可能な意図が「電話をかけること」であるかを判定することができる。いくつかの例において、デジタルアシスタントは、ユーザの意図を十分に推測するために必要な情報を能動的に引き出し、取得することができる（例えば、単語の曖昧さの解消、ユーザからの更なる明確化の入力を引き出す、及び／又はユーザの連絡先リストなどのコンテキスト情報の使用によって）。「電話をかける」の構造化されたクエリは、｛呼び出し先｝、｛電話番号｝などのパラメータを含むことができる。次に、デジタルアシスタントのタスクフロー処理モジュールは、構造化されたクエリを受け取り、ユーザ要求に対する応答を提供するために必要なアクションを実行することができる。これにより、デバイス８３０は、ユーザ要求１１５４に応じてタスクを実行することができる（例えば、ユーザ１１９４のデバイス１１８２を呼び出し、ユーザ１１９６のデバイス１１８６で会議する）。タスクの実行に基づいて、デバイス８３０は、デバイス８１０Ａに応答１１５７を提供することもできる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ１１９４（例えば、ジェーン）及びユーザ１１９６（例えば、ケビン）との会議が確立されたことを指示する応答１１５７をデバイス８３０から受信することができる。これにより、デバイス８１０Ａ上で動作するデジタルアシスタントは、「ジェーン及びケビンが接続された」などのオーディオ出力１１６２を提供することができる。
図１２Ａ〜１２Ｃは、様々な例に応じた、情報に対するユーザ要求に基づいてデジタルアシスタントサービスを提供する機能を示している。図１２Ａを参照すると、ユーザ８０４は「ジェーンの携帯電話番号を見つけて」などの音声入力１２０６を提供することができる。これにより、音声入力１２０６は、電話番号に対するユーザ要求を表す。デバイス８１０Ａ上で動作するデジタルアシスタントは、音声入力１２０６を受信し、デバイス８１０Ａの近傍に配置されたデバイス（例えば、ユーザのスマートフォンなどのデバイス８３０）にではなくて、リモート装置（例えば、サーバなどのデバイス８２０）にネットワーク８５０を介してユーザ要求１２０８の表現を提供する。デバイス８１０Ａ上で動作するデジタルアシスタントは、いくつかの理由でデバイス８１０Ａの近傍に配置されたデバイスにユーザ要求１２０８の表現を提供しないことがある。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８１０Ａの近傍に配置されたデバイス（例えば、デバイス８３０）において情報が利用できそうにないこと、デバイス８１０Ａの近傍にあるデバイスへの接続が存在しない又は弱い（例えば、デバイス８３０がデバイス８１０Ａの通信範囲外にある）こと、デバイス８１０Ａの近傍に配置されたデバイスに対する帯域幅が限られている又は劣ること、所定の構成は、ユーザ要求の表現をリモート装置に提供することを必要とすることなどを判定することができる。
いくつかの実施形態において、デバイス８２０は、デバイス８２０がユーザ要求に対する応答を提供することができるかどうかをデバイス８２０に判定させることができるユーザ要求１２０８の表現を受信する。例えば、デバイス８２０は、ユーザ８０４のクラウドアカウントは要求された電話番号を記憶していて、したがって、ユーザ要求に対する応答を提供することができると判定することができる。デバイス８２０がユーザ要求に対する応答を提供することができるという判定に従って、デバイス８２０は、デバイス８１０Ａに応答１２１０を提供することができる。例えば、デバイス８２０は、ジェーンの電話番号をデバイス８１０Ａに提供することができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８２０から応答１２１０を受信し、応答１２１０の表現をユーザ８０４に提供する。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、「ジェーンの番号は１２３−４５６−７８９０です」などのオーディオ出力１２１２を提供することができる。
図１２Ｂを参照すると、図１２Ａと同様に、デバイス８１０Ａが「ジェーンの電話番号を見つけて」などの音声入力１２２６を受信した後、デバイス８１０Ａは、ネットワーク８５０を介してデバイス８２０にユーザ要求１２２８の表現を提供することができる。いくつかの実施形態において、デバイス８２０は、ユーザ要求１２２８の表現を受信し、このユーザ要求は、デバイス８２０がユーザ要求１２２８に対する応答を提供することができるかどうかをデバイス８２０に判定させることができる。例えば、デバイス８２０は、ユーザ８０４のクラウドアカウントがジェーンの電話番号を記憶しておらす、したがって、ユーザ要求に対する応答を提供できないと判定することができる。デバイス８２０はユーザ要求に対する応答を提供できないという判定に従って、デバイス８２０は、デバイス８３０にユーザ要求１２２８の表現を転送することができる。デバイス８３０は、デバイス８１０Ａの近傍に配置されたデバイスでもよく、ユーザ８０４に関連付けられたデバイスでもよい（例えば、スマートフォンなどのユーザ８０４のパーソナルデバイス）。上記と同様に、デバイス８３０は、それがユーザ要求に対する応答を提供することができるかどうか（例えば、それがジェーンの電話番号を記憶しているかどうか）を判定することができ、その判定に従って応答１２３２をデバイス８１０Ａに提供する。例えば、デバイス８３０はジェーンの電話番号を提供することができるという判定に従って、デバイス８３０は、ジェーンの電話番号をデバイス８１０Ａに提供することができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０から応答１２３２を受信し、応答１２３２の表現をユーザに提供する。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、「ジェーンの番号は１２３−４５６−７８９０です」などのオーディオ出力１２３４を提供することができる。いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０から直接応答を受信することができる。以下に説明するように、いくつかの実施形態において、デバイス８３０は応答をデバイス８２０に提供することができ、次いで、デバイス８２０はこの応答をデバイス８１０Ａに転送することができる。
図１２Ｃを参照し、図１２Ｂに関連して説明した上記の例を続けると、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０から間接的に応答１２５２を受信することができる。例えば、デバイス８３０は応答１２５２（例えば、ジェーンの電話番号）をデバイス８２０（例えば、サーバ）に提供することができ、デバイス８２０は、次いで、デバイス８１０Ａに応答１２５２を転送することができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８２０から応答１２５２を受信し、応答１２５２の表現をユーザ８０４に提供する。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、「ジェーンの番号は１２３−４５６−７８９０です」などのオーディオ出力１２５６を提供することができる。
図１３Ａ〜１３Ｂは、様々な例に応じて、第１の電子デバイス又は追加の電子デバイスにおいてデジタルアシスタントサービスを提供する機能性を示している。図１３Ａを参照すると、上記のように、複数のデバイス８１０Ａ〜Ｃは、あるデバイスから別のデバイスにデジタルアシスタントサービスを拡張するサービス拡張デバイスとすることができる。例えば、図１３Ａに示すように、デバイス８１０Ａ〜Ｃは、デバイス８３０（例えば、ユーザ８０４のスマートフォンデバイス）の近傍に配置されて、デバイス８３０によって提供されるデジタルアシスタントサービスを拡張することができる。いくつかの例において、デバイス８３０の近傍に複数のデバイス８１０Ａ〜Ｃを配置することは、デバイス８３０の所定の境界又は距離内にデバイス８１０Ａ〜Ｃを配置することを含み得る。例えば、デバイス８１０Ａ〜Ｃは、デバイス８３０と同じ住宅又は建物内に配置されてもよい。図１３Ａに示すように、いくつかの実施形態において、デバイス８１０Ａ〜Ｃは、エリア１３００の別の部分にデジタルアシスタントサービスを拡張するように配置されてもよい。図１３に示すように、エリア１３００は、例えば、居間１３２０、オフィス１３４０、及び寝室１３６０を含み得る。いくつかの例において、デバイス８１０Ａは居間１３２０内に配置することができ、デバイス８１０Ｂはオフィス１３４０内に配置することができ、デバイス８１０Ｃは寝室１３６０内に配置することができる。上記のように、デバイス８１０Ａ〜Ｃは、互いに及び他のデバイス（例えば、デバイス８２０及び８３０）に通信可能に結合することができる。
図１３Ａに示すように、ユーザ８０４は、デバイス８１０Ａが配置された居間１３０２内に位置してもよい。ユーザ８０４は、何らかの軽音楽を流しながら就寝したいと考えて、「寝室のスピーカで軽音楽を再生して」などの音声入力１３０６をデバイス８１０Ａに与えることができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ要求を表す音声入力１３０６を受信する。上記と同様に、デバイス８１０Ａは、デバイス８３０（例えば、デバイス８１０Ａの近傍に配置されたユーザのスマートフォン）又はデバイス８２０（例えば、リモートに配置されたサーバ）のうちの少なくとも一方にユーザ要求の表現を与えることができる。デバイス８２０又はデバイス８３０の少なくとも一方は、それぞれのデバイスがユーザ要求に対する応答を提供できるかどうかを判定し、デバイス８１０Ａに応答を提供する。次いで、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ８０４に応答の表現（例えば、オーディオ出力）を提供することができる。
いくつかの実施形態において、デバイス８１０Ａ上で動作するデジタルアシスタントは、応答の表現をユーザ８０４に提供する前に、応答の表現をデバイス８１０Ａ又は別のデバイスによって提供するかどうかを判定することができる。例えば、音声入力１３０６は、「寝室のスピーカで軽音楽を再生して」を含んでもよいこれにより、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザの意図がデバイス８１０Ａ上ではなく、寝室１３６０内に配置されたデバイス８１０Ｃで音楽を再生することだと判定することができる。この判定は、例えば、上記の自然言語処理を用いて行うことができる。応答の表現はデバイス８１０Ａによって提供されないという判定に従って、デバイス８１０Ａは、寝室１３６０に配置されたデバイス８１０Ｃに応答を転送する、又は応答がデバイス８１０Ｃに提供されるようにすることができる。これにより、デバイス８１０Ｃは、ユーザが要求した軽音楽を再生するオーディオ出力１３１０を提供することができる。他の例では、デバイス８１０Ａは、デバイス８１０Ａによって応答の表現を提供すべきという判定に従って、それ自体で応答の表現をユーザ８０４に提供することができる。上記のように、複数のデバイス８１０Ａ〜Ｃはエリア１４００内に配置され得る。いくつかの例において、デジタルアシスタント（デバイス８１０Ａ、８１０Ｂ、８１０Ｃ、デバイス８３０等で動作するデジタルアシスタント）は、デバイス８１０Ａ〜Ｃの場所を判定することができる（例えば、初期構成に基づいて）。例えば、初期構成の間、ユーザ宅内のそれの場所に基づいてデバイス又はデバイスセットに「居間」などの名前を割り当てることができる。いくつかの実施形態において、デバイス又はデバイスセットの名前は、「デバイス１」又は「デバイス１−居間」などのデフォルト名である。いくつかの実施形態において、デバイスの場所（例えば、部屋名）及び他のデバイス構成が、構成データに含まれる。構成プロセス中に、デバイスによって構成データを受信し、記憶する。
上記のように、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ８０４に応答の表現を提供する前に、応答の表現がデバイス８１０Ａ又は別のデバイスによって提供されるべきかどうかを判定することができる。いくつかの例において、そのような判定は、ユーザの音声入力（例えば、「寝室のスピーカで軽音楽を再生して」）によって表されるユーザ要求に基づくことができる。いくつかの例において、そのような判定は、ユーザの場所の検出又はユーザの移動の追跡のうちの少なくとも１つに基づくことができる。図１３Ｂを参照すると、ユーザ８０４は、デバイス８１０Ａが配置された居間１３０２内に位置し得る。ユーザ８０４は、何らかの軽音楽を聞きながらオフィス１３４０に行きたいと考えて、「軽音楽を再生して」などの音声入力１３２６をデバイス８１０Ａに与えることができる。音声入力１３２６は、ユーザはデバイス８１０Ａ〜Ｃのどれで音楽を再生したいかを指示しない。デバイス８１０Ａ上で動作するデジタルアシスタントが、ユーザ要求を表す音声入力１３２６を受信する。上記と同様に、デバイス８１０Ａは、デバイス８３０（例えば、デバイス８１０Ａの近傍に配置されたユーザのスマートフォン）又はデバイス８２０（例えば、リモートに配置されたサーバ）のうちの少なくとも１つにユーザ要求の表現を提供することができる。デバイス８２０又はデバイス８３０のうちの少なくとも１つが、それぞれのデバイスがユーザ要求に対する応答を提供できるかどうかを判定し、デバイス８１０Ａに応答を提供する。
デバイス８１０Ａは、ユーザ８０４に応答の表現を提供する前に、デバイス８１０Ａ又は別のデバイスによって応答の表現（例えば、オーディオ出力）が提供されるべきかどうかを判定することができる。いくつかの例において、デバイス８１０Ａは、そのような判定をユーザ８０４の場所の検出又はユーザ８０４の移動の追跡のうちの少なくとも１つに基づいて行うことができる。例えば、デバイス８１０Ａは、ユーザ８０４は居間１３２０にいるがオフィス１３４０に向かって移動していることを検出することができる。デバイス８１０Ａは、動きセンサなどの１つ以上のセンサ、測位システム、カメラなどを使用し、場所及び／又は移動を検出することができる。ユーザ８０４はオフィス１３４０に向かって移動しているという判定に従って、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザの意図は、デバイス８１０Ａではなくて、オフィス１３４０内に配置されたデバイス８１０Ｂで音楽を再生することであること、あるいは、音楽再生はデバイス８１０Ａで開始されるべきだが、オフィス１３４０内に配置されたデバイス８１０Ｂで継続されるべき(任意選択的に、デバイス８１０Ａで中断されるべき)であると判定することができる。応答の表現はデバイス８１０Ａによって提供されないという判定に従って、デバイス８１０Ａは、オフィス１３４０内に配置されたデバイス８１０Ｂに応答を転送する又は応答がデバイス８１０Ｂに提供されるようにすることができる。これにより、デバイス８１０Ｂは、ユーザが要求した軽音楽を再生するオーディオ出力１３２８を提供することができる。
他の例では、デバイス８１０Ａによって応答の表現が提供される（例えば、ユーザ８０４は居間１３２０にいて、移動していない）という判定に従って、デバイス８１０Ａは、それ自体でユーザ８０４に応答の表現を提供することができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザの嗜好（例えば、ユーザ８０４は就寝時間の前に音楽を聴くことを好む）、応答を提供するために使用された過去のデバイス、デバイス属性、及び能力（例えば、デバイス８１０Ａはデバイス８１０Ｂよりも優れたサウンドを提供することができる）などの任意のコンテキスト情報に基づいて、応答がデバイス８１０Ａ又は別のデバイスから提供されるべきかどうかを判定することができる。
図１４は、様々な例に応じて、異なる電子デバイス間でデジタルアシスタントサービスの連続性を実現する機能性を示している。図１４に示すように、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ８０４に応答１４０６を提供（例えば、音楽を再生）し得る。デバイス８１０Ａが応答１４０６を提供するプロセスにある間、ユーザ８０４はデバイス８１０Ａが配置されたエリア１４００の外に移動することがある。例えば、ユーザ８０４は、自宅を出て、仕事に行く必要があることがある。いくつかの実施形態において、デバイス８１０Ａ上で動作するデジタルアシスタントは、応答１４０６が別の電子デバイスで継続して提供されるべきかどうかを判定することができる。一例として、デバイス８１０Ａが応答１４０６を提供する間に、ユーザ８０４は、「私のスマートフォンで音楽再生を続けて」などの音声入力を与えることができる。デバイス８１０Ａは、この音声入力を受信し、ユーザの意図がデバイス８３０（例えば、ユーザのスマートフォン）で音楽再生を続けることであると判定することができる。そのような判定は、上記の自然言語処理技術を用いて行うことができる。判定したユーザの意図に基づいて、デバイス８１０Ａは、応答１４０６は異なるデバイスで音楽を提供し続けるべきであると判定することができる。
いくつかの実施形態において、ユーザ８０４はまた、「私のスマートフォンで音楽の再生を続けて」などの音声入力をデバイス８１０Ａにではなくてデバイス８３０に提供することができる。音声入力及びコンテキスト情報（例えば、デバイス８１０Ａはオーディオ出力を現在提供中）に基づいて、デバイス８３０は、ユーザの意図はデバイス８１０Ａで実行されているタスクを継続して実行することであると判定することができる。例えば、デバイス８３０は、デバイス８１０Ａ（及びデバイス８３０に通信可能に結合された他のデバイス）と通信してデバイス８１０Ａのステータス情報を判定することができる。デバイス８１０Ａのステータス情報は、デバイス８１０Ａが音楽を現在再生していることを示すことができる。これにより、デバイス８３０は、ユーザの意図は、デバイス８１０Ａで現在再生されている音楽を継続して再生することであると判定することができる。この判定に基づいて、デバイス８３０は、デバイス８１０Ａによって現在実行されているタスクを継続して実行するようにデバイス８１０Ａに通信することができる。例えば、デバイス８３０は、コンテンツ及び／又はメタデータ（例えば、現在再生している音楽に関連するタイムスタンプ）を取得し、デバイス８３０によって音楽を継続して再生し、デバイス８１０Ａに再生を停止させることができる。
図１４に示す別の例として、デバイス８１０Ａ上で動作するデジタルアシスタントが応答１４０６を提供している間、デバイス８１０Ａは、ユーザの場所の検出又はユーザの移動の追跡のうちの少なくとも１つを実行することができる。デバイス８１０Ａは、例えば、動きセンサなどの１つ以上のセンサ、測位システム、カメラなどを使用して、場所及び／又は移動を検出することができる。一例としいて、デバイス８１０Ａは、ユーザ８０４の現在の場所及び／又は移動を連続的又は周期的に追跡することができる。いくつかの例において、デバイス８１０Ａは、デバイス８１０Ａに対するユーザ８０４の場所の変化が所定の条件を満たすかどうかを検出することができる。例えば、デバイス８１０Ａは、ユーザ８０４がエリア１４００（例えば、住宅）の所定の境界の外に移動したことを検出することができる。その結果、デバイス８１０Ａは、応答１４０６は異なるデバイスで継続して提供されるべきであると判定することができる。
別の例として、デバイス８１０Ａが、応答１４０６を提供するプロセスにある間、デバイス８１０Ａは、ユーザ８０４に関連付けられたデバイス（例えば、ユーザのスマートフォンなどのデバイス８３０）の移動を検出することができる。例えば、デバイス８１０Ａは、デバイス８３０の通信信号強度が短期間にわたって低下したと判定することができ、これは、デバイス８３０がエリア１４００の境界の外に移動したと見られることを示す。その結果、デバイス８１０Ａは、応答１４０６は異なるデバイス（例えば、デバイス８３０）で継続して提供されるべきであると判定することができる。
いくつかの実施形態において、応答１４０６は別の電子デバイスで継続して提供されるべきであるとの判定に従って、デバイス８１０Ａは、１つ以上の別の電子デバイスによって応答１４０６が継続して提供されるようにすることができる。例えば、デバイス８１０Ａは、デバイス８３０（例えば、ユーザのスマートフォン）に、応答１４０６を提供する残りのコンテンツ（例えば、応答１４０６の残り）及び／又は応答１４０６の提供に関連するメタデータ（例えば、デバイス８２０又はデバイス８３０からストリームされた現在再生しているメディアのタイムスタンプ）を送信することができる。いくつかの例において、デバイス８１０Ａは、応答１４０６の内容が得られた別のデバイス（例えばデバイス８２０）に通知を送ることもできる。通知は、応答１４０６は別のデバイスで継続して提供されるべきであり、したがって、応答１４０６のコンテンツはそのデバイスに提供されるべきであると指示又は要求することができる。デバイス８３０は、受信した残りのコンテンツ及び／又はメタデータに基づいて、ユーザ８０４に応答１４０６を提供し続けることができる。異なるデバイスでのデジタルアシスタントサービスの継続的提供の更なる詳細は、参照することによりその内容の全体が本明細書に組み込まれ、付録に含まれている、２０１６年９月２１日に出願された、「ＩＮＴＥＬＬＩＧＥＮＴ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ ＩＮ Ａ ＭＵＬＴＩ−ＴＡＳＫＩＮＧ ＥＮＶＩＲＯＮＭＥＮＴ」と題する同時係属米国特許出願第１５／２７１，７６６号に記載されている。
図８Ａ〜８Ｂ、９Ａ〜９Ｃ、１０Ａ〜１０Ｃ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｃ、１３Ａ〜１３Ｂ、及び１４に関する上記の記述において、デバイス８２０は、サーバなどのリモート装置にすることができる。いくつかの実施形態において、デバイスは、デバイス８２０のプロキシデバイスとして動作し、デバイス８１０Ａ〜Ｃの近傍に配置することができる。一例として、図８Ａに戻って参照すると、デバイス８４０（例えば、ＴＶセットトップボックス）は、デバイス８２０（例えば、リモートサーバ）のプロキシデバイスとして動作することができる。プロキシデバイスは、他のデバイス（例えば、サーバ）からリソースをシークするクライアントデバイス（例えば、デバイス８１０Ａ）からの要求の仲介として動作することができる。プロキシとして、デバイス８４０は、複数のホームオートメーションデバイス（例えば、スマートサーモスタット、スマートドア、スマート光スイッチ等）からの要求を処理するように動作することができる。例えば、ユーザの音声入力（例えば、デバイス８１０Ａを介して受信した音声入力）に基づいて、スマートサーモスタットは、温度及び／又は湿度レベルを調整するタスクを実行するように求められ得る。スマートサーモスタットは、これにより、デバイス８４０と通信して現在の温度及び湿度データを各種センサに要求し得る。デバイス８４０は、これにより、プロキシとして動作して要求を適切なデバイス及び／又はセンサに中継し、データをスマートサーモスタットに提供することができる。
５．イベントの通知に基づいてデジタルアシスタントサービスを提供するデジタルアシスタントの例示的な機能
５．イベントの通知に基づいてデジタルアシスタントサービスを提供するデジタルアシスタントの例示的な機能
図２、４、６、１５Ａ〜１５Ｇは、電子デバイス上で動作するデジタルアシスタントによるデジタルアシスタントサービスの提供の機能性を示している。いくつかの例において、デジタルアシスタント（例えば、デジタルアシスタントシステム７００）は様々な例に応じてユーザデバイスにより実行される。いくつかの例において、ユーザデバイス、サーバ（例えば、サーバ１０８、デバイス８２０）又はその組み合わせが、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）を実行することができる。ユーザデバイスは、例えば、デバイス２００、４００、６００、８１０Ａ〜Ｃ、８２０、及び／又は８３０を用いて実行することができる。いくつかの例において、ユーザデバイスは、オーディオ出力能力及びネットワーク接続性を有するデバイス、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータ、又はタブレットコンピュータである。
図１５Ａ〜１５Ｇは、様々な例に応じて、イベントの通知に基づいてデジタルアシスタントサービスを提供する機能性を示している。図１５Ａに示すように、デバイス８１０Ａは、ユーザ１５０４に関連付けられた１つ以上のイベントの通知１５０６及び／又は１５０８を受信することができる。このように、デバイス８１０Ａ（及び同様に他のデバイス８１０Ｂ〜Ｃ）は、１つ以上のオーディオ入出力装置（例えば、マイクロフォン及び１つ以上のスピーカ）と、１つ以上のネットワーク通信インターフェースと、任意選択的に、デバイス動作指示を提供する１つ以上のインジケータ（例えば、ライト）とを含むことができる。いくつかの例において、図１５Ａに示すように、デバイス８１０Ａは、デバイス８３０（例えば、ユーザのスマートフォン）からの通知１５０６及び／又はデバイス８２０（例えば、リモートサーバ）からの通知１５０８を受信することができる。
いくつかの例において、イベントの通知は、着信、リマインダ、メッセージ、ボイスメール、ニュースアラートなどのうちの少なくとも１つの表現を含むことができる。例えば、デバイス８３０上で動作するデジタルアシスタントは、カレンダーアプリケーションからカレンダーリマインダを受信することができ、カレンダーリマインダの表現をデバイス８１０Ａに転送することができる。図１５Ａに示すように、通知１５０６及び／又は１５０８の受信に応じて、デバイス８１０Ａ上で動作するデジタルアシスタントは、通知１５０６及び／又は１５０８の１つ以上の通知１５１０を出力することができる。いくつかの例において、通知１５１０は、オーディオ通知（例えば、ビープ音、トーン等）、視覚的な指示（例えば、点滅光、表示メッセージ等）、又は音声及び視覚的指示の組み合わせにすることができる。図１５Ａは、通知１５１０がデバイス８１０Ａによって提供されることを示すが、通知１５１０はまた、デバイス８３０及び／又はデバイス８１０Ｂ〜Ｃ（図１５Ａには示さず）などの他のデバイスによって提供することができる。このように、デバイス８３０は、例えば、ユーザのスマートフォン、スマートウォッチ、タブレット等であってもよく、また、デバイス８１０Ｂ〜Ｃは、デバイス８１０Ａと同様のタイプのデバイスであってもよく、デバイス８１０Ａの近傍（例えば、同じ住宅内）に配置される。これにより、どの場所でもどのデバイスによってもユーザ１５０４に通知の指示を提供することができる。様々な場所に配置された複数のデバイスによって指示を提供することによって、通知に関してユーザ１５０４の注意を引く可能性を向上させることができる。いくつかの例において、ユーザ１５０４の混乱を最小限に抑えるために、通知は１つのデバイス（例えば、デバイス８１０Ａ）によってのみ提供される。
図１５Ｂに示すように、上記の例を続けると、ユーザ１５０４は、通知１５１０を受け取り、通知１５１０に関して問い合わせる音声入力１５１６を与えることができる。例えば、音声入力１５１６は「それは何？」を含むことができる。いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、音声入力１５１６を受信し、イベントの通知に従って応答１５１８を出力することができる。例えば、図１５Ｂに示すように、イベントの通知がジョンからの音声メッセージの表現を含む場合、デバイス８１０Ａ上で動作するデジタルアシスタントは、「ジョンからボイスメールが届いています」などの応答１５１８を出力することができる。イベントの通知がカレンダーのリマインダの表現を含む場合、デバイス８１０Ａ上で動作するデジタルアシスタントは、「あなたのカレンダー上に今度のイベントがあります」などの応答１５１８を出力することができる。イベントの通知が、ジョンからの着信の表現を含む場合、デバイス８１０Ａ上で動作するデジタルアシスタントは、「ジョンからの着信があります」などの応答１５１８を出力することができる。
図１５Ｃに示すように、上記の例を継続すると、イベントの通知に従って応答１５１８を出力した後、デバイス８１０Ａ上で動作するデジタルアシスタントは、例えば、応答１５１８以降のユーザ発話をリッスンすることによって、ユーザ入力の監視を継続することができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、その後の音声入力１５２６を受信することができる。音声入力１５２６は、例えば、「メッセージを再生して」、「そのイベントは何？」、又は「ジョンからの電話に出る」を含み得る。
いくつかの例において、図１５Ｃに示すように、デバイス８１０Ａ上で動作するデジタルアシスタントは、音声入力１５２６を受信し、音声入力１５２６に基づいてユーザ意図を判定することができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザの意図はジョンからのボイスメールを再生すること、近づいているカレンダーイベントをリッスンすること、又はジョンからの電話に出ることであると判定することができる。したがって、デバイス８１０Ａ上で動作するデジタルアシスタントは、判定されたユーザの意図に従ってユーザ１５０４に通知を提供することができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、ジョンからのボイスメールに対応するオーディオ出力１５２８（例えば「こんにちは、ビル、ジョンです。明日一緒に昼食を取る時間はありますか？」）を提供することができる。
いくつかの実施形態において、デバイス８１０Ａ上で動作するデジタルアシスタントは、１つ以上の音声入力に従って、デバイス８１０Ａにおいて通知が提供されるべきかどうかを判定することができる。上記のように、いくつかの例において、デバイス８１０Ａは複数のユーザ間で共用することができる。したがって、デバイス８１０Ａが受信するイベントの通知は、特定のユーザ（例えば、ユーザ１５０４）向けであってもなくてもよい。図１５Ｄに示すように、上記の例を続けると、デバイス８１０Ａが、イベントの通知に従って応答（例えば、「ビル、ジョンからのボイスメールが届いています」）を出力する場合に、デバイス８１０Ａは、イベントの通知を提供する意図されたユーザとは異なるユーザであるユーザ１５０５からその後の音声入力１５３６を受信することができる。音声入力１５３６は、例えば「私はビルではありません。彼はここにはいません」を含むことができる。
いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、１つ以上の音声入力を提供するユーザの識別情報を得て、この１つ以上の音声入力を提供するユーザに通知が提供されるべきかどうかを判定することができる。例えば、図１５Ｄに示すように、音声入力１５３６（例えば「私は、ビルではありません。彼はここにはいません」）に基づいて、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ１５０５は通知が提供されることを意図されたユーザではない（例えば、「ビルではない」）と判定することができる。これにより、デバイス８１０Ａ上で動作するデジタルアシスタントは、通知はユーザ１５０５に提供されるべきではないと判定することができる。
いくつかの例において、１つ以上の音声入力を提供するユーザの識別情報を得るために、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザに関連付けられた認証データを取得することができる。図１５Ｅに示すように、上記の例を続けると、デバイス８１０Ａがイベントの通知に従って応答（例えば、「ビル、ジョンからボイスメールが届いています」）を出力する場合、デバイス８１０Ａ上で動作するデジタルアシスタントは、イベントの通知を提供する意図されたユーザとは異なるユーザであるユーザ１５０７から次の音声入力１５４６を受け取ることができる。ユーザ１５０７は、例えば、ユーザ１５０４（例えば、ビル）の家にいる客であってよい。ユーザ１５０７は、ビルのメッセージをリッスンすると判定することができ、したがって、音声入力１５４６は、例えば、「メッセージを再生して」を含み得る。いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ１５０７に関連付けられた認証データを得ることができる。上記と同様に、認証データは、ユーザ１５０７の音声バイオメトリクス、ユーザ１５０７の顔認識データ、ユーザ１５０７を識別する別のデバイス（例えば、ユーザのスマートウォッチ）の感知、ユーザ１５０７の他の資格情報（例えば、指紋、パスワード等）を含むことができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、認証データに基づいて、ユーザ１５０７の識別情報の判定を得ることができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、認証データに基づいてユーザ１５０７を認証することができる。別の例として、デバイス８１０Ａ上で動作するデジタルアシスタントは、認証のために、デバイス８３０（例えば、ビルのスマートフォン）又はデバイス８２０（例えば、サーバ）のうちの少なくとも１つに認証データを提供することができる。デバイス８３０及び／又はデバイス８２０は、認証データを受信し、ユーザ１５０７の識別情報（例えば、一致した音声バイオメトリクス、指紋、パスワード等）を得るための認証を行うことができる。このようにして、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０又はデバイス８２０のうちの少なくとも１つからユーザ１５０７の識別情報を受け取ることができる。
いくつかの例において、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザの識別情報に基づいて、受信した通知に基づいて、１つ以上の音声入力のうちの少なくとも１つを提供するユーザに通知を提供すべきかどうかを判定することができる。例えば、図１５Ｅに示すように、ユーザ１５０７（例えば、ユーザ１５０４の家にいる客）の識別情報及び通知１５０６（例えば、ビルに向けたボイスメールの表現）に基づいて、デバイス８１０Ａ上で動作するデジタルアシスタントは、通知が意図されている又は許可されていないユーザとユーザ１５０７の識別情報が一致しない（例えば、ユーザ１５０７はビルではない）ため、通知１５０６はユーザ１５０７に提供されるべきではないと判定することができる。したがって、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ１５０７は通知を受信することを許可されていないことをユーザ１５０７に知らせるオーディオ出力１５４８（例えば、「申し訳ありませんが、あなたはこのメッセージをリッスンすることを許可されていません」）を提供することができる。その一方で、デバイス８１０Ａ上で動作するデジタルアシスタントは、通知が意図されている又は認可されているユーザとユーザ１５０７の識別情報が一致する（例えば、ユーザ１５０７はビルである）ので、通知１５０６はユーザ１５０７に提供されるべきであると判定することができる。例えば、ユーザ１５０７は、ユーザ１５０４の家族の一員であることがあり、ユーザ１５０４に対する通知を受信することが許可されている。したがって、デバイス８１０Ａは、通知１５０６のコンテンツを含むオーディオ出力を提供することができる。
いくつかの例において、１つ以上の音声入力のうちの少なくとも１つを提供するユーザに通知を提供するという判定に従って、デバイス８１０Ａ上で動作するデジタルアシスタントは、通知がデバイス８１０Ａにおいて提供されるかどうかを更に判定することができる。図１５Ｆに示すように、音声入力１５５６（例えば、「メッセージを再生して」）に基づいて、ユーザ８１０Ａは、ユーザ１５０４の識別情報を取得し、ユーザ１５０４は通知の受信を許可されていると判定することができる。これにより、デバイス８１０Ａ上のデジタルアシスタント動作は、通知はユーザ１５０４に提供されるべきであると判定することができる。いくつかの例において、デバイス８１０Ａ上のデジタルアシスタント動作は、通知がデバイス８１０Ａにおいて提供されるべきかどうかを更に判定することができる。図１５Ａに示すように、１つ以上のデバイスが、ユーザ１５０４の近傍に配置されてもよい。例えば、居間１５２０内にデバイス８１０Ａを配置してもよく、デバイス８１０Ｂをオフィス１５４０内に配置してもよく、デバイス８１０Ｃを寝室１５６０内に配置してもよい。いくつかの例において、デバイス８１０Ａは、ユーザ１５０４に通知を提供する最適なデバイスであってもなくてもよい。例えば、ユーザ１５０４は、デバイス８１０Ａから離れて行って（例えば、オフィス１５４０に向かって移動して）いてもよい。別の例としては、居間１５２０に配置されたデバイス８１０Ａの近くに他のユーザ（例えば、客）がいることがあり、これにより、ユーザ１５０４は、プライバシーに対する懸念からデバイス８１０Ａからの通知の受信を望まないことがある。
上記と同様に、いくつかの例において、デバイス８１０Ａにおいて通知が提供されるべきかどうかの判定は、ユーザの音声入力（例えば、「私のオフィスのスピーカでメッセージを再生して」）によって表されるユーザ要求に基づくことができる。いくつかの例において、そのような判定は、ユーザの場所の検出又はユーザの移動の追跡のうちの少なくとも１つに基づくことができる。例えば、ユーザ１５０４は、通知を受信する（例えば、ボイスメールをリッスンする、電話を取る等）ためにオフィス１５４０に行きたいことがある。デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ８０４は居間１５２０内に位置しているが、オフィス１５４０に向かって移動していることを検出することができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、例えば、動きセンサなどの１つ以上のセンサ、測位システム、カメラ、各種デバイスへの信号強度測定値等を用いて、場所及び／又は移動を検出することができる。ユーザの移動の検出に基づいて、デバイス８１０Ａ上で動作するデジタルアシスタントは、居間１５２０内に配置されたデバイス８１０Ａの代わりに、オフィス１５４０内に配置されたデバイス８１０Ｂによって通知は提供されるべきであると判定することができる。他の例では、デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザ８０４は移動しておらず、居間１５２０に留まっていることを検出することができる。これにより、デバイス８１０Ａは、通知は居間１５２０内に配置されたデバイス８１０Ａによって提供されるべきであると判定することができる。
図１５Ｇは、通知は別のデバイスによって提供されるべきであるとデバイス８１０Ａが判定し得る別の例を示している。図１５Ｇに示すように、通知１５７２（例えば、ジョンからのボイスメールの表現）を受信しながら、デバイス８１０Ａは、オーディオ出力１５７６を提供することがある（例えば、メディアアイテムを再生して）。これにより、デバイス８１０Ａ上で動作するデジタルアシスタントは、オーディオ出力１５７６の提供の中断を避けるために、通知１５７２はデバイス８１０Ａにおいて提供されるべきではないと判定することができる。これにより、デバイス８１０Ａ上で動作するデジタルアシスタントは、通知１５７２を提供する追加のデバイスを判定することができる。いくつかの例において、そのような判定はコンテキスト情報等に基づく。例えば、デバイス８１０Ａがオーディオ出力１５７６を現在提供しているという情報に基づいて、またデバイス８３０の検出に基づいて、デバイス８１０Ａは、デバイス８３０において通知１５７２を提供することができると判定することができる。いくつかの例において、デバイス８１０Ａは、通知１５７２が別のデバイスにおいて提供されるべきであることをユーザ１５０４に確認する出力（例えば、オーディオ及び／又は視覚出力）を提供することができる。デバイス８１０Ａ上で動作するデジタルアシスタントは、ユーザの嗜好（例えば、ユーザ１５０４はオフィス１５４０においてデバイス８１０Ｂで同僚からのボイスメールをリッスンするのを好む）、通知を提供するために使用された過去のデバイス、デバイス属性、及び能力（例えば、デバイス８１０Ｂはデバイス８１０Ａよりもよい音を提供することができる）などに基づいて、通知がデバイス８１０Ａ又は別のデバイスにおいて提供されるべきかどうかを判定することができることが理解される。
一部の実施形態において、デバイス８１０Ａで通知を提供するという判定に従って、デバイス８１０Ａ上で動作するデジタルアシスタントはデバイス８１０Ａにおいて通知を提供することができる。例えば、上記の例に示すように、デバイス８１０Ａ上で動作するデジタルアシスタントは、通知を含むオーディオ出力（例えば、ボイスメール、通話、カレンダーリマインダ等）を提供することができる。デバイス８１０Ａとは異なるデバイスにおいて通知を提供するという判定に従って、デバイス８１０Ａ上で動作するデジタルアシスタントは、通知が別のデバイスにおいて提供されるようにすることができる。例えば、デバイス８１０Ａ上で動作するデジタルアシスタントは、デバイス８３０に通知を転送する、又はデバイス８３０において通知を提供するためにデバイス８３０に要求を送ることができる。通知又は要求に基づいて、デバイス８３０は、通知のコンテンツを含むオーディオ出力１５７４を提供（例えば、ボイスメールを出力、電話を発呼、カレンダーリマインダを出力等）することができる。
６．ユーザ入力に基づいてデジタルアシスタントサービスを提供するプロセス
６．ユーザ入力に基づいてデジタルアシスタントサービスを提供するプロセス
図１６Ａ〜１６Ｉは、様々な例に応じて、ユーザ入力に基づいてデジタルアシスタントサービスを提供するためにデジタルアシスタントを動作させるプロセス１６００を示す。プロセス１６００は、例えば、デジタルアシスタントを実行する１つ以上の電子デバイスを使用して実行される。いくつかの例において、プロセス１６００は、クライアントサーバシステム（例えば、システム１００）を用いて実行され、プロセス１６００のブロックは、任意の形でサーバ（例えば、ＤＡサーバ１０６）とクライアントデバイスとの間で分割される。他の例では、プロセス１６００のブロックは、サーバと複数のクライアントデバイス（例えば、携帯電話とスマートウォッチ）との間で分割される。したがって、プロセス１６００の部分がクライアントサーバシステムの特定のデバイスによって実行されるように本明細書では説明されるが、プロセス１６００はそのように限定されないことが理解されよう。他の例では、プロセス１６００は、クライアントデバイス（例えば、ユーザデバイス１０４、電子デバイス８１０Ａ、デバイス８３０若しくはデバイス８４０）又は複数のクライアントデバイスのみを用いて実行される。プロセス１６００では、いくつかのブロックが任意選択的に結合され、いくつかのブロックの順序が任意選択的に変更され、いくつかのブロックが任意選択的に省略される。いくつかの例において、プロセス１６００と組み合わせて追加のステップを実行することができる。
図１６Ａを参照すると、ブロック１６０２において、所定のコンテンツ（例えば「起きて、スピーカ」又は「ねえ、スピーカ」）を含む第２の音声入力を受信する。ブロック１６０４で、第２の音声入力の受信に応じて、第１の電子デバイスが起動される。第１の電子デバイスは、サービス拡張デバイス（例えば、図８Ａ〜１５Ｇに示すデバイス８１０Ａ）とすることができる。ブロック１６０６で、いくつかの例において、第２の音声入力は、１つ以上の追加の電子デバイスを起動させない。１つ以上の追加の電子デバイスは、第１の電子デバイスの近傍に配置できる。例えば、音声入力に関連する音量又は音圧を、第１の電子デバイスと追加の電子デバイスの両方で検出して記録することができる。２つのデバイスで検出された音圧の比較に基づいて、２つのデバイスに対するユーザの位置を判定することができる。例えば、ユーザは他のデバイスよりも第１の電子デバイスに物理的に近いと判定することができる。その結果、他のデバイスが起動していない間に、第１の電子デバイスを起動させることができる。
ブロック１６０８では、ユーザ要求を表す第１の音声入力を第１のユーザから受信する。ブロック１６１０では、ユーザ要求は、第１のユーザに固有の情報（例えば、第１のユーザのカレンダー、連絡先等）の要求を含む。ブロック１６１２では、ユーザ要求は非ユーザ固有情報（例えば、気象情報、株価、スポーツ試合情報等）の要求を含む。ブロック１６１４において、ユーザ要求は、タスクを実行する（例えば、音楽を再生する、会議を確立する等）要求を含む。
ブロック１６１６で、第１のユーザの識別情報が取得される。ブロック１６１８では、第１のユーザに関連付けられた認証データが取得される。認証データは、例えば、ユーザの音声バイオメトリクス、ユーザの顔認識データ、ユーザを識別する別の電子デバイスの感知、ユーザの指紋などのユーザの他の資格情報、パスワードなどを含むことができる。ブロック１６２０では、認証データに基づいて第１のユーザの識別情報の判定が行われる。ブロック１６２２で、第１のユーザの識別情報を得るために、認証データを第２の電子デバイス（例えば、リモートサーバ）又は第３の電子デバイス（例えば、ユーザのスマートフォン）のうちの少なくとも一方に提供する。ブロック１６２４では、第１のユーザの識別情報が、第２の電子デバイス又は第３の電子デバイスのうちの少なくとも一方から受信される。認証データに基づいて、第１のユーザの識別情報が判定される。ブロック１６２６では、第２の音声入力（例えば「起きて、スピーカ」又は「ねえ、スピーカ」）に基づいて、第１のユーザの識別情報が取得される。このように、第２の音声入力は、ユーザの音声バイオメトリクスに関連付けることができ、ユーザの識別情報の判定に使用することができる。
図１６Ｂを参照すると、ブロック１６２８において、第１の音声入力が表すユーザ要求に関する１つ以上の音声問い合わせが出力される。音声問い合わせは、第１のユーザとの第１の音声入力の明確化に使用されてもよい（例えば、「それは何？」又は「それはよく分からない」）。ブロック１６３０では、１つ以上の音声問い合わせに応じて、第１のユーザから追加の音声入力が受信される。例えば、第１のユーザは第１の音声入力を繰り返す又は言い換えてもよい。）
ブロック１６３２では、第１の電子デバイス（例えばサーバ拡張デバイス）と第２の電子デバイス（例えば、リモートサーバ）又は第３の電子デバイス（例えば、第１の電子デバイスの近傍に配置されたデバイス）のうちの少なくとも一方との間に接続が確立される。ブロック１６３４では、第１の電子デバイスと第３の電子デバイスとの間に近距離通信に基づいて接続を確立する。ブロック１６３６では、第１の電子デバイスから所定の距離内にある第３の電子デバイスの検出に基づいて接続を確立する。ブロック１６３８では、第１の電子デバイスと第３の電子デバイスとの間の以前確立された接続に基づいて接続を確立する。例えば、第１の電子デバイスと第３電子デバイスが過去に接続されたことを示すログファイルに基づいて接続を確立することができる。ログファイルはまた、以前の接続に用いられた接続パラメータを示すことができる。
上記のように、サーバ拡張デバイスは、複数のユーザによって共用され、それにより、１人以上のユーザに関連付けられた複数のデバイスに接続することができる。ブロック１６４０では、第１の電子デバイス（例えば、サービス拡張デバイス）と第３の電子デバイス（例えば、第１のユーザのクライアントデバイス）との間に接続が確立される。第３の電子デバイスは、第１のユーザに関連付けられる。ブロック１６４２では、第１の電子デバイスと第４の電子デバイス（例えば、第２のユーザのタブレットデバイス）との間に接続が確立される。第４の電子デバイスは、第２のユーザに関連付けられる。ブロック１６４４において、いくつかの例において、第１の電子デバイスと第３の電子デバイスとの間の接続を確立した後、確立された接続を第２の電子デバイスに通知する。例えば、サーバ拡張デバイス（例えば、図８Ａ〜８Ｂに示すデバイス８１０Ａ）とスマートフォンデバイスとの接続が確立した後、その確立した接続をサーバに通知することができる。
図１６Ｃを参照すると、上記のように、第１ユーザの識別情報が得られる。ブロック１６４６では、ユーザ識別情報に従って、ユーザ要求の表現が第２の電子デバイス又は第３の電子デバイスのうちの少なくとも一方に提供される。ブロック１６４８において、第２の電子デバイスは、第１の電子デバイスからリモートに配置されたサーバであり、第３の電子デバイスは、第１の電子デバイスの近傍に配置されたクライアントデバイスである。ブロック１６５０において、第３の電子デバイスは、サーバのプロキシデバイスである。例えば、クライアントデバイス（例えば、図８Ａに示すデバイス８４０）は、他のデバイス（例えば、インテリジェントサーモスタットなどのホームオートメーション装置）からの要求を処理するサーバ（例えば、図８Ａに示すデバイス８２０）のプロキシデバイスとして動作することができる。
ブロック１６５２において、一部の例では、第２の電子デバイス又は第３の電子デバイスのうちの少なくとも一方にユーザ要求の表現を提供するために、第３の電子デバイス（例えば、第１の電子デバイスの近傍に配置されたクライアントデバイス）が第１の電子デバイス（例えば、サービス拡張デバイス）に通信可能に結合されているかどうかが判定される。ブロック１６５４で、第３の電子デバイスは第１の電子デバイスに通信可能に結合されているという判定に従って、ユーザ要求の表現が、第２の電子デバイスにではなく、第３の電子デバイスに提供される。ブロック１６５６で、第３の電子デバイスは第１の電子デバイスに通信可能に結合されていないという判定に従って、ユーザ要求の表現が第２の電子デバイスに提供される。
ブロック１６５８で、いくつかの例において、ユーザ要求の表現は、第３の電子デバイス（例えば、第１の電子デバイスの近傍に配置されたクライアントデバイス）にではなくて第２のデバイス（例えば、リモートサーバ）に提供される。ブロック１６６０で、いくつかの例において、ユーザ要求の表現は、第２の電子デバイスと第３の電子デバイスの両方に提供される。
このように、第２の電子デバイス及び／又は第３の電子デバイスは、ユーザ要求の表現を受信し、一方又は両方が第１の電子デバイスに応答を提供すべきかどうかを判定することができる。図１６Ｃを参照すると、ブロック１６６２において、第２の電子デバイス又は第３の電子デバイスのいずれか一方又は両方が第１の電子デバイスに応答を提供すべきかどうかの判定に基づいて、第２の電子デバイス又は第３の電子デバイスからユーザ要求に対する応答を受信する。
ブロック１６６４では、上記のように、いくつかの例において、ユーザ要求の表現は、第２の電子デバイスにではなくて、第３の電子デバイスに提供される。ブロック１６６６では、ユーザ要求に対する応答を受信するために、第３の電子デバイス（例えばクライアントデバイス）に、第３の電子デバイスがユーザ要求に対する応答を提供できるかどうかを判定させる。ブロック１６６８では、第３電子デバイスはユーザ要求に対する応答を提供可能であるという判定に従って、第１の電子デバイスにおいて、第３の電子デバイスからユーザ要求に対する応答を受信する。ブロック１６７０では、第３の電子デバイスはユーザ要求に対する応答を提供できないと判定する。ブロック１６７２では、そのような判定に従って、ユーザ要求の表現が第３の電子デバイスによって第２の電子デバイスに転送される。ブロック１６７４では、ユーザ要求に対する応答が、第２の電子デバイスから第１の電子デバイスで受信される。
図１６Ｅを参照すると、上記のように、いくつかの例において、ブロック１６７６で、ユーザの要求の表現が、第３の電子デバイス（例えば、クライアントデバイス）にではなくて、第２の電子デバイス（例えば、リモートサーバ）に提供される。ブロック１６７８では、第１の電子デバイスにおいてユーザ要求に対する応答を受信するために、第２の電子デバイスがユーザ要求に対する応答を提供可能かどうかを第２の電子デバイスに判定させる。ブロック１６８０では、第２の電子デバイスはユーザ要求に対する応答を提供可能であるという判定に従って、ユーザ要求に対する応答が第２の電子デバイスから第１の電子デバイスで受信される。ブロック１６８２では、第２の電子デバイスはユーザ要求に対する応答を提供できないと判定する。
ブロック１６８４で、そのような判定に従って、ユーザ要求の表現が第２の電子デバイスによって第３の電子デバイスに転送される。これにより、第３の電子デバイス（例えば、クライアントデバイス）は、ユーザ要求に基づく応答を提供することができる。ブロック１６８６では、ユーザ要求に対する応答が第１の電子デバイスにおいて受信される。ブロック１６８８において、第１の電子デバイスは、第３の電子デバイスからユーザ要求に対する応答を受信する。ブロック１６９０において、第１の電子デバイスは、第３の電子デバイスが第２の電子デバイス（例えば、リモートサーバ）に提供する応答に基づいて、第２の電子デバイスからユーザ要求に対する応答を受信する。例えば、クライアントデバイスは、第１の電子デバイス（例えば、サーバ拡張デバイス）に応答を提供するリモートサーバに応答を転送することができる。
図１６Ｆを参照すると、上記のように、いくつかの例において、ブロック１６９２において、第１の電子デバイスから第２の電子デバイス及び第３の電子デバイスの両方にユーザ要求の表示が提供される。ブロック１６９４では、ユーザ要求に対する応答を受信するために、第２の電子デバイス（例えば、リモートサーバ）に、第２の電子デバイスはユーザ要求に対する応答を提供できるかどうかを判定させる。ブロック１６９６では、ユーザ要求に対する応答を受信するために、第３の電子デバイス（例えば、第１の電子デバイスの近傍に配置されたクライアントデバイス）に、第３の電子デバイスがユーザ要求に対する応答を提供することができるかどうかを判定させる。ブロック１６９４とブロック１６９６の判定の一方又は両方を行うことができる。
ブロック１６９８では、第２の電子デバイスはユーザ要求に対する応答を提供可能であり、第３の電子デバイスはユーザ要求に対する応答を提供できないという判定に従って、第２の電子デバイスから第１の電子デバイスにおいてユーザ要求に対する応答を受信する。ブロック１７００では、第３の電子デバイスがユーザ要求に対する応答を提供可能であり、第２の電子デバイスはユーザ要求に対する応答を提供できないという判定に従って、第３の電子デバイスから第１の電子デバイスにおいてユーザ要求に対する応答を受信する。ブロック１７０２では、第２の電子デバイス及び第３の電子デバイスの両方がユーザ要求に対する応答を提供可能であるという判定に従って、所定の条件に基づいて第２の電子デバイス又は第３の電子デバイスから第１の電子デバイスにおいてユーザ要求に対する応答を受信する。所定の条件は、例えば、予め設定されたポリシー（例えば、第３の電子デバイスが応答を提供するためのデフォルトデバイスである）、ユーザの嗜好、第２及び第３の電子デバイスへの接続の帯域幅条件などにすることができる。
図１６Ｇを参照すると、ブロック１７０４において、応答の表現を第１の電子デバイス（例えば、サービス拡張デバイス）が提供すべきかどうかを判定する。ブロック１７０６では、第１の電子デバイスが応答を提供すべきかどうかの判定は、ユーザ要求（例えば、ユーザの音声入力が、別の電子デバイスにおいて応答を提供すべきであることを示す）に基づく。ブロック１７０８では、第１の電子デバイスが応答を提供すべきかどうかの判定は、ユーザの場所の検出又はユーザの移動の追跡のうちの少なくとも１つに基づく。例えば、別のデバイスに向けて第１の電子デバイスから離れていくユーザを検出した場合、第１の電子デバイスは応答を提供しなくてもよい。
ブロック１７１０では、第１の電子デバイスによって応答の表現を提供すべきという判定に従って、第１の電子デバイスによって第１のユーザに応答の表現が提供される。ブロック１７１２では、応答の表現を第１の電子デバイスによって提供すべきではないという判定に従って、第１のユーザに応答を提供することができる１つ以上の追加の電子デバイスに応答は転送される。
図１６Ｈを参照すると、ブロック１７１４で、応答の表現が第１のユーザに提供される。ブロック１７１６では、応答の表現を提供するために、ユーザ要求に応答する情報を含む音声出力が第１の電子デバイスにおいて提供される。ブロック１７１８で、この情報は、第２の電子デバイス又は第３の電子デバイスによって第１の電子デバイスに提供される。
ブロック１７２０で、応答の表現を提供するために、ユーザ要求に従ってタスクの実行に関連付けられた音声出力が、第１の電子デバイスにおいて提供される。ブロック１７２２で、いくつかの例において、タスクは第３の電子デバイス（例えば、第１のユーザのスマートフォンなどのクライアントデバイス）によって実行される。ブロック１７２４で、いくつかの例において、第１の電子デバイス及び第３の電子デバイスによってタスクを実行する。例えば、第１の電子デバイスは、応答のオーディオ部分を出力することができ、同時に、第３の電子デバイス（例えば、ＴＶ画面に接続されたＴＶセットトップボックス）は、その応答のビデオ部分を出力することができる。ブロック１７２６で、１つ以上の追加の電子デバイスがタスクを更に実行する。例えば、サービス拡張デバイス及びＴＶセットトップボックスなどのクライアントデバイスにおいて応答（例えば、映画の再生）を提供することに加えて、ラップトップコンピュータなどの追加のデバイスで更に応答を提供することができる。
ブロック１７２８において、いくつかの例において、第１の電子デバイスと１つ以上の追加の電子デバイスとの間に１つ以上の接続が確立される。追加の電子デバイスは、第１の電子デバイスと同じタイプのデバイスである。例えば、複数のサービス拡張デバイス（例えば、図８Ａ〜８Ｂに示すデバイス８１０Ａ〜Ｃ）の間に接続を確立することができる。
ブロック１７３０では、第１の電子デバイスが第１のユーザに応答を提供している。ブロック１７３２では、第１の電子デバイスによって第１のユーザに応答を提供しながら、別の電子デバイス（例えば、ユーザのスマートフォンなどのクライアントデバイス）において継続して応答を提供すべきかどうかを判定する。ブロック１７３４では、第３の音声入力（例えば、「私の電話で歌の再生を続けて」などの第１のユーザからの音声入力）に基づいて、別の電子デバイスで継続して応答を提供すべきかどうかを判定する。ブロック１７３６では、第１の電子デバイスに対する第１のユーザの場所の変化が所定の条件を満たすかどうかの検出に基づいて、別の電子デバイスで継続して応答を提供すべきかどうかを判定する。例えば、第１の電子デバイスとは異なるデバイスにおいて応答が継続して提供されるべきであるような所定の境界の外に第１のユーザが移動したかどうかを判定することができる。
ブロック１７３８では、応答が別の電子デバイスにおいて継続して提供されるべきであるという判定に従って、第３の電子デバイス又は１つ以上の追加の電子デバイスのうちの少なくとも１つによって継続して応答が提供されるようにする。
ブロック１７４０では、第１のユーザに応答を提供した後、その後の音声入力を監視する。
７．イベントの通知に基づいてデジタルアシスタントサービスを提供するプロセス
７．イベントの通知に基づいてデジタルアシスタントサービスを提供するプロセス
図１７Ａ〜１７Ｄは、様々な例に応じた、イベントの通知に基づいてデジタルアシスタントサービスを提供するようにデジタルアシスタントを動作させるプロセス１８００を示している。プロセス１８００は、例えば、デジタルアシスタントを実行する１つ以上の電子デバイスを使用して実行される。いくつかの例において、プロセス１８００は、クライアントサーバシステム（例えばシステム１００）を使用して実行され、プロセス１８００のブロックは、サーバ（例えば、ＤＡサーバ１０６）とクライアントデバイスとの間で任意の形で分割される。他の例では、プロセス１８００のブロックは、サーバと複数のクライアントデバイス（例えば、携帯電話及びスマートウォッチ）との間で分割される。したがって、プロセス１８００の部分はクライアントサーバシステムの特定のデバイスによって実行されるように本明細書では説明されているが、プロセス１８００はそのように限定されないことが理解されよう。他の例では、プロセス１８００は、クライアントデバイス（例えば、ユーザデバイス１０４、デバイス８１０Ａ〜Ｃ）のみ又は複数のクライアントデバイスのみを用いて実行される。プロセス１８００では、いくつかのブロックが任意選択的に結合され、いくつかのブロックの順序が任意選択的に変更され、いくつかのブロックが任意選択的に省略される。いくつかの例において、プロセス１８００と組み合わせて追加のステップを行うことができる。
図１７Ａを参照すると、ブロック１８０２において、イベントの通知を受信する前に、第１の電子デバイス（例えば、サービス拡張デバイス）と第２の電子デバイス（例えば、サーバ）又は第３の電子デバイス（例えば、第１の電子デバイスの近傍に配置されたクライアントデバイス）のうちの少なくとも１つとの間に接続が確立される。ブロック１８０４では、第１の電子デバイスと第３の電子デバイスとの間に近距離通信に基づいて接続を確立する。ブロック１８０６では、第３の電子デバイスが第１の電子デバイスから所定の距離内にあるとの検出に基づいて接続を確立する。ブロック１８０８では、第１の電子デバイスと第３の電子デバイスとの間に以前に確立された接続に基づいて接続を確立する。
このように、第１の電子デバイス（例えば、サービス拡張デバイス）を複数のユーザで共用することができる。ブロック１８１０では、第１の電子デバイスと第３の電子デバイスとの間に接続を確立し、第３の電子デバイスは第１のユーザに関連付けられている。ブロック１８１２では、第１の電子デバイスと第４の電子デバイスとの間に接続が確立され、第４の電子デバイスは第２のユーザに関連付けられている。ブロック１８１４では、第１の電子デバイスと第３の電子デバイスとの間に接続を確立した後、確立された接続を第２の電子デバイス（例えば、リモートサーバ）に通知する。
図１７Ｂを参照すると、ブロック１８１６において、第１のユーザに関連付けられたイベントの通知を受信する。ブロック１８１８では、イベントの通知は、着信、リマインダ、メッセージ、ボイスメール、又はニュースアラートのうちの少なくとも１つの表現を含む。ブロック１８２０では、第２の電子デバイス（例えば、リモートサーバ）又は第３の電子デバイス（例えば、第１の電子デバイスの近傍に配置されたクライアントデバイス）のうちの少なくとも１つから通知が受信される。
ブロック１８２２では、通知の受信に応じて、通知の指示が出力される。指示は、例えば、ビープ音、アラート、着信音などでもよい。ブロック１８２４では、第１の電子デバイス又は第１の電子デバイスに通信可能に結合された追加の電子デバイスのうちの１つによって通知の指示が出力される。例えば、ユーザのスマートフォンなどのクライアントデバイスが通知の指示を出力することができ、また、別のサービス拡張デバイスが通知の指示を出力することができる。
ブロック１８２６では、１つ以上の音声入力を受信する。ブロック１８２８では、例えば、通知に関して第１の音声入力が受信される（例えば、ユーザは「それは何？」などのイベント通知の指示に関して問い合わせる第１の音声入力を提供することができる）。ブロック１８３０では、イベントの通知に従って応答を出力する。例えば、「ジョンからボイスメールが届いています」などの音声入力を提供することができる。ブロック１８３２では、第２の音声入力を受信する。例えば、ユーザは「ボイスメールを再生して」と言ってもよい。
図１７Ｃを参照すると、ブロック１８３４で、１つ以上の音声入力に従って、第１の電子デバイスにおいて通知を提供すべきかどうかが判定される。ブロック１８３６では、通知が第１の電子デバイスにおいて提供されるべきかどうかを判定するために、１つ以上の音声入力のうちの少なくとも１つを提供するユーザの識別情報が取得される。ブロック１８３８では、ユーザの識別情報を得るために、１つ以上の音声入力のうちの少なくとも１つを提供するユーザに関連付けられた認証データが取得される。認証データは、例えば、ユーザのバイオメトリック、指紋、顔認識データ、パスワード等を含むことができる。ブロック１８４０では、認証データに基づいて、１つ以上の音声入力のうちの少なくとも１つを提供するユーザの識別情報の判定を得る。
ブロック１８４２では、１つ以上の音声入力のうちの少なくとも１つを提供するユーザの識別情報の判定を得るために、認証データが、第２の電子デバイスと第３の電子デバイスとのうちの少なくとも一方に提供される。ブロック１８４４において、第２の電子デバイスと第３の電子デバイスとのうちの少なくとも一方から１つ以上の音声入力のうちの少なくとも１つを提供するユーザの識別情報を受信する。１つ以上の音声入力のうちの少なくとも１つを提供するユーザの識別情報が、認証データに基づいて判定される。
ブロック１８４６では、１つ以上の音声入力のうちの少なくとも１つを提供するユーザの識別情報に基づいて、また通知に基づいて、１つ以上の音声入力のうちの少なくとも１つを提供するユーザに通知を提供すべきかどうかが判定される。ブロック１８４８では、１つ以上の音声入力のうちの少なくとも１つを提供するユーザに通知を提供すべきという判定に従って、第１の電子デバイスにおいて通知を提供すべきかどうかが判定される。
図１７Ｄを参照すると、ブロック１８５０で、第１の電子デバイスにおいて通知を提供すべであるという判定に従って、通知が第１の電子デバイスに提供される。ブロック１８５２では、第１の電子デバイスにおいて通知を提供するために、第１の電子デバイスでの通知に関連付けられたオーディオ出力が提供される。
ブロック１８５４では、第１の電子デバイスにおいて通知が提供されるべきではないという判定に従って、通知を提供する追加の電子デバイスが判定される。ブロック１８５６では、１つ以上の音声入力に基づいて、通知を提供する追加の電子デバイスが判定される。ブロック１８５８では、コンテキスト情報に基づいて、通知を提供する追加の電子デバイスが判定される。
図１６Ａ〜１６Ｉ及び１７Ａ〜１７Ｄを参照する上記の動作は、図１〜４、６Ａ〜Ｂ及び７Ａ〜Ｃに示す構成要素によって任意選択的に実行される。例えば、プロセス１６００及び１８００の動作は、デジタルアシスタントシステム７００によって実行されてもよい。図１〜４、６Ａ〜Ｂ、７Ａ〜Ｃに示す構成要素に基づいて他のプロセスがどのように実行されるかは当業者には明らかであろう。
８．複数のデバイスを使用してデジタルアシスタントサービスを提供する例示的な機能
８．複数のデバイスを使用してデジタルアシスタントサービスを提供する例示的な機能
上記のように、１つ以上のデバイスによってデジタルアシスタントサービスを提供することができる。デバイス能力の制限により、ある種のデバイスは、ある種のデジタルアシスタントサービスを提供することができない又はそれに最適でないことがある。例えば、スマートウォッチは一般に画面サイズが小さいため、ビデオの再生には最適ではない。別の例として、スマートフォンとは違い、ＴＶセットトップボックスは、テキストメッセージのオーディオ出力を提供することができない場合がある。
図１８Ａ〜１８Ｅは、様々な例に応じて、複数の電子デバイスの能力に基づいてデジタルアシスタントサービスを提供する機能性を示している。いくつかの例において、デジタルアシスタント（例えば、デジタルアシスタントシステム７００）は、様々な例に応じてユーザデバイスにより実行される。いくつかの例において、ユーザデバイス、サーバ（例えば、サーバ１０８、デバイス８２０）又はその組み合わせは、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）を実行することができる。ユーザデバイスは、例えば、デバイス２００、４００、６００、８２０、８３０、８４０、１８８０、及び／又は１８８２を用いて実行することができる。いくつかの例において、ユーザデバイスは、オーディオ出力能力及びネットワーク接続性を有するデバイス、スマートウォッチ、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータ又はタブレットコンピュータである。
図１８Ａに示すように、ユーザ８０４は、「私が先週の日曜日に撮ったビデオを見せて」などの音声入力１８８６を提供することができる。音声入力１８８６は、ユーザ要求（例えば、情報の要求やタスクを実行する要求）を表すことができる。いくつかの例において、デバイス１８８０上で動作するデジタルアシスタントは、ユーザ８０４から音声入力１８８６を受信する。デバイス１８８０は、例えばクライアントデバイス（例えば、スマートウォッチなどのウェアラブルデバイス）とすることができる。デバイス１８８０はまた、１つ以上のオーディオ入出力装置（例えば、マイクロフォン及び１つ以上のスピーカ）と１つ以上のネットワーク通信インターフェースとを含むことができる、上記のデバイス８１０Ａと同様のデバイスにすることができる。デバイス１８８０は、ユーザ要求に応答する（例えば、要求された情報を提供する、又は要求されたタスクを実行する）ことができる又はそれに最適であることもあり、そうでないこともある。例えば、デバイス１８８０は、ディスプレイを有さないこともあり、又はビデオを再生するのに最適ではない小型のディスプレイを有することもある。
いくつかの実施形態において、デバイス１８８０上で動作するデジタルアシスタントは、デバイス１８８０に通信可能に結合することができる１つ以上の電子デバイスに関連付けられた能力データを取得することができる。例えば、図１８Ａに示すように、デバイス１８８０上で動作するデジタルアシスタントは、デバイス８２０（例えば、リモートサーバ）、デバイス８３０（例えば、ユーザのスマートフォンなどのクライアントデバイス）、デバイス８４０（ＴＶセットトップボックス）がデバイス１８８０に通信可能に結合されていると判定することができる。この判定は、例えば、デバイス８１０Ａに関する上記の説明と同様に、ＢｌｕｅｔｏｏｔｈペアリングやＷｉＦｉ接続等を介して行うことができる。デバイス８２０、８３０、及び８４０が通信可能に結合されているという判定に基づいて、デバイス１８８０上で動作するデジタルアシスタントは、これらのデバイスに関連付けられた能力データを取得することができる。いくつかの例において、いくつかのデバイスは、デバイス１８８０の近傍に配置されたクライアントデバイスであり、いくつかのデバイスは、デバイス１８８０からリモートに配置される。例えば、デバイス１８８０、デバイス８３０、及びデバイス８４０は、所定の境界（例えば、住宅、ビル、自動車等）内に配置されたクライアントデバイスであり、また、デバイス８２０は、リモートに配置されたサーバである。
いくつかの例において、能力データは、デバイス１８８０に通信可能に結合可能な電子デバイスに関連付けられたデバイス能力を含むことができる。デバイス能力は、１つ以上の物理的能力及び／又は情報能力を含むことができる。デバイスの物理的能力は、デバイスがディスプレイを有するかどうか、ディスプレイのサイズ、スピーカの数、ネットワーク能力などのデバイスの物理的属性を含み得る。デバイスの情報能力は、デバイスが提供することができるデータを含み得る。例えば、デバイス８３０は、ユーザ８０４が撮ったメディアアイテム（例えば、ビデオ及び写真）を記憶することができ、これにより、デバイス８３０に通信可能に接続された他のデバイスに、記憶したメディアアイテムを提供することができる。
いくつかの例において、能力データを得る前に、デバイス１８８０上で動作するデジタルアシスタントは、他の電子デバイス（例えば、デバイス８２０、８３０、及び／又は８４０）との通信を確立するように構成することができる。いくつかの例において、通信は、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、ＢＴＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ、Ｂｌｕｅｔｏｏｔｈ低エネルギー）などの直接通信接続、又はローカルＷ−Ｆｉネットワークなどの有線若しくは無線ネットワークを介して確立することができる。例えば、デバイス１８８０上で動作するデジタルアシスタントは、Ｂｌｕｅｔｏｏｔｈ発見を介してデバイス８３０を検出し、Ｂｌｕｅｔｏｏｔｈ接続を介してデバイス８３０に通信可能に結合することができる。別の例として、デバイス１８８０上で動作するデジタルアシスタントは、Ｗｉ−Ｆｉネットワークを検出し、Ｗｉ−Ｆｉネットワークを介してデバイス８４０に結合することができる。別の例として、デバイス１８８０上で動作するデジタルアシスタントは、デバイス８３０（例えば、ユーザのスマートフォンなどのクライアントデバイス）がデバイス１８８０に近接又は物理的に接触している場合に近距離通信を検出することができる。例えば、デバイス１８８０及びデバイス８３０をペアにするために、ユーザ８０４は、デバイス８３０でデバイス１８８０をタップすることによって、２つのデバイス間で近距離通信を確立することができる。別の例として、デバイス１８８０上で動作するデジタルアシスタントは、デバイス８３０（例えば、ユーザのスマートフォンなどのクライアントデバイス）が所定の距離内（例えば、Ｂｌｕｅｔｏｏｔｈ通信の範囲内）にあることを検出し、デバイス８３０との接続を確立することができる。例えば、ユーザ８０４がデバイス８３０とともにデバイス１８８０に接近するとき、デバイス１８８０上で動作するデジタルアシスタントは、デバイス８３０が通信範囲内にあることを検出し、デバイス８３０とデバイス１８８０を接続する。別の例として、デバイス１８８０上で動作するデジタルアシスタントは、２つのデバイス間の１つ以上の以前確立された接続に基づいて、デバイス８３０との接続を確立することができる。例えば、デバイス１８８０上で動作するデジタルアシスタントは、それが過去に接続したデバイスを含むログファイルと、任意選択的に接続パラメータとを記憶することができる。これにより、ログファイルに基づいて、デバイス１８８０上で動作するデジタルアシスタントは、例えば、デジタルアシスタントが前にデバイス８３０に接続したと判定することができる。そのような判定に基づいて、デバイス１８８０上で動作するデジタルアシスタントは、デバイス８３０との接続を再び確立することができる。
いくつかの例において、能力データを得る前に、デバイス１８８０上で動作するデジタルアシスタントは、デバイス１８８０に通信可能に結合することができる１つ以上のデバイスへのアクセスに関してユーザ８０４に問い合わせることができる。例えば、デバイス１８８０上で動作するデジタルアシスタントは、「あなたの電話及びＴＶにアクセスする許可を私は得ていますか？」などの音声出力を提供することができる。いくつかの例において、ユーザ８０４は、アクセスを許可するか拒否するかのいずれかの音声入力で応答することができる。音声入力の受信に応じて、デバイス１８８０上で動作するデジタルアシスタントは、デジタルアシスタントがデバイス１８８０に通信可能に結合されたデバイスにアクセスする許可を得ているかどうかを判定することができる。例えば、ユーザ８０４の音声入力が「ＯＫ」であれば、デバイス１８８０上で動作するデジタルアシスタントは、それがデバイス８３０及び８４０へのアクセスを許可されていると判定することができる。ユーザ８０４の音声入力が「ノー」であれば、デバイス１８８０上で動作するデジタルアシスタントは、デバイス８３０及び８４０へのアクセスを許可されていないと判定することができる。ユーザ８０４の音声入力が「電話についてはイエス、テレビについてはノー」である（例えば、ユーザ８０４は、デバイス８４０及びデバイス１８８２（例えば、ＴＶ画面）を使用して別のビデオを見ていることがあり、デバイス１８８２でのビデオ再生を邪魔されたくない）場合、デバイス１８８０上で動作するデジタルアシスタントは、それはデバイス８３０にアクセスすることは許可されているがデバイス１８８２でビデオを再生するためにデバイス８４０にアクセスすることは許可されていないと判定することができる。
図１８Ａ及び１８Ｂを参照すると、いくつかの実施形態において、能力データに従って、デバイス１８８０上で動作するデジタルアシスタントは、このデバイスに通信可能に結合可能な１つ以上の電子デバイスから、ユーザ要求に対する応答の少なくとも一部を提供するデバイスを識別することができる。いくつかの例において、デバイス１８８０上で動作するデジタルアシスタントは、音声入力１８８６に基づいてユーザ要求に応答する１つ以上のステップを得ることができる。ユーザ要求に応答する１つ以上のステップは、要求された情報を提供するステップ及び／又は要求されたタスクを実行するステップを含むことができる。例えば、「先週の日曜日に私が撮ったビデオを見せて」などの音声入力１８８６に基づいて、デバイス１８８０は、ユーザ要求が、ユーザ８０４が先週の日曜日に撮ったビデオを見つけて再生することであると判定することができる。この判定は、上記の自然言語処理技術を用いて行うことができる。
デバイス１８８０上で動作するデジタルアシスタントは、判定されたユーザ要求に応じて、ユーザ要求に応答するために必要な１つ以上のステップを判定することができる。例えば、デバイス１８８０上で動作するデジタルアシスタントは、ユーザ８０４が先週の日曜日に撮ったビデオを再生するステップ＃１は、ユーザ８０４が先週の日曜日に撮った特定のビデオを見つけることであり、ステップ＃２は、この特定のビデオを再生することであると判定することができる。一部の実施形態において、１つ以上のステップの判定は、別のデバイス（例えば、リモートサーバなどのデバイス８２０）上で行い、デバイス１８８０に提供することができる。一部の実施形態において、１つ以上のステップの判定は、デバイス８２０及びデバイス１８８０の両方を用いて行うことができる。例えば、デジタルアシスタントは、フロントエンドのデバイス１８８０上で動作してユーザ８０４とインターフェースし、バックエンドのデバイス８２０上で動作してユーザ入力を処理することができる。いくつかの実施形態において、ユーザ要求に応答する１つ以上のステップは、実行プランの少なくとも一部を形成することができる。実行プランは、ユーザ要求に応答するステップと、各ステップを実行するデバイスとを含み得る。
いくつかの実施形態において、デバイス１８８０上で動作するデジタルアシスタントは、デバイス１８８０に通信可能に結合可能な１つ以上の電子デバイスに関連付けられた能力データに基づいて、ユーザ要求に応答するステップを実行する１つ以上のデバイスを識別することができる。上記の例を続けると、デバイス１８８０上で動作するデジタルアシスタントは、先週の日曜日にユーザ８０４が撮った特定のビデオを見つけるステップ＃１を実行するデバイスを識別し、この特定のビデオを再生するステップ＃２を実行するデバイスを識別することができる。図１８Ｂに示すように、デバイス１８８０上で動作するデジタルアシスタントは、デバイス１８８０に通信可能に接続されたデバイス（例えば、デバイス８２０、８３０、８４０）のうち、デバイス８３０（例えば、ユーザのスマートフォンなどのクライアントデバイス）の能力データが、ユーザ８０４が先週の日曜日に撮った特定のビデオを見つける能力をデバイス８３０が有することを示すと判定することができる。例えば、ユーザ８０４はデバイス８３０を使用して先週の日曜日にビデオを撮り、これにより、デバイス８３０の情報能力データは、デバイス８３０に記憶されたファイルがビデオのフォーマットと先週の日曜日のタイムスタンプとを有することを示し得る。したがって、デバイス１８８０上で動作するデジタルアシスタントは、ユーザ８０４が意図した特定のビデオを発見するステップ＃１を実行するデバイス８３０を識別することができる。
別の例として、デバイス１８８０上で動作するデジタルアシスタントは、デバイス８２０、８３０、及び８４０のうちで、デバイス８４０（例えば、ＴＶセットトップボックス）の能力データが、デバイス８４０がビデオを再生するステップ＃２を実行するのに最適なデバイスであることを示すと判定することができる。例えば、デバイス８３０及びデバイス８４０のデバイス能力データが、両方とも、これらのデバイスがビデオを再生することができることを示し得る。デバイス８４０のデバイス能力データは更に、デバイス８４０がそこでビデを再生することができるデバイス１８８２の１つ以上のデバイス属性（例えば、ディスプレイのサイズ／解像度／スピーカの数）が、デバイス８３０のデバイス属性より優れていることを示し得る。例えば、デバイス１８８２のディスプレイサイズは、デバイス８３０のディスプレイサイズよりも大きい。この結果、デバイス１８８０上で動作するデジタルアシスタントは、ビデオを再生するステップ＃２を実行するために、デバイス８３０の代わりにデバイス８４０を識別することができる。
いくつかの実施形態において、図１８Ｂに示すように、ユーザ要求に応答するステップを実行するデバイスの判定に基づいて、デバイス１８８０上で動作するデジタルアシスタントは、ユーザ要求に応答するために識別されたデバイスへのアクセスの確認又は許可を求めるユーザ８０４への音声出力を提供することができる。例えば、図１８Ｂに示すように、デバイス１８８０上で動作するデジタルアシスタントは、「あなたの電話からビデオを取得してあなたのＴＶで再生しようとしていますが、進めてもよいですか？」などの音声出力１８８３を提供することができる。図１８Ｃを参照すると、いくつかの例で、デバイス１８８０はユーザ８０４から次の音声入力１８８５を受信することができる。デバイス１８８０上で動作するデジタルアシスタントは、音声入力１８８５の受信に応じて、デバイス１８８０に通信可能に結合された１つ以上のデバイスによって応答の少なくとも一部が提供されるべきかどうかを判定することができる。例えば、音声入力１８８５が「ＯＫ」を含む場合、デバイス１８８０上で動作するデジタルアシスタントは、ビデオはデバイス８３０から取得され、デバイス８４０（例えば、ＴＶセットトップボックス）を使用してデバイス１８８２（例えば、ＴＶディスプレイ）で再生されるべきであると判定することができる。音声入力１８８５が「いいえ、私の電話でビデオを再生して」を含む場合、デバイス１８８０上で動作するデジタルアシスタントは、ビデオはデバイス８３０から取得するべきであるが、デバイス１８８２ではなくてデバイス８３０で再生するべきであると判定することができる。いくつかの例において、確認／許可を求める音声出力１８８３の提供とその後のユーザ入力１８８５の受信とは任意選択である。
いくつかの実施形態において、ユーザ要求に応答するために識別されたデバイスを使用するための許可を確認又は要求する音声出力を提供する前に、デジタルアシスタントは、ユーザ要求に応答する１つ以上のステップに注釈を付け、この注釈に基づいて音声出力を提供することができる。この例を使用して、デバイス１８８０上で動作するデジタルアシスタントは、特定のステップの実行がデバイスの状態の変更を必要とするかどうかを判定することができる。例えば、デバイス１８８２（例えば、ＴＶディスプレイ）でビデオを再生するステップ＃２を実行する場合、デバイス８４０の状態を変更することができる（例えば、電源オフの状態から電源オンへの変更、現在の再生しているビデオからユーザが要求したビデオへの切り替え等）。その結果、デバイス１８８０上で動作するデジタルアシスタントは、識別されたデバイスの状態を変更する必要があるステップとしてステップ＃２に注釈を付けることができる。
別の例として、ユーザ８０４が先週の日曜日に撮ったビデオを見つけるステップ＃１を実行する場合、デバイス１８８０上で動作するデジタルアシスタントは、ステップ＃１の実行はデバイス８３０の状態の変更を必要としないであろうと判定することができる。その結果、デバイス１８８０上で動作するデジタルアシスタントは、識別されたデバイスの状態の変更を必要とするステップとしてステップ＃１に注釈を付けなくてもよい。いくつかの例において、注釈に基づいて、デバイス１８８０上で動作するデジタルアシスタントは、次いで、ユーザ要求に応答するために識別されたデバイスを使用するための確認又は許可を求める音声出力を提供することができる。この例を使用すると、ビデオ再生のステップ＃２は、識別されたデバイス８４０の状態を変更するステップであるので、デバイス１８８０上で動作するデジタルアシスタントは、デバイス８４０にアクセスするための許可を求める音声出力を提供することができる。この音声出力は、例えば、「あなたのＴＶでビデオを再生しようとしていますが、進めてもよいですか？」を含み得る。また、ビデオを発見するステップ＃１は、識別されたデバイス８３０の状態を変更するステップではないので、デバイス１８８０上で動作するデジタルアシスタントは、デバイス８３０にアクセスするための許可を求める音声出力を提供しなくてもよい。
図１８Ｃを参照すると、いくつかの実施形態で、デバイス１８８０上で動作するデジタルアシスタントは、ユーザ要求に対する応答の少なくとも一部を１つ以上の識別されたデバイスに提供させることができる。例えば、デバイス１８８０上で動作するデジタルアシスタントは、デバイス８３０にユーザ８０４が先週の日曜日に撮ったビデオを探して見つけ、そのビデオをデバイス８４０に送信するように要求することができる。デバイス１８８０上で動作するデジタルアシスタントは更に、デバイス１８８２（例えば、ＴＶ）でビデオを再生するようにデバイス８４０に要求することができる。
このように、いくつかの例において、デバイス１８８０上で動作するデジタルアシスタントは、能力データを取得する前に、デバイス１８８０に通信可能に結合可能な１つ以上の電子デバイスにアクセスするための確認又は許可を求めることができる。例えば、デバイス１８８０上で動作するデジタルアシスタントは、「あなたの電話にアクセスするためのあなたの許可を私は得ていますか？」などの音声出力を提供することができる。図１８Ｄを参照すると、いくつかの実施形態において、デバイス１８８０上で動作するデジタルアシスタントは、デバイス１８８０に通信可能に結合可能なデバイスにアクセスするための１つ以上の持続時間オプションを提供することができる。例えば、図１８Ｄに示すように、デバイス１８８０上で動作するデジタルアシスタントは、デバイス１８８０にオプション１８８４Ａ〜Ｃを表示することができる。オプション１８８４Ａは、デバイス１８８０からデバイス８３０へのアクセスが今回だけ許可されることを示す「一度許可する」を含み得る。オプション１８８４Ｂは、デバイス１８８０からデバイス８３０へのアクセスが、両方のデバイスが所定の境界内（例えば、家の中又は近く）にある間は許可されることを示す、「両方のデバイスが家にある間は許可する」を含み得る。オプション１８８４Ｃは、デバイス１８８０からデバイス８３０へのアクセスが常に許可されることを示す、「常に許可する」を含み得る。いくつかの例において、デジタルアシスタントは、デバイス１８８０からデバイス８３０へのアクセスが拒否されたことを示す「許可しない」を含み得るオプション１８８４Ｄ（図示せず）も提供することができる。いくつかの実施形態において、同様の持続時間オプション１８８７Ａ〜Ｄは、デバイス８３０に表示することができ、それによって、デバイス８３０のユーザ（例えば、デバイス１８８０のユーザと同じであってもなくてもよいユーザ）がデバイス８３０のアクセスを制御することを可能にする。
いくつかの実施形態において、デバイス１８８０上で動作するデジタルアシスタントは、ユーザ８０４から持続時間オプションの選択を受信し、選択された持続時間オプションに基づいてデバイス１８８０に通信可能に結合可能なデバイスにアクセスすることができる。例えば、選択が「一度許可する」などのオプション１８８４Ａである場合、デバイス１８８０上で動作するデジタルアシスタントは、単に、今回ユーザが要求したビデオを見つけるためにデバイス８３０にアクセスすることができる。
上記のように、いくつかの実施形態において、デジタルアシスタントは、ユーザ要求に対する応答の少なくとも一部を１つ以上の識別されたデバイスに提供させることができる。いくつかの実施形態において、デジタルアシスタントは、識別されたデバイスに応答を提供させる前に、ユーザの識別情報を取得し、応答の少なくとも一部を受信することをこのユーザが許可されているかどうかを判定することができる。図１８Ｅに示すように、例えば、デバイス８４０は、複数のユーザの間で共用されるデバイス（例えば、ＴＶセットトップボックス）であることがあり、これにより、ユーザ１８８８は、デバイス８４０にアクセスすることを許可されたユーザになり得る。デバイス８３０は、別のユーザ（例えば、ユーザ８０４）のスマートフォンなどのクライアントデバイスでもよい。ユーザ１８８８は、デバイス８３０へのアクセスを許可されないことがある。いくつかの例において、ユーザ１８８８は、「先週の日曜日にビルが撮ったビデオを彼の電話で再生して」などの音声入力１８８９を提供することができる。デバイス８４０上で動作するデジタルアシスタントは、デバイス８４０に通信可能に結合されたデバイスの能力データに基づいて、ユーザ要求に対する応答の少なくとも一部を提供するデバイス８３０を識別することができる。一部の実施形態では、ユーザ要求に応答するステップを実行するためにデバイス８３０にアクセスする前に、デバイス８４０上で動作するデジタルアシスタントは、ユーザ１８８８の識別情報を取得することができる。いくつかの例において、ユーザ１８８８の識別情報の取得は、音声プロファイルに基づき得る。音声プロファイルには、ユーザの音声特性（例えば、音響パターン、声紋、ユーザのアクセント等）などの音声バイオメトリックが含まれてもよい。音声プロファイルは、特定のユーザに関連付けられ、ユーザを一意に識別することができる。例えば、ユーザ１８８８の音声プロファイルは、ユーザ１８８８の音声特性を含むことができ、それにより、ユーザ１８８８を一意に識別することができる。いくつかの例において、音声プロファイルはまた、ユーザの意図をより正確に判定するために、上記の自然言語処理を支援することができる。例えば、ユーザのアクセントデータを含む音声プロファイルを用いて、より正確に音声テキスト変換処理を行うことができる。
図１８Ｅを参照すると、デバイス８４０上で動作するデジタルアシスタントは、音声入力１８８９における音声特性を、デバイス８３０の１人以上の正規ユーザの１つ以上の音声プロファイルと比較することができる。この比較に基づいて、デバイス８４０上で動作するデジタルアシスタントは、音声入力１８８９における音声特性がデバイス８３０の正規ユーザの音声プロファイルと一致しないと判定することができる。その結果、デバイス８４０上で動作するデジタルアシスタントは、ユーザ１８８８はデバイス８３０へのアクセスを許可されておらず、したがって、デバイス８３０に記憶されたビデオへのアクセスを許可されていないと判定することができる。
９．複数のデバイスを使用してデジタルアシスタントサービスを提供するプロセス
９．複数のデバイスを使用してデジタルアシスタントサービスを提供するプロセス
図１９Ａ〜１９Ｄは、様々な例に応じて、イベントの通知に基づいてデジタルアシスタントサービスを提供するデジタルアシスタントを動作させるプロセス１９００を示す。プロセス１９００は、例えば、デジタルアシスタントを実行する１つ以上の電子デバイスを使用して実行される。いくつかの例において、プロセス１９００は、クライアントサーバシステム（例えば、システム１００）を用いて実行され、プロセス１９００のブロックは、サーバ（例えば、ＤＡサーバ１０６）とクライアントデバイスとの間で任意の形で分割される。他の例では、プロセス１９００のブロックは、サーバと複数のクライアントデバイス（例えば、携帯電話及びスマートウォッチ）との間で分割される。したがって、プロセス１９００の部分はクライアントサーバシステムの特定のデバイスによって実行されるように本明細書では説明されているが、プロセス１９００はそのように限定されないことが理解されよう。他の例では、プロセス１９００は、クライアントデバイス（例えば、ユーザデバイス１０４、デバイス１８８０）のみ又は複数のクライアントデバイスのみを用いて実行される。プロセス１９００では、いくつかのブロックが任意選択的に結合され、いくつかのブロックの順序が任意選択的に変更され、いくつかのブロックが任意選択的に省略される。いくつかの例において、プロセス１９００と組み合わせて追加のステップを実行することができる。
図１９Ａを参照すると、ブロック１９０２で、第１のユーザからユーザ要求を表す第１の音声入力が受信される。ブロック１９０４で、第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスに関連付けられた能力データを取得する前に、第１の電子デバイスと第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスとの間に接続が確立される。いくつかの例において、第１の電子デバイスと第１の電子デバイスに通信可能に結合可能な電子デバイスとは、所定の境界（例えば、住宅）内に配置される。いくつかの例において、この接続の確立は、第１の電子デバイスと第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスとの間の近距離通信に基づく。いくつかの例において、この接続の確立は、第１の電子デバイスから所定の距離内にある第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスの検出に基づく。いくつかの例において、この接続の確立は、第１の電子デバイスと第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスとの間の１つ以上の以前確立された接続に基づく。
ブロック１９０６では、第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスに関連付けられた能力データを得る前に、第１のユーザは、第１の電子デバイスによって、第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスへのアクセスに関して問い合わせられる。ブロック１９０８では、第１のユーザから第３の音声入力を受信する。第３の音声入力は、第１の電子デバイスが他のデバイスへのアクセスを許可されているかどうかを示すことができる。ブロック１９１０では、第３の音声入力の受信に応じて、第１の電子デバイスが第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスにアクセスすることを許可されているかどうかを判定する。
ブロック１９１２では、第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスにアクセスする１つ以上の持続時間オプションが提供される。持続時間オプションは、例えば、一度許可する、両方のデバイスが家にある間は許可する、常に許可する、許可しないを含むことができる。ブロック１９１４では、第１のユーザから持続時間オプションの選択を受信する。ブロック１９１６では、選択された持続時間オプションに基づいて、第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスがアクセスされる。
図１９Ｂを参照すると、ブロック１９１８で、第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスに関連付けられた能力データが取得される。ブロック１９２０で、能力データを得るために、第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスに関連付けられたデバイス能力が取得される。ブロック１９２２で、デバイス能力は、第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスに関連付けられた１つ以上の物理的属性を含む。ブロック１９２４で、デバイス能力は、第１の電子デバイスに通信可能に結合可能なより多くの電子デバイスのうちの１つによって提供することができるデータを含む。
ブロック１９２６で、能力データに従って、第１の電子デバイスに通信可能に結合可能な１つ以上の電子デバイスから、ユーザ要求に対する応答の少なくとも一部を提供する第２の電子デバイスが識別される。ブロック１９２８で、第２の電子デバイスを識別するために、第１の音声入力に基づいて、ユーザ要求に応答する１つ以上のステップが取得される。いくつかの例において、ブロック１９３０で、１つ以上のステップを得るために、ユーザ要求に応答するプランが、第１の電子デバイスからリモートに位置する第３の電子デバイス（例えば、サーバ）から受信される。いくつかの例において、ブロック１９３２で、ユーザ要求に応答するプランが、第１の電子デバイス（例えば、ウェアラブルデバイスなどのクライアントデバイス）によって判定され、このプランは、ユーザ要求に応答する１つ以上のステップを含む。
ブロック１９３４では、能力データに基づいて、ユーザ要求に応答する少なくとも１つのステップを実行する第２の電子デバイス（例えば、ＴＶセットトップボックスなどのデバイス８４０）が識別される。ブロック１９３６では、能力データに基づいて、ユーザ要求に応答する残りのステップを実行する１つ以上の追加の電子デバイスが識別される。
図１９Ｃを参照して、１９３８ブロックでは、第１の音声入力が、第２の電子デバイスによる応答の少なくとも一部の提供に関して、第１のユーザに提供される。例えば、第１の音声出力は、第２の電子デバイスにアクセスするための許可を要求する音声出力でもよい。ブロック１９４０では、第１の音声出力を提供するために、ユーザ要求に応答する１つ以上のステップに注釈が付けられる。例えば、いくつかのステップは、状態を変更するステップとして注釈付けされることがあり、したがって、許可を必要とすることがあり、また、いくつかのステップは、注釈付けされないことがあり、したがって、許可を必要としないことがある。ブロック１９４２では、１つ以上のステップの注釈に基づいて第１のユーザに第１の音声出力を提供する。
ブロック１９４４では、第１のユーザから第２の音声入力を受信する。第２の音声入力は、第１のユーザがある特定のデバイスにアクセスすることを許可するかどうかを示すことができる。ブロック１９４６では、第２の音声入力の受信に応じて、応答の少なくとも一部を第２の電子デバイスによって提供するかどうかが判定される。
ブロック１９４８では、いくつかの例において、第２の電子デバイスに第１のユーザに対する応答の少なくとも一部を提供させる前に、第１のユーザの識別情報が取得される。ブロック１９５０では、音声プロファイルに基づいて識別情報が取得される。ブロック１９５２では、第１のユーザの識別情報に基づいて、第１のユーザがユーザ要求に対する応答の少なくとも一部を受信することを許可されているかどうかが判定される。
図１９Ｄを参照して、ブロック１９５４では、ユーザ要求に対する応答の少なくとも一部を第２の電子デバイスに提供させる。ブロック１９５６では、ユーザ要求に応答する少なくとも１つのステップを第２の電子デバイスに実行させる。ブロック１９５８では、ユーザ要求に応答する残りのステップを１つ以上の追加の電子デバイスに実行させる。
図１９Ａ〜１９Ｄを参照した上記の動作は、図１〜４、６Ａ〜Ｂ、及び７Ａ〜Ｃに示す構成要素によって任意選択的に実行される。例えば、プロセス１９００の動作は、デジタルアシスタントシステム７００によって実行してもよい。図１〜４、６Ａ〜Ｂ、及び７Ａ〜Ｃに示す構成要素に基づいて他のプロセスがどのように実行されるかは当業者には明らかとなろう。
いくつかの実装形態によると、コンピュータ可読記憶媒体（例えば、非一時的コンピュータ可読記憶媒体）が実現され、このコンピュータ可読記憶媒体は、電子デバイスの１つ以上のプロセッサによって実行する１つ以上のプログラムを記憶し、この１つ以上のプログラムは、本明細書に記載のいずれかの方法又はプロセスを実行する命令を含む。
いくつかの実装形態によると、本明細書に記載のいずれかの方法又はプロセスを実行する手段を含む電子デバイス（例えば、ポータブル電子デバイス）が提供される。
いくつかの実装形態によると、本明細書に記載のいずれかの方法又はプロセスを実行するよう構成された処理ユニットを含む電子デバイス（例えば、ポータブル電子デバイス）が提供される。
いくつかの実装形態によると、１つ以上のプロセッサ及び、１つ以上のプロセッサによって実行される１つ以上のプログラムを記憶するメモリを含み、この１つ以上のプログラムは、本明細書に記載のいずれかの方法又はプロセスを実行する命令を含む、電子デバイス（例えば、ポータブル電子デバイス）が提供される。
上記は、説明を目的として、特定の実施形態を参照して述べられている。しかしながら、上記の例示的な論考は、包括的であることを意図しておらず、又は開示された正確な形に本発明を限定することを意図していない。多くの修正及び変更が、上記教示を考慮して可能である。技術の原理及びそれらの実用的な適用例を最もよく説明するために、実施形態が選択及び説明された。それらによって、他の当業者は、意図された特定の使用に適するように様々な修正とともに本技術及び各種実施形態を最もよく利用することを可能にされる。
添付図面を参照して本開示及び実施例が十分に説明されたが、様々な変更及び修正が当業者には明らかとなることに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるものとしての本開示及び実施例の範囲内に含まれるものとして理解される。
上記のように、本技術の１つの態様は、ユーザの識別情報を得るために様々なソースから入手可能なデータの収集及び使用である。上記のように、ユーザを認証するデータは、音声バイオメトリック、顔認識データ、指紋などを含み得る。いくつかの例において、本開示は、この収集されたデータは一意に識別する個人情報データを含んでもよく、又は特定の人に接触する若しくは特定の人を見つけるために使用することができることが意図されている。上記のように、クライアントデバイスの情報能力を得ることができる。クライアントデバイスの情報能力は、個人情報データを含むことができる。そのような個人情報データは、個人識別データ、人口統計データ、場所ベースのデータ、電話番号、メールアドレス、自宅の住所、又は任意の他の識別情報を含むことができる。
本開示は、そのような個人情報データの使用は、本技術において、ユーザの利益のために使用することができると認識する。例えば、個人情報データを用いて、ユーザにとってより興味のあるターゲットコンテンツを配信することができる。したがって、そのような個人情報データを用いることにより、配信されるコンテンツの演算制御が可能となる。更に、本開示により、ユーザに有益な個人情報データの他の用途も意図されている。
本開示は更に、そのような個人情報データの収集、分析、公開、伝送、記憶、又は他の使用の責任を負うエンティティが、確立されたプライバシーのポリシー及び／又はプライバシー慣行に従うことを企図している。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための業界又は政府の要件を満たす又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し常に使用すべきである。例えば、ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いて、共用又は販売されるべきではない。更には、そのような収集は、ユーザに告知して同意を得た後にのみ実施するべきである。更には、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセス権を有する他者が、それらのプライバシーのポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じるであろう。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。
上記の事柄にもかかわらず、本開示はまた、ユーザが、個人情報データの使用又は個人情報データへのアクセスを選択的に阻止する実施形態も企図している。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び／又はソフトウェア要素を提供することができることを意図している。例えば、広告配信サービスの場合、本技術は、ユーザが、サービスの登録中、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能にするように構成することができる。別の例では、ユーザは、ターゲットコンテンツ配信サービスに場所情報を提供しないように選択することができる。更に別の例では、ユーザは、正確な場所情報を提供しないが、場所領域情報の伝送を許可することを選択することができる。
したがって、本開示は、１つ以上の各種の開示された実施形態を実施するための個人情報データの使用を広範に網羅しているが、本開示は、それらの各種実施形態がまた、そのような個人情報データにアクセスすることを必要とせずに実施され得ることも意図している。すなわち、本技術の各種実施形態は、そのような個人情報データの全て又は一部の欠如により、実施不可能となるものではない。例えば、ユーザに関連付けられたデバイスによって要求されるコンテンツなどの非個人情報データ若しくは必要最小限の個人情報、コンテンツ配信サービスが入手可能な他の非個人情報、又は公的に入手可能な情報に基づき嗜好を推測することによって、コンテンツを選択し、ユーザへ配信することができる。
付録
[書類名] 明細書
[発明の名称] マルチタスキング環境におけるインテリジェントデジタルアシスタント
[０００１]
（関連出願の相互参照）
本出願は、２０１６年６月１０日に出願された「ＩＮＴＥＬＬＩＧＥＮＴ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ ＩＮ Ａ ＭＵＬＴＩ−ＴＡＳＫＩＮＧ ＥＮＶＩＲＯＮＭＥＮＴ」と題する米国仮特許出願第６２／３４８，７２８号の優先権を主張し、全ての目的のためにその全体が参照により本明細書に組み込まれる。
[技術分野]
[０００２]
本開示は、概して、デジタルアシスタントに関し、より具体的には、マルチタスキング環境においてタスクを実行するためにユーザと対話するデジタルアシスタントに関する。
[背景技術]
[０００３]
デジタル端末がますます人気になっている。デスクトップ又はタブレット環境において、ユーザは、ファイル又は情報を検索すること、ファイル又はフォルダを管理すること、映画又は曲を再生すること、ドキュメントを編集すること、システム構成を調節すること、電子メールを送信すること等を含む、複数のタスクを頻繁に。ユーザが複数のタスクを並列して手動で実行し、タスクの間で頻繁に切り替えることは、煩わしく、不便であることが多い。よって、デジタルアシスタントは、ユーザの音声入力に基づいて、マルチタスキング環境においてユーザがタスクのいくつかを実行することを支援する能力を有することが望ましい。
[発明の概要]
[０００４]
ユーザがマルチタスキング環境においてユーザがタスクを実行することを支援するいくつかの既存の技術は、例えば、聞き取りを含んでもよい。典型的には、ユーザは、マルチタスキング環境において多くの他のタスクを手動で実行することが必要とされることがある。例として、ユーザは、自分のデスクトップコンピュータ上で昨日のプレゼンテーションに取りかかっていることがあり、プレゼンテーションに対する作業を続けることを望むことがある。ユーザは典型的には、自分のデスクトップコンピュータ上でプレゼンテーションを手動で位置付け、プレゼンテーションを開き、プレゼンテーションを編集することを続けることが必要とされる。
[０００５]
別の例として、ユーザは、ユーザが自分のデスクトップコンピュータから離れているときに自分のスマートフォン上でフライトを予約していることがある。ユーザは、デスクトップコンピュータが利用可能であるときにフライトを予約することを続けることを望むことがある。既存の技術では、ユーザは、ウェブブラウザを立ち上げ、ユーザのデスクトップコンピュータにおいてフライト予約処理を開始する必要がある。言い換えると、ユーザがスマートフォンにおいて行った前のフライト予約処理は、ユーザのデスクトップコンピュータにおいて続けられないことがある。
[０００６]
別の例として、ユーザは、自分のデスクトップコンピュータ上でドキュメントを編集している間に、スクリーンの輝度レベルを変更すること又はＢｌｕｅｔｏｏｔｈ接続をターンオンすることなど、システム構成を変更することを望むことがある。既存の技術では、ユーザは、ドキュメントを編集することを停止し、輝度構成アプリケーションを発見し、及び立ち上げ、設定を手動で変更する必要があることがある。マルチタスキング環境では、いくつかの既存の技術は、ユーザの発話入力に基づいて上記例で説明されたようなタスクを実行することが可能でない。よって、マルチタスキング環境における音声対応デジタルアシスタントを提供することが望まれ、有利である。
[０００７]
デジタルアシスタントを動作させるシステム及び処理が提供される。１つ以上の実施例によれば、方法は、１つ以上のプロセッサ及びメモリを有するユーザデバイスにおいて、第１の発話入力をユーザから受信することを含む。方法は、ユーザデバイスと関連付けられたコンテクスト情報を特定することと、第１の発話入力及びコンテクスト情報に基づいてユーザ意図を判定することとを更に含む。方法は、ユーザ意図が、検索処理を使用してタスクを実行することであるか又はオブジェクト管理処理を使用してタスクを実行することであるかを判定することを更に含む。検索処理は、ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されており、オブジェクト管理処理は、ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている。方法は、ユーザ意図が検索処理を使用してタスクを実行することであるとの判定に従って、検索処理を使用してタスクを実行することを更に含む。方法は、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、オブジェクト管理処理を使用してタスクを実行することを更に含む。
[０００８]
１つ以上の実施例によれば、方法は、１つ以上のプロセッサ及びメモリを有するユーザデバイスにおいて、タスクを実行するために発話入力をユーザから受信することを含む。方法は、ユーザデバイスと関連付けられたコンテクスト情報を特定することと、発話入力及びユーザデバイスと関連付けられたコンテクスト情報に基づいてユーザ意図を判定することとを更に含む。方法は、ユーザ意図に従って、タスクがユーザデバイス、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいて実行されるか否かを判定することを更に含む。方法は、タスクがユーザデバイスにおいて実行され、タスクを実行するためのコンテンツがリモートに記憶されているとの判定に従って、タスクを実行するためのコンテンツを受信することを更に含む。方法は、タスクが第１の電子デバイスにおいて実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、タスクを実行するためのコンテンツを第１の電子デバイスに提供することを更に含む。
[０００９]
１つ以上の実施例によれば、方法は、１つ以上のプロセッサ及びメモリを有するユーザデバイスにおいて、ユーザデバイスの１つ以上のシステム構成を管理するために発話入力をユーザから受信することを含む。ユーザデバイスは、複数のユーザインタフェースを同時に提供するように構成されている。方法は、ユーザデバイスと関連付けられたコンテクスト情報を特定することと、発話入力及びコンテクスト情報に基づいてユーザ意図を判定することとを更に含む。方法は、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定することを更に含む。方法は、ユーザ意図が情報の要求を示すとの判定に従って、情報の要求への発話応答を提供することを更に含む。方法は、ユーザ意図がタスクを実行する要求を示すとの判定に従って、タスクを実行するためにユーザデバイスと関連付けられた処理をインスタンス化することを更に含む。
[００１０]
それらの機能を実行するための実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行するように構成された他のコンピュータプログラム製品に含まれる。それらの機能を実行するための実行可能命令は、任意選択的に、一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行するように構成された他のコンピュータプログラム製品に含まれる。
[図面の簡単な説明]
[００１１]
説明される様々な実施形態のより良好な理解のために、以下の図面と併せて、以下の「発明を実装するための形態」を参照されたく、類似の参照番号は、図面全体を通じた対応する部分を指す。
[００１２]
[図１] 様々な実施例に従った、デジタルアシスタントを実装するためのシステム及び環境を示すブロック図である。
[００１３]
[図２Ａ] いくつかの実施形態に従った、デジタルアシスタントのクライアント側部分を実行するポータブル多機能デバイスを示すブロック図である。
[００１４]
[図２Ｂ] 様々な実施例に従った、イベント処理のための例示的な構成要素を示すブロック図である。
[００１５]
[図３] 様々な実施例に従った、デジタルアシスタントのクライアント側部分を実行するポータブル多機能デバイスを示す図である。
[００１６]
[図４] 様々な実施例に従った、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
[００１７]
[図５Ａ] 様々な実施例に従った、ポータブル多機能デバイス上のアプリケーションのメニューのための例示的なユーザインタフェースを示す図である。
[００１８]
[図５Ｂ] 様々な実施例に従った、ディスプレイとは別個のタッチ感知面を有する多機能デバイスのための例示的なユーザインタフェースを示す図である。
[００１９]
[図６Ａ] 様々な実施例に従った、パーソナル電子デバイスを示す図である。
[００２０]
[図６Ｂ] 様々な実施例に従った、パーソナル電子デバイスを示すブロック図である。
[００２１]
[図７Ａ] 様々な実施例に従った、デジタルアシスタントシステム又はそのサーバ部分を示すブロック図である。
[００２２]
[図７Ｂ] 様々な実施例に従った、図７Ａに示されるデジタルアシスタントの機能を示す図である。
[００２３]
[図７Ｃ] 様々な実施例に従った、オントロジ（ontology）の一部を示す図である。
[００２４]
[図８Ａ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図８Ｂ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図８Ｃ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図８Ｄ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図８Ｅ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図８Ｆ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[００２５]
[図９Ａ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｂ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｃ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｄ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｅ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｆ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｇ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｈ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[００２６]
[図１０Ａ] 様々な実施例に従った、デジタルアシスタントによってオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１０Ｂ] 様々な実施例に従った、デジタルアシスタントによってオブジェクト管理処理を使用してタスクを実行する機能を示す。
[００２７]
[図１１Ａ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図１１Ｂ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図１１Ｃ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図１１Ｄ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[００２８]
[図１２Ａ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１２Ｂ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１２Ｃ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１２Ｄ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[００２９]
[図１３Ａ] 様々な実施例に従った、デジタルアシスタントによってオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１３Ｂ] 様々な実施例に従った、デジタルアシスタントによってオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１３Ｃ] 様々な実施例に従った、デジタルアシスタントによってオブジェクト管理処理を使用してタスクを実行する機能を示す。
[００３０]
[図１４Ａ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１４Ｂ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１４Ｃ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１４Ｄ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[００３１]
[図１５Ａ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[図１５Ｂ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[図１５Ｃ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[図１５Ｄ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[００３２]
[図１６Ａ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[図１６Ｂ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[図１６Ｃ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[００３３]
[図１７Ａ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１７Ｂ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１７Ｃ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１７Ｄ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１７Ｅ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[００３４]
[図１８Ａ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[図１８Ｂ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[図１８Ｃ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[図１８Ｄ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[図１８Ｅ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[図１８Ｆ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[００３５]
[図１９Ａ] 様々な実施例に従った、デジタルアシスタントによってユーザ要求に応じてタスクを実行する機能を示している。
[図１９Ｂ] 様々な実施例に従った、デジタルアシスタントによってユーザ要求に応じてタスクを実行する機能を示している。
[図１９Ｃ] 様々な実施例に従った、デジタルアシスタントによってユーザ要求に応じてタスクを実行する機能を示している。
[図１９Ｄ] 様々な実施例に従った、デジタルアシスタントによってユーザ要求に応じてタスクを実行する機能を示している。
[００３６]
[図２０Ａ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｂ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｃ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｄ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｅ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｆ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｇ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[００３７]
[図２１Ａ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２１Ｂ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２１Ｃ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２１Ｄ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２１Ｅ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[００３８]
[図２２Ａ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２２Ｂ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２２Ｃ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２２Ｄ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[００３９]
[図２３] 様々な実施例に従った、電子デバイスのブロック図を示す。
[発明を実施するための形態]
[００４０]
以下の開示及び実施形態の説明では、実装することができる特定の実施形態の、実施例として示されている添付の図面への参照がなされる。本開示の範囲から逸脱することなく、他の実施形態及び実施例を実施することができ、変更を行うことができることを理解されたい。
[００４１]
マルチタスキング環境におけるデジタルアシスタントを提供する技術が望ましい。本明細書で説明されるように、マルチタスキング環境におけるデジタルアシスタントを提供する技術は、検索対象又は情報を検索する煩雑さを削減すること、効率的なオブジェクト管理を可能にすること、ユーザデバイス及び他の電子デバイスにおいて実行されるタスクの間の連続性を維持すること、並びにシステム構成を調節する際のユーザの手作業を削減すること等、様々な目的に対して望まれる。このような技術は、マルチタスキング環境において発話入力使用して様々なタスクを実行するためにユーザがデジタルアシスタントを操作することを可能にすることによって有利となる。更に、このような技術は、マルチタスキング環境において様々なタスクを実行することと関連付けられた煩わしさ又は不都合を軽減する。更に、ユーザが発話を使用してタスクを実行することを可能にすることによって、コンテクストスイッチを必要とするタスキングを実行する間にキーボード又はマウス上で両手を維持することができ、ユーザの「第３の手」のようにデジタルアシスタントがタスクを実行することを可能にする。理解されるように、ユーザが発話を使用してタスクを実行することを可能にすることによって、ユーザが複数のアプリケーションとの複数の対話を必要とすることがあるタスクをより効率的に完了させることが可能になる。例えば、電子メール内の画像を検索し、それらを個人に送信することは、検索インタフェースを開くこと、検索語を入力すること、１つ以上の結果を選択すること、構成のために電子メールを開くこと、結果として生じたファイルを開いた電子メールに複製又は移動すること、及び電子メールにアドレス指定し、それを送信することを必要とすることがある。このようなタスクは、「Ｘ日からの写真を発見し、それらを妻に送信する」こと等、コマンドで音声によって効率的に完了させることができる。ファイルを移動し、インターネット上で情報を検索し、メッセージを構成するための同様の要求は、音声を使用して更に効率的に行うことができると共に、ユーザが自身の手を使用して他のタスクを実行することを可能にする。
[００４２]
以下の説明では、様々な要素を説明するために「第１」、「第２」等の用語を使用するが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、１つの要素を別の要素と区別するためにのみ使用される。例えば、説明される様々な実施例の範囲から逸脱することなく、第１の記憶は第２の記憶と称されてもよく、同様に、第２の記憶は第１の記憶と称されてもよい。第１の記憶及び第２の記憶は両方とも記憶とすることができ、いくつかのケースでは、別々及び異なる記憶とすることができる。
[００４３]
本明細書で説明される様々な実施例の説明で使用される用語は、特定の実施例を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施例の説明及び添付の特許請求の範囲で使用されるとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形をも含むことが意図される。本明細書で使用される用語「ａｎｄ／ｏｒ（及び／又は）」は、関連する列挙された項目のうちの１つ以上のうちの任意のかつ全ての可能な組み合わせを指し、これを含むことをもまた理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む）」及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む）」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
[００４４]
用語「ｉｆ（〜場合に）」は、文脈に応じて「ｗｈｅｎ（〜するときに）」、「ｕｐｏｎ（〜すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（〜と判定したことに応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（〜を検出したことに応じて）」を意味すると解釈することができる。同様に、句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（〜と判定される場合に）」又は「ｉｆ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］ｉｓ ｄｅｔｅｃｔｅｄ（［述べられる条件又はイベント］が検出される場合に）」は、文脈に応じて「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（〜と判定されると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（〜と判定したことに応じて）」、「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられる条件又はイベント］を検出すると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられる条件又はイベント］を検出したことに応じて）」を意味すると解釈することができる。
１．システム及び環境
[００４５]
図１は、様々な実施例に従った、システム１００のブロック図を示す。いくつかの実施例では、システム１００はデジタルアシスタントを実装することができる。用語「デジタルアシスタント」、「仮想アシスタント」、「インテリジェント自動アシスタント」、又は「自動デジタルアシスタント」は、口頭形式及び／又はテキスト形式にある自然言語入力を解釈してユーザ意図を推測し、推測したユーザ意図に基づいてアクションを実行する任意の情報処理システムを指すことができる。例えば、推測されたユーザの意図に作用するために、システムは、以下のうちの１つ以上、すなわち、推測されたユーザ意図を実現するために設計されたステップ及びパラメータを有するタスクフローを特定することと、推測されたユーザの意図からの特定の要件をタスクフローに入力することと、プログラム、方法、サービス、又はＡＰＩ等を呼び出すことによってタスクフローを実行することと、可聴（例えば、発話）形式及び／又は視覚形式でユーザへの出力応答を生成することと、を実行することができる。
[００４６]
具体的には、デジタルアシスタントは、自然言語コマンド、要求、陳述、叙述、及び／又は照会の形式で少なくとも部分的にユーザ要求を受け付ける能力を有することができる。典型的には、ユーザ要求はデジタルアシスタントによる情報の回答又はタスクの実行のいずれかを求めることができる。ユーザ要求への満足な応答は、要求された情報の回答の提供、要求されたタスクの実行、又はその２つの組み合わせとすることができる。例えば、ユーザはデジタルアシスタントに「私は今どこにいますか？」等の質問をしてもよい。ユーザの現在位置に基づいて、デジタルアシスタントは、「あなたはセントラルパーク内の西門の近くにいます」と回答することができる。ユーザは、タスクの実行、例えば、「私の友人を、来週のガールフレンドの誕生日パーティーに招待してください。」を要求することができる。それに応じて、デジタルアシスタントは、「はい、ただ今」と述べることによって要求を認知することができ、次に、ユーザの代わりに、ユーザの電子アドレス帳に載っているユーザの友人の各々に適切なカレンダの招待状を送信することができる。要求されたタスクの実行の間、デジタルアシスタントは、時により、長時間にわたって情報を複数回交換することを含む連続的なダイアログにおいてユーザと対話することができる。情報又は様々なタスクの実行を要求するためにデジタルアシスタントと対話する多くの他の方法が存在する。口頭による応答を提供し、プログラムされたアクションを取ることに加えて、デジタルアシスタントはまた、他の視覚又は音声形式、例えば、テキスト、警報、音楽、ビデオ、アニメーション等で応答を提供することもできる。
[００４７]
図１に示されるように、いくつかの実施例では、デジタルアシスタントは、クライアントサーバモデルに従って実装されてもよい。デジタルアシスタントは、ユーザデバイス１０４上で実行されるクライアント側部分１０２（以後、「ＤＡクライアント１０２」）、及びサーバシステム１０８上で実行されるサーバ側部分１０６（以後「ＤＡサーバ１０６」）を含むことができる。ＤＡクライアント１０２は１つ以上のネットワーク１１０を通じてＤＡサーバ１０６と通信することができる。ＤＡクライアント１０２は、ユーザ直面（facing）入力及び出力処理、並びにＤＡサーバ１０６との通信等のクライアント側機能を提供することができる。ＤＡサーバ１０６は、それぞれのユーザデバイス１０４上に各々が常駐する任意の数のＤＡクライアント１０２のためのサーバ側機能性を提供することができる。
[００４８]
いくつかの実施例では、ＤＡサーバ１０６は、クライアント直面Ｉ／Ｏインタフェース１１２、１つ以上のプロセシングモジュール１１４、データ及びモデル１１６、並びに外部サービスへのＩ／Ｏインタフェース１１８を含むことができる。クライアント直面Ｉ／Ｏインタフェース１１２は、ＤＡサーバ１０６のためのクライアント直面入力及び出力処理を促進することができる。１つ以上のプロセシングモジュール１１４は、発話入力を処理し、自然言語入力に基づいてユーザの意図を判定するためにデータ及びモデル１１６を利用することができる。更に、１つ以上のプロセシングモジュール１１４は、推測されたユーザの意図に基づいてタスクを実行する。いくつかの実施例では、ＤＡサーバ１０６は、タスクの完了又は情報の取得のために、ネットワーク（単数又は複数）１１０を通じて外部サービス１２０と通信することができる。外部サービスへのＩ／Ｏインタフェース１１８は、このような通信を促進することができる。
[００４９]
ユーザデバイス１０４は、任意の適切な電子デバイスとすることができる。例えば、ユーザデバイスは、ポータブル多機能デバイス（例えば、図２Ａを参照して以下で説明されるデバイス２００）、多機能デバイス（例えば、図４を参照して以下で説明されるデバイス４００）、又はパーソナル電子デバイス（例えば、図６Ａ〜図６Ｂを参照して以下で説明されるデバイス６００）とすることができる。ポータブル多機能デバイスは、例えば、ＰＤＡ及び／又は音楽再生機能等の他の機能も含む携帯電話とすることができる。ポータブル多機能デバイスの具体的な実施例は、Ａｐｐｌｅ Ｉｎｃ．（Ｃｕｐｅｒｔｉｎｏ，Ｃａｌｉｆｏｒｎｉａ）による、ｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスを含むことができる。ポータブル多機能デバイスの他の実施例は、限定なしに、ラップトップコンピュータ又はタブレットコンピュータを含んでもよい。更に、いくつかの実施例では、ユーザデバイス１０４は、非ポータブル多機能デバイスとすることができる。特に、ユーザデバイス１０４は、デスクトップコンピュータ、ゲームコンソール、テレビ、又はテレビセットトップボックスとすることができる。いくつかの実施例では、ユーザデバイス１０４は、マルチタスキング環境で動作することができる。マルチタスキング環境は、ユーザがデバイス１０４を操作して複数のタスクを並列して実行することを可能にする。例えば、マルチタスキング環境は、デバイス１０４が物理ユーザインタフェースデバイスから受信されたユーザ入力に応じて１つのタスクを実行し、ユーザの発話入力に応じて別のタスクを並列して実行することができるデスクトップ又はラップトップ環境であってもよい。いくつかの実施例では、ユーザデバイス１０４は、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を含むことができる。更に、ユーザデバイス１０４は、任意選択的に、物理キーボード、マウス、及び／又はジョイスティック等の１つ以上の他の物理ユーザインタフェースデバイスを含むことができる。多機能デバイス等の電子デバイスの様々な実施例は、以下で更に詳細に説明される。
[００５０]
通信ネットワーク（単数又は複数）１１０の例は、ローカルエリアネットワーク（ＬＡＮ）及び、例えば、インターネットのようなワイドエリアネットワーク（ＷＡＮ）を含むことができる。通信ネットワーク（単数又は複数）１１０は、例えば、イーサネット、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、又は任意の他の適切な通信プロトコル等、様々な有線又は無線プロトコルを含む任意の既知のネットワークプロトコルを使用して実装されてもよい。
[００５１]
サーバシステム１０８は、１つ以上のスタンドアロンデータ処理装置、又はコンピュータの分散型ネットワーク上で実装されてもよい。いくつかの実施例では、サーバシステム１０８はまた、サーバシステム１０８の基本的なコンピューティングリソース及び／又はインフラストラクチャリソースを提供するために、様々な仮想デバイス及び／又はサードパーティサービスプロバイダ（例えば、サードパーティクラウドサービスプロバイダ）のサービスを採用することができる。
[００５２]
いくつかの実施例では、ユーザデバイス１０４は、第２のユーザデバイス１２２を介してＤＡサーバ１０６と通信することができる。第２のユーザデバイス１２２は、ユーザデバイス１０４と同様又は同一とすることができる。例えば、第２のユーザデバイス１２２は、図２Ａ、図４、及び図６Ａ〜図６Ｂを参照して以下に説明されるデバイス２００、デバイス４００、又はデバイス６００と同様とすることができる。ユーザデバイス１０４は、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、若しくはＢＴＬ等の直接通信接続を介して、又はローカルＷｉ−Ｆｉネットワーク等の有線ネットワーク若しくは無線ネットワークを介して第２のユーザデバイス１２２に通信可能に結合するよう構成されてもよい。いくつかの実施例では、第２のユーザデバイス１２２は、ユーザデバイス１０４とＤＡサーバ１０６との間のプロキシとして動作するよう構成されてもよい。例えば、ユーザデバイス１０４のＤＡクライアント１０２は、情報（例えば、ユーザデバイス１０４において受信されたユーザ要求）を、第２のユーザデバイス１２２を介してＤＡサーバ１０６に送信するよう構成されてもよい。ＤＡサーバ１０６は情報を処理することができ、関連するデータ（例えば、ユーザの要求に応答したデータコンテンツ）を、第２のユーザデバイス１２２を介してユーザデバイス１０４に返すことができる。
[００５３]
いくつかの実施例では、ユーザデバイス１０４は、データに対する短縮された要求を、第２のユーザデバイス１２２に通信して、ユーザデバイス１０４から送信される情報量を削減するように構成されてもよい。第２のユーザデバイス１２２は、追加情報を判定し、短縮された要求を追加して完全な要求を生成し、ＤＡサーバ１０６に送信するよう構成されてもよい。このシステムアーキテクチャは、より強い通信能力及び／又はより大きなバッテリ電力を有する第２のユーザデバイス１２２（例えば、携帯電話、ラップトップコンピュータ、又はタブレットコンピュータ等）をＤＡサーバ１０６へのプロキシとして使用することによって、限られた通信能力及び／又は限られたバッテリ電力を有するユーザデバイス１０４（例えば、時計又は同様のコンパクト電子デバイス）がＤＡサーバ１０６によって提供されるサービスにアクセスすることを好適に可能にすることができる。図１では２つのユーザデバイス１０４及びユーザデバイス１２２のみが示されるが、システム１００は、ＤＡサーバシステム１０６と通信するようにこのプロキシ構成で構成された任意の数及びタイプのユーザデバイスを含むことができることを理解されたい。
[００５４]
図１に示すデジタルアシスタントは、クライアント側部分（例えば、ＤＡクライアント１０２）及びサーバ側部分（例えば、ＤＡサーバ１０６）の両方を含むことができるが、いくつかの実施例では、デジタルアシスタントの機能は、ユーザデバイス上にインストールされるスタンドアロンアプリケーションとして実装されてもよい。加えて、デジタルアシスタントのクライアント部分とサーバ部分との間の機能の分配は、異なる実装によって変化することができる。例えば、いくつかの実施例では、ＤＡクライアントは、ユーザ直面入力及び出力処理機能のみを提供し、デジタルアシスタントの全ての他の機能をバックエンドサーバに移譲するシンクライアントとすることができる。
２．電子デバイス
[００５５]
ここで、デジタルアシスタントのクライアント側部分を実行するための電子デバイスの実施形態に注目する。図２Ａは、いくつかの実施形態に従った、タッチ感知ディスプレイシステム２１２を有するポータブル多機能デバイス２００を示すブロック図である。タッチ感知ディスプレイ２１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、「タッチ感知ディスプレイシステム」として既知であり、又はそう呼ばれる場合がある。デバイス２００は、メモリ２０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ２２２、１つ以上のプロセシングユニット（ＣＰＵ）２２０、周辺機器インタフェース２１８、ＲＦ回路２０８、音声回路２１０、スピーカ２１１、マイクロフォン２１３、入出力（Ｉ／Ｏ）サブシステム２０６、他の入力制御デバイス２１６、及び外部ポート２２４を含む。デバイス２００は、任意選択的に、１つ以上の光センサ２６４を含む。デバイス２００は、任意選択的に、デバイス２００（例えば、デバイス２００のタッチ感知ディスプレイシステム２１２等のタッチ感知面）上の接触の強度を検出するための１つ以上の接触強度センサ２６５を含む。デバイス２００は、任意選択的に、デバイス２００上で触知出力を生成する（例えば、デバイス２００のタッチ感知ディスプレイシステム２１２又はデバイス４００のタッチパッド４５５等のタッチ感知面上で触知出力を生成する）ための１つ以上の触知出力生成器２６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン２０３を介して通信する。
[００５６]
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当りの力）、又はタッチ感知面上の接触の力若しくは圧力の代替物（代用物）を指す。接触の強度は、少なくとも４つの異なる値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）異なる値を含む、値範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して判定（又は、測定）される。例えば、タッチ感知面の下にあり、又はこれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。いくつかの実装形態において、複数の力センサの力測定値を組み合わせて（例えば、加重平均）、接触力の推定値を判定する。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。代わりに、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は接触に近接するタッチ感知面の抵抗及び／若しくはその変化は、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。いくつかの実装形態では、接触の力又は圧力についての代替的測定値は、強度閾値を超えているか否かを判定するために直接使用される（例えば、強度閾値は、代替的測定値に対応する単位で説明される）。いくつかの実装形態では、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、推定された力又は圧力は、強度閾値を超えているか否かを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザ入力の属性として使用することによって、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するための、及び／或いは、ユーザ入力を受信するための（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタン等の物理的／機械的制御部を介して）、面積が制限されている低減されたサイズのデバイス上で、他の場合であればユーザによってアクセスすることができないことがある、追加的なデバイス機能へのユーザのアクセスが可能となる。
[００５７]
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）のデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの重心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の知覚された変化に対応する触感としてユーザによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、任意選択的に、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として解釈される。いくつかの場合、ユーザの移動によって物理的に押圧された（例えば、変位した）タッチ感知面と関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」等の触感を感じる。別の実施例として、タッチ感知面の移動は、任意選択的に、タッチ感知面の平滑度に変化がないときでさえ、ユーザによって、タッチ感知面の「粗さ」として、解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。よって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして説明されるとき、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの説明された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
[００５８]
デバイス２００は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス２００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有し、任意選択的に、２つ以上の構成要素を組み合わせ、又は、任意選択的に、構成要素の異なる構成若しくは配置を有することを理解されたい。図２Ａに示される様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの双方の組み合わせで実装される。
[００５９]
メモリ２０２は、１つ以上のコンピュータ可読記憶媒体を含んでもよい。コンピュータ可読記憶媒体は、有形かつ非一時的であってもよい。メモリ２０２は、高速ランダムアクセスメモリを含んでもよく、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイス等の不揮発性メモリも含んでもよい。メモリコントローラ２２２は、デバイス２００の他の構成要素によるメモリ２０２へのアクセスを制御してもよい。
[００６０]
いくつかの実施例では、メモリ２０２の非一時的コンピュータ可読記憶媒体は、（例えば、以下に説明する処理１２００の態様を実行する）命令を、コンピュータベースのシステム、プロセッサを含むシステム、又は命令実行システム、装置、若しくはデバイスから命令をフェッチすることができ、それらの命令を実行する他のシステム等の、命令実行システム、装置、又はデバイスによる使用、又はそれと関連した使用のために記憶するために使用されてもよい。他の実施例では、（例えば、以下で説明する処理１２００の態様を実行する）命令は、サーバシステム１０８の非一時的コンピュータ可読記憶媒体（図示せず）に記憶されていてもよく、又はメモリ２０２の非一時的コンピュータ可読記憶媒体とサーバシステム１０８の非一時的コンピュータ可読記憶媒体との間で分配されてもよい。本文書のコンテクストでは、「非一時的コンピュータ可読記憶媒体」は、命令実行システム、装置、又はデバイスによって、又はそれらに関連して使用するためのプログラムを含み、又は記憶することが可能な任意の媒体とすることができる。
[００６１]
周辺機器インタフェース２１８は、デバイスの入力及び出力周辺機器をＣＰＵ２２０及びメモリ２０２に結合するために使用されてもよい。１つ以上のプロセッサ２２０は、デバイス２００のための様々な機能を実行し、データを処理するために、メモリ２０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させ、又は実行する。いくつかの実施形態では、周辺機器インタフェース２１８、ＣＰＵ２２０、及びメモリコントローラ２２２は、チップ２０４等の単一のチップ上で実装されてもよい。いくつかの他の実施形態では、それらは、別個のチップ上で実装されてもよい。
[００６２]
ＲＦ（radio frequency）（無線周波数）回路２０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路２０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路２０８は、任意選択的に、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタルシグナルプロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、及びメモリ等を含むがこれらに限定されない、それらの機能を実行するための周知の回路を含む。ＲＦ回路２０８は、任意選択的に、ワールドワイドウェブ（ＷＷＷ）とも称されるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（ＭＡＮ）等の無線ネットワーク等のネットワークと、他のデバイスと無線通信によって通信する。ＲＦ回路２０８は、任意選択的に、近距離通信無線等によって等、近距離無線通信（ＮＦＣ）フィールドを検出するための周知の回路を含む。無線通信は、任意選択的に、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ−Ｏｎｌｙ（ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（Dual-Cell HSPDA、ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、及び／又はＩＥＥＥ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and Presence Leveraging Extensions、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、及び／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、或いは本文書の出願日現在までにまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含むが、これらに限定されない、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを使用する。
[００６３]
音声回路２１０、スピーカ２１１、及びマイクロフォン２１３は、ユーザとデバイス２００との間の音声インタフェースを提供する。音声回路２１０は、周辺機器インタフェース２１８から音声データを受信し、音声データを電気信号に変換し、電気信号をスピーカ２１１に送信する。スピーカ２１１は、電気信号を人間の可聴音波に変換する。音声回路２１０はまた、マイクロフォン２１３によって音波から変換された電気信号を受信する。音声回路２１０は、電気信号を音声データに変換し、音声データを処理のために周辺機器インタフェース２１８に送信する。音声データは、周辺機器インタフェース２１８によって、メモリ２０２及び／若しくはＲＦ回路２０８から取得されてもよく、並びに／又はメモリ２０２及び／若しくはＲＦ回路２０８に送信されてもよい。いくつかの実施形態では、音声回路２１０はまた、ヘッドセットジャック（例えば、図３の３１２）を含む。ヘッドセットジャックは、音声回路２１０と、出力専用ヘッドホン又は出力（例えば、片耳若しくは両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の双方を有するヘッドセット等の、取り外し可能な音声入出力周辺機器との間のインタフェースを提供する。
[００６４]
Ｉ／Ｏサブシステム２０６は、周辺機器インタフェース２１８に、タッチスクリーン２１２及び他の入力制御デバイス２１６等のデバイス２００上の入出力周辺機器を結合する。Ｉ／Ｏサブシステム２０６は、任意選択的に、ディスプレイコントローラ２５６、光センサコントローラ２５８、強度センサコントローラ２５９、触覚フィードバックコントローラ２６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ２６０を含む。１つ以上の入力コントローラ２６０は、他の入力制御デバイス２１６から／に電気信号を受信／送信する。他の入力制御デバイス２１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカーボタン等）、ダイヤル、スライダスイッチ、ジョイスティック、及びクリックホイール等を含む。いくつかの代替的実施形態では、入力コントローラ（単数又は複数）２６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウス等のポインタデバイスのうちのいずれかに接続される（又は、いずれにも接続されない）。１つ以上のボタン（例えば、図３の３０８）は、任意選択的に、スピーカ２１１及び／又はマイクロフォン２１３の音量制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図３の３０６）を含む。
[００６５]
その全体が参照により本明細書に組み込まれる、２００５年１２月２３日に出願された米国特許第７，６５７，８４９号である米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」に記載されているように、プッシュボタンの素早い押圧は、タッチスクリーン２１２のロックを解除し、又はデバイスのロックを解除するためにタッチスクリーン上のジェスチャを使用する処理を開始することができる。プッシュボタン（例えば、３０６）のより長く押圧は、デバイス２００の電源をオン又はオフすることができる。ユーザは、１つ以上のボタンの機能をカスタマイズすることができる。タッチスクリーン２１２は、仮想又はソフトボタン、及び１つ以上のソフトキーボードを実装するために使用される。
[００６６]
タッチ感知ディスプレイ２１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ２５６は、タッチスクリーン２１２から電気信号を受信し、及び／又はタッチスクリーン２１２に電気信号を送信する。タッチスクリーン２１２は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ（「グラフィック」と総称される）を含んでもよい。いくつかの実施形態では、視覚出力の一部又は全てはユーザインタフェースオブジェクトに対応してもよい。
[００６７]
タッチスクリーン２１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン２１２及びディスプレイコントローラ２５６は（メモリ２０２における任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン２１２上で接触（及び任意の接触の移動又は中断）を検出し、検出された接触をタッチスクリーン２１２上で表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン２１２とユーザとの間の接触点は、ユーザの指に対応する。
[００６８]
タッチスクリーン２１２は、ＬＣＤ（liquid crystal display、液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display、発光ポリマーディスプレイ）技術、又はＬＥＤ（light emitting diode、発光ダイオード）技術を使用してもよいが、他の実施形態では、その他のディスプレイ技術が使用されてもよい。タッチスクリーン２１２及びディスプレイコントローラ２５６は、静電容量技術、抵抗性技術、赤外線技術及び表面弾性波技術、並びにタッチスクリーン２１２との１つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在既知の、又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触、及びその接触のいずれかの移動又は中断を検出することができる。例示的な実施形態では、Ａｐｐｌｅ Ｉｎｃ．（Ｃａｌｉｆｏｒｎｉａ、Ｃｕｐｅｒｔｉｎｏ）によるｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）において見られるような、投影型相互静電容量感知技術が使用される。
[００６９]
タッチスクリーン２１２のいくつかの実施形態におけるタッチ感知ディスプレイは、各々のその全体が参照により本明細書に組み込まれる、以下の米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、同第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、同第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、及び／又は米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドと同様であってもよい。しかしながら、タッチスクリーン２１２はデバイス２００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
[００７０]
タッチスクリーン２１２のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願で説明されている通りであってもよい。（１）２００６年５月２日に出願された米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日に出願された同第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日に出願された同第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日に出願された同第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日に出願された同第１１／０３８，５９０号、「Ｍｏｄｅ−Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日に出願された同第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日に出願された同第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日に出願された同第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ−Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日に出願された同第１１／３６７，７４９号、「Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ−Ｈｅｌｄ Ｄｅｖｉｃｅ」。これらの出願の全ては、全体が参照により本明細書に組み込まれる。
[００７１]
タッチスクリーン２１２は、１００ｄｐｉを超えるビデオ解像度を有してもよい。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス及び指等の任意の適切な物体又は付属物を使用して、タッチスクリーン２１２と接触することができる。いくつかの実施形態では、ユーザインタフェースは、主として指を基準とした接触及びジェスチャで機能するように設計され、タッチスクリーン上の指の接触面積が広いことに起因してスタイラスを基準とした入力よりも精度が低いことがある。いくつかの実施形態では、デバイスは、指に基づく粗い入力を正確なポインタ／カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。
[００７２]
いくつかの実施形態では、タッチスクリーンに加えて、デバイス２００は、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド（図示せず）を含んでもよい。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しないデバイスのタッチ感知領域である。タッチパッドは、タッチスクリーン２１２とは別個のタッチ感知面、又はタッチスクリーンによって形成されるタッチ感知面の拡張部であってもよい。
[００７３]
デバイス２００はまた、様々な構成要素に電力を供給するための電力システム２６２を含む。電力システム２６２は、電力管理システム、１つ以上の電源（例えば、バッテリ又は交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイスにおける電力の生成、管理、及び分配と関連付けられた任意の他の構成要素を含んでもよい。
[００７４]
デバイス２００はまた、１つ以上の光センサ２６４を含んでもよい。図２Ａは、Ｉ／Ｏサブシステム２０６における光センサコントローラ２５８に結合された光センサを示す。光センサ２６４は、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを含んでもよい。光センサ２６４は、１つ以上のレンズを通じて投影された、環境からの光を受光し、光を、画像を表すデータに変換する。撮像モジュール２４３（カメラモジュールとも呼ばれる）と連携して、光センサ２６４は静止画像又はビデオをキャプチャしてもよい。いくつかの実施形態では、タッチスクリーンディスプレイを静止画像及び／又はビデオ画像の取得のためのビューファインダとして使用することができるように、デバイスの前面のタッチスクリーンディスプレイ２１２の反対側である、デバイス２００の背面上に光センサが位置する。いくつの実施形態では、ユーザが他のビデオ会議参加者をタッチスクリーンディスプレイ上で参照する間に、ユーザの画像をビデオ会議のために取得することができるように、デバイスの前面上に光センサが位置する。いくつかの実施形態では、ビデオ会議並びに静止画像及び／又はビデオ画像の取得の双方のために、単一の光センサ２６４を、タッチスクリーンディスプレイと共に使用することができるように、光センサ２６４の位置は、ユーザによって（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更されてもよい。
[００７５]
デバイス２００はまた、任意選択的に、１つ以上の接触強度センサ２６５を含む。図２Ａは、Ｉ／Ｏサブシステム２０６における強度センサコントローラ２５９に結合された接触強度センサを示す。接触強度センサ２６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用されるセンサ）を含む。接触強度センサ２６５は、環境から接触強度情報（例えば、圧力情報又は圧力情報の代用物）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサが、タッチ感知面（例えば、タッチ感知ディスプレイシステム２１２）に配置されているか、又はそれに近接している。いくつか実施形態では、少なくとも１つの接触強度センサが、デバイス２００の前面上に位置するタッチスクリーンディスプレイ２１２の反対側である、デバイス２００の背面上に位置する。
[００７６]
デバイス２００はまた、１つ以上の近接センサ２６６を含んでもよい。図２Ａは、周辺機器インタフェース２１８に結合された近接センサ２６６を示す。代わりに、近接センサ２６６は、Ｉ／Ｏサブシステム２０６における入力コントローラ２６０に結合されてもよい。近接センサ２６６は、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び、同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように実行してもよく、これらの出願は、その全体が参照により本明細書に組み込まれる。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されるとき（例えば、ユーザが電話で通話しているとき）、近接センサは、タッチスクリーン２１２をオフにし、無効化する。
[００７７]
デバイス２００はまた、任意選択的に、１つ以上の触知出力生成器２６７を含む。図２Ａは、Ｉ／Ｏサブシステム２０６における触覚フィードバックコントローラ２６１に結合された触知出力生成器を示す。触知出力生成器２６７は、任意選択的に、スピーカ若しくは他の音声構成要素等の１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）等の、エネルギーを線形的な動きに変換する電気機械デバイスを含む。接触強度センサ２６５は、触覚フィードバックモジュール２３３から触知フィードバック生成命令を受信し、デバイス２００のユーザによって感知することが可能な触知出力をデバイス２００上で生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム２１２）に配置され、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス２００の表面の内／外）に、又は横方向（例えば、デバイス２００の表面と同一の平面内の前後）に移動させることによって触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス２００の前面に位置するタッチスクリーンディスプレイ２１２の反対側である、デバイス２００の背面上に位置する。
[００７８]
デバイス２００はまた、１つ以上の加速度計２６８も含んでもよい。図２Ａは、周辺機器インタフェース２１８に結合された加速度計２６８示す。代わりに、加速度計２６８は、Ｉ／Ｏサブシステム２０６における入力コントローラ２６０に結合されてもよい。加速度計２６８は、その双方のその全体が参照により本明細書に組み込まれる、米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ−ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び同第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」で説明されるように実行してもよい。いくつかの実施形態では、情報は、１つ以上の加速度計から受信されたデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイ上で表示される。デバイス２００は、任意選択的に、加速度計（単数又は複数）２６８に加えて、磁気計（図示せず）並びにデバイス２００の位置及び向き（例えば、縦長又は横長）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機（図示せず）を含む。
[００７９]
いくつかの実施形態では、メモリ２０２に記憶されたソフトウェア構成要素は、オペレーティングシステム２２６、通信モジュール（又は、命令セット）２２８、接触／動きモジュール（又は、命令セット）２３０、グラフィックモジュール（又は、命令セット）２３２、テキスト入力モジュール（又は、命令セット）２３４、全地球測位システム（ＧＰＳ）モジュール（又は、命令セット）２３５、デジタルアシスタントクライアントモジュール２２９、及びアプリケーション（又は、命令セット）２３６を含む。更に、メモリ２０２は、ユーザデータ及びモデル２３１等のデータ及びモデルを記憶することができる。更に、いくつかの実施形態では、図２Ａ及び図４に示されるように、メモリ２０２（図２Ａ）又はメモリ４７０（図４）は、デバイス／グローバル内部状態２５７を記憶する。デバイス／グローバル内部状態２５７は、現在アクティブであるアプリケーションがある場合、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ２１２の様々な領域を占領しているかを示す表示状態、デバイスの様々なセンサ及び入力制御デバイス２１６から取得される情報を含むセンサ状態、並びにデバイスの位置及び／又は姿勢に関する位置情報のうちの１つ以上を含む。
[００８０]
オペレーティングシステム２２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ｉＯＳ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓ等の組み込みオペレーティングシステム）は、汎用的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理等）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を促進する。
[００８１]
通信モジュール２２８は、１つ以上の外部ポート２２４を通じて他のデバイスとの通信を促進し、ＲＦ回路２０８及び／又は外部ポート２２４によって受信されたデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート２２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ等）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮ等）を通じて間接的に、他のデバイスに結合するように適応される。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同一若しくは同様のマルチピン（例えば、３０ピン）コネクタ、及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。
[００８２]
接触／動きモジュール２３０は、任意選択的に、（ディスプレイコントローラ２５６と連携して）タッチスクリーン２１２との接触、及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール２３０は、接触が生じたかを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したかを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）等、接触の検出に関する様々な動作を実行するための様々なソフトウェア構成要素を含む。接触／動きモジュール２３０は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、並びに／又は加速度（大きさ及び／若しくは方向における変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール２３０及びディスプレイコントローラ２５６は、タッチパッド上の接触を検出する。
[００８３]
いくつかの実施形態では、接触／動きモジュール２３０は、ユーザによって動作が実行されたかを判定するための（例えば、ユーザがアイコン上で「クリック」したかを判定するための）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、少なくとも強度閾値のサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されず、デバイス２００の物理ハードウェアを変更することなく調節されてもよい）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の予め定義された閾値のうちのいずれかに設定されてもよい。加えて、いくつかの実施形態では、デバイスのユーザは、強度閾値のセットのうちの１つ以上を調節するためのソフトウェア設定が提供される（例えば、個々の強度閾値を調節することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調節することによって）。
[００８４]
接触／動きモジュール２３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば、検出される接触の異なる動き、タイミング、及び／又は強度）を有する。よって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャを検出することは、（例えば、アイコンの位置における）指を下ろすイベントを検出し、続いて指を下ろすイベントと同一の位置（又は、実質的に同一の位置）で指を上げる（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて、１つ以上の指をドラッグするイベントを検出し、その後、続いて指を上げる（リフトオフ）イベントを検出することを含む。
[００８５]
グラフィックモジュール２３２は、表示されるグラフィックの視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含む、タッチスクリーン２１２又は他のディスプレイ上でグラフィックをレンダリング及び表示するための様々な既知のソフトウェア構成要素を含む。本明細書で使用されるとき、用語「グラフィック」は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクト等）、デジタル画像、ビデオ、及びアニメーション等を含むが、これらに限定されない、ユーザに対して表示することができる任意のオブジェクトを含む。
[００８６]
いくつかの実施形態では、グラフィックモジュール２３２は、使用されることになるグラフィックを表すデータを記憶する。各々のグラフィックは、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール２３２は、アプリケーション等から、必要に応じて、座標データ及び他のグラフィック特性データと共に表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次いで、ディスプレイコントローラ２５６に出力するスクリーンの画像データを生成する。
[００８７]
触覚フィードバックモジュール２３３は、デバイス２００とのユーザ対話に応じて、デバイス２００上の１つ以上の位置で触知出力を生成するために、触知出力生成器（単数又は複数）２６７によって使用される命令を生成するための様々なソフトウェア構成要素を含む。
[００８８]
グラフィックモジュール２３２の構成要素とすることができるテキスト入力モジュール２３４は、様々なアプリケーション（例えば、連絡先２３７、電子メール２４０、ＩＭ２４１、ブラウザ２４７、及びテキスト入力を必要とする任意の他のアプリケーション）においてテキストを入力するためのソフトキーボードを提供する。
[００８９]
ＧＰＳモジュール２３５は、デバイスの位置を判定し、この情報を、様々なアプリケーションで使用するために提供する（例えば、位置に基づく電話にて使用するために電話２３８へ、写真／ビデオメタデータとしてカメラ２４３へ、及び天気ウィジェット、ローカルイエローページウィジェット、及び地図／ナビゲーションウィジェット等の位置に基づくサービスを提供するアプリケーションへ）。
[００９０]
デジタルアシスタントクライアントモジュール２２９は、デジタルアシスタントのクライアント側機能性を提供する様々なクライアント側デジタルアシスタント命令を含むことができる。例えば、デジタルアシスタントクライアントモジュール２２９は、ポータブル多機能デバイス２００の様々なユーザインタフェース（例えば、マイクロフォン２１３、加速度計（単数又は複数）２６８、タッチ感知ディスプレイシステム２１２、光センサ（単数又は複数）２６４、他の入力制御デバイス２１６等）を通じて、音声入力（例えば、発話入力）、テキスト入力、タッチ入力、及び／又はジェスチャ入力を受け付ける能力を有することができる。デジタルアシスタントクライアントモジュール２２９はまた、ポータブル多機能デバイス２００の様々な出力インタフェース（例えば、スピーカ２１１、タッチ感知ディスプレイシステム２１２、触知出力生成器（単数又は複数）２６７等）を通じて、音声（例えば、発話出力）、視覚、及び／又は触知の形式で出力を提供する能力を有することができる。例えば、出力は、音声、音響、警報、テキストメッセージ、メニュー、グラフィック、ビデオ、アニメーション、振動、及び／又は上記の２つ以上の組み合わせとして提供されてもよい。動作の間、デジタルアシスタントクライアントモジュール２２９は、ＲＦ回路２０８を使用してＤＡサーバ１０６と通信することができる。
[００９１]
ユーザデータ及びモデル２３１は、デジタルアシスタントのクライアント側機能性を提供するための、ユーザと関連付けられた様々なデータ（例えば、ユーザ特有の語彙データ、ユーザ優先度データ、ユーザ特有の名前の発音、ユーザの電子アドレス帳からのデータ、ｔｏ ｄｏリスト、買い物リスト等）を含むことができる。更に、ユーザデータ及びモデル２３１は、ユーザ入力を処理し、ユーザの意図を判定するための様々なモデル（例えば、発話認識モデル、統計的言語モデル、自然言語処理モデル、オントロジ、タスクフローモデル、サービスモデル等）を含むことができる。
[００９２]
いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９は、ポータブル多機能デバイス２００の周囲環境から追加情報を収集して、ユーザ、現在のユーザ対話、及び／又は現在のユーザ入力と関連付けられたコンテクストを確立するために、ポータブル多機能デバイス２００の様々なセンサ、サブシステム、及び周辺機器を利用することができる。いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９は、ユーザの意図の推測を支援するために、ユーザ入力と共にコンテクスト情報又はそのサブセットをＤＡサーバ１０６に提供することができる。いくつかの実施例では、デジタルアシスタントはまた、ユーザへの出力をどのように準備及び配信するかを決定するために、コンテクスト情報を使用することができる。コンテクスト情報は、コンテクストデータと呼ばれてもよい。
[００９３]
いくつかの実施例では、ユーザ入力に伴うコンテクスト情報は、センサ情報、例えば、照明、周囲ノイズ、周囲温度、周囲環境の画像又はビデオ等を含むことができる。いくつかの実施例では、コンテクスト情報はまた、デバイスの物理状態、例えば、デバイスの向き、デバイスの位置、デバイスの温度、電力レベル、速さ、加速度、動きパターン、セルラー信号強度等を含むことができる。いくつかの実施例では、ＤＡサーバ１０６のソフトウェア状態、例えば、稼働中の処理、インストールされたプログラム、過去と現在のネットワーク活動、バックグラウンドサービス、エラーログ、リソース使用量等、及びポータブル多機能デバイス２００のソフトウェア状態に関係する情報が、ＤＡサーバ１０６に、ユーザ入力と関連付けられたコンテクスト情報として提供されてもよい。
[００９４]
いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９は、ＤＡサーバ１０６からの要求に応じて、ポータブル多機能デバイス２００に記憶された情報（例えば、ユーザデータ２３１）を選択的に提供することができる。いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９はまた、ＤＡサーバ１０６による要求があると、自然言語ダイアログ又は他のユーザインタフェースを介してユーザから追加入力を引き出すことができる。デジタルアシスタントクライアントモジュール２２９は、ユーザ要求で表されるユーザの意図の意図推論及び／又は履行においてＤＡサーバ１０６を支援するために、追加入力をＤＡサーバ１０６に渡すことができる。
[００９５]
図７Ａ〜Ｃを参照して、より詳細な情報アシスタントの説明を記述する。デジタルアシスタントクライアントモジュール２２９は、以下に説明されるデジタルアシスタントモジュール７２６の任意の数のサブモジュールを含むことができることを認識するべきである。
[００９６]
アプリケーション２３６は、以下のモジュール（若しくは、命令セット）、又はそれらのサブセット若しくはスーパーセットを含んでもよい。
・連絡先モジュール２３７（アドレス帳又は連絡先リストとも呼ばれる場合がある）、
・電話モジュール２３８、
・ビデオ会議モジュール２３９、
・電子メールクライアントモジュール２４０、
・インスタントメッセージング（ＩＭ）モジュール２４１、
・トレーニングサポートモジュール２４２、
・静止画像及び／又はビデオ画像用のカメラモジュール２４３、
・画像管理モジュール２４４、
・ビデオ再生モジュール、
・音楽再生モジュール、
・ブラウザモジュール２４７、
・カレンダモジュール２４８、
・天気ウィジェット２４９−１、株式ウィジェット２４９−２、計算機ウィジェット２４９−３、アラーム時計ウィジェット２４９−４、辞書ウィジェット２４９−５、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット２４９−６のうちの１つ以上を含んでもよいウィジェットモジュール２４９、
・ユーザ作成ウィジェット２４９−６を作成するためのウィジェットクリエータモジュール２５０、
・検索モジュール２５１、
・ビデオ再生モジュール及び音楽再生モジュールを統合した、ビデオ及び音楽再生モジュール２５２、
・メモモジュール２５３、
・地図モジュール２５４、並びに／又は
・オンラインビデオモジュール２５５。
[００９７]
メモリ２０２に記憶することができる他のアプリケーション２３６の例は、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製を含む。
[００９８]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、連絡先モジュール２３７は、（例えば、メモリ２０２又はメモリ４７０内の連絡先モジュール２３７のアプリケーション内部状態２９２に記憶された）アドレス帳又は連絡先リストを管理するために使用されてもよく、アドレス帳に名前（単数又は複数）を追加すること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類及び並べ替えること、電話番号又は電子メールアドレスを提供して、電話２３８、ビデオ会議モジュール２３９、電子メール２４０、若しくはＩＭ２４１による通信を開始及び／又は促進すること等を含む。
[００９９]
ＲＦ回路２０８、音声回路２１０、スピーカ２１１、マイクロフォン２１３、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、電話モジュール２３８は、電話番号に対応する一連の文字を入力し、連絡先モジュール２３７における１つ以上の電話番号にアクセスし、入力された電話番号を修正し、それぞれの電話番号をダイヤルし、会話を行い、そして、会話が完了したときに接続を切り又は電話を切るために使用されてもよい。上述したように、無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを使用してもよい。
[０１００]
ＲＦ回路２０８、音声回路２１０、スピーカ２１１、マイクロフォン２１３、タッチスクリーン２１２、ディスプレイコントローラ２５６、光センサ２６４、光センサコントローラ２５８、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、連絡先モジュール２３７、及び電話モジュール２３８と連携して、ビデオ会議モジュール２３９は、ユーザの命令に従って、ユーザと１人以上の他の参加者との間のビデオ会議を開始、遂行、及び終了する実行可能な命令を含む。
[０１０１]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、電子メールクライアントモジュール２４０は、ユーザの指示に応じて、電子メールを作成、送信、受信、及び管理する実行可能な命令を含む。画像管理モジュール２４４と連携して、電子メールクライアントモジュール２４０は、カメラモジュール２４３で撮影した静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
[０１０２]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、インスタントメッセージングモジュール２４１は、インスタントメッセージに対応する文字列を入力し、前に入力された文字を修正し、（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用して）それぞれのインスタントメッセージを送信し、インスタントメッセージを受信し、受信されたインスタントメッセージを参照する実行可能な命令を含む。いくつかの実施形態では、送信及び／又は受信されるインスタントメッセージは、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、音声ファイル、ビデオファイル、及び／又は他の添付ファイルを含んでもよい。本明細書で使用されるとき、「インスタントメッセージ」は、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）の双方を指す。
[０１０３]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動作モジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、ＧＰＳモジュール２３５、地図モジュール２５４、及び音楽再生モジュールと連携して、トレーニングサポートモジュール２４２は、（例えば、時間、距離、及び／又はカロリー消費目標を有する）トレーニングを生成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、トレーニングデータを表示、記憶、及び送信する実行可能な命令を含む。
[０１０４]
タッチスクリーン２１２、ディスプレイコントローラ２５６、光センサ（単数又は複数）２６４、光センサコントローラ２５８、接触／動きモジュール２３０、グラフィックモジュール２３２、及び画像管理モジュール２４４と連携して、カメラモジュール２４３は、静止画像又は（ビデオストリームを含む）ビデオをキャプチャし、メモリ２０２にそれらを記憶し、静止画像若しくはビデオの特性を修正し、又はメモリ２０２から静止画像若しくはビデオを削除する実行可能な命令を含む。
[０１０５]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びカメラモジュール２４３と連携して、画像管理モジュール２４４は、静止画像及び／又はビデオ画像を配置、修正（例えば、編集）、又は別の方法で操作、ラベルを付け、削除、（例えば、デジタルスライドショー又はアルバムにおいて）提示、及び記憶する実行可能な命令を含む。
[０１０６]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、ブラウザモジュール２４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索すること、リンク付けすること、受信すること、及び表示することを含むユーザの命令に従ってインターネットをブラウズする実行可能な命令を含む。
[０１０７]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、電子メールクライアントモジュール２４０、及びブラウザモジュール２４７と連携して、カレンダモジュール２４８は、ユーザの指示に従って、カレンダ及びカレンダと関連付けられたデータ（例えば、カレンダエントリ、ｔｏ ｄｏリスト等）を作成、表示、変更、記憶する実行可能な命令を含む。
[０１０８]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びブラウザモジュール２４７と連携して、ウィジェットモジュール２４９は、ユーザによってダウンロード及び使用することができるミニアプリケーション（例えば、天気ウィジェット２４９−１、株式ウィジェット２４９−２、計算機ウィジェット２４９−３、アラーム時計ウィジェット２４９−４、及び辞書ウィジェット２４９−５）、又はユーザによって作成することができる（例えば、ユーザ作成ウィジェット２４９−６）ミニアプリケーションである。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language）（ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets）（カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
[０１０９]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びブラウザモジュール２４７と連携して、ウィジェットクリエータモジュール２５０は、ウィジェットを作成する（例えば、ウェブページのユーザ指定箇所をウィジェットに変える）ためにユーザによって使用されてもよい。
[０１１０]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、検索モジュール２５１は、ユーザの命令に従って、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索用語）と一致する、メモリ２０２内のテキスト、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索する実行可能な命令を含む。
[０１１１]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、音声回路２１０、スピーカ２１１、ＲＦ回路２０８、及びブラウザモジュール２４７と連携して、ビデオ及び音楽再生モジュール２５２は、ＭＰ３又はＡＡＣファイル等の１つ以上のファイル形式で記憶された録音済みの音楽又は他のサウンドファイルをユーザがダウンロード及び再生することを可能にする実行可能な命令、並びにビデオを（タッチスクリーン２１２上、又は外部ポート２２４を介して接続された外部のディスプレイ上で）表示、提示、又は別の方法で再生する実行可能な命令を含む。いくつかの実施形態では、デバイス２００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）等のＭＰ３再生の機能を含む。
[０１１２]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、メモモジュール２５３は、ユーザの命令に従って、メモ及びｔｏ ｄｏリスト等を作成及び管理する実行可能な命令を含む。
[０１１３]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、ＧＰＳモジュール２３５、及びブラウザモジュール２４７と連携して、地図モジュール２５４は、ユーザの命令に従って、地図及び地図と関連付けられたデータ（例えば、運転方向、特定の位置若しくはその付近の店舗及び他の関心対象地点についてのデータ、並びに他の位置に基づく他のデータ）を受信、表示、修正、及び記憶するために使用されてもよい。
[０１１４]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、音声回路２１０、スピーカ２１１、ＲＦ回路２０８、テキスト入力モジュール２３４、電子メールクライアントモジュール２４０、及びブラウザモジュール２４７と連携して、オンラインビデオモジュール２５５は、ユーザがＨ．２６４等の１つ以上のファイル形式にあるオンラインビデオにアクセス、ブラウズ、（例えば、ストリーミング及び／又はダウンロードにより）受信、（例えば、タッチスクリーン上で、又は外部ポート２２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理することを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール２４０ではなく、インスタントメッセージングモジュール２４１が使用される。オンラインビデオアプリケーションの追加の説明は、その内容の全体が参照により本明細書に組み込まれる、２００７年６月２０日に出願された米国特許仮出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日に出願された米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」に見出すことができる。
[０１１５]
上記特定されたモジュール及びアプリケーションの各々は、上記説明された１つ以上の機能を実行するための実行可能な命令セット及び本出願に記載の方法（例えば、コンピュータにより実装される方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（例えば、命令のセット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、様々な実施形態では、これらのモジュールの様々なサブセットを組み合わせるか、又は他の方式で再編成することができる。例えば、ビデオ再生モジュールは、音楽再生モジュールと組み合わせて、単一のモジュール（例えば、図２Ａのビデオ及び音楽再生モジュール２５２）としてもよい。いくつかの実施形態では、メモリ２０２は、上記特定されたモジュール及びデータ構造のサブセットを記憶してもよい。更に、メモリ２０２は、上記説明されていない追加のモジュール及びデータ構造を記憶してもよい。
[０１１６]
いくつかの実施形態では、デバイス２００は、デバイス上の機能の予め定義されたセットの動作が排他的にタッチスクリーン及び／又はタッチパッドを通じて実行されるデバイスである。デバイス２００の動作についての主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することによって、デバイス２００上の（プッシュボタン及びダイヤル等の）物理入力制御デバイスの数を削減することができる。
[０１１７]
排他的にタッチスクリーン及び／又はタッチパッドを通じて実行される、予め定義された機能のセットは、任意選択的に、ユーザインタフェースの間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされるとき、デバイス２００上で表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューへデバイス２００をナビゲートする。そのような実施形態では、「メニューボタン」はタッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理プッシュボタン又は他の物理入力制御デバイスである。
[０１１８]
図２Ｂは、いくつかの実施形態に従った、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ２０２（図２Ａ）又はメモリ４７０（図４）は、イベントソート部２７０（例えば、オペレーティングシステム２２６内）及びそれぞれアプリケーション２３６−１（例えば、上述したアプリケーション２３７〜２５１、２５５、４８０〜４９０のうちのいずれか）を含む。
[０１１９]
イベントソート部２７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション２３６−１及びアプリケーション２３６−１のアプリケーションビュー２９１を判定する。イベントソート部２７０は、イベントモニタ２７１及びイベントディスパッチャモジュール２７４を含む。いくつかの実施形態では、アプリケーション２３６−１は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイ２１２上で表示される直近のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態２９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態２５７は、どのアプリケーション（単数又は複数）が現在アクティブであるか否かを判定するためにイベントソート部２７０によって使用され、アプリケーション内部状態２９２は、イベント情報が配信されるアプリケーションビュー２９１を判定するためにイベントソート部２７０によって使用される。
[０１２０]
いくつかの実施形態では、アプリケーション内部状態２９２は、アプリケーション２３６−１が実行を再開するときに使用される再開情報、アプリケーション２３６−１によって情報が表示されているか又は表示の準備がされていることを示すユーザインタフェース状態情報、ユーザがアプリケーション２３６−１の前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが前に行ったアクションの再実行／取消待ち行列のうちの１つ以上等の追加情報を含む。
[０１２１]
イベントモニタ２７１は、周辺機器インタフェース２１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ２１２上でのユーザのタッチ）に関する情報を含む。周辺機器インタフェース２１８は、Ｉ／Ｏサブシステム２０６、又は近接センサ２６６、加速度計（単数又は複数）２６８、及び／若しくは（音声回路２１０を通じた）マイクロフォン２１３等のセンサから受信する情報を送信する。周辺機器インタフェース２１８がＩ／Ｏサブシステム２０６から受信する情報は、タッチ感知ディスプレイ２１２又はタッチ感知面からの情報を含む。
[０１２２]
いくつかの実施形態では、イベントモニタ２７１は、所定の間隔で周辺機器インタフェース２１８に要求を送信する。これに応じて、周辺機器インタフェース２１８はイベント情報を送信する。他の実施形態では、周辺機器インタフェース２１８は、重要なイベント（例えば、所定のノイズ閾値を上回り、及び／又は所定の時間を超える入力を受信すること）が存在するときのみ、イベント情報を送信する。
[０１２３]
いくつかの実施形態では、イベントソート部２７０はまた、ヒットビュー判定モジュール２７２及び／又はアクティブイベント認識部判定モジュール２７３を含む。
[０１２４]
ヒットビュー判定モジュール２７２は、タッチ感知ディスプレイ２１２が２つ以上のビューを表示するときに、サブイベントが１つ以上のビュー内で発生したかを判定するためのソフトウェア手順を提供する。ビューは、制御部及びユーザがディスプレイ上で見ることができる他の要素で構成されている。
[０１２５]
アプリケーションと関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合があるビューのセットであり、それらにおいて情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、そのアプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応してもよい。例えば、タッチが検出される最下位レベルのビューはヒットビューと呼ばれてもよく、適切な入力として認識されるイベントのセットは、少なくとも部分的にタッチに基づくジェスチャを開始する最初のタッチのヒットビューに基づいて判定されてもよい。
[０１２６]
ヒットビュー判定モジュール２７２は、タッチに基づくジェスチャのサブイベントと関連する情報を受信する。アプリケーションが、階層で編成された複数のビューを有するとき、ヒットビュー判定モジュール２７２は、サブイベントを処理するべき階層における最下位のビューとしてヒットビューを特定する。ほとんどの状況では、ヒットビューは、最初のサブイベント（例えば、イベント又は潜在的なイベントを形成する一連のサブイベントにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュール２７２によって特定されると、ヒットビューは、典型的には、それがヒットビューとして特定された、同一のタッチ又は入力ソースに関連する全てのサブイベントを受信する。
[０１２７]
アクティブイベント認識部判定モジュール２７３は、ビュー階層内のどのビュー（単数又は複数）が特定の一連のサブイベントを受信するべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール２７３は、ヒットビューのみが特定の一連のサブイベントを受信するべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール２７３は、サブイベントの物理的な位置を含む全てのビューがアクティブに関与しているビューであると判定し、従って、全てのアクティブに関与しているビューが特定の一連のサブイベントを受信するべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューと関連付けられたエリアに完全に制限される場合でさえ、階層における上位のビューは、アクティブに関与しているビューのままである。
[０１２８]
イベントディスパッチャモジュール２７４は、イベント情報をイベント認識部（例えば、イベント認識部２８０）に発送する。アクティブイベント認識部判定モジュール２７３を含む実施形態では、イベントディスパッチャモジュール２７４は、アクティブイベント認識部判定モジュール２７３によって判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール２７４は、それぞれのイベント受信部２８２により取得されるイベント情報をイベント待ち行列に記憶する。
[０１２９]
いくつかの実施形態では、オペレーティングシステム２２６は、イベントソート部２７０を含む。代わりに、アプリケーション２３６−１は、イベントソート部２７０を含む。更なる他の実施形態では、イベントソート部２７０は、スタンドアロンモジュール、又は接触／動きモジュール２３０等のメモリ２０２に記憶された別のモジュールの一部である。
[０１３０]
いくつかの実施形態では、アプリケーション２３６−１は、各々がアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベントハンドラ２９０及び１つ以上のアプリケーションビュー２９１を含む。アプリケーション２３６−１の各々のアプリケーションビュー２９１は、１つ以上のイベント認識部２８０を含む。典型的には、それぞれのアプリケーションビュー２９１は、複数のイベント認識部２８０を含む。他の実施形態では、イベント認識部２８０のうちの１つ以上は、ユーザインタフェースキット（図示せず）、又はアプリケーション２３６−１がメソッド及び他の性質をそれから継承する上位レベルのオブジェクト等の別々のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部２９０は、データ更新部２７６、オブジェクト更新部２７７、ＧＵＩ更新部２７８、及び／又はイベントソート部２７０から受信されたイベントデータ２７９のうちの１つ以上を含む。イベント処理部２９０は、アプリケーション内部状態２９２を更新するために、データ更新部２７６、オブジェクト更新部２７７、若しくはＧＵＩ更新部２７８を利用又は呼び出すことができる。代わりに、アプリケーションビュー２９１のうちの１つ以上は、１つ以上のそれぞれのイベント処理部２９０を含む。また、いくつかの実施形態では、データ更新部２７６、オブジェクト更新部２７７、及びＧＵＩ更新部２７８のうちの１つ以上は、それぞれのアプリケーションビュー２９１に含まれる。
[０１３１]
それぞれのイベント認識部２８０は、イベントソート部２７０からイベント情報（例えば、イベントデータ２７９）を受信し、イベント情報からイベントを特定する。イベント認識部２８０は、イベント受信部２８２及びイベント比較部２８４を含む。いくつかの実施形態では、イベント認識部２８０はまた、メタデータ２８３及びイベント配信命令２８８（サブイベント配信命令を含んでもよい）の少なくともサブセットを含む。
[０１３２]
イベント受信部２８２は、イベントソート部２７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動に関する情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置等の追加の情報を含む。サブイベントがタッチの動きに関係するとき、イベント情報はまた、そのサブイベントの速さ及び方向も含んでもよい。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへの、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ばれる）に関する対応する情報を含む。
[０１３３]
イベント比較部２８４は、イベント情報を予め定義されたイベント又はサブイベント定義と比較し、比較に基づいて、イベント若しくはサブイベントを判定し、又はイベント若しくはサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部２８４は、イベント定義２８６を含む。イベント定義２８６は、例えば、イベント１（２８７−１）、イベント２（２８７−２）等の、イベントの定義（例えば、予め定義された一連のサブイベント）を含む。いくつかの実施形態では、イベント（２８７）におけるサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの中止、及び複数のタッチを含む。一実施例では、イベント１（２８７−１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階の間の表示されたオブジェクト上の第１のタッチ（タッチの開始）、所定の段階の間の第１のリフトオフ（タッチの終了）、所定の段階の間の表示オブジェクト上の第２のタッチ（タッチの開始）、及び所定の段階の間の第２のリフトオフ（タッチの終了）を含む。別の実施例では、イベント２（２８７−２）についての定義は、表示されたオブジェクト上のドラッグ操作である。ドラッグ操作は、例えば、所定の段階の間の表示されたオブジェクト上のタッチ（又は、接触）、タッチ感知ディスプレイ２１２を横断するタッチの移動、及びタッチのリフトオフ（タッチの終了）を含む。いくつかの実施形態では、イベントはまた、１つ以上の関連付けられたイベント処理部２９０についての情報を含む。
[０１３４]
いくつかの実施形態では、イベント定義２８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部２８４は、どのユーザインタフェースオブジェクトがサブイベントと関連付けられるかを判定するためのヒットテストを実行する。例えば、３つのユーザインタフェースオブジェクトがタッチ感知ディスプレイ２１２に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ２１２上でタッチが検出されるとき、イベント比較部２８４は、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）と関連付けられているかを判定するためのヒットテストを実行する。表示された各々のオブジェクトがそれぞれのイベント処理部２９０と関連付けられている場合、イベント比較部は、ヒットテストの結果を使用して、どのイベント処理部２９０をアクティブ化するべきかを判定する。例えば、イベント比較部２８４は、サブイベント及びヒットテストをトリガするオブジェクトと関連付けられたイベント処理部を選択する。
[０１３５]
いくつかの実施形態では、それぞれのイベント（２８７）についての定義はまた、一連のサブイベントがイベント認識部のイベントタイプに対応するか否かが判定されるまでイベント情報の配信を遅延させる遅延アクションを含む。
[０１３６]
それぞれのイベント認識部２８０が、一連のサブイベントがイベント定義２８６におけるイベントのいずれとも一致しないと判定するとき、それぞれのイベント認識部２８０は、イベント不可能、イベント失敗、又はイベント終了状態に入り、その後は、タッチに基づくジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューに対してアクティブのままである他のイベント認識部がある場合、そのイベント認識部は、進行中のタッチに基づくジェスチャのサブイベントを追跡及び処理することを続ける。
[０１３７]
いくつかの実施形態では、それぞれのイベント認識部２８０は、イベント配信システムがどのようにサブイベント配信を実行するべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ２８３を含む。いくつかの実施形態では、メタデータ２８３は、イベント認識部が相互にどのように対話することができるか、又は対話が可能になるかについて示す、構成変更可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ２８３は、サブイベントがビュー階層又はプログラム階層における様々なレベルに配信されるかを示す、構成変更可能なプロパティ、フラグ、及び／又はリストを含む。
[０１３８]
いくつかの実施形態では、それぞれのイベント認識部２８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベント処理部２９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部２８０は、イベントと関連付けられたイベント情報をイベント処理部２９０に配信する。イベント処理部２９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信（及び送信を延期する）することとは異なる。いくつかの実施形態では、イベント認識部２８０は、認識されたイベントと関連付けられたフラグをスローし、フラグと関連付けられたイベント処理部２９０は、フラグをキャッチし、予め定義された処理を実行する。
[０１３９]
いくつかの実施形態では、イベント配信命令２８８は、イベント処理部をアクティブ化することなくサブイベントに関するイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
[０１４０]
いくつかの実施形態では、データ更新部２７６は、アプリケーション２３６−１で使用されるデータを作成及び更新する。例えば、データ更新部２７６は、連絡先モジュール２３７で使用される電話番号を更新し、又はビデオ再生モジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部２７７は、アプリケーション２３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部２７７は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部２７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部２７８は、表示情報を作成し、タッチ感知ディスプレイ上で表示するためにそれをグラフィックモジュール２３２に送信する。
[０１４１]
いくつかの実施形態では、イベント処理部（単数又は複数）２９０は、データ更新部２７６、オブジェクト更新部２７７、及びＧＵＩ更新部２７８を含み、又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部２７６、オブジェクト更新部２７７、及びＧＵＩ更新部２７８は、それぞれのアプリケーション２３６−１又はアプリケーションビュー２９１の単一のモジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
[０１４２]
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の議論はまた、入力デバイスを有する多機能デバイス２００を動作させるための他の形式のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことが理解されよう。例えば、単一若しくは複数のキーボードの押圧若しくは保持に任意選択的に合わせたマウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロール等の接触移動、ペンのスタイラス入力、デバイスの移動、口頭による指示、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組み合わせは、任意選択的に、認識されることになるイベントを定義するサブイベントに対応する入力として利用される。
[０１４３]
図３は、いくつかの実施形態に従った、タッチスクリーン２１２を有するポータブル多機能デバイス２００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface）（ＵＩ）３００内に１つ以上のグラフィックを表示する。本実施形態と共に以下で説明されるその他では、ユーザは、例えば、１本以上の指３０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス３０３（図には、正確な縮尺率では描かれていない）で、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することが可能になる。いくつかの実施形態では、ユーザが１つ以上のグラフィックとの接触を中断するときに１つ以上のグラフィックの選択が発生する。いくつかの実施形態では、ジェスチャは、任意選択的に、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ、及び／若しくは下方向へ）、並びに／又はデバイス２００と接触した指の回転（右から左へ、左から右へ、上方向へ、及び／若しくは下方向へ）を含む。いくつかの実施形態又は状況では、グラフィックとの不測の接触は、グラフィックを選択しない。例えば、選択に対応するジェスチャがタップであるとき、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択しない。
[０１４４]
デバイス２００はまた、「ホーム」又はメニューボタン３０４等の１つ以上の物理ボタンを含んでもよい。前に説明されたように、メニューボタン３０４は、デバイス２００上で実行することができるアプリケーションセットにおける任意のアプリケーション２３６へナビゲートするために使用されてもよい。代わりに、いくつかの実施形態では、メニューボタンは、タッチスクリーン２１２に表示されたＧＵＩにおけるソフトキーとして実装される。
[０１４５]
一実施形態では、デバイス２００は、タッチスクリーン２１２、メニューボタン３０４、デバイスの電源をオン／オフし、デバイスをロックするためのプッシュボタン３０６、音量調節ボタン（単数又は複数）３０８、加入者識別モジュール（ＳＩＭ）カードスロット３１０、ヘッドセットジャック３１２、及びドッキング／充電用外部ポート２２４を含む。プッシュボタン３０６は、任意選択的に、ボタンを押し下げ、予め定義された時間間隔の間にボタンを押し下げた状態で保持することによってデバイス上の電力をターンオン／オフし、ボタンを押し下げ予め定義された時間間隔が経過する前にボタンを解放することによってデバイスをロックし、及び／又はデバイスのロックを解除し若しくはロック解除処理を開始するために使用される。代替的な実施形態では、デバイス２００はまた、マイクロフォン２１３を通じていくつかの機能をアクティブ化又は非アクティブ化するための口頭入力を受け付ける。デバイス２００はまた、任意選択的に、タッチスクリーン２１２上の接触の強度を検出するための１つ以上の接触強度センサ２６５、及び／又はデバイス２００のユーザについての触知出力を生成するための１つ以上の触知出力生成器２６７を含む。
[０１４６]
図４は、いくつかの実施形態に従った、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス４００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス４００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具等）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス４００は、典型的には、１つ以上のプロセシングユニット（ＣＰＵ）４１０、１つ以上のネットワーク又は他の通信インタフェース４６０、メモリ４７０、及びこれらの構成要素を相互接続するための１つ以上の通信バス４２０を含む。通信バス４２０は、任意選択的に、システム構成要素の間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を含む。デバイス４００は、典型的には、タッチスクリーンディスプレイであるディスプレイ４４０を含む入出力（Ｉ／Ｏ）インタフェース４３０を含む。Ｉ／Ｏインタフェース４３０はまた、任意選択的に、キーボード及び／若しくはマウス（又は、他のポインティングデバイス）４５０、並びにタッチパッド４５５、デバイス４００上で触知出力を生成するための（例えば、図２Ａを参照して上記説明された触知出力生成器２６７（単数又は複数）と同様の）触知出力生成器４５７、センサ４５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図２Ａを参照して上記説明された接触強度センサ（単数又は複数）２６５と同様の接触強度センサ）を含む。メモリ４７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイス等の高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体記憶デバイス等の不揮発性メモリを含む。メモリ４７０は、任意選択的に、ＣＰＵ（単数又は複数）４１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ４７０は、ポータブル多機能デバイス２００（図２Ａ）のメモリ２０２に記憶されたプログラム、モジュール、及びデータ構造、又はそれらのサブセットに類似する、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ４７０は、任意選択的に、ポータブル多機能デバイス２００のメモリ２０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス４００のメモリ４７０は、任意選択的に、描画モジュール４８０、プレゼンテーションモジュール４８２、ワードプロセッシングモジュール４８４、ウェブサイト作成モジュール４８６、ディスクオーサリングモジュール４８８、及び／又はスプレッドシートモジュール４９０を記憶するが、ポータブル多機能デバイス２００（図２Ａ）のメモリ２０２はこれらのモジュールを記憶しない。
[０１４７]
図４における上記特定された要素の各々は、前述のメモリデバイスのうちの１つ以上に記憶されていてもよい。上記特定されたモジュールの各々は、上記説明された機能を実行する命令セットに対応する。上記特定されたモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、様々な実施形態では、これらのモジュールの様々なサブセットは組み合わされてもよく、又は他の方式で再編成されてもよい。いくつかの実施形態では、メモリ４７０は、上記特定されたモジュール及びデータ構造のサブセットを記憶してもよい。更に、メモリ４７０は、上記説明されていない追加のモジュール及びデータ構造を記憶してもよい。
[０１４８]
ここで、例えば、ポータブル多機能デバイス２００上で実装することができるユーザインタフェースの実施形態に注意を向ける。
[０１４９]
図５Ａは、いくつかの実施形態に従った、ポータブル多機能デバイス２００上のアプリケーションのメニュー用の例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス４００上で実装されてもよい。いくつかの実施形態では、ユーザインタフェース５００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
[０１５０]
セルラー信号及びＷｉ−Ｆｉ信号等の無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）５０２、
●時間５０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ５０５、
●バッテリ状態インジケータ５０６、
●下記等の、頻繁に使用されるアプリケーション用のアイコンを含むトレー５０８、
○不在着信又はボイスメールメッセージの数のインジケータ５１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール２３８用のアイコン５１６、
○未読電子メールの数のインジケータ５１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール２４０用のアイコン５１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール２４７用のアイコン５２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール２５２とも称されるビデオ及び音楽再生モジュール２５２用のアイコン５２２、並びに
●下記等の、その他のアプリケーションのためのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール２４１用のアイコン５２４、
○「カレンダ」とラベル付けされた、カレンダモジュール２４８用のアイコン５２６、
○「写真」とラベル付けされた、画像管理モジュール２４４用のアイコン５２８、
○「カメラ」とラベル付けされた、カメラモジュール２４３用のアイコン５３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール２５５用のアイコン５３２、
○「株式」とラベル付けされた、株式ウィジェット２４９−２用のアイコン５３４、
○「地図」とラベル付けされた、地図モジュール２５４用のアイコン５３６、
○「天気」とラベル付けされた、天気ウィジェット２４９−１用のアイコン５３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット２４９−４用のアイコン５４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール２４２用のアイコン５４２、
○「メモ」とラベル付けされた、メモモジュール２５３用のアイコン５４４、及び
○デバイス２００及びその様々なアプリケーション２３６についての設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション若しくはモジュール用のアイコン５４６。
[０１５１]
図５Ａに示されるアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽再生モジュール２５２用のアイコン５２２は、任意選択的に、「音楽」又は「音楽再生」とラベル付けされてもよい。他のラベルは、任意選択的に、様々なアプリケーションアイコンのために使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンについてのラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンについてのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
[０１５２]
図５Ｂは、ディスプレイ５５０（例えば、タッチスクリーンディスプレイ２１２）とは別個のタッチ感知面５５１（例えば、図４のタブレット又はタッチパッド４５５）を有するデバイス（例えば、図４のデバイス４００）上の例示的なユーザインタフェースを示す。デバイス４００はまた、任意選択的に、タッチ感知面５５１上の接触の強度を検出するための１つ以上の接触強度センサ（例えば、センサ４５７のうちの１つ以上）、及び／又はデバイス４００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器４５９を含む。
[０１５３]
以下の実施例のうちのいくつかはタッチスクリーンディスプレイ２１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、いくつかの実施形態では、デバイスは、図５Ｂに示されるように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図５Ｂの５５１）は、ディスプレイ（例えば、５５０）上の主軸（例えば、図５Ｂの５５３）に対応する主軸（例えば、図５Ｂの５５２）を有する。これらの実施形態に従って、デバイスは、タッチ感知面５５１との接触（例えば、図５Ｂの５６０及び５６２）を、ディスプレイ上のそれぞれの一に対応する位置（例えば、図５Ｂでは、５６０は５６８に対応し、５６２は５７０に対応する）において検出する。このように、タッチ感知面がディスプレイとは別個であるとき、タッチ感知面（例えば、図５Ｂの５５１）上でデバイスによって検出されたユーザ入力（例えば、接触５６０及び接触５６２、並びにそれらの移動）が、多機能デバイスのディスプレイ（例えば、図５Ｂでの５５０）上でユーザインタフェースを操作するためにデバイスによって使用される。同様の方法は、任意選択的に、本明細書で説明される他のユーザインタフェースに使用されることを理解されたい。
[０１５４]
加えて、以下の実施例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ）を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力、又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、スワイプの経路に沿ったカーソルの移動がその後に続く（例えば、接触の移動の代わりに）、マウスクリックと置き換えられる（例えば、接触の代わりに）。別の実施例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間にマウスクリックと置き換えられる（例えば、接触の検出とそれに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが任意選択的に同時に使用され、又はマウス及び指の接触が任意選択的に同時に使用されることを理解されたい。
[０１５５]
図６Ａは、例示的なパーソナル電子デバイス６００を示す。デバイス６００は、本体６０２を含む。いくつかの実施形態では、デバイス６００は、デバイス２００及びデバイス４００（例えば、図２Ａ〜図４Ｂ）に関して説明される特徴のいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス６００は、タッチ感知ディスプレイ画面６０４、以後、タッチスクリーン６０４を有する。タッチスクリーン６０４の代わりに、又はそれに加えて、デバイス６００は、ディスプレイ及びタッチ感知面を有する。デバイス２００及びデバイス４００と同様に、いくつかの実施形態では、タッチスクリーン６０４（又は、タッチ感知面）は、加えられている接触（例えば、タッチ）の強度を検出するための１つ以上の強度センサを有してもよい。タッチスクリーン６０４（又は、タッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス６００のユーザインタフェースは、タッチの強度に基づいてタッチに応じてもよく、これは、異なる強度のタッチがデバイス６００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
[０１５６]
タッチ強度を検出及び処理するための技術は、それぞれが全体として参照により本明細書に組み込まれる、例えば、関連出願である、２０１３年５月８日に出願された「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」と題する国際出願ＰＣＴ／ＵＳ２０１３／０４００６１号、及び２０１３年１１月１１日に出願された「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」と題する同ＰＣＴ／ＵＳ２０１３／０６９４８３号に見出すことができる。
[０１５７]
いくつかの実施形態では、デバイス６００は、１つ以上の入力機構６０６及び６０８を有する。入力機構６０６及び６０８は、含まれる場合、物理的なものとすることができる。物理入力機構の例は、プッシュボタン及び回転可能機構を含む。いくつかの実施形態では、デバイス６００は、１つ以上の取付機構を有する。そのような取付機構は、含まれる場合、例えば、デバイス６００を、帽子、アイウェア、イヤリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計バンド、チェーン、ズボン、ベルト、靴、財布、及びバックパック等に取り付けることを可能にする。これらの取付機構によって、ユーザはデバイス６００を着用することができる。
[０１５８]
図６Ｂは、例示的なパーソナル電子デバイス６００を示す。いくつかの実施形態では、デバイス６００は、図２Ａ、図２Ｂ、及び図４に関連して説明された構成要素のいくつか又は全てを含むことができる。デバイス６００は、Ｉ／Ｏ部６１４を１つ以上のコンピュータプロセッサ６１６及びメモリ６１８に動作可能に結合するバス６１２を有する。Ｉ／Ｏ部６１４は、タッチ感知構成要素６２２、及び、任意選択的に、タッチ強度感知構成要素６２４を有することができるディスプレイ６０４に接続されてもよい。加えて、Ｉ／Ｏ部６１４は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（「ＮＦＣ」）、セルラー、及び／又は他の無線通信技術を使用して、アプリケーション及びオペレーティングシステムデータを受信するための通信ユニット６３０と接続されてもよい。デバイス６００は、入力機構６０６及び／又は６０８を含むことができる。入力機構６０６は、例えば、回転可能入力デバイス、又は押し下げ可能及び回転可能入力デバイスであってもよい。入力機構６０８は、いくつかの実施例では、ボタンであってもよい。
[０１５９]
入力機構６０８は、いくつかの実施例では、マイクロフォンであってもよい。パーソナル電子デバイス６００は、ＧＰＳセンサ６３２、加速度計６３４、方向センサ６４０（例えば、コンパス）、ジャイロスコープ６３６、動きセンサ６３８、及び／又はこれらの組み合わせ等の、様々なセンサを含むことができるが、それらの全ては、Ｉ／Ｏ部６１４に動作可能に接続されてもよい。
[０１６０]
パーソナル電子デバイス６００のメモリ６１８は、コンピュータ実行可能命令を記憶するための非一時的コンピュータ可読記憶媒体とすることができ、それらの命令は、１つ以上のコンピュータプロセッサ６１６によって実行されるとき、例えば、コンピュータプロセッサに、処理１２００（図１２Ａ〜Ｄ）を含む、上記説明された技術を実行させることができる。コンピュータ実行可能命令はまた、コンピュータベースのシステム、プロセッサを含むシステム、又は命令実行システム、装置、若しくはデバイスから命令をフェッチすることができ、命令を実行することができる他のシステム等、命令実行システム、装置、又はデバイスによって、又はそれらと接続して使用するための任意の非一時的コンピュータ可読記憶媒体に記憶及び／又は伝送されてもよい。パーソナル電子デバイス６００は、図６Ｂの構成要素及び構成に限定されるものではなく、複数の構成における他の構成要素又は追加的構成要素を含むことができる。
[０１６１]
本明細書で使用されるとき、用語「アフォーダンス」は、デバイス２００、デバイス４００、及び／又はデバイス６００（図２、図４、及び図６）のディスプレイスクリーン上で表示することができるユーザ対話式のグラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及びテキスト（例えば、リンク）は各々、アフォーダンスを構成することができる。
[０１６２]
本明細書で使用されるとき、用語「フォーカスセレクタ」は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含むいくつかの実装形態では、カーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上にある間に、タッチ感知面（例えば、図４のタッチパッド４５５、又は図５Ｂのタッチ感知面５５１）上で入力（例えば、押圧入力）が検出されるとき、特定のユーザインタフェース要素が検出された入力に従って調整されるように、カーソルは「フォーカスセレクタ」として機能する。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ（例えば、図２Ａのタッチ感知ディスプレイシステム２１２、又は図５Ａのタッチスクリーン２１２）を含むいくつかの実装形態では、入力（例えば、接触による押圧入力）がタッチスクリーンディスプレイ上で特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の位置において検出されるとき、特定のユーザインタフェース要素が検出された入力に従って調節されるように、タッチスクリーン上の検出された接触は、「フォーカスセレクタ」として機能する。いくつかの実装形態では、（例えば、タブキー又は矢印キーを使用してフォーカスを１つのボタンから別のボタンに移動させることにより）タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスが、ユーザインタフェースの１つの領域からユーザインタフェースの別の領域に移動され、それらの実施形態では、フォーカスセレクタは、ユーザインタフェースの異なる領域の間のフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形式とは関係なく、フォーカスセレクタは概して、ユーザの意図したユーザインタフェースとの対話を通信するために（例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインタフェース要素（又は、タッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出される間、それぞれのボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、（デバイスのディスプレイ上で示される他のユーザインタフェース要素とは反対側の）それぞれのボタンをユーザがアクティブ化することを意図していることを示す。
[０１６３]
本明細書及び特許請求の範囲で使用するとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づくその接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、予め定義された数の強度サンプル、或いは予め定義されたイベントに対する（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終わりを検出する前、接触の強度における増大を検出する前若しくは後、及び／又は接触の強度における減少を検出する前若しくは後）所定の時間期間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルの組に基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、又は接触の強度の最大値の９０％の値等のうちの１つ以上に基づく。いくつかの実施形態では、接触の期間は、特性強度を判定する際に使用される（例えば、特性強度が経時的な接触の強度の平均にあるとき）。いくつかの実施形態では、特性強度は、操作がユーザによって実行されたかを判定するために１つ以上の強度閾値の組と比較される。例えば、１つ以上の強度閾値のセットは、第１の強度閾値及び第２の強度閾値を含むことができる。この実施例では、第１の閾値を越えない特性強度を有する接触の結果として第１の動作が実行され、第１の強度閾値を越え、第２の強度閾値を越えない特性強度を有する接触の結果として第２の動作が実行され、第２の閾値を越える特性強度を有する接触の結果として第３の動作が実行される。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するか又は第２の動作を実行するかを判定するために使用されるのではなく、１つ以上の動作を実行するか否か（例えば、それぞれの動作を実行するのか、又はそれぞれの動作の実行をしないで済ますか）を判定するために使用される。
[０１６４]
いくつかの実施形態では、特性強度を判定する目的で、ジェスチャの一部が特定される。例えば、タッチ感知面は、接触の強度が増加する開始位置から遷移して終了位置に到達する連続的なスワイプ接触を受け取ってもよい。この実施例では、終了位置における接触の特性強度は、連続的なスワイプ接触の一部のみに基づいており、全体的なスワイプ接触ではない（例えば、終了位置におけるスワイプ接触の一部のみ）。いくつかの実施形態では、接触の特性強度を判定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用してもよい。例えば、平滑化アルゴリズムは、任意選択的に、非荷重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的で、スワイプ接触の強度の小幅な上昇又は低下を除外する。
[０１６５]
タッチ感知面上の接触の強度は、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び／又は１つ以上の他の強度閾値等などの１つ以上の強度閾値に対して特徴付けられてもよい。いくつかの実施形態では、軽い押圧強度閾値は、典型的に物理マウスのボタン又はトラックパッドのクリックと関連付けられた動作をデバイスが実行する強度に対応する。いくつかの実施形態では、深い押圧強度閾値は、典型的に物理マウスのボタン又はトラックパッドのクリックと関連付けられた動作とは異なる動作をデバイスが実行する強度に対応する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、かつ、それを下回ると接触がもはや検出されないわずかな接触検出強度閾値を上回る）特性強度を有する接触が検出されるとき、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値と関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従ってフォーカスセレクタを移動させる。概して、特に明記しない限り、これらの強度閾値は、ユーザインタフェースの図の異なるセットの間で一貫している。
[０１６６]
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への接触の特性強度の増大は、「軽い押圧」入力と称される場合がある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への接触の特性強度の増大は、「深い押圧」入力と称される場合がある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への接触の特性強度の増大は、タッチ面上の接触の検出と称される場合がある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と称される場合がある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロより大きい。
[０１６７]
本明細書で説明されるいくつかの実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（又は、複数の接触）で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度における増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの操作は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大（例えば、それぞれの押圧入力の「ダウンストローク」）の検出に応じて実行される。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及び押圧入力強度閾値を下回る接触の強度の後続の減少を含み、それぞれの動作は、押圧入力閾値を下回るそれぞれの接触の強度の後続の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて実行される。
[０１６８]
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との予め定義された関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な比率である）。よって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及び押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の後続の減少を含み、それぞれの動作は、ヒステリシス強度閾値を下回る、それぞれの接触の強度の後続の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて実行される。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、ヒステリシス強度以下の強度への、接触の強度の後続の減少を検出する場合にのみ検出され、それぞれの動作は、押圧入力の検出（例えば、状況に応じて、接触の強度の増大、又は接触の強度の減少）に応じて実行される。
[０１６９]
説明を容易にするために、押圧入力強度閾値と関連付けられた押圧入力に応じて、又は押圧入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて動作が実行されるとして説明される実施例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る、接触の強度の減少を検出したことに応じて実行される。
３．デジタルアシスタントシステム
[０１７０]
図７Ａは、様々な実施例に従った、デジタルアシスタントシステム７００のブロック図を示す。いくつかの実施例では、デジタルアシスタントシステム７００は、スタンドアロンコンピュータシステム上で実装されてもよい。いくつかの実施例では、デジタルアシスタントシステム７００は、複数のコンピュータにわたって分散されてもよい。いくつかの実施例では、デジタルアシスタントのモジュール及び機能のいくつかは、サーバ部分及びクライアント部分に分割されてもよく、そこでは、クライアント部分は１つ以上のユーザデバイス（例えば、デバイス１０４、デバイス１２２、デバイス２００、デバイス４００、又はデバイス６００）上に常駐し、例えば、図１に示すように、１つ以上のネットワークを通じてサーバ部分（例えば、サーバシステム１０８）と通信する。いくつかの実施例では、デジタルアシスタントシステム７００は、図１に示されたサーバシステム１０８（及び／又は、ＤＡサーバ１０６）の実施形態であってもよい。デジタルアシスタントシステム７００は、デジタルアシスタントシステムの単なる一実施例に過ぎず、デジタルアシスタントシステム７００は、示されているよりも多くの若しくは少ない構成要素を有してもよく、２つ以上の構成要素を組み合わせてもよく、又は構成要素の異なる構成若しくは配置を有することができることに留意されたい。図７Ａに示される様々な構成要素は、１つ以上の信号処理回路及び／若しくは特定用途向け集積回路を含む、ハードウェア、１つ以上のプロセッサによって実行されるソフトウェア命令、ファームウェア、又はそれらの組み合わせの形態で実装されてもよい。
[０１７１]
デジタルアシスタントシステム７００は、メモリ７０２、１つ以上のプロセッサ７０４、入出力（Ｉ／Ｏ）インタフェース７０６、及びネットワーク通信インタフェース７０８を含むことができる。これらの構成要素は、１つ以上の通信バス又は信号線７１０を介して相互に通信することができる。
[０１７２]
いくつかの実施例では、メモリ７０２は、高速ランダムアクセスメモリ並びに／又は不揮発性コンピュータ可読記憶媒体（例えば、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、若しくは他の不揮発性固体メモリデバイス）等の非一時的コンピュータ可読媒体を含むことができる。
[０１７３]
いくつかの実施例では、Ｉ／Ｏインタフェース７０６は、ディスプレイ、キーボード、タッチスクリーン、及びマイクロフォン等、デジタルアシスタントシステム７００の入出力デバイス７１６をユーザインタフェースモジュール７２２に結合することができる。Ｉ／Ｏインタフェース７０６は、ユーザインタフェースモジュール７２２と協働して、ユーザ入力（例えば、音声入力、キーボード入力、タッチ入力等）を受信し、対応してそれらを処理する。いくつかの実施例では、例えば、デジタルアシスタントがスタンドアロンユーザデバイス上で実装されるとき、デジタルアシスタントシステム７００は、図２Ａ、図４、図６Ａ〜図６Ｂにおいてそれぞれデバイス２００、デバイス４００、又はデバイス６００に関連して説明されている構成要素及びＩ／Ｏ通信インタフェースのいずれかを含むことができる。いくつかの実施例では、デジタルアシスタントシステム７００は、デジタルアシスタントの実施形態のサーバ部分を表すことができ、ユーザデバイス（例えば、デバイス１０４、デバイス２００、デバイス４００、又はデバイス６００）上に常駐するクライアント側部分を通じてユーザと対話することができる。
[０１７４]
いくつかの実施例では、ネットワーク通信インタフェース７０８は、有線通信ポート（単数又は複数）７１２及び／又は無線送受信回路７１４を含むことができる。有線通信ポート（単数又は複数）７１２は、１つ以上の有線インタフェース、例えば、イーサネット、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ等を介して通信信号を受信及び送信することができる。無線回路７１４は、通信ネットワーク及び他の通信デバイスをから／へ、ＲＦ信号及び／又は光信号を受信及び送信することができる。無線通信は、ＧＳＭ、ＥＤＧＥ、ＣＤＭＡ、ＴＤＭＡ、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、ＶｏＩＰ、Ｗｉ−ＭＡＸ、又は任意のその他の適切な通信プロトコル等の複数の通信規格、プロトコル及び技術のうちのいずれかを使用することができる。ネットワーク通信インタフェース７０８は、インターネット、イントラネット等のネットワーク、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）等の無線ネットワーク、及び／又はメトロポリタンエリアネットワーク（Metropolitan Area Network、ＭＡＮ）による、デジタルアシスタントシステム７００と他のデバイスとの間の通信を可能にすることができる。
[０１７５]
いくつかの実施例では、メモリ７０２、又はメモリ７０２のコンピュータ可読記憶媒体は、オペレーティングシステム７１８、通信モジュール７２０、ユーザインタフェースモジュール７２２、１つ以上のアプリケーション７２４、及びデジタルアシスタントモジュール７２６の全て又はサブセットを含むプログラム、モジュール、命令、及びデータ構造を記憶することができる。特に、メモリ７０２又はメモリ７０２のコンピュータ可読記憶媒体は、以下で説明する処理１２００を実行する命令を記憶することができる。１つ以上のプロセッサ７０４はこれらのプログラム、モジュール、及び命令を実行し、データ構造から／へと読み出し／書き込みを行うことができる。
[０１７６]
オペレーティングシステム７１８（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ｉＯＳ、ＯＳ Ｘ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓ等の組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶装置制御、電力管理等）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含むことができ、様々なハードウェア、ファームウェア、及びソフトウェア構成要素間の通信を促進する。
[０１７７]
通信モジュール７２０は、ネットワーク通信インタフェース７０８上でのデジタルアシスタントシステム７００と他のデバイスとの間の通信を促進する。例えば、通信モジュール７２０は、図２Ａ、図４、図６Ａ〜図６Ｂにそれぞれ示すデバイス２００、デバイス４００、及びデバイス６００等の電子デバイスのＲＦ回路２０８と通信することができる。通信モジュール７２０はまた、無線回路７１４及び／又は有線通信ポート７１２により受信されたデータを処理するための様々な構成要素も含むことができる。
[０１７８]
ユーザインタフェースモジュール７２２はＩ／Ｏインタフェース７０６を介して（例えば、キーボード、タッチスクリーン、ポインティングデバイス、コントローラ、及び／又はマイクロフォンから）ユーザからのコマンド及び／又は入力を受信することができ、ディスプレイ上でユーザインタフェースオブジェクトを生成することができる。ユーザインタフェースモジュール７２２はまた、Ｉ／Ｏインタフェース７０６を介して（例えば、ディスプレイ、音声チャネル、スピーカ、タッチパッド等を通じて）、ユーザへの出力（例えば、発話、音声、アニメーション、テキスト、アイコン、振動、触覚フィードバック、光等）を準備及び配信することができる。
[０１７９]
アプリケーション７２４は、１つ以上のプロセッサ７０４により実行されるように構成されたプログラム及び／又はモジュールを含むことができる。例えば、デジタルアシスタントシステムがスタンドアロンのユーザデバイス上で実装される場合、アプリケーション７２４は、ゲーム、カレンダアプリケーション、ナビゲーションアプリケーション、又は電子メールアプリケーション等のユーザアプリケーションを含むことができる。デジタルアシスタントシステム７００がサーバ上で実装される場合、アプリケーション７２４は、例えば、リソース管理アプリケーション、診断アプリケーション、又はスケジューリングアプリケーションを含むことができる。
[０１８０]
メモリ７０２はまた、デジタルアシスタントモジュール７２６（又は、デジタルアシスタントのサーバ部分）を記憶することができる。いくつかの実施例では、デジタルアシスタントモジュール７２６は、以下のサブモジュール、又はそれらのサブセット若しくはスーパーセットを含むことができる：入出力処理モジュール７２８、音声テキスト化（ＳＴＴ）処理モジュール７３０、自然言語処理モジュール７３２、ダイアログフロー処理モジュール７３４、タスクフロー処理モジュール７３６、サービス処理モジュール７３８、及び発話合成モジュール７４０。これらのモジュールの各々は、デジタルアシスタントモジュール７２６の以下のシステム又はデータ及びモデルのうちの１つ以上、又はそれらのサブセット若しくはスーパーセットへのアクセスを有することができる：オントロジ７６０、語彙索引７４４、ユーザデータ７４８、タスクフローモデル７５４、サービスモデル７５６、及びＡＳＲシステム７３１。
[０１８１]
いくつかの実施例では、デジタルアシスタントモジュール７２６で実装された処理モジュール、データ、及びモデルを使用して、デジタルアシスタントは以下のうちの少なくともいくつかを実行することができる：発話入力をテキストに変換すること、ユーザから受信された自然言語入力で表現されているユーザの意図を特定すること、ユーザの意図を完全に推測するために必要な情報を（例えば、単語、ゲーム、意図等の曖昧さをなくすことによって）能動的に引き出し、取得すること、推測された意図を満たすためのタスクフローを判定すること、及びそのタスクフローを実行して、推測された意図を満たすこと。
[０１８２]
いくつかの実施例では、図７Ｂに示すように、Ｉ／Ｏ処理モジュール７２８は、ユーザ入力（例えば、発話入力）を取得し、ユーザ入力への応答を（例えば、音声出力として）提供するために、図７ＡにおけるＩ／Ｏデバイス７１６を通じてユーザと対話し、又は図７Ａにおけるネットワーク通信インタフェース７０８を通じてユーザデバイス（例えば、デバイス１０４、デバイス２００、デバイス４００、若しくはデバイス６００）と対話することができる。Ｉ／Ｏ処理モジュール７２８は、任意選択的に、ユーザ入力と共に、又はその受信の直後に、ユーザ入力と関連付けられたコンテクスト情報をユーザデバイスから取得することができる。コンテクスト情報は、ユーザ入力に関連するユーザ特有データ、語彙、及び／又は優先度を含むことができる。いくつかの実施例では、コンテクスト情報はまた、ユーザ要求が受信された時点におけるユーザデバイスのソフトウェア及びハードウェア状態、並びに／又はユーザ要求が受信された時点におけるユーザの周囲環境に関連する情報を含む。いくつかの実施例では、Ｉ／Ｏ処理モジュール７２８はまた、ユーザ要求について、ユーザに補足質問を送信し、ユーザから回答を受信することができる。ユーザ要求がＩ／Ｏ処理モジュール７２８によって受信され、ユーザ要求が発話入力を含むことができるとき、Ｉ／Ｏ処理モジュール７２８は、発話−テキスト変換のために、発話入力をＳＴＴ処理モジュール７３０（又は、発話認識器）へ転送することができる。
[０１８３]
ＳＴＴ処理モジュール７３０は、１つ以上のＡＳＲシステムを含むことができる。１つ以上のＡＳＲシステムは、Ｉ／Ｏ処理モジュール７２８を通じて受信された発話入力を処理して、認識結果を生成することができる。各々のＡＳＲシステムは、フロントエンド発話プリプロセッサを含むことができる。フロントエンド発話プリプロセッサは、発話入力から代表的な特徴を抽出することができる。例えば、フロントエンド発話プリプロセッサは、発話入力を代表的な多次元ベクトルの列として特徴付けるスペクトル特徴を抽出するために、発話入力に対してフーリエ変換を実行することができる。更に、各々のＡＳＲシステムは、１つ以上の発話認識モデル（例えば、音響モデル及び／又は言語モデル）を含むことができ、１つ以上の音声認識エンジンを実装することができる。発話認識モデルの実施例は、隠れマルコフモデル、混合ガウスモデル、ディープニューラルネットワークモデル、ｎグラム言語モデル、及び他の統計モデルを含むことができる。発話認識エンジンの実施例は、動的時間伸縮ベースのエンジン及び重み付き有限状態トランスデューサ（ＷＦＳＴ）ベースのエンジンを含むことができる。フロントエンド発話プリプロセッサの抽出された代表的な特徴を処理して、中間認識結果（例えば、音素、音素文字列及びサブワード）を生成し、最終的には、テキスト認識結果（例えば、単語、単語文字列、又はトークンの列）を生成するために、１つ以上の発話認識モデル及び１つ以上の発話認識エンジンを使用することができる。いくつかの実施例では、発話入力は、認識結果を生成するために、サードパーティサービスによって、又はユーザのデバイス（例えば、デバイス１０４、デバイス２００、デバイス４００、若しくはデバイス６００）上で少なくとも部分的に処理されてもよい。ＳＴＴ処理モジュール７３０が、テキスト文字列（例えば、単語、単語の列、又はトークンの列）を包含する認識結果を生成すると、認識結果は意図推論のために自然言語処理モジュール７３２に渡されてもよい。
[０１８４]
音声テキスト化処理についての更なる詳細は、開示全体が参照により本明細書に組み込まれる、２０１１年９月２０日に出願された、「Ｃｏｎｓｏｌｉｄａｔｉｎｇ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ Ｒｅｓｕｌｔｓ」についての米国実用特許出願第１３／２３６，９４２号に記載されている。
[０１８５]
いくつかの実施例では、ＳＴＴ処理モジュール７３０は、認識可能な単語の語彙を含むことができ、及び／又は音標アルファベット変換モジュール７３１を介してそれにアクセスすることができる。各々の語彙語は、１つ以上の発話認識音標アルファベットで表される単語の発音候補と関連付けられてもよい。詳細には、認識可能な単語の語彙は、複数の発音候補と関連付けられた単語を含むことができる。例えば、語彙は、発音候補
[数１]
と関連付けられた単語「トマト」を含むことができる。更に、ユーザからの前の発話入力に基づいて、語彙語をカスタム発音候補と関連付けることができる。そのようなカスタム発音候補を、ＳＴＴ処理モジュール７３０に記憶することができて、デバイス上のユーザのプロファイルを介して、特定のユーザと関連付けることができる。いくつかの実施例では、単語の綴り並びに１つ以上の言語規則及び／又は音標規則に基づいて、単語の発音候補を判定することができる。いくつかの実施例では、例えば、既知の正規発音に基づいて、発音候補を手動で生成することができる。
[０１８６]
いくつかの実施例では、発音候補の一般性に基づいて、発音候補をランク付けすることができる。例えば、発音候補
[数2]
を、
[数3]
よりも高くランク付けすることができるが、これは、発音候補
[数4]
が（例えば、全ユーザのうち、特定の地理的領域のユーザについて、又は任意の他の適切なユーザのサブセットについて）より一般的に使用される発音だからである。いくつかの実施例では、発音候補が、ユーザと関連付けられたカスタム発音候補であるかに基づいて、その発音候補をランク付けすることができる。例えば、カスタム発音候補を、正規発音候補よりも高くランク付けすることができる。このことは、正規発音から逸脱する独特の発音を有する固有名詞を認識するために有用となることがある。いくつかの実施例では、発音候補を出身地、国籍又は民族性等の１つ以上の発話特性と関連付けることができる。例えば、発音候補
[数5]
を米国と関連付けることができるのに対し、発音候補
[数6]
を英国と関連付けることができる。更に、発音候補のランクは、デバイス上のユーザのプロファイルに記憶されたユーザの１つ以上の特性（例えば、出身地、国籍、民族等）に基づくことができる。例えば、ユーザのプロファイルから、ユーザが米国と関連付けられていることを判定することができる。ユーザが米国と関連付けられていることに基づいて、（米国と関連付けられた）発音候補
[数7]
を、（英国と関連付けられた）発音候補
[数8]
よりも高くランク付けすることができる。いくつかの実施例では、ランク付けされた発音候補のうちの１つを、予測された発音（例えば、最も可能性が高い発音）として選択することができる。
[０１８７]
発話入力が受信されるとき、ＳＴＴ処理モジュール７３０は、発話入力に対応する音素を（例えば、音響モデルを使用して）判定するために使用されてもよく、次に、音素に一致する単語を（例えば、言語モデルを使用して）判定することを試みる。例えば、ＳＴＴ処理モジュール７３０は、発話入力の一部分に対応する音素の列
[数9]
を最初に特定することができた場合、語彙インデックス７４４に基づいて、この列が単語「トマト」に対応すると判定することができる。
[０１８８]
いくつかの実施例では、ＳＴＴ処理モジュール７３０は、近似マッチング技術を使用して、音声入力における単語を判定することができる。従って、例えば、ＳＴＴ処理モジュール７３０は、特定の音素の列が、単語「トマト」の候補音素の列のうちの１つではない場合でさえ、音素の列
[数10]
が単語「トマト」に対応すると判定することができる。
[０１８９]
デジタルアシスタントの自然言語処理モジュール７３２（「自然言語プロセッサ」）は、ＳＴＴ処理モジュール７３０により生成された単語又はトークンの列（「トークン列」）を獲得し、トークン列を、デジタルアシスタントにより認識される１つ以上の「実施可能な意図」と関連付けようと試みることができる。「実施可能な意図」は、デジタルアシスタントにより実行することができるタスクを表すことができ、タスクフローモデル７５４で実装される、関連付けられたタスクフローを有することができる。関連付けられたタスクフローは、タスクを実行するためにデジタルアシスタントが取る一連のプログラムされたアクション及びステップとすることができる。デジタルアシスタントの能力の範囲は、タスクフローモデル７５４で実装及び記憶されているタスクフローの数及び種類に依存し、又は、換言すれば、デジタルアシスタントを認識する「実施可能な意図」の数及び種類に依存することができる。しかし、デジタルアシスタントの有効性はまた、自然言語で表現されたユーザ要求から正しい「実施可能な意図（単数又は複数）」を推定するアシスタントの能力に依存することができる。
[０１９０]
いくつかの実施例では、ＳＴＴ処理モジュール７３０から取得される単語又はトークンの列に加えて、自然言語処理モジュール７３２はまた、例えば、Ｉ／Ｏ処理モジュール７２８から、ユーザ要求と関連付けられたコンテクスト情報を受信することができる。自然言語処理モジュール７３２は、任意選択的に、コンテクスト情報を使用して、ＳＴＴ処理モジュール７３０から受信したトークン列に含まれる情報を明らかにし、補完し、及び／又は更に定義することができる。コンテクスト情報は、例えば、ユーザ優先度、ユーザデバイスのハードウェア及び／又はソフトウェア状態、ユーザ要求の前、最中、若しくは直後に収集されたセンサ情報、並びにデジタルアシスタントとユーザとの間の以前の対話（例えば、ダイアログ）等を含むことができる。本明細書で説明するように、コンテクスト情報は動的であってもよく、時間、位置、ダイアログの内容、及び他の因子によって変化することができる。
[０１９１]
いくつかの実施例では、自然言語処理は、例えば、オントロジ７６０に基づくことができる。オントロジ７６０は、多数のノードを包含する階層構造とすることができ、各々のノードは、「実施可能な意図」又は他の「属性」のうちの１つ以上に関連する「実施可能な意図」又は「属性」のいずれかを表す。上述したように、「実施可能な意図」は、デジタルアシスタントが実行する能力を有する、即ち、それは「実装可能」である、又は作用することができるタスクを表すことができる。「属性」は、実施可能な意図、又は別の属性の下位態様と関連付けられたパラメータを表すことができる。オントロジ７６０内の実施可能な意図ノードと属性ノードとの間のリンクは、属性ノードにより表されるパラメータが、実施可能な意図ノードにより表されるタスクにどのくらい関係するのかを定義することができる。
[０１９２]
いくつかの実施例では、オントロジ７６０は実施可能な意図ノード及び属性ノードで構成されてもよい。オントロジ７６０内で、各々の実施可能な意図ノードは、直接又は１つ以上の中間属性ノードを通じてのいずれかで、１つ以上の属性ノードにリンクされてもよい。同様に、各々の属性ノードは、直接又は１つ以上の中間属性ノードを通じてのいずれかで、１つ以上の実施可能な意図ノードにンクされてもよい。例えば、図７Ｃに示すように、オントロジ７６０は、「レストラン予約」ノード（すなわち、実施可能な意図ノード）を含むことができる。属性ノード「レストラン」、「日付／時間」（予約用）及び「参加人数」は各々の、実施可能な意図ノード（即ち、「レストラン予約」ノード）にそれぞれ直接リンクされてもよい。
[０１９３]
更に、属性ノード「料理」、「価格帯」、「電話番号」及び「ロケーション」は、属性ノード「レストラン」のサブノードであってもよく、中間属性ノード「レストラン」を通じて「レストラン予約」ノード（即ち、実施可能な意図ノード）にそれぞれリンクされてもよい。別の実施例として、図７Ｃに示されるように、オントロジ７６０はまた、「リマインダ設定」ノード（即ち、別の実施可能な意図ノード）を含むことができる。属性ノード「日付／時間」（リマインダ設定用）及び「テーマ」（リマインダ用）は、「リマインダ設定」ノードに各々がリンクされてもよい。属性ノード「日付／時間」がレストラン予約をするタスク及びリマインダを設定するタスクの両方に関連することがあるため、属性ノード「日付／時間」はオントロジ７６０において「レストラン予約」ノード及び「リマインダ設定」ノードの両方にリンクされてもよい。
[０１９４]
実施可能な意図ノードは、そのリンクされた属性ノードと共に、「ドメイン」として説明されてもよい。本議論では、各々のドメインは、それぞれの実施可能な意図と関連付けられてもよく、特定の実施可能な意図と関連付けられたノードのグループ（及びノード間の関係）を指す。例えば、図７Ｃに示されるオントロジ７６０は、オントロジ７６０内のレストラン予約ドメイン７６２の例及びリマインダドメイン７６４の例を含むことができる。レストラン予約ドメインは、実施可能な意図ノード「レストラン予約」、属性ノード「レストラン」、「日付／時間」、及び「参加人数」、並びに下位属性ノード「料理」、「価格帯」、「電話番号」及び「ロケーション」を含む。リマインダドメイン７６４は、実施可能な意図ノード「リマインダ設定」、及び属性ノード「テーマ」及び「日付／時間」を含むことができる。いくつかの実施例では、オントロジ７６０は多くのドメインで構成されてもよい。各々のドメインは、１つ以上の他のドメインと、１つ以上の属性ノードを共有することができる。例えば、「日付／時間」属性ノードは、レストラン予約ドメイン７６２及びリマインダドメイン７６４に加えて、多くの異なるドメイン（例えば、スケジューリングドメイン、旅行予約ドメイン、映画チケットドメイン等）と関連付けられてもよい。
[０１９５]
図７Ｃは、オントロジ７６０内の２つの例示的なドメインを示すが、他のドメインは、例えば、「映画を探す」、「通話を開始する」、「道順を探す」、「会議をスケジュールする」、「メッセージを送信する」、及び「質問への回答を提供する」、「リストを読み上げる」、「ナビゲーションの指示を提供する」、並びに「タスクの指示を提供する」等を含むことができる。「メッセージを送信する」ドメインは、「メッセージを送信する」の実施可能な意図ノードと関連付けられており、「受信者（単数又は複数）」、「メッセージタイプ」、及び「メッセージ本文」等の属性ノードを更に含んでもよい。属性ノード「受信者」は更に、例えば、「受信者名」及び「メッセージアドレス」等の下位属性ノードによって定義されてもよい。
[０１９６]
いくつかの実施例では、オントロジ７６０は、デジタルアシスタントが理解し、作用することができる全てのドメイン（よって、実施可能な意図）を含むことができる。いくつかの実施例では、オントロジ７６０は、ドメイン又はノード全体を追加若しくは除去し、又はオントロジ７６０内のノードの間の関係を修正すること等によって修正されてもよい。
[０１９７]
いくつかの実施例では、複数の関連する実施可能な意図と関連付けられたノードは、オントロジ７６０における「スーパドメイン」の下にクラスタ化されてもよい。例えば、「旅行」スーパドメインは、旅行に関連する属性ノード及び実施可能な意図ノードのクラスタを含むことができる。旅行に関連する実施可能な意図ノードは、「航空券予約」、「ホテル予約」、「カーレンタル」、「道順を知る」、及び「興味のある場所を探す」等を含むことができる。同一のスーパドメイン（例えば、「旅行」スーパドメイン）の下の実施可能な意図ノードは、多くの属性ノードを共通して有することができる。例えば、「航空券予約」、「ホテル予約」、「カーレンタル」、「道順を知る」、「興味のある場所を探す」についての実施可能な意図ノードは、属性ノードである「出発場所」、「目的地」、「出発日／時間」、「到着日／時間」、及び「参加人数」のうちの１つ以上を共有することができる。
[０１９８]
いくつかの実施例では、オントロジ７６０における各々のノードは、ノードによって表される属性又は実施可能な意図に関連する単語及び／又はフレーズのセットと関連付けられてもよい。各々のノードと関連付けられた単語及び／又はフレーズのそれぞれのセットは、そのノードと関連付けられたいわゆる「語彙」とすることができる。各々のノードと関連付けられた単語及び／又はフレーズのそれぞれのセットは、ノードによって表される属性又は実施可能な意図に関連して語彙索引７４４に記憶されていてもよい。例えば、図７Ｂに戻ると、「レストラン」の属性についてのノードと関連付けられた語彙は、「食べ物」、「飲み物」、「料理」、「空腹」、「食べる」、「ピザ」、「ファストフード」、「食事」等の単語を含むことができる。別の実施例として、「通話を開始する（initiate a phone call）」の実施可能な意図についてのノードと関連付けられた語彙は、「電話する（call）」、「電話（phone）」、「ダイヤルする（dial）」、「電話をかける（ring）」、「この番号に電話する（call this number）」、及び「〜に電話をかける（make a call to）」等の単語及びフレーズを含むことができる。語彙索引７４４は、任意選択的に、異なる言語の単語及びフレーズを含むことができる。
[０１９９]
自然言語処理モジュール７３２は、ＳＴＴ処理モジュール７３０からトークン列（例えば、テキスト文字列）を受信することができ、トークン列における単語によってどのノードを暗示されているかを判定することができる。いくつかの実施例では、トークン列内の単語又はフレーズが（語彙索引７４４を介して）オントロジ７６０における１つ以上のノードと関連付けられていることが分かった場合、その単語又はフレーズが、それらのノードを「トリガし」又は「アクティブ化する」ことができる。アクティブ化されたノードの量及び／又は相対的重要度に基づいて、自然言語処理モジュール７３２は、ユーザがデジタルアシスタントに実行させようと意図したタスクとして、実施可能な意図のうちの１つを選択することができる。いくつかの実施例では、最も多く「トリガされた」ノードを有するドメインを選択することができる。いくつかの実施例では、最も高い信頼値を有するドメインを（例えば、その様々なトリガされたノードの相対的重要度に基づいて）選択することができる。いくつかの実施例では、トリガされたノードの数及び重要度の組み合わせに基づいて、ドメインを選択することができる。いくつかの実施例では、ノードを選択する際に、デジタルアシスタントはユーザからの同様の要求を以前に正確に解釈したかどうか等の追加の因子も考慮される。
[０２００]
ユーザデータ７４８は、ユーザ特有語彙、ユーザ優先度、ユーザアドレス、ユーザのデフォルト言語及び第二言語、ユーザの連絡先リスト、並びに各々のユーザに関するその他の短期的若しくは長期的情報等のユーザ特有情報を含むことができる。いくつかの実施例では、自然言語処理モジュール７３２は、ユーザ入力に含まれる情報を補完してユーザ意図を更に定義するために、ユーザ特有情報を使用することができる。例えば、ユーザ要求「私の誕生日パーティーに私の友人を招待してください（invite my friends to my birthday party）」について、自然言語処理モジュール７３２は、誰が「友人」であり、いつ及びどこで「誕生日パーティー」が催されるかを判定するために、そのような情報をユーザの要求内で明示的に提供するようにユーザに要求する代わりに、ユーザデータ７４８にアクセスすることができる。
[０２０１]
トークン文字列に基づいてオントロジを検索するその他の詳細は、その開示全体が参照により本明細書に組み込まれる、２００８年１２月２２日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｓｅａｒｃｈｉｎｇ Ｕｓｉｎｇ ａｎ Ａｃｔｉｖｅ Ｏｎｔｏｌｏｇｙ」についての米国特許出願第１２／３４１，７４３号に記載されている。
[０２０２]
いくつかの実施例では、自然言語処理モジュール７３２が、ユーザ要求に基づいて、実施可能な意図（又はドメイン）を特定すると、自然言語処理モジュール７３２は、特定された実施可能な意図を表すように、構造化されたクエリを生成することができる。いくつかの実施例では、構造化されたクエリは、実施可能な意図についてのドメイン内の１つ以上のノードについてのパラメータを含むことができ、パラメータの少なくともいくつかは、ユーザ要求で指定された特定の情報及び要件が追加される。例えば、ユーザは「私のために７時に寿司屋で夕食の予約を取ってください。（Make me a dinner reservation at a sushi place at 7.）」と言う場合がある。この場合、自然言語処理モジュール７３２は、ユーザ入力に基づいて、実施可能な意図を「レストラン予約」であると正確に特定することができる。オントロジに従って、「レストラン予約」ドメインについての構造化されたクエリは、｛料理｝、｛時間｝、｛日付｝、及び｛参加人数｝等のパラメータを含むことができる。いくつかの実施例では、発話入力、及びＳＴＴ処理モジュール７３０を使用して発話入力から導出されたテキストに基づいて、自然言語処理モジュール７３２は、レストラン予約ドメインについての部分的な構造化されたクエリを生成することができ、この場合、部分的な構造化されたクエリはパラメータ｛料理＝「寿司」｝及び｛時間＝「午後７時」｝を含む。しかしながら、この実施例では、ユーザの発話入力は、ドメインと関連付けられた構造化されたクエリを完了するために十分な情報を包含していない。従って、｛参加人数｝及び｛日付｝等のその他の必要パラメータは、現在利用可能な情報に基づいて、構造化されたクエリで指定されなくてもよい。いくつかの実施例では、自然言語処理モジュール７３２は、構造化されたクエリのいくつかのパラメータに、受信されたコンテクスト情報を追加することができる。例えば、いくつかの実施例では、ユーザが「私の近くの」寿司レストランを要求した場合、自然言語処理モジュール７３２は、構造化されたクエリにおける｛ロケーション｝パラメータにユーザデバイスからのＧＰＳ座標を追加することができる。
[０２０３]
いくつかの実施例では、自然言語処理モジュール７３２は、（任意の完了したパラメータを含む）生成した構造化されたクエリをタスクフロー処理モジュール７３６（「タスクフロープロセッサ」）に渡すことができる。タスクフロー処理モジュール７３６は、自然言語処理モジュール７３２から構造化されたクエリを受信し、必要な場合、構造化されたクエリを完了し、ユーザの最終的な要求を「完了する」ために必要とされるアクションを実行するように構成されてもよい。いくつかの実施例では、これらのタスクを完了するために必要な様々な手順をタスクフローモデル７５４で設けられてもよい。いくつかの実施例では、タスクフローモデル７５４は、ユーザから追加情報を取得するための手順、及び実施可能な意図と関連付けられたアクションを実行するためのタスクフローを含むことができる。
[０２０４]
上記説明されたように、構造化されたクエリを完了するために、タスクフロー処理モジュール７３６は、追加情報を取得し、及び／又は潜在的に曖昧な発話入力の曖昧さをなくすために、ユーザとの追加のダイアログを開始することが必要となることがある。このような対話が必要となるとき、タスクフロー処理モジュール７３６は、ユーザとのダイアログに携わるためにタスクフロー処理モジュール７３４を呼び出すことができる。いくつかの実施例では、ダイアログフロー処理モジュール７３４は、どのように（及び／又はいつ）ユーザに追加情報を求めるべきかを判定することができ、ユーザ応答を受信することができ、これを処理することができる。Ｉ／Ｏ処理モジュール７２８を通じてユーザに質問を提供することができ、ユーザから回答を受信することができる。いくつかの実施例では、ダイアログフロー処理モジュール７３４は音声及び／又は視覚出力を介してユーザにダイアログ出力を提示することができ、発話応答又は物理的な（例えば、クリック）応答を介してユーザから入力を受信することができる。上記実施例を続けると、タスクフロー処理モジュール７３６が、ドメイン「レストラン予約」と関連付けられた構造化されたクエリについての「参加人数」及び「日付」情報を判定するためにダイアログフロー処理モジュール７３４を呼び出すとき、ダイアログフロー処理モジュール７３４は、「何人分ですか？」及び「どの日にしますか？」等の質問をユーザに渡すために生成することができる。ユーザから回答が受信されると、次に、ダイアログフロー処理モジュール７３４は、構造化されたクエリに、欠けている情報を追加し、又は構造化されたクエリから欠けている情報を完了するために、その情報をタスクフロー処理モジュール７３６に渡すことができる。
[０２０５]
タスクフロー処理モジュール７３６が、実施可能な意図についての構造化されたクエリを完了すると、タスクフロー処理モジュール７３６は、実施可能な意図と関連付けられた最終的なタスクの実行に進むことができる。従って、タスクフロー処理モジュール７３６は、構造化されたクエリ含まれる具体的なパラメータに従って、タスクフローモデルにおけるステップ及び命令を実行することができる。例えば、「レストラン予約」の実施可能な意図についてのタスクフローモデルは、レストランと連絡を取り、特定の時間に特定の参加人数のための予約を実際に要求するためのステップ及び命令を含むことができる。例えば、｛レストラン予約、レストラン＝ＡＢＣ Ｃａｆｅ、日付＝３／１２／２０１２、時間＝午後７時、参加人数＝５｝、等の構造化されたクエリを使用して、タスクフロー処理モジュール７３６は、（１）ＡＢＣ Ｃａｆｅのサーバ、又はＯＰＥＮＴＡＢＬＥ（登録商標）等のレストラン予約システムにログオンするステップと、（２）ウェブサイト上のフォームに日付、時間、及び参加人数情報を入力するステップと、（３）フォームを提出し（４）ユーザのカレンダに予約のためのカレンダエントリを作成するステップとを実行することができる。
[０２０６]
いくつかの実施例では、タスクフロー処理モジュール７３６は、ユーザ入力で要求されたタスクを完了するために、又はユーザ入力で要求された情報の回答を提供するために、サービス処理モジュール７３８（「サービス処理モジュール」）の支援を採用することができる。例えば、サービス処理モジュール７３８は、電話をかけるため、カレンダエントリを設定するため、地図検索を呼び出すため、ユーザデバイス上にインストールされているその他のユーザアプリケーションを呼び出すか若しくはそれと対話するため、並びにサードパーティサービス（例えばレストラン予約ポータル、ソーシャルネットワーキングウェブサイト、バンキングポータル等）を呼び出すか若しくはそれと対話するために、タスクフロー処理モジュール７３６の代わりに動作することができる。いくつかの実施例では、各々のサービスによって必要とされるプロトコル及びアプリケーションプログラミングインタフェース（application programming interface、ＡＰＩ）は、サービスモデル７５６の間のそれぞれのサービスモデルによって指定されてもよい。サービス処理モジュール７３８は、サービスについての適切なサービスモデルにアクセスすることができ、サービスモデルに下従ったサービスによって必要とされるプロトコル及びＡＰＩに従ってサービスの要求を生成することができる。
[０２０７]
例えば、レストランがオンライン予約サービスを有効にしている場合、レストランは、予約を行うための必要なパラメータ、及び必要なパラメータの値をオンライン予約サービスへ通信するためのＡＰＩを指定するサービスモデルを提出することができる。タスクフロー処理モジュール７３６によって要求されるとき、サービス処理モジュール７３８は、サービスモデルに記憶されているウェブアドレスを使用して、オンライン予約サービスとのネットワーク接続を確立することができ、必要な予約のパラメータ（例えば、時間、日付、参加人数）を、オンライン予約サービスのＡＰＩに従った形式でオンライン予約インタフェースへ送信することができる。
[０２０８]
いくつかの実施例では、ユーザの意図を推定及び定義し、ユーザ意図を更に明らかにして絞り込むための情報を取得し、ユーザの意図を満たすように応答（即ち、ユーザへの出力又はタスクの完了）を最終的に生成するために、自然言語処理モジュール７３２、ダイアログフロー処理モジュール７３４、及びタスクフロー処理モジュール７３６を集合的かつ反復的に使用することができる。生成された応答は、ユーザの意図を少なくとも部分的に満たす、発話入力へのダイアログ応答とすることができる。更に、いくつかの実施例では、生成された応答を、発話出力として出力することができる。これらの実施例では、生成された応答を、発話合成モジュール７４０（例えば、発話合成器）に送信することができ、そこでは、発話形態のダイアログ応答を合成するためにそれが処理されてもよい。更なる他の実施例では、生成された応答は、発話入力のユーザ要求を満たすことに関連するデータコンテンツとすることができる。
[０２０９]
発話合成モジュール７４０は、ユーザに提示するために、発話出力を合成するように構成されてもよい。発話合成モジュール７４０は、デジタルアシスタントにより提供されたテキストに基づいて、発話出力を合成する。例えば、生成されたダイアログ応答は、テキスト文字列の形式にあってもよい。発話合成モジュール７４０は、テキスト文字列を可聴の発話出力に変換することができる。発話合成モジュール７４０は、テキストから発話出力を生成するために、波形接続合成、単位選択合成、ダイフォン合成、領域特化合成、フォルマント合成、調音合成、隠れマルコフモデル（ＨＭＭ）ベースの合成、及びサイン波合成を含むが、これらには限定されない任意の適切な発話合成技術を使用することができる。いくつかの実施例では、発話合成モジュール７４０は、単語に対応する音素文字列に基づいて個々の単語を合成するように構成されてもよい。例えば、音素文字列は、生成したダイアログ応答における単語と関連付けられてもよい。音素文字列は、単語と関連付けられたメタデータに記憶されていてもよい。発話合成モデル７４０は、単語を発話形式で合成するために、メタデータにおける音素文字列を直接処理するように構成されてもよい。
[０２１０]
いくつかの実施例では、発話合成モジュール７４０を使用する代わりに（又は、それに加えて）、リモートデバイス（例えば、サーバシステム１０８）上で発話合成を実行することができ、合成された発話を、ユーザへの出力のために、ユーザデバイスに送信することができる。例えば、これは、デジタルアシスタントのための出力がサーバシステムにおいて生成される、いくつかの実装形態で行われてもよい。また、サーバシステムは概して、ユーザデバイスよりも多くの処理電力又はリソースを有するので、クライアント側合成での実用的な出力よりも高い品質の発話出力を取得することが可能となることがある。
[０２１１]
デジタルアシスタントに関する追加の詳細は、その開示全体が参照により本明細書に組み込まれる、２０１１年１月１０日に出願された「Ｉｎｔｅｌｌｉｇｅｎｔ Ａｕｔｏｍａｔｅｄ Ａｓｓｉｓｔａｎｔ」と題する米国実用特許出願第１２／９８７，９８２号、２０１１年９月３０日に出願された「Ｇｅｎｅｒａｔｉｎｇ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ Ｄａｔａ Ｉｔｅｍｓ Ｔｈａｔ Ｒｅｐｒｅｓｅｎｔ Ｔａｓｋｓ ｔｏ Ｐｅｒｆｏｒｍ」と題された米国特許出願第１３／２５１，０８８号に記載されている。
[０２１２]
４．デジタルアシスタント−インテリジェント検索及びオブジェクト管理
[０２１３]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃは、デジタルアシスタントによる検索処理又はオブジェクト管理処理を使用してタスクを実行する機能性を示す。いくつかの実施例では、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）は、様々な実施例に従ってユーザデバイスによって実装される。いくつかの実施例では、ユーザデバイス、サーバ（例えば、サーバ１０８）、又はそれらの組み合わせは、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）を実装してもよい。ユーザデバイスは、例えば、デバイス１０４、２００、又は４００を使用して実装されてもよい。いくつかの実施例では、ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、又はタブレットコンピュータである。ユーザデバイスは、デスクトップ環境などのマルチタスキング環境で動作することができる。
[０２１４]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃを参照して、いくつかの実施例では、ユーザデバイスは、様々なユーザインタフェース（例えば、ユーザインタフェース８１０、９１０、１０１０、１１１０、１２１０、及び１３１０）を提供する。ユーザデバイスは、ユーザデバイスと関連付けられたディスプレイ（例えば、タッチ感知ディスプレイシステム２１２、ディスプレイ４４０）上で様々なユーザインタフェースを表示する。様々なユーザインタフェースは、異なる処理を表す１つ以上のアフォーダンス（例えば、検索処理を表すアフォーダンス８２０、９２０、１０２０、１１２０、１２２０、及び１３２０、並びにオブジェクト管理処理を表すアフォーダンス８３０、９３０、１０３０、１１３０、１２３０、及び１３３０）を提供する。１つ以上の処理は、ユーザによって直接又は間接的にインスタンス化されてもよい。例えば、ユーザは、キーボード、マウス、ジョイスティック、又は指などの入力デバイスを使用してアフォーダンスを選択することによって、１つ以上の処理をインスタンス化する。ユーザはまた、以下で更に詳細に説明されるように、発話入力を使用して１つ以上の処理をインスタンス化することができる。処理をインスタンス化することは、処理がまだ実行中でない場合に処理を呼び出すことを含む。処理の少なくとも１つのインスタンスが実行中である場合、処理をインスタンス化することは、処理の既存のインスタンスを実行すること、又は処理の新たなインスタンスを生成することを含む。例えば、オブジェクト管理処理をインスタンス化することは、オブジェクト管理処理を呼び出すこと、既存のオブジェクト管理処理を使用すること、又はオブジェクト管理処理の新たなインスタンス生成を含む。
[０２１５]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃに示されるように、ユーザデバイスは、ユーザインタフェース（例えば、ユーザインタフェース８１０、９１０、１０１０、１１１０、１２１０、及び１３１０）上で、デジタルアシスタントサービスをインスタンス化するためのアフォーダンス（例えば、アフォーダンス８４０、９４０、１０４０、１１４０、１２４０、及び１３４０）を表示する。アフォーダンスは、例えば、デジタルアシスタントを表すマイクロフォンアイコンとすることができる。アフォーダンスは、ユーザインタフェース上でいずれかの位置で表示されてもよい。例えば、アフォーダンスは、ユーザインタフェースの底部におけるドック（例えば、ドック８０８、９０８、１００８、１１０８、１２０８、及び１３０８）上で、ユーザインタフェースの最上部におけるメニューバー（例えば、メニューバー８０６、９０６、１００６、１１０６、１２０６、及び１３０６）上で、又はユーザインタフェースの右側における通知センタ等で表示されてもよい。アフォーダンスはまた、ユーザインタフェース上で動的に表示されてもよい。例えば、ユーザデバイスは、デジタルアシスタントサービスを便利にインスタンス化することができるように、アプリケーションユーザインタフェース（例えば、アプリケーションウィンドウ）の近くでアフォーダンスを表示する。
[０２１６]
いくつかの実施例では、デジタルアシスタントは、所定のフレーズを受信したことに応じてインスタンス化される。例えば、デジタルアシスタントは、「はい、アシスタント（Hey, Assistant）」、起きて、アシスタント（Wake up, Assistant）」、「聞いて、アシスタント（Listen up, Assistant）」、又は「ＯＫ、アシスタント（OK, Assistant）」等のフレーズを受信したことに応じて呼び出される。いくつかの実施例では、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じてインスタンス化される。例えば、ユーザは、マウス、スタイラス、又は指等の入力デバイスを使用してアフォーダンス８４０、９４０、１０４０、１１４０、１２４０、及び／又は１３４０を選択する。ユーザデバイス上でデジタルアシスタントを提供することは、コンピューティングリソース（例えば、電力、ネットワーク帯域幅、メモリ、及びプロセッササイクル）を消費する。いくつかの実施例では、デジタルアシスタントは、ユーザがそれを呼び出すまで一時停止又はシャットダウンされる。いくつかの実施例では、デジタルアシスタントは、様々な期間の間にアクティブである。例えば、デジタルアシスタントは、様々なユーザインタフェースが表示され、ユーザデバイスがターンオンされ、ユーザデバイスが休止若しくはスリープしており、ユーザがログオフし、又はそれらの組み合わせの間、アクティブでいることがあり、ユーザの発話入力を監視していることがある。
[０２１７]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃを参照して、デジタルアシスタントは、ユーザから発話入力８５２、８５４、８５５、８５６、９５２、９５４、１０５２、１０５４、１１５２、１２５２、又は１３５２等の１つ以上の発話入力を受信する。ユーザは、例えば、検索処理又はオブジェクト管理処理を使用してタスクを実行する目的で様々な発話入力を提供する。いくつかの実施例では、デジタルアシスタントは、ユーザデバイスにおいてユーザから直接、又はユーザデバイスに通信可能に接続された別の電子デバイスを通じて間接的に発話入力を受信する。デジタルアシスタントは、例えば、ユーザデバイスのマイクロフォン（例えば、マイクロフォン２１３）を介してユーザから直接発話入力を受信する。ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、タブレット、又はサーバ等、マルチタスキング環境で動作するように構成されたデバイスを含む。デジタルアシスタントはまた、ヘッドセット、スマートフォン、又はタブレット等の１つ以上の電子デバイスを通じて間接的に発話入力を受信することができる。例えば、ユーザは、ヘッドセット（図示しない）に発話してもよい。ヘッドセットは、例えば、ヘッドセットとユーザデバイスとの間のＢｌｕｅｔｏｏｔｈ接続を介して、ユーザから発話入力を受信し、発話入力又はその表現をユーザデバイスのデジタルアシスタントに送信する。
[０２１８]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃを参照して、いくつかの実施形態では、デジタルアシスタント（例えば、アフォーダンス８４０、９４０、１０４０、１１４０、１２４０、及び１３４０によって表される）は、ユーザデバイスと関連付けられたコンテクスト情報を特定する。コンテクスト情報は、例えば、ユーザ特有データ、１つ以上のオブジェクトと関連付けられたメタデータ、センサデータ、及びユーザデバイス構成データを含む。オブジェクトは、タスクを実行することと関連付けられた処理（例えば、オブジェクト管理処理）のターゲット若しくは構成要素、又はスクリーン上に現在表示されているグラフィカル要素とすることができ、オブジェクト又はグラフィカル要素は、現在フォーカスを有してもよく（例えば、現在選択されている）又は有してなくてもよい。例えば、オブジェクトは、ファイル（例えば、写真、ドキュメント）、フォルダ、通信（例えば、電子メール、メッセージ、通知、若しくはボイスメール）、連絡先、カレンダ、アプリケーション、又はオンラインリソース等を含むことができる。いくつかの実施例では、ユーザ特有データは、ログ情報、ユーザ優先度、ユーザデバイスとのユーザの対話の履歴等を含む。ログ情報は、処理で使用される直近のオブジェクト（例えば、プレゼンテーションファイル）を示す。いくつかの実施例では、１つ以上のオブジェクトと関連付けられたメタデータは、オブジェクトのタイトル、オブジェクトの時間情報、オブジェクトの著者、又はオブジェクトの概要等を含む。いくつかの実施例では、センサデータは、ユーザデバイスと関連付けられたセンサによって収集された様々なデータを含む。例えば、センサデータは、ユーザデバイスの物理的な位置を示す位置データを含む。いくつかの実施例では、ユーザデバイス構成データは、現在のデバイス構成を含む。例えば、デバイス構成は、ユーザデバイスがスマートフォン又はタブレット等の１つ以上の電子デバイスに通信可能に接続されることを示す。以下で更に詳細に説明されるように、ユーザデバイスは、コンテクスト情報を使用して１つ以上の処理を実行することができる。
[０２１９]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃを参照して、発話入力を受信したことに応じて、デジタルアシスタントは、発話入力に基づいてユーザ意図を判定する。上記説明されたように、いくつかの実施例では、デジタルアシスタントは、Ｉ／Ｏ処理モジュール（例えば、図７Ｂに示されるＩ／Ｏ処理モジュール７２８）、ＳＴＴ処理モジュール（例えば、図７Ｂに示されるＳＴＴ処理モジュール７３０）、及び自然言語処理モジュール（例えば、図７Ｂに示される自然言語処理モジュール７３２）を介して発話入力を処理する。Ｉ／Ｏ処理モジュールは、発話入力を発話−テキスト変換のためのＳＴＴ処理モジュール（又は、発話認識器）に転送する。発話−テキスト変換は、発話入力に基づいてテキストを生成する。上記説明されたように、ＳＴＴ処理モジュールは、単語又トークンの列（「トークン列」）を生成し、トークン列を自然言語処理モジュールに提供する。自然言語処理モジュールは、テキストの自然言語処理を実行し、自然言語処理の結果に基づいてユーザ意図を判定する。例えば、自然言語処理モジュールは、トークン列をデジタルアシスタントによって認識された１つ以上の実施可能な意図と関連付けることを試みてもよい。説明されるように、自然言語処理モジュールがユーザ入力に基づいて実施可能な意図を特定すると、それは、特定された実施可能な意図を表すために構造化されたクエリを生成する。構造化されたクエリは、実施可能な意図と関連付けられた１つ以上のパラメータを含む。１つ以上のパラメータは、実施可能な意図に基づくタスクの実行を促進するために使用される。
[０２２０]
いくつかの実施形態では、デジタルアシスタントは更に、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する。検索処理は、ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されている。オブジェクト管理処理は、ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている。ユーザ意図の判定の様々な実施例は、図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃを参照して以下で更に詳細に提供される。
[０２２１]
図８Ａを参照して、いくつかの実施例では、ユーザデバイスは、デジタルアシスタントをインスタンス化するために発話入力８５２をユーザから受信する。発話入力８５２は、例えば、「はい、アシスタント。」を含む。発話入力に応じて、ユーザデバイスは、デジタルアシスタントが後続の発話入力をアクティブに監視しているように、アフォーダンス８４０又は８４１によって表されるデジタルアシスタントをインスタンス化する。いくつかの実施例では、デジタルアシスタントは、それがインスタンス化されることを示す発話出力８７２を提供する。例えば、発話出力８７２は、「さあ、聞いていますよ。（Go ahead, I am listening.）」を含む。いくつかの実施例では、ユーザデバイスは、デジタルアシスタントをインスタンス化するためにアフォーダンス８４０又はアフォーダンス８４１の選択をユーザから受信する。アフォーダンスの選択は、マウス、スタイラス、又は指等の入力デバイスを使用することによって実行される。
[０２２２]
図８Ｂを参照して、いくつかの実施例では、デジタルアシスタントは、発話入力８５４を受信する。発話入力８５４は、例えば、「検索処理を始めて、ＡＡＰＬの今日の株価を探してください。（Open the searching process and find the AAPL stock price today.）」、又は単純に「ＡＡＰＬの今日の株価を見せてください。（show me the AAPL stock price today.）」を含む。発話入力８５４に基づいて、デジタルアシスタントはユーザ意図を判定する。例えば、ユーザ意図を判定するために、デジタルアシスタントは、実施可能な意図がオンライン情報を取得しており、この実施可能な意図と関連付けられた１つ以上のパラメータが「ＡＡＰＬの今日の株価」及び「今日」を含むと判定する。
[０２２３]
説明されるように、いくつかの実施例では、デジタルアシスタントは更に、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する。いくつかの実施形態では、判定を行うために、デジタルアシスタントは、発話入力が検索処理又はオブジェクト管理処理を表す１つ以上のキーワードを含むかを判定する。例えば、デジタルアシスタントは、ユーザ意図がタスクを実行するために検索処理を使用することであることを示す、キーワード又は「検索処理を始めてください。（open the searching process.）」等のフレーズを発話入力８５４が含むと判定する。結果として、デジタルアシスタントは、ユーザ意図が検索処理を使用してタスクを実行することであると判定する。
[０２２４]
図８Ｂに示されるように、ユーザ意図が検索処理を使用してタスクを実行することであるとの判定に従って、デジタルアシスタントは、検索処理を使用してタスクを実行する。説明されるように、デジタルアシスタントの自然言語処理モジュールは、ユーザ意図に基づいて構造化されたクエリを生成し、生成された構造化されたクエリをタスクフロー処理モジュール（例えば、タスクフロー処理モジュール７３６）に渡す。タスクフロー処理モジュールは、構造化されたクエリを自然言語処理モジュールから受信し、必要な場合に構造化されたクエリを完了し、ユーザの最終的な要求を「完了する」ために必要なアクションを実行する。検索処理を使用してタスクを実行することは、例えば、少なくとも１つのオブジェクトを検索することを含む。いくつかの実施形態では、少なくとも１つのオブジェクトは、フォルダ、ファイル（例えば、写真、音声、ビデオ）、通信（例えば、電子メール、メッセージ、通知、ボイスメール）、連絡先、カレンダ、アプリケーション（例えば、Ｋｅｙｎｏｔｅ、Ｎｕｍｂｅｒ、ｉＴｕｎｅｓ、Ｓａｆａｒｉ）、オンライン情報のソース（例えば、Ｇｏｏｇｌｅ、Ｙａｈｏｏ、Ｂｌｏｏｍｂｅｒｇ）、又はそれらの組み合わせを含む。いくつかの実施例では、オブジェクトを検索することは、オブジェクトと関連付けられたメタデータに基づいている。例えば、ファイル又はフォルダを検索することは、タグ、日付、時間、著者、タイトル、ファイルのタイプ、サイズ、ページ数、及び／又はフォルダ若しくはファイルと関連付けられたファイル位置等のメタデータを使用することができる。いくつかの実施例では、ファイル又はフォルダは、ユーザデバイスの内部又は外部に記憶されている。例えば、ファイル又はフォルダは、ユーザデバイスのハードディスクに記憶されていてもよく、又はクラウドサーバに記憶されていてもよい。いくつかの実施例では、通信を検索することは、通信と関連付けられたメタデータに基づいている。例えば、電子メールを検索することは、電子メールの送信者、電子メールの受信者、又は電子メール送信／受信日等のメタデータを使用する。
[０２２５]
図８Ｂに示されるように、ユーザ意図が検索処理を使用してＡＡＰＬの株価を取得することであるとの判定に従って、デジタルアシスタントは、検索を実行する。例えば、デジタルアシスタントは、アフォーダンス８２０によって表される検索処理をインスタンス化し、検索処理に今日のＡＡＰＬの株価を検索させる。いくつかの実施例では、デジタルアシスタントは更に、検索処理に、発話入力８５４（例えば、「検索処理を始めて、ＡＡＰＬの今日の株価を探してください。（Open the searching process and find the AAPL stock price today.）」）に対応するテキストを提供するユーザインタフェース８２２（例えば、スニペット又はウィンドウ）を表示させる。
[０２２６]
図８Ｃを参照して、いくつかの実施形態では、デジタルアシスタントは、検索処理を使用してタスクを実行した結果に基づいて応答を提供する。図８Ｃに示されるようにＡＡＰＬの株価を検索した結果として、デジタルアシスタントは、検索処理を使用してタスクを実行した結果を提供するユーザインタフェース８２４（例えば、スニペット又はウィンドウ）を表示する。いくつかの実施形態では、ユーザインタフェース８２４は、別々のユーザインタフェースとしてユーザインタフェース８２２内に位置する。いくつかの実施形態では、ユーザインタフェース８２４及び８２２は、単一のユーザインタフェースとして共に統合される。ユーザインタフェース８２４上で、ＡＡＰＬの株価の検索結果が表示される。いくつかの実施形態では、ユーザインタフェース８２４は更に、アフォーダンス８３１及び８３３を提供する。アフォーダンス８３１によって、ユーザインタフェース８２４を閉じることが可能になる。例えば、デジタルアシスタントがアフォーダンス８３１のユーザの選択を受信する場合、ユーザインタフェース８２４は、ユーザデバイスのディスプレイから見えなくなり、又は閉じられる。アフォーダンス８３３によって、ユーザインタフェース８２４上で表示された検索結果を移動又は共有することが可能になる。例えば、デジタルアシスタントがアフォーダンス８３３のユーザの選択を受信する場合、それは、ユーザインタフェース８２４（又は、その検索結果）移動し、又は通知アプリケーションと共有する処理（例えば、オブジェクト管理処理）をインスタンス化する。図８Ｃに示されるように、デジタルアシスタントは、ＡＡＰＬの株価の検索結果を提供するために、通知アプリケーションと関連付けられたユーザインタフェース８２６を表示する。いくつかの実施形態では、ユーザインタフェース８２６は、アフォーダンス８２７を表示する。アフォーダンス８２７によって、ユーザがユーザインタフェース８２６内でコンテンツ全体（例えば、複数の通知）を参照することができるように、ユーザインタフェース８２６内でのスクロールすることが可能になり、並びに／又はアフォーダンス８２７は、その全体の長さ及び／若しくは幅に対してドキュメントのその相対的な位置を示す。いくつかの実施形態では、ユーザインタフェース８２６は、デジタルアシスタントによって記憶された結果並びに／又はダイアログ履歴（例えば、現在及び／若しくは過去の検索処理から取得された検索結果）を表示する。更に、いくつかの実施例では、タスクを実行した結果は、時間と共に動的に更新される。例えば、ＡＡＰＬの株価は、時間と共に動的に更新されてもよく、ユーザインタフェース８２６上で表示されてもよい。
[０２２７]
いくつかの実施形態では、デジタルアシスタントはまた、検索結果に対応する発話出力を提供する。例えば、デジタルアシスタント（例えば、アフォーダンス８４０によって表される）は、「今日のＡＡＰＬの価格は＄１００．００です。（Today’s AAPL price is $100.00.）」を含む発話出力８７４を提供する。いくつかの実施例では、ユーザインタフェース８２２は、発話出力８７４に対応するテキストを含む。
[０２２８]
図８Ｄを参照して、いくつかの実施例では、デジタルアシスタントは、後続の発話入力に応じて、ユーザインタフェース８２４上で表示された検索結果を移動又は共有する処理（例えば、オブジェクト管理処理）をインスタンス化する。例えば、デジタルアシスタントは、「ＡＡＰＬの株価を私のメモに複製してください。（Copy the AAPL stock price to my notes.）」等の発話入力８５５を受信する。これに応じて、デジタルアシスタントは、検索結果（例えば、ＡＡＰＬの株価）をユーザのメモに移動又は複製する処理をインスタンス化する。図８Ｄに示されるように、いくつかの実施例では、デジタルアシスタントは更に、ユーザのメモに複製又は移動された検索結果を提供するユーザインタフェース８２５を表示する。いくつかの実施例では、デジタルアシスタントは更に、「ＯＫ、ＡＡＰＬの株価があなたのメモに複製されます。（OK, the AAPL stock price is copied to your notes.）」等の発話出力８７５を提供する。いくつかの実施例では、ユーザインタフェース８２２は、発話出力８７５に対応するテキストを含む。
[０２２９]
図８Ｅを参照して、いくつかの実施例では、デジタルアシスタントは、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであると判定し、オブジェクト管理処理を使用してタスクを実行する。例えば、デジタルアシスタントは、「オブジェクト管理処理を始めて、コロラド旅行からの全ての写真を見せてください。（Open the object managing process and show me all the photos from my Colorado trip.）」、又は単純に「コロラド旅行からの全ての写真を見せてください。（Show me all the photos from my Colorado trip.）」等の発話入力８５６を受信する。発話入力８５６及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図を判定する。例えば、デジタルアシスタントは、実施可能な意図が写真を表示することであると判定し、「全て」、及び「コロラド旅行」等の１つ以上のパラメータを判定する。デジタルアシスタントは更に、コンテクスト情報を使用して、どの写真がユーザのコロラド旅行に対応するかを判定する。説明されるように、コンテクスト情報は、ユーザ特有データ、１つ以上のオブジェクトのメタデータ、センサデータ、及び／又はデバイス構成データを含む。実施例として、１つ以上のファイル（例えば、ユーザインタフェース８３２に表示されたファイル１、ファイル２、及びファイル３）と関連付けられメタデータは、ファイル名が単語「コロラド」又はコロラドの都市名（例えば、「デンバー」）を含むことを示す。メタデータはまた、フォルダ名が単語「コロラド」又はコロラドの都市名（例えば、「デンバー」）を含むことを示す。別の実施例としてセンサデータ（例えば、ＧＰＳデータ）は、ユーザが或る期間の間にコロラド内で旅行をしていたことを示す。結果として、ユーザが特定の期間の間に撮っていたいずれかの写真は、ユーザのコロラド旅行の間に撮られた写真である。また、写真それ自体は、それが撮られた位置と写真とを関連付ける位置情報が付加された（geotagged）メタデータを含んでもよい。コンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が、例えば、フォルダ名「コロラド旅行」を有するフォルダに記憶された写真を表示し、又はユーザがコロラド内で旅行していた期間の間に撮られた写真を表示することであると判定する。
[０２３０]
説明されるように、いくつかの実施例では、デジタルアシスタントは、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する。そのような判定を行うために、デジタルアシスタントは、発話入力が検索処理又はオブジェクト管理処理を表す１つ以上のキーワードを含むか否かを判定する。例えば、デジタルアシスタントは、発話入力８５６が、ユーザ意図がタスクを実行するためにオブジェクト管理処理を使用することであることを示す、キーワード又は「オブジェクト管理処理を始めてください。（open the object managing process.）」等のフレーズを含むと判定する。
[０２３１]
ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであると判定したことに従って、デジタルアシスタントは、オブジェクト管理処理を使用してタスクを実行する。例えば、デジタルアシスタントは、オブジェクト管理処理を使用して少なくとも１つのオブジェクトを検索する。いくつかの実施例では、少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む。ファイルは、写真、音声（例えば、歌）、又はビデオ（例えば、動画）のうちの少なくとも１つを含むことができる。いくつかの実施例では、ファイル又はフォルダを検索することは、フォルダ又はファイルと関連付けられたメタデータに基づいている。例えば、ファイル又はフォルダを検索することは、タグ、日付、時間、著者、タイトル、ファイルのタイプ、サイズ、ページ数、及び／又はフォルダ若しくはファイルと関連付けられたファイル位置等のメタデータを使用する。いくつかの実施例では、ファイル又はフォルダは、ユーザデバイスの内部又は外部に記憶されていてもよい。例えば、ファイル又はフォルダは、ユーザデバイスのハードディスクに記憶されていてもよく、又はクラウドサーバに記憶されていてもよい。
[０２３２]
図８Ｅに示されるように、ユーザ意図が、例えば、フォルダ名「コロラド旅行」を有するフォルダに記憶された写真を表示し、又はユーザがコロラド内で旅行していた期間の間に撮られた写真を表示することであるとの判定に従って、デジタルアシスタントは、オブジェクト管理処理を使用してタスクを実行する。例えば、デジタルアシスタントは、アフォーダンス８３０によって表されるオブジェクト管理処理をインスタンス化し、オブジェクト管理処理にユーザのコロラド旅行からの写真を検索させる。いくつかの実施例では、デジタルアシスタントはまた、オブジェクト管理処理に、ユーザの発話入力８５６のテキストを提供するスニペット又はウィンドウ（図示しない）を表示させる。
[０２３３]
図８Ｆを参照して、いくつかの実施形態では、デジタルアシスタントは更に、オブジェクト管理処理を使用して、タスクを実行した結果に基づいて応答を提供する。図８Ｆに示されるように、ユーザのコロラド旅行の写真を検索した結果として、デジタルアシスタントは、オブジェクト管理処理を使用して、タスクを実行した結果を提供するユーザインタフェース８３４（例えば、スニペット又はウィンドウ）を表示する。例えば、ユーザインタフェース８３４上で、写真のプレビューが表示される。いくつかの実施例では、デジタルアシスタントは、写真をドキュメントに挿入すること、又は写真を電子メールに添付すること等、写真に関する追加のタスクを実行する処理（例えば、オブジェクト管理処理）をインスタンス化する。以下で更に詳細に説明されるように、デジタルアシスタントは、ユーザの追加の発話入力に応じて、追加のタスクを実行する処理をインスタンス化することができる。また、デジタルアシスタントは、「コロラド旅行からの写真を電子メールで母に送信してください。（send the photos from my Colorado trip to my Mom by email.）」等の単一の発話入力に応じて、複数のタスクを実行することができる。デジタルアシスタントはまた、入力デバイス（例えば、１つ以上のアフォーダンスを選択し、又はドラッグ及びドロップ操作を実行するマウス入力）を使用して、ユーザの入力に応じてそのような追加のタスクを実行する処理をインスタンス化することができる。いくつかの実施形態では、デジタルアシスタントは更に、結果に対応する発話出力を提供する。例えば、デジタルアシスタントは、「あなたのコロラド旅行からの写真がここにあります。（Here are the photos from your Colorado trip.）」を含む発話出力８７６を提供する。
[０２３４]
図９Ａを参照して、いくつかの実施例では、ユーザの発話入力は、ユーザ意図が検索処理又はオブジェクト管理処理を使用することであるかを示す１つ以上のキーワードを含まなくてもよい。例えば、ユーザは、「今日のウォリアーズの試合のスコアは何ですか？（What is the score of today’s Warriors game?）」等の発話入力９５２を提供する。発話入力９５２は、「検索処理」又は「オブジェクト管理処理」を示すキーワードを含まない。結果として、キーワードは、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定するために、デジタルアシスタントに利用可能でないことがある。
[０２３５]
いくつかの実施形態では、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定するために、デジタルアシスタントは、タスクが発話入力に基づいて検索することと関連付けられるか否かを判定する。いくつかの実施例では、検索することと関連付けられたタスクは、検索処理又はオブジェクト管理処理のいずれかによって実行されてもよい。例えば、検索処理及びオブジェクト管理処理の両方は、フォルダ及びファイルを検索することができる。いくつかの実施例では、検索処理は更に、オンライン情報ソース（例えば、ウェブサイト）、通信（例えば、電子メール）、連絡先、又はカレンダ等を含む様々なオブジェクトを検索することができる。いくつかの実施例では、オブジェクト管理処理は、オンライン情報ソース等の或るオブジェクトを検索するように構成されなくてもよい。
[０２３６]
タスクが検索することと関連付けられるとの判定に従って、デジタルアシスタントは更に、タスクを実行することが検索処理を必要とするか否かを判定する。説明されるように、タスクが検索することと関連付けられる場合、検索処理又はオブジェクト管理処理のいずれかは、タスクを実行するために使用されてもよい。しかしながら、オブジェクト管理処理は、或るオブジェクトを検索するように構成されなくてもよい。結果として、ユーザ意図が検索処理又はオブジェクト管理処理を使用することであるか否かを判定するために、デジタルアシスタントは更に、タスクが検索処理を必要とするか否かを判定する。例えば、図９Ａに示されるように、発話入力９５２に基づいて、デジタルアシスタントは、ユーザ意図が、例えば、今日のウォリアーズの試合のスコアを取得することであると判定する。ユーザ意図に従って、デジタルアシスタントは更に、タスクを実行することがオンライン情報ソースを検索することを必要とし、従って、検索することと関連付けられると判定する。デジタルアシスタントは更に、タスクを実行することが検索処理を必要とするか否かを判定する。説明されるように、いくつかの実施例では、検索処理は、ウェブサイト等のオンライン情報ソースを検索するように構成されているが、オブジェクト管理処理は、そのようなオンライン情報ソースを検索するように構成されなくてもよい。結果として、デジタルアシスタントは、オンライン情報ソースを検索することが（例えば、スコアを取得するためにウォリアーズのウェブサイトを検索する）検索処理を必要とすると判定する。
[０２３７]
図９Ｂを参照して、いくつかの実施形態では、タスクを実行することが検索処理を必要とするとの判定に従って、デジタルアシスタントは、検索処理を使用してタスクを実行する。例えば、今日のウォリアーズの試合のスコアを検索することが検索処理を必要とするとの判定に従って、デジタルアシスタントは、アフォーダンス９２０によって表される検索処理をインスタンス化し、検索処理に今日のウォリアーズの試合のスコアを検索させる。いくつかの実施例では、デジタルアシスタントは更に、検索処理にユーザの発話入力９５２（例えば、「今日のウォリアーズの試合のスコアは何ですか？」のテキストを提供するユーザインタフェース９２２（例えば、スニペット又はウィンドウ）を表示させる。ユーザインタフェース９２２は、１つ以上のアフォーダンス９２１及び９２７を含む。上記説明されたのと同様に、アフォーダンス９２１（例えば、閉ボタン）によって、ユーザインタフェース９２２を閉じることが可能になり、アフォーダンス９２７（例えば、スクロールバー）によって、ユーザがユーザインタフェース９２２内でコンテンツを参照することができるようにユーザインタフェース９２２内でスクロールすることが可能になる。
[０２３８]
図９Ｂを参照して、いくつかの実施例では、検索結果に基づいて、デジタルアシスタントは更に、１つ以上の応答を提供する。図９Ｂに示されるように、今日のウォリアーズの試合のスコアを検索した結果として、デジタルアシスタントは、検索処理を使用してタスクを実行した結果を提供するユーザインタフェース９２４（例えば、スニペット又はウィンドウ）を表示する。いくつかの実施形態では、ユーザインタフェース９２４は、別々のユーザインタフェースとしてユーザインタフェース９２２内に位置する。いくつかの実施形態では、ユーザインタフェース９２４及び９２２は、単一のユーザインタフェースとして共に統合される。いくつかの実施例では、デジタルアシスタントは、現在の検索結果（例えば、ウォリアーズの試合のスコア）を提供するユーザインタフェース９２４を、前の検索結果（例えば、ＡＡＰＬの株価）を提供する別のユーザインタフェース（例えば、図８Ｃに示されるユーザインタフェース８２４）と共に表示する。いくつかの実施形態では、デジタルアシスタントは、現在の検索結果を提供するユーザインタフェース９２４のみを表示し、前の検索結果を提供する別のユーザインタフェースを表示しない。図９Ｂに示されるように、デジタルアシスタントは、現在の検索結果（例えば、ウォリアーズの試合のスコア）を提供するためのユーザインタフェース９２４のみを表示する。いくつかの実施例では、アフォーダンス９２７（例えば、スクロールバー）によって、ユーザが前の検索結果を参照することができるように、ユーザインタフェース９２２内でスクロールすることが可能になる。更に、いくつかの実施例では、前の検索結果は、例えば、株価、スポーツのスコア、天気予報等が時間と共に更新されるように、動的に更新又はリフレッシュ。
[０２３９]
図９Ｂに示されるように、ユーザインタフェース９２４上で、今日のウォリアーズの試合のスコアの検索結果が表示される（例えば、ウォリアーズ１０４−８９キャバリアーズ）。いくつかの実施形態では、ユーザインタフェース９２４は更に、アフォーダンス９２３及び９２５を提供する。アフォーダンス９２３によって、ユーザインタフェース９２４を閉じることが可能になる。例えば、デジタルアシスタントがアフォーダンス９２３のユーザの選択を受信する場合、ユーザインタフェース９２４は、ユーザデバイスのディスプレイから見えなくなり、又は閉じられる。アフォーダンス９２５によって、ユーザインタフェース９２４上で表示された検索結果を移動又は共有することが可能になる。例えば、デジタルアシスタントがアフォーダンス９２５のユーザの選択を受信する場合、それは、ユーザインタフェース９２４（又は、その検索結果）を移動し、又は通知アプリケーションと共有する。図９Ｂに示されるように、デジタルアシスタントは、ウォリアーズの試合のスコアの検索結果を提供するための、通知アプリケーションと関連付けられたユーザインタフェース９２６を表示する。説明されるように、タスクを実行した結果は、時間と共に動的に更新される。例えば、ウォリアーズの試合のスコアは、ゲームが進行中の間に時間と共に動的に更新されてもよく、ユーザインタフェース９２４（例えば、スニペット若しくはウィンドウ）及び／又はユーザインタフェース９２６（例えば、通知アプリケーションユーザインタフェース）上で表示されてもよい。いくつかの実施形態では、デジタルアシスタントは更に、検索結果に対応する発話出力を提供する。例えば、アフォーダンス９４０又は９４１によって表されるデジタルアシスタントは、「ウォリアーズがキャバリアーズを１０４−８９で破りました。（Warriors beats Cavaliers, 104-89.）」等の発話出力９７２を提供する。いくつかの実施例では、ユーザインタフェース９２２（例えば、スニペット又はウィンドウ）は、発話出力９７２に対応するテキストを提供する。
[０２４０]
上記説明されたように、いくつかの実施形態では、デジタルアシスタントは、タスクが検索することと関連付けられるか否かを判定し、そのような判定に従って、デジタルアシスタントは、タスクが検索処理を必要とするか否かを判定する。図９Ｃを参照して、いくつかの実施形態では、デジタルアシスタントは、タスクを実行することが検索処理を必要としないと判定する。例えば、図９Ｃに示されるように、デジタルアシスタントは、「支出と呼ばれる全てのファイルを見せてください。（Show me all the files called Expenses.）」等の発話入力９５４を受信する。発話入力９５４及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図がそれらのファイル名、メタデータ、又はファイルの中身等に含まれる単語「支出」（又は、それの一部、変形、言い換え）を有する全てのファイルを表示することであると判定する。ユーザ意図に従って、デジタルアシスタントは、実行されるタスクが単語「支出」と関連付けられた全てのファイルを検索することを含むと判定する。結果として、デジタルアシスタントは、タスクを実行することが検索することと関連付けられていると判定する。上記説明されたように、いくつかの実施例では、検索処理及びオブジェクト管理処理は両方、ファイルの検索を実行することができる。結果として、デジタルアシスタントは、単語「支出」と関連付けられた全てのファイルを検索するタスクを実行することが検索処理を必要としないと判定する。
[０２４１]
図９Ｄを参照して、いくつかの実施例では、タスクを実行することが検索処理を必要としないとの判定に従って、デジタルアシスタントは、所定の構成に基づいて、タスクが検索処理又はオブジェクト管理処理を使用して実行されるか否かを判定する。例えば、検索処理及びオブジェクト管理処理の両方がタスクを実行することができる場合、所定の構成は、タスクが検索処理を使用して実行されることを示すことができる。所定の構成は、ユーザ優先度又はユーザ特有データ等のコンテクスト情報を使用して生成及び更新されてもよい。例えば、デジタルアシスタントは、特定のユーザについて、履歴的に、検索処理がファイル検索のためにオブジェクト管理処理よりも多くの頻度で選択されたと判定する。結果として、デジタルアシスタントは、検索処理がファイルを検索するためのデフォルトの処理であることを示すために所定の構成を生成又は更新する。いくつかの実施例では、デジタルアシスタントは、オブジェクト管理処理がデフォルトの処理であることを示すために所定の構成を生成又は更新する。
[０２４２]
図９Ｄに示されるように、所定の構成に基づいて、デジタルアシスタントは、単語「支出」と関連付けられた全てのファイルを検索するタスクが検索処理を使用して実行されることであると判定する。結果として、デジタルアシスタントは、検索処理を使用して単語「支出」と関連付けられた全てのファイルの検索を実行する。例えば、デジタルアシスタントは、ユーザインタフェース９１０上で表示されたアフォーダンス９２０によって表される検索処理をインスタンス化し、検索処理に、単語「支出」と関連付けられた全てのファイルを検索させる。いくつかの実施例では、デジタルアシスタントは更に、ユーザにタスクが実行されていることを通知する発話出力９７４を提供する。発話出力９７４は、例えば、「ＯＫ、『支出』と呼ばれる全てのファイルを検索します。（OK, searching all files called ‘Expenses’.）」を含む。いくつかの実施例では、デジタルアシスタントは更に、検索処理に、発話入力９５４及び発話出力９７４に対応するテキストを提供するユーザインタフェース９２８（例えば、スニペット又はウィンドウ）を表示させる。
[０２４３]
図９Ｅを参照して、いくつかの実施形態では、デジタルアシスタントは更に、検索処理を使用して、タスクを実行した結果に基づいて１つ以上の応答を提供する。図９Ｅに示されるように、単語「支出」と関連付けられた全てのファイルを検索した結果として、デジタルアシスタントは、検索結果を提供するユーザインタフェース９４７（例えば、スニペット又はウィンドウ）を表示する。いくつかの実施形態では、ユーザインタフェース９４７は、別々のユーザインタフェースとしてユーザインタフェース９２８内に位置する。いくつかの実施形態では、ユーザインタフェース９４７及び９２８は、単一のユーザインタフェースとして共に統合される。ユーザインタフェース９４７上で、単語「支出」と関連付けられたファイルのリストが表示される。いくつかの実施形態では、デジタルアシスタントは更に、検索結果に対応する発話出力を提供する。例えば、アフォーダンス９４０又は９４１によって表されるデジタルアシスタントは、「支出と呼ばれる全てのファイルがここにあります。（Here are all the files called Expenses.）」等の発話出力９７６を提供する。いくつかの実施例では、デジタルアシスタントは更に、ユーザインタフェース９２８上で、発話出力９７６に対応するテキストを提供する。
[０２４４]
いくつかの実施形態では、デジタルアシスタントは、検索処理を使用してタスクを実行した結果と関連付けられた１つ以上のリンクを提供する。リンクによって、検索結果を使用して処理をインスタンス化する（例えば、ファイルを開く、オブジェクト管理処理を呼び出す）ことが可能になる。図９Ｅに示されるように、ユーザインタフェース９４７上で、ファイルのそれらのファイル名によって表されるリスト（例えば、支出ファイル１、支出ファイル２、支出ファイル３）は、リンクと関連付けられてもよい。実施例として、リンクは、各々のファイル名の側面上で表示される。別の実施例として、ファイル名は、ファイル名がリンクと関連付けられることを示す特定の色（例えば、青）で表示される。いくつかの実施例では、リンクと関連付けられたファイル名は、ユーザインタフェース９４７上で表示された他の項目と同一の色で表示される。
[０２４５]
説明されるように、リンクによって、検索結果を使用して処理をインスタンス化することが可能になる。処理をインスタンス化することは、処理がまだ実行中でない場合に処理を呼び出すことを含む。処理の少なくとも１つのインスタンスが実行中である場合、処理をインスタンス化することは、処理の既存のインスタンスを実行すること、又は処理の新たなインスタンスを生成することを含む。例えば、オブジェクト管理処理をインスタンス化することは、オブジェクト管理処理を呼び出すこと、既存のオブジェクト管理処理を使用すること、又はオブジェクト管理処理の新たなインスタンスを生成することを含む。図９Ｅ及び９Ｆに示されるように、ユーザインタフェース９４７上で表示されたリンクによって、リンクと関連付けられたオブジェクト（例えば、ファイル）を管理することが可能になる。例えば、ユーザインタフェース９４７は、ファイル（例えば、「支出ファイル３」）と関連付けられたリンクのユーザ選択（例えば、カーソル９３４による選択）を受信する。それに応じて、デジタルアシスタントは、ファイルの管理を可能にする、アフォーダンス９３０によって表されるオブジェクト管理処理をインスタンス化する。図９Ｆに示されるように、デジタルアシスタントは、リンクと関連付けられたファイル（例えば、「支出ファイル３」）を含むフォルダを提供するユーザインタフェース９３６（例えば、スニペット又はウィンドウ）を表示する。ユーザインタフェース９３６を使用して、デジタルアシスタントは、ファイルに関して１つ以上の追加のタスク（例えば、複製すること、編集すること、参照すること、移動すること、又は圧縮すること等）を実行するオブジェクト管理処理をインスタンス化する。
[０２４６]
再度図９Ｅを参照して、いくつかの実施例では、ユーザインタフェース９４７上で表示されたリンクによって、オブジェクトを直接参照及び／又は編集することが可能になる。例えば、デジタルアシスタントは、ユーザインタフェース９４７を介して、ファイル（例えば、「支出ファイル３」）と関連付けられたリンクの選択（例えば、カーソル９３４による選択）を受信する。それに応じて、デジタルアシスタントは、ファイルを参照及び／又は編集する処理（例えば、ドキュメント参照／編集処理）をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、オブジェクト管理処理インスタンス化することなく、ファイルを参照及び／又は編集する処理をインスタンス化する。例えば、デジタルアシスタントは、支出ファイル３を参照及び／又は編集するナンバー（Number）処理又はエクセル（Excel）処理を直接インスタンス化する。
[０２４７]
図９Ｅ及び９Ｇを参照して、いくつかの実施例では、デジタルアシスタントは、検索結果を改善する処理（例えば、検索処理）をインスタンス化する。図９Ｅ及９Ｇに示されるように、ユーザは、ユーザインタフェース９４７上で表示された検索結果を改善することを望むことがある。例えば、ユーザは、検索結果からの１つ以上のファイルを選択することを望むことがある。いくつかの実施例では、デジタルアシスタントは、ユーザから、「ケビンがちょうど私に送信したものは、ドラフトでタグ付けしたものです。（Just the ones Kevin sent me that I tagged with draft.）」等の発話入力９７７を受信する。発話入力９７７及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が、ケビンから送信されており、ドラフトタグと関連付けられた支出ファイルのみを表示することであると判定する。ユーザ意図に基づいて、デジタルアシスタントは、検索結果を改善する処理（例えば、検索処理）をインスタンス化する。例えば、図９Ｇに示されるように、検索結果に基づいて、デジタルアシスタントは、支出ファイル１及び支出ファイル２がケビンからユーザに送信されており、タグ付けされたと判定する。結果として、デジタルアシスタントは、それらの２つのファイルをユーザインタフェース９４７上で表示することを続け、支出ファイル３をユーザインタフェース９４７から除去することを続ける。いくつかの実施例では、デジタルアシスタントは、「あなたがドラフトでタグ付けし、ケビンがちょうどあなたに送信したものがここにあります。（Here are just the ones Kevin sent you that you tagged with draft.）」等の発話出力９７８を提供する。デジタルアシスタントは更に、ユーザインタフェース９２８上で発話出力９７８に対応するテキストを提供する。
[０２４８]
図９Ｈを参照して、いくつかの実施例では、デジタルアシスタントは、オブジェクト管理タスク（例えば、複製すること、移動すること、共有すること等）を実行する処理（例えば、オブジェクト管理処理）をインスタンス化する。例えば、図９Ｈに示されるように、デジタルアシスタントは、ユーザから、「支出ファイル１をドキュメントフォルダに移動してください。（Move the Expenses file １ to Documents folder.）」等の発話入力９８４を受信する。発話入力９８４及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図、が支出ファイル１をその現在のフォルダからドキュメントフォルダに複製又は移動することであると判定する。ユーザ意図に従って、デジタルアシスタントは、支出ファイル１をその現在のフォルダからドキュメントフォルダに複製又は移動する処理（例えば、オブジェクト管理処理）をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、「ＯＫ、支出ファイル１をあなたのドキュメントフォルダに移動します。（Ok, moving Expenses File 1 to your Documents folder.）」等の発話出力９８２を提供する。いくつかの実施例では、デジタルアシスタントは更に、ユーザインタフェース９２８上で発話出力９８２に対応するテキストを提供する。
[０２４９]
説明されるように、いくつかの実施例では、ユーザの発話入力は、ユーザ意図が検索処理又はオブジェクト管理処理を使用してタスクを実行することであるかを示すキーワードを含まなくてもよい。図１０Ａ〜１０Ｂを参照して、いくつかの実施形態では、デジタルアシスタントは、タスクを実行することが検索処理を必要としないと判定する。その判定に従って、デジタルアシスタントは、ユーザが検索処理又はオブジェクト管理処理を選択することを要求する発話出力を提供する。例えば、図１０Ａに示されるように、デジタルアシスタントは、ユーザから、「『支出』と呼ばれる全てのファイルを見せてください。（Show me all the files called ‘Expenses’.）」等の発話入力１０５２を受信する。発話入力１０５２及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が単語「支出」と関連付けられた全てのファイルを表示することであると判定する。ユーザ意図に従って、デジタルアシスタントは更に、タスクが検索処理又はオブジェクト管理処理のいずれかによって実行されてもよく、従って、検索処理を必要としないと判定する。いくつかの実施例では、デジタルアシスタントは、「検索処理又はオブジェクト管理処理を使用して検索を希望しますか？（Do you want to search using the searching process or the object managing process?）」等の発話出力１０７２を提供する。いくつかの実施例では、デジタルアシスタントは、ユーザから、「オブジェクト管理処理」等の発話入力１０５４を受信する。よって、発話入力１０５４は、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであることを示す。選択に従って、例えば、デジタルアシスタントは、単語「支出」関連付けられた全てのファイルを検索する、アフォーダンス１０３０によって表されるオブジェクト管理処理をインスタンス化する。図１０Ｂに示されるように、上記説明されたものと同様に、検索の結果として、デジタルアシスタントは、単語「支出」と関連付けられたファイルを含むフォルダを提供するユーザインタフェース１０３２（例えば、スニペット又はウィンドウ）を表示する。上記説明されたものと同様に、ユーザインタフェース１０３２を使用して、デジタルアシスタントは、ファイルに関して追加の１つ以上のタスク（例えば、複製すること、編集すること、参照すること、移動すること、又は圧縮すること等）を実行するオブジェクト管理処理をインスタンス化する。
[０２５０]
図１１Ａ及び１１Ｂを参照して、いくつかの実施形態では、デジタルアシスタントは、コンテクスト情報を特定し、コンテクスト情報及びユーザの発話入力に基づいてユーザ意図を判定する。図１１Ａに示されるように、アフォーダンス１１４０又は１１４１によって表されるデジタルアシスタントは、「昨夜作成したＫｅｙｎｏｔｅプレゼンテーションを開いてください。（Open the Keynote presentation I created last night.）」等の発話入力１１５２を受信する。発話入力１１５２を受信したことに応じて、デジタルアシスタントは、ユーザデバイスとのユーザの対話の履歴、又はユーザが直近で取りかかったファイルと関連付けられたメタデータ等のコンテクスト情報を特定する。例えば、デジタルアシスタントは、日付、時間、及びユーザが昨日の午後６時〜午前２時に取りかかったユーザのファイルのタイプ等のメタデータを特定する。特定されたコンテクスト情報及び発話入力１１５２に基づいて、デジタルアシスタントは、ユーザ意図が、ファイルが昨日のおおよそ午後６時〜午前０時に編集されたことを示すメタデータと関連付けられたＫｅｙｎｏｔｅプレゼンテーションファイルを検索すること、及びプレゼンテーションファイルを開く処理（例えば、Ｋｅｙｎｏｔｅ処理）をインスタンス化することを含むと判定する。
[０２５１]
いくつかの実施例では、コンテクスト情報は、アプリケーション名又は識別子（ＩＤ）を含む。例えば、ユーザの発話入力は、「Ｋｅｙｎｏｔｅプレゼンテーションを開いてください。（Open the Keynote presentation.）」、「マイページのドキュメントを探してください。（find my Pages document.）」、又は「ＨｏｔＮｅｗＡｐｐドキュメントを探してください。（find my HotNewApp documents.）」を提供する。コンテクスト情報は、アプリケーション名（例えば、Ｋｅｙｎｏｔｅ、Ｐａｇｅｓ、ＨｏｔＮｅｗＡｐｐ）又はアプリケーションＩＤを含む。いくつかの実施例では、コンテクスト情報は、動的に更新又は同期される。例えば、コンテクスト情報は、ユーザがＨｏｔＮｅｗＡｐｐと命名される新たなアプリケーションをインストールした後にリアルタイムで更新される。いくつかの実施例では、デジタルアシスタントは、動的に更新されたコンテクスト情報を特定し、ユーザ意図を判定する。例えば、デジタルアシスタントは、アプリケーション名Ｋｅｙｎｏｔｅ、Ｐａｇｅｓ、ＨｏｔＮｅｗＡｐｐ、又はそれらのＩＤを特定し、アプリケーション名／ＩＤ及び発話入力に従ってユーザ意図を判定する。
[０２５２]
ユーザ意図に従って、デジタルアシスタントは更に、ユーザ意図が検索処理又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する。説明されるように、デジタルアシスタントは、発話入力に含まれる１つ以上のキーワードに基づいて、タスクが検索処理を必要とするかに基づいて、所定の構成に基づいて、及び／又はユーザの選択に基づいてそのような判定を行う。図１１Ａに示されるように、発話入力１１５２は、ユーザ意図が検索処理又はオブジェクト管理処理を使用することであるかを示すキーワードを含まない。結果として、デジタルアシスタントは、例えば、所定の構成に基づいて、ユーザ意図がオブジェクト管理処理を使用することであると判定する。その判定に従って、デジタルアシスタントは、ファイルが昨日のおおよそ午後６時〜午前０時に編集されたことを示すメタデータと関連付けられたＫｅｙｎｏｔｅプレゼンテーションファイルを検索するオブジェクト管理処理をインスタンス化する。いくつかの実施形態では、デジタルアシスタントは更に、「ＯＫ、昨夜あなたが作成したＫｅｙｎｏｔｅプレゼンテーションを検索してください。（OK, looking for the Keynote presentation you created last night.）」等の発話出力１１７２を提供する。
[０２５３]
いくつかの実施形態では、コンテクスト情報は、タスクを実行する際に使用される。例えば、アプリケーション名及び／又はＩＤは、アプリケーション名／ＩＤと関連付けられたアプリケーション及び／又はオブジェクト（例えば、ファイル）を検索するためのクエリを形成するために使用されてもよい。いくつかの実施例では、サーバ（例えば、サーバ１０８）は、アプリケーション名（例えば、Ｋｅｙｎｏｔｅ、Ｐａｇｅｓ、ＨｏｔＮｅｗＡｐｐ）及び／又はＩＤを使用してクエリを形成し、クエリをユーザデバイスのデジタルアシスタントに送信する。クエリに基づいて、デジタルアシスタントは、１つ以上のアプリケーション及び／又はオブジェクトを検索する検索処理又はオブジェクト管理処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、アプリケーション名／ＩＤに対応するオブジェクト（例えば、ファイル）のみを検索する。例えば、クエリがアプリケーション名「Ｐａｇｅｓ」を含む場合、デジタルアシスタントは、Ｐａｇｅｓファイルのみを検索し、Ｐａｇｅｓアプリケーションによって開くことができる他のファイル（例えば、単語ファイル）を検索しない。いくつかの実施例では、デジタルアシスタントは、クエリにおいてアプリケーション名／ＩＤと関連付けられた全てのオブジェクトを検索する。
[０２５４]
図１１Ｂ及び１１Ｃを参照して、いくつかの実施形態では、デジタルアシスタントは、タスクを実行した結果と関連付けられた信用レベルに従って、１つ以上の応答を提供する。ユーザ意図の判定、ユーザ意図が検索処理若しくはオブジェクト管理処理を使用してタスクを実行することであるかの判定、及び／又はタスクの実行の間、不正確さが存在し、又は起こることがある。いくつかの実施例では、デジタルアシスタントは、発話入力及びコンテクスト情報に基づいてユーザ意図を判定する精度、ユーザ意図が検索処理を使用して若しくはオブジェクト管理処理を使用してタスクを実行することであるかを判定する精度、検索処理若しくはオブジェクト管理処理を使用してタスクを実行する精度、又はそれらの組み合わせを表す信用レベルを判定する。
[０２５５]
図１１Ａに示される上記実施例を続けて、「昨夜作成したＫｅｙｎｏｔｅプレゼンテーションを開いてください。（Open the Keynote presentation I created last night.）」等の発話入力１１５２に基づいて、デジタルアシスタントは、ファイルが昨日のおおよそ午後６時〜午前０時に編集されたことを示すメタデータと関連付けられたＫｅｙｎｏｔｅプレゼンテーションファイルの検索を実行するオブジェクト管理処理をインスタンス化する。検索結果は、検索基準に完全に一致する単一のファイルを含んでもよい。すなわち、単一のファイルは、昨日のおおよそ午後６時〜午前０時に編集されたプレゼンテーションファイルである。従って、デジタルアシスタントは、検索の精度が高いと判定し、よって、信用レベルが高いと判定する。別の実施例として、検索結果は、検索基準に部分的に一致する複数のファイルを含んでもよい。例えば、昨日のおおよそ午後６時〜午前０時に編集されたプレゼンテーションファイルであるファイルがなく、又は複数のファイルは、昨日のおおよそ午後６時〜午前０時に編集されたプレゼンテーションファイルである。従って、デジタルアシスタントは、検索の精度が中間又は低いと判定し、よって、信用レベルが中間又は低いと判定する。
[０２５６]
図１１Ｂ及び１１Ｃに示されるように、デジタルアシスタントは、信用レベルの判定に従って応答を提供する。いくつかの実施例では、デジタルアシスタントは、信用レベルが閾値信用レベル以上であるか否かを判定する。信用レベルが閾値信用レベル以上であるとの判定に従って、デジタルアシスタントは、第１の応答を提供する。信用レベルが閾値信用レベル未満であるとの判定に従って、デジタルアシスタントは、第２の応答を提供する。いくつかの実施例では、第２の応答は第１の応答とは異なる。図１１Ｂに示されるように、信用レベルが閾値信用レベル以上であるとデジタルアシスタントが判定する場合、デジタルアシスタントは、ファイルを参照及び編集することを可能にする処理（例えば、ユーザインタフェース１１４２によって表されるＫｅｙｎｏｔｅ処理）をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、「昨夜あなたが作成したプレゼンテーションがここにあります。（Here is the presentation you created last night.）」等の発話出力を提供し、ユーザインタフェース１１４３において発話出力のテキストを表示する。図１１Ｃに示されるように、信用レベルが閾値信用レベル未満であるとデジタルアシスタントが判定する場合、デジタルアシスタントは、候補ファイルのリストを提供するユーザインタフェース１１２２（例えば、スニペット又はウィンドウ）を表示する。候補ファイルの各々は、検索基準を部分的に満たすことができる。いくつかの実施形態では、信用レベルは、ユーザ優先度又は履歴的精度レーティング等に基づいて、予め定められてもよく、及び／又は動的に更新されてもよい。いくつかの実施例では、デジタルアシスタントは更に、「昨夜作成した全てのプレゼンテーションがここにあります。」等の発話出力１１７４を提供し、ユーザインタフェース１１２２上で発話出力１１７４に対応するテキストを表示する。
[０２５７]
図１１Ｄを参照して、いくつかの実施形態では、デジタルアシスタントは、追加のタスクを実行する処理（例えば、Ｋｅｙｎｏｔｅプレゼンテーション処理）をインスタンス化する。上記実施例を続けると、図１１Ｂ及び１１Ｄに示されるように、ユーザは、フルスクリーンモードでプレゼンテーションファイルを表示することを望むことがある。デジタルアシスタントは、ユーザから、「それをフルスクリーンにしてください。（Make it full screen.）」等の発話入力１１５４を受信する。発話入力１１５４及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図がフルスクリーンモードでプレゼンテーションファイルを表示することであると判定する。ユーザ意図に従って、デジタルアシスタントは、Ｋｅｙｎｏｔｅプレゼンテーション処理にフルスクリーンモードでスライドを表示させる。いくつかの実施例では、デジタルアシスタントは、「ＯＫ、フルスクリーンであなたのプレゼンテーションを表示します。（OK, showing your presentation in full screen.）」等の発話出力１１７６を提供する。
[０２５８]
図１２Ａ〜１２Ｃを参照して、いくつかの実施形態では、デジタルアシスタントは、単一の発話入力又は発言に基づいて、ユーザ意図が複数のタスクを実行することであると判定する。ユーザ意図に従って、デジタルアシスタントは更に、複数のタスクを実行する１つ以上の処理をインスタンス化する。例えば、図１２Ａに示されるように、アフォーダンス１２４０又は１２４１によって表されるデジタルアシスタントは、「コロラド旅行からの全て写真を見せ、私の母に送信してください。（Show me all the photos from my Colorado trip, and send them to my mom.）」等の単一の発話入力１２５２を受信する。発話入力１２５２及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が第１のタスク及び第２のタスクを実行することであると判定する。上記説明されたものと同様に、第１のタスクは、フォルダ名「コロラド旅行」を有するフォルダに記憶された写真を表示すること、又はユーザがコロラド内で旅行している期間の間に撮られた写真を表示することである。第２のタスクに関して、コンテクスト情報は、ユーザの連絡先に記憶された特定の電子メールアドレスがユーザの母としてタグ付けされることを示してもよい。従って、第２のタスクは、コロラド旅行と関連付けられた写真を含む電子メールを特定の電子メールアドレスに送信することである。
[０２５９]
いくつかの実施例では、デジタルアシスタントは、各々のタスクに関して、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する。実施例として、デジタルアシスタントは、第１のタスクが検索することと関連付けられ、ユーザ意図がオブジェクト管理処理を使用して第１のタスクを実行することであると判定する。図１２Ｂに示されるように、ユーザ意図がオブジェクト管理処理を使用して第１のタスクを実行することであるとの判定に従って、デジタルアシスタントは、ユーザのコロラド旅行と関連付けられた写真を検索するオブジェクト管理処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、検索結果（例えば、写真１、２、及び３）を含むフォルダを提供するユーザインタフェース１２３２（例えば、スニペット又はウィンドウ）を表示する。別の実施例として、デジタルアシスタントは、第１のタスクが検索することと関連付けられ、ユーザ意図が検索処理を使用して第１のタスクを実行することであると判定する。図１２Ｃに示されるように、ユーザ意図が検索処理を使用して第１のタスクを実行することであるとの判定に従って、デジタルアシスタントは、ユーザのコロラド旅行と関連付けられた写真を検索する検索処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、検索結果（例えば、写真１、２、及び３）と関連付けられた写真及び／又はリンクを提供するユーザインタフェース１２３４（例えば、スニペット又はウィンドウ）を表示する。
[０２６０]
別の実施例として、デジタルアシスタントは、第２のタスク（例えば、コロラド旅行と関連付けられた写真を含む電子メールを特定の電子メールアドレスに送信すること）が検索することと関連付けられておらず、又はオブジェクトを管理することと関連付けられていると判定する。その判定に従って、デジタルアシスタントは、ユーザデバイスに利用可能な処理を使用してタスクを実行することができると判定する。例えば、デジタルアシスタントは、ユーザデバイスにおいて、電子メール処理を使用して第２のタスクを実行することができると判定する。その判定に従って、デジタルアシスタントは、第２のタスクを実行する処理をインスタンス化する。図１２Ｂ及び１２Ｃに示されるように、デジタルアシスタントは、電子メール処理をインスタンス化し、電子メール処理と関連付けられたユーザインタフェース１２４２及び１２４４を表示する。電子メール処理は、ユーザのコロラド旅行と関連付けられた写真を電子メールメッセージに添付する。図１２Ｂ及び１２Ｃに示されるように、いくつかの実施形態では、デジタルアシスタントは更に、「あなたのコロラド旅行からの写真がここにあります。写真をあなたの母に送信する準備ができています。進めていいですか？（Here are the photos from your Colorado trip. I am ready to send the photos to your mom, proceed?）」等の発話出力１２７２及び１２７４を提供する。いくつかの実施例では、デジタルアシスタントは、ユーザインタフェース１２４４上で発話出力１２７４に対応するテキストを表示する。発話出力１２７２及び１２７４に応じて、ユーザは、「ＯＫ」等の発話入力を提供する。発話入力をユーザから受信すると、デジタルアシスタントは、電子メール処理に電子メールメッセージを送出させる。
[０２６１]
例えば、関連する出願、２０１４年５月３０日に出願された「ＭＵＬＴＩ−ＣＯＭＭＡＮＤ ＳＩＮＧＬＥ ＵＴＴＥＲＡＮＣＥ ＩＮＰＵＴ ＭＥＴＨＯＤ」と題する米国仮特許出願第６２／００５，５５６号及び２０１５年３月８日に出願された「ＭＵＬＴＩ−ＣＯＭＭＡＮＤ ＳＩＮＧＬＥ ＵＴＴＥＲＡＮＣＥ ＩＮＰＵＴ ＭＥＴＨＯＤ」と題する米国仮特許出願第６２／１２９，８５１号の優先権の利益を主張する、２０１５年５月２８日に出願された「ＭＵＬＴＩ−ＣＯＭＭＡＮＤ ＳＩＮＧＬＥ ＵＴＴＥＲＡＮＣＥ ＩＮＰＵＴ ＭＥＴＨＯＤ」と題する米国特許出願第１４／７２４，６２３号において、単一の発話入力又は発言内に含まれる複数のコマンドに基づいて複数のタスクを実行する技術を発見することができる。それらの出願の各々は、全体を参照することによって以下に組み込まれる。
[０２６２]
図１２Ｃ及び１２Ｄに示されるように、いくつかの実施例では、デジタルアシスタントは、処理に、ユーザの追加の発話入力に基づいて追加のタスクを実行させる。例えば、ユーザインタフェース１２３４に表示された検索結果を考慮して、ユーザは、写真の全てではなくいくつかを送信することを望むことがある。ユーザは、「写真１及び写真２のみを送信してください。（Send only Photo 1 and Photo 2.）」等の発話入力１２５４を提供する。いくつかの実施例では、デジタルアシスタントは、ユーザがアフォーダンス１２３５（例えば、ユーザインタフェース１２３４上で表示されたマイクロフォンのアイコン）を選択した後に発話入力１２５４を受信する。デジタルアシスタントは、発話入力１２５４及びコンテクスト情報に基づいて、ユーザ意図が写真１及び写真２のみを添付する電子メールを送信することであると判定する。ユーザ意図に従って、デジタルアシスタントは、電子メール処理に、写真３を電子メールメッセージから除去させる。いくつかの実施例では、デジタルアシスタントは、「ＯＫ、写真１及び写真２をあなたの電子メールに添付します。（OK, attaching Photo 1 and Photo 2 to your email.）」等の発話出力１２７６を提供し、ユーザインタフェース１２３４上で発話出力１２７６に対応するテキストを表示する。
[０２６３]
図１３Ａを参照して、いくつかの実施形態では、タスクが検索することと関連付けられていないとの判定に従って、デジタルアシスタントは、タスクが少なくとも１つのオブジェクトを管理することと関連付けられているか否かを判定する。図１３Ａに示されるように、例えば、デジタルアシスタントは、「プロジェクトと呼ばれる新たなフォルダをデスクトップ上で作成してください。（Create a new folder on the desktop called Projects.）」等の発話入力１３５２を受信する。発話入力１３５２及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図がフォルダ名「プロジェクト」を有する新たなフォルダをデスクトップにおいて生成することであると判定する。デジタルアシスタントは更に、オブジェクト（例えば、フォルダ）を管理することと関連付けられる代わりに、ユーザ意図が検索することと関連付けられていないと判定する。従って、デジタルアシスタントは、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであると判定する。
[０２６４]
いくつかの実施例では、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、デジタルアシスタントは、オブジェクト管理処理を使用してタスクを実行する。オブジェクト管理処理を使用してタスクを実行することは、例えば、少なくとも１つのオブジェクトを作成すること（例えば、フォルダ又はファイルを作成すること）、少なくとも１つのオブジェクトを記憶すること（例えば、フォルダ、ファイル、又は通信を記憶すること）、並びに少なくとも１つのオブジェクトを圧縮すること（例えば、フォルダ及びファイルを圧縮することを含むことができる。オブジェクト管理処理を使用してタスクを実行することは更に、例えば、少なくとも１つのオブジェクトを第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に複製又は移動することを含むことができる。例えば、デジタルアシスタントは、ファイルをユーザデバイスからフラッシュドライブ又はクラウドドライブにカットアンドペーストするオブジェクト管理処理をインスタンス化する。
[０２６５]
オブジェクト管理処理を使用してタスクを実行することは更に、例えば、物理若しくは仮想記憶装置に記憶された少なくとも１つのオブジェクトを削除すること（例えば、フォルダ若しくはファイル削除すること）、及び／又は物理若しくは仮想記憶装置に記憶された少なくとも１つのオブジェクトを復元すること（例えば、削除されたフォルダ若しくは削除されたファイルを復元すること）を含むことができる。オブジェクト管理処理を使用してタスクを実行することは更に、例えば、少なくとも１つのオブジェクトをマーク付けすることを含むことができる。いくつかの実施例では、オブジェクトをマーク付けすることは、可視的又は可視的でなくてもよい。例えば、デジタルアシスタントは、オブジェクト管理処理に、ソーシャルメディアの投稿のための「ｌｉｋｅ」サインを生成させ、電子メールをタグ付けさせ、又はファイルをマーク付けさせること等ができる。マーク付けすることは、例えば、フラグ又はサイン等を表示することによって可視的であってもよい。マーク付けすることはまた、メタデータの記憶（例えば、メモリ）内容が変わるようにオブジェクトのメタデータに関して実行されてもよい。メタデータは、可視的であってもよく、又はそうでなくてもよい。
[０２６６]
オブジェクト管理処理を使用してタスクを実行することは更に、例えば、バックアップための所定の期間に従って、又はユーザの要求があると少なくとも１つのオブジェクトをバックアップすることを含むことができる。例えば、デジタルアシスタントは、オブジェクト管理処理に、フォルダ及びファイルをバックアップするバックアッププログラム（例えば、タイムマシンプログラム）をインスタンス化させることができる。バックアップは、所定のスケジュール（例えば、１日、１週間、若しくは１カ月に１回等）、又はユーザ要求に従って自動的に実行されてもよい。
[０２６７]
オブジェクト管理処理を使用してタスクを実行することは更に、例えば、少なくとも１つのオブジェクトをユーザデバイスに通信可能に接続された１つ以上の電子デバイスの間で共有することを含むことができる。例えば、デジタルアシスタントは、オブジェクト管理処理に、ユーザデバイスに記憶された写真を別の電子デバイス（例えば、ユーザのスマートフォン又はタブレット）と共有させることができる。
[０２６８]
図１３Ｂに示されるように、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、デジタルアシスタントは、オブジェクト管理処理を使用してタスクを実行する。例えば、デジタルアシスタントは、ユーザインタフェース１３１０のデスクトップ上で「プロジェクト」と命名されたフォルダを生成するオブジェクト管理処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、オブジェクト管理処理に、自動的に又は追加のユーザ入力に応じてのいずれかでフォルダを更に開かせることができる。例えば、デジタルアシスタントは、「ＯＫ、プロジェクトと呼ばれるフォルダをデスクトップ上で作成しました。それを開けますか？（OK, I’ ve created a folder on the desktop called Projects, would you like to open it?）」等の発話出力１３７２を提供する。ユーザは、「Ｙｅｓ」等の発話入力１３７４を提供する。ユーザの発話入力１３７４に応じて、デジタルアシスタントは、オブジェクト管理処理に、プロジェクトフォルダを開かせ、プロジェクトフォルダに対応するユーザインタフェース１３３２を表示させる。
[０２６９]
図１３Ｃを参照して、いくつかの実施形態では、デジタルアシスタントは、ユーザが検索処理又はオブジェクト管理処理を使用してタスクを実行した結果を操作することを可能にする１つ以上のアフォーダンスを提供する。１つ以上のアフォーダンスは、例えば、編集ボタン、中止ボタン、再実行ボタン、又は取消ボタン等を含む。例えば、図１３Ｃに示されるように、デスクトップ上での「プロジェクト」と命名されたフォルダを生成した後、デジタルアシスタントは、編集ボタン１３３６Ａ、取消ボタン１３３６Ｂ、及び再実行ボタン１３３６Ｃを表示するユーザインタフェース１３３４を提供する。いくつかの実施例では、編集ボタン１３３６Ａによって、ユーザは、オブジェクトの１つ以上の態様を編集することが可能になり（例えば、プロジェクトフォルダの名前を編集する）、取消ボタン１３３６Ｂによって、ユーザは、オブジェクト管理処理によって実行された最後のタスクを元に戻すことが可能になり（例えば、プロジェクトフォルダを削除する）、再実行ボタン１３３６Ｃによって、ユーザは、オブジェクト管理処理によって実行された最後のタスクを復元することが可能になる（例えば、オブジェクト管理処理を使用して別のフォルダを作成する）。デジタルアシスタントは、ユーザが検索処理又はオブジェクト管理処理を使用してタスクを実行した結果のいずれかの操作を実行することを可能にするいずれかの所望のアフォーダンスを提供することができることを認識されよう。
[０２７０]
説明されるように、デジタルアシスタントは、ユーザ意図が検索処理又はオブジェクト管理処理を使用してタスクを実行することであるかを判定することができる。いくつかの実施例では、デジタルアシスタントは、ユーザ意図が検索処理又はオブジェクト管理処理と関連付けられていないと判定する。例えば、ユーザは、「聞き取りを開始してください。（start dictation.）」等の発話入力を提供する。デジタルアシスタントは、聞き取りのタスクが検索することと関連付けられていないと判定する。いくつかの実施例では、タスクが検索することと関連付けられていないとの判定に従って、デジタルアシスタントは更に、タスクが少なくとも１つのオブジェクトを管理することと管理付けられているか否かを判定する。例えば、デジタルアシスタントは、聞き取りのタスクがまた、ファイル、フォルダ、又は電子メールを複製、移動、又は削除すること等、オブジェクトを管理することと関連付けられていないと判定する。いくつかの実施例では、タスクがオブジェクトを管理することと関連付けられていないとの判定に従って、デジタルアシスタントは、ユーザデバイスに利用可能な処理を使用してタスクを実行することができるか否かを判定する。例えば、デジタルアシスタントは、ユーザデバイスに利用可能な聞き取り処理を使用して聞き取りのタスクを実行することができると判定する。いくつかの実施例では、デジタルアシスタントは、ユーザデバイスに利用可能な処理を使用してタスクを実行することに関して、ユーザとのダイアログを開始する。例えば、デジタルアシスタントは、「ＯＫ、聞き取りを開始します。（OK, starting dictation.）」又は「現在行っているこのプレゼンテーションにおいて聞き取りをしますか？（Would you like to dictate in this presentation you are working now?）」等の発話出力を提供する。発話出力を提供した後、デジタルアシスタントは、例えば、ユーザ意図が、ユーザが現在行っているプレゼンテーションにおいて聞き取りをすることであることを確認する応答をユーザから受信する。
５．デジタルアシスタントの例示的な機能−連続性
[０２７１]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅは、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイス又は第１の電子デバイスにおいてタスクを実行する機能性を示す。いくつかの実施例では、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）は、様々な実施例に従って、ユーザデバイス（例えば、デバイス１４００、１５００、１６００、及び１７００）によって実装される。いくつかの実施例では、ユーザデバイス、サーバ（例えば、１０８）、又はそれらの組み合わせは、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）を実装してもよい。ユーザデバイスは、例えば、デバイス１０４、２００、又は４００を使用して実装されてもよい。いくつかの実施例では、ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、又はタブレットコンピュータとすることができる。ユーザデバイスは、デスクトップ環境等のマルチタスキング環境で動作する。
[０２７２]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅを参照して、いくつかの実施例では、ユーザデバイス（例えば、デバイス１４００、１５００、１６００、及び１７００）は、様々なユーザインタフェース（例えば、ユーザインタフェース１４１０、１５１０、１６１０、及び１７１０）を提供する。上記説明されたものと同様に、ユーザデバイスは、ディスプレイ上で様々なユーザインタフェースを表示し、様々なユーザインタフェースによって、ユーザは、１つ以上の処理（例えば、映画処理、写真処理、ウェブブラウジングの処理）をインスタンス化することが可能になる。
[０２７３]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅに示されるように、上記説明されたものと同様に、ユーザデバイス（例えば、デバイス１４００、１５００、１６００、及び１７００）は、ユーザインタフェース（例えば、ユーザインタフェース１４１０、１５１０、１６１０、及び１７１０）上で、デジタルアシスタントサービスをインスタンス化するアフォーダンス（例えば、アフォーダンス１４４０、１５４０、１６４０、及び１７４０）を表示する。上記説明されたものと同様に、いくつかの実施例では、デジタルアシスタントは、所定のフレーズを受信したことに応じてインスタンス化される。いくつかの実施例では、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じてインスタンス化される。
[０２７４]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅを参照して、いくつかの実施形態では、デジタルアシスタントは、発話入力１４５２、１４５４、１４５６、１４５８、１５５２、１５５４、１５５６、１６５２、１６５４、１６５６、１７５２、及び１７５６等の１つ以上の発話入力をユーザから受信する。ユーザは、例えば、ユーザデバイス（例えば、デバイス１４００、１５００、１６００、及び１７００）又は第１の電子デバイス（例えば、電子デバイス１４２０、１５２０、１５３０、１５２２、１５３２、１６２０、１６２２、１６３０、１７２０、及び１７３０）においてタスクを実行する目的で、リモートに位置するコンテンツを使用して、様々な発話入力を提供してもよい。上記説明されたものと同様に、いくつかの実施例では、デジタルアシスタントはユーザデバイスにおいて、ユーザから直接、又はユーザデバイスに通信可能に接続された別の電子デバイスを通じて間接的に発話入力を受信することができる。
[０２７５]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅを参照して、いくつかの実施形態では、デジタルアシスタントは、ユーザデバイスと関連付けられたコンテクスト情報を特定する。コンテクスト情報は、例えば、ユーザ特有データ、センサデータ、及びユーザデバイス構成データを含む。いくつかの実施例では、ユーザ特有データは、ユーザ優先度、並びにユーザデバイス（例えば、デバイス１４００、１５００、１６００、及び１７００）及び／又はユーザデバイスに通信可能に接続された電子デバイスとのユーザの対話の履歴等を示すログ情報を含む。例えば、ユーザ特有データは、ユーザが電子デバイス１４２０（例えば、スマートフォン）を使用して自画像写真を直近で撮ったこと、ユーザがポッドキャスト、ウェブキャスト、映画、音楽、又は音声ブック等に直近でアクセスしたことを示す。いくつかの実施例では、センサデータは、ユーザデバイス又は他の電子デバイスと関連付けられたセンサによって収集された様々なデータを含む。例えば、センサデータは、いずれかの時点において、又はいずれかの期間の間にユーザデバイス又はユーザデバイスに通信可能に接続された電子デバイスの物理位置を示すＧＰＳ位置データを含む。例えば、センサデータは、電子デバイス１４２０に記憶された写真がハワイで撮られたことを示す。いくつかの実施例では、ユーザデバイス構成データは、現在又は履歴的なデバイス構成を含む。例えば、ユーザデバイス構成データは、ユーザデバイスが現在いくつかの電子デバイスに通信可能に接続されているが、他の電子デバイスからは切断されていることを示す。電子デバイスは、例えば、スマートフォン、セットトップボックス、タブレット等を含む。以下で更に詳細に説明されるように、コンテクスト情報は、ユーザ意図を判定する際、及び／又は１つ以上のタスクを実行する際に使用されてもよい。
[０２７６]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅを参照して、上記説明されたものと同様に、発話入力を受信したことに応じて、デジタルアシスタントは、発話入力に基づいてユーザ意図を判定する。デジタルアシスタントは、自然言語処理の結果に基づいてユーザ意図を判定する。例えば、デジタルアシスタントは、ユーザ入力に基づいて実施可能な意図を特定し、特定された実施可能な意図を表すために構造化されたクエリを生成する。構造化されたクエリは、実施可能な意図と関連付けられた１つ以上のパラメータを含む。１つ以上のパラメータは、実施可能な意図に基づいてタスクの実行を促進するために使用されてもよい。例えば、「ちょうど撮った自分撮りを見せてください。（show the selfie I just took.）」等の発話入力に基づいて、デジタルアシスタントは、実施可能な意図が写真を表示することであると判定し、パラメータは、ユーザが数日後の間に直近で撮った自画像を含む。いくつかの実施形態では、デジタルアシスタントは更に、発話入力及びコンテクスト情報に基づいてユーザ意図を判定する。例えば、コンテクスト情報は、ユーザデバイスがＢｌｕｅｔｏｏｔｈ接続を使用してユーザの電話に通信可能に接続されていることを示し、自画像写真が２日前にユーザの写真に追加されたことを示す。結果として、デジタルアシスタントは、ユーザ意図が２日前にユーザの写真に追加された自画像である写真を表示することであると判定する。発話入力及びコンテクスト情報に基づいてユーザ意図を判定することは、様々な実施例において以下で更に詳細に説明される。
[０２７７]
いくつかの実施形態では、ユーザ意図に従って、デジタルアシスタントは更に、タスクがユーザデバイスにおいて実行されるか、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいて実行されるかを判定する。判定の様々な実施例は、図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅに関して以下で更に詳細に提供される。
[０２７８]
図１４Ａを参照して、いくつかの実施例では、ユーザデバイス１４００は、デジタルアシスタントを呼び出す発話入力１４５２をユーザから受信する。図１４Ａに示されるように、いくつかの実施例では、デジタルアシスタントは、ユーザインタフェース１４１０上で表示されたアフォーダンス１４４０又は１４４１によって表される。発話入力１４５２は、例えば、「はい、アシスタント。」を含む。発話入力１４５２に応じて、ユーザデバイス１４００は、デジタルアシスタントが後続の発話入力をアクティブに監視するようにデジタルアシスタントを呼び出す。いくつかの実施例では、デジタルアシスタントは、それが呼び出されることを示す発話出力１４７２を提供する。例えば、発話出力１４７２は、「どうぞ、聞いていますよ。（Go ahead, I am listening.）」を含む。図１４Ａに示されるように、いくつかの実施例では、ユーザデバイス１４００は、電子デバイス１４２０等の１つ以上の電子デバイスに通信可能に接続される。電子デバイス１４２０は、有線又は無線ネットワークを使用してユーザデバイス１４００と通信することができる。例えば、電子デバイス１４２０は、音声及びデータ（例えば、音声及びビデオファイル）を２つのデバイスの間で交換することができるように、Ｂｌｕｅｔｏｏｔｈ接続を使用してユーザデバイス１４００と通信する。
[０２７９]
図１４Ｂを参照して、いくつかの実施例では、デジタルアシスタントは、「このデバイス上で電話機を使用してちょうど撮った自撮りを見せてください。（Show me the selfie I just took using my phone on this device.）」等の発話入力１４５４を受信する。発話入力１４５４及び／又はコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図を判定する。例えば、図１４Ｂに示されるように、コンテクスト情報は、ユーザデバイス１４００が有線又は無線ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ接続又はＷｉ−Ｆｉ接続）を使用して電子デバイス１４２０に通信可能に接続されていることを示す。コンテクスト情報はまた、ユーザが名前「ｓｅｌｆｉｅ０００１」を有する電子デバイス１４２０に記憶された自画像を直近で撮ったことを示す。結果として、デジタルアシスタントは、ユーザ意図が電子デバイス１４２０に記憶されたｓｅｌｆｉｅ０００１と命名された写真を表示することであると判定する。代わりに、写真は、ユーザの顔を含むものとして写真認識ソフトウェアでタグ付けされていることがあり、従って、特定されることがある。
[０２８０]
説明されるように、ユーザ意図に従って、デジタルアシスタントは更に、タスクがユーザデバイス、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいて実行されるかを判定する。いくつかの実施形態では、タスクがユーザデバイス又は第１の電子デバイスにおいて実行されるかを判定することは、発話入力に含まれる１つ以上のキーワードに基づいている。例えば、デジタルアシスタントは、発話入力１４５４が、タスクがユーザデバイス１４００上で実行されることを示す、「このデバイス上で」等のキーワード又はフレーズを含むと判定する。結果として、デジタルアシスタントは、電子デバイス１４２０に記憶されたｓｅｌｆｉｅ０００１と命名された写真を表示することが、ユーザデバイス１４００において実行されることであると判定する。ユーザデバイス１４００及び電子デバイス１４２０は異なるデバイスである。例えば、ユーザデバイス１４００はラップトップコンピュータとすることができ、電子デバイス１４２０は電話とすることができる。
[０２８１]
いくつかの実施形態では、デジタルアシスタントは更に、タスクの実行と関連付けられたコンテンツがリモートに位置しているか否かを判定する。デジタルアシスタントが、どのデバイスがタスクを実行するかを判定する時、又はその時の近くで、タスクを実行するためのコンテンツの少なくとも一部がタスクを実行すると判定されたデバイスに記憶されていない場合、コンテンツがリモートに位置する。例えば、図１４Ｂに示されるように、ユーザデバイス１４００のデジタルアシスタントが、ユーザ意図がユーザデバイス１４００においてｓｅｌｆｉｅ０００１と命名された写真を表示することであると判定する時、又はその時のその近くで、ｓｅｌｆｉｅ０００１と命名された写真は、ユーザデバイス１４００に記憶されず、代わりに、電子デバイス１４２０（例えば、スマートフォン）に記憶されている。従って、デジタルアシスタントは、写真がユーザデバイス１４００に対してリモートに位置すると判定する。
[０２８２]
図１４Ｂに示されるように、いくつかの実施形態では、タスクがユーザデバイスにおいて実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、ユーザデバイスのデジタルアシスタントは、タスクを実行するためのコンテンツを受信する。いくつかの実施例では、ユーザデバイス１４００のデジタルアシスタントは、電子デバイス１４２０に記憶されたコンテンツの少なくとも一部を受信する。例えば、ｓｅｌｆｉｅ０００１と命名された写真を表示するために、ユーザデバイス１４００のデジタルアシスタントは、ｓｅｌｆｉｅ０００１と命名された写真を取得する要求を電子デバイス１４２０に送信する。電子デバイス１４２０は、要求を受信し、それに応じて、ｓｅｌｆｉｅ０００１と命名された写真をユーザデバイス１４００に送信する。ユーザデバイス１４００のデジタルアシスタントは次いで、ｓｅｌｆｉｅ０００１と命名された写真を受信する。
[０２８３]
図１４Ｂに示されるように、いくつかの実施形態では、リモートに位置するコンテンツを受信した後、デジタルアシスタントは、ユーザデバイスにおいて応答を提供する。いくつかの実施例では、応答を提供することは、受信されたコンテンツを使用してタスクを実行することを含む。例えば、ユーザデバイス１４００のデジタルアシスタントは、ｓｅｌｆｉｅ０００１と命名された写真のビュー１４４３を提供するユーザインタフェース１４４２（例えば、スニペット又はウィンドウ）を表示する。ビュー１４４３は、ｓｅｌｆｉｅ０００１と命名された写真のプレビュー（例えば、サムネイル）、アイコン、又はフルビューとすることができる。
[０２８４]
いくつかの実施例では、応答を提供することは、ユーザデバイスにおいて実行されるタスクと関連付けられたリンクを提供することを含む。リンクによって、処理をインスタンス化することが可能になる。説明されるように、処理をインスタンス化することは、処理がまだ実行中でない場合に処理を呼び出すことを含む。処理の少なくとも１つのインスタンスが実行中である場合、処理をインスタンス化することは、処理の既存のインスタンスを実行すること、又は処理の新たなインスタンスを生成することを含む。図１４Ｂに示されるように、ユーザインタフェース１４４２は、ｓｅｌｆｉｅ０００１と命名された写真のビュー１４４３と関連付けられたリンク１４４４を提供してもよい。リンク１４４４によって、例えば、写真の完全な表現を参照し、又は写真を編集する写真処理をインスタンス化することが可能になる。実施例として、リンク１４４４は、ビュー１４４３の側面上で表示される。別の実施例として、ビュー１４４３はそれ自体、ビュー１４４３の選択が写真処理をインスタンス化するように、リンク１４４４を含むことができ、又はそれを組み込むことができる。
[０２８５]
いくつかの実施形態では、応答を提供することは、ユーザがタスクの実行の結果を更に操作することを可能にする１つ以上のアフォーダンスを提供することを含む。図１４Ｂに示されるように、いくつかの実施例では、デジタルアシスタントは、ユーザインタフェース１４４２（例えば、スニペット又はウィンドウ）上でアフォーダンス１４４５及び１４４６を提供する。アフォーダンス１４４５は、写真をアルバムに追加するためのボタンを含むことができ、アフォーダンス１４４６は、写真のビュー１４４３を中止するためのボタンを含むことができる。ユーザは、アフォーダンス１４４５及び１４４６のうちの一方又は両方を選択することができる。アフォーダンス１４４５の選択に応じて、例えば、写真処理は、ビュー１４４３と関連付けられた写真をアルバムに追加する。アフォーダンス１４４６の選択に応じて、例えば、写真処理は、ビュー１４４３をユーザインタフェース１４４２から除去する。
[０２８６]
いくつかの実施形態では、応答を提供することは、ユーザデバイスにおいて実行されるタスクに従って発話出力を提供することを含む。図１４Ｂに示されるように、アフォーダンス１４４０又は１４４１によって表されるデジタルアシスタントは、「あなたの電話機からの最後の自撮りがここにあります。（Here is the last selfie from your phone.）」等の発話出力１４７４を提供する。
[０２８７]
図１４Ｃを参照して、いくつかの実施例では、単一の発話入力／発言及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が複数のタスクを実行することであると判定する。図１４Ｃに示されるように、デジタルアシスタントは、「このデバイス上で電話機を使用してちょうど撮った自撮りを見せ、それをウォールペーパとして設定してください。（Show me the selfie I just took using my phone on this device and set it as my wallpaper.）」等の発話入力１４５６を受信する。発話入力１４５６及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が電子デバイス１４２０に記憶されたｓｅｌｆｉｅ０００１と命名された写真を表示する第１のタスクを実行することであると判定し、ｓｅｌｆｉｅ０００１と命名された写真をウォールペーパとして設定する第２のタスクを実行する。よって、単一の発話入力１４５６に基づいて、デジタルアシスタントは、ユーザ意図が複数のタスクを実行することであると判定する。
[０２８８]
いくつかの実施形態では、デジタルアシスタントは、複数のタスクがユーザデバイスにおいて実行されるか、又はユーザデバイスに通信可能に接続された電子デバイスにおいて実行されるかを判定する。例えば、発話入力１４５６に含まれるキーワード「このデバイス」を使用して、デジタルアシスタントは、複数のタスクがユーザデバイス１４００において実行されると判定する。上記説明されたものと同様に、デジタルアシスタントは更に、少なくとも１つのタスクを実行するためのコンテンツがリモートに記憶されているか否かを判定する。例えば、デジタルアシスタントは、少なくとも第１のタスク（例えば、ｓｅｌｆｉｅ０００１と命名された写真を表示すること）を実行するためのコンテンツがリモートに記憶されていると判定する。いくつかの実施形態では、複数のタスクがユーザデバイスにおいて実行され、少なくとも１つのタスクを実行するためのコンテンツがリモートに記憶されているとの判定に従って、デジタルアシスタントは、コンテンツを別の電子デバイス（例えば、電子デバイス１４２０）から要求し、タスクを実行するためのコンテンツを受信し、ユーザデバイスにおいて応答を提供する。
[０２８９]
いくつかの実施形態では、応答を提供することは、複数のタスクを実行することを含む。例えば、図１４Ｃに示されるように、応答を提供することは、ｓｅｌｆｉｅ０００１と命名された写真のビュー１４４９を表示する第１のタスクを実行すること、及びｓｅｌｆｉｅ０００１と命名された写真をウォールペーパとして設定する第２のタスクを実行することを含む。いくつかの実施例では、デジタルアシスタントは、デスクトップ設定構成処理を使用して、ウォールペーパがｓｅｌｆｉ０００１と命名された写真となるように自動的に構成する。いくつかの実施例では、デジタルアシスタントは、ユーザがｓｅｌｆｉｅ０００１と命名され写真を使用してウォールペーパを手動で構成することを可能にする、デスクトップ設定１４５０へのリンクを提供する。例えば、ユーザは、マウス、スタイラス、又は指等の入力デバイスを使用することによって、デスクトップ設定１４５０へのリンクを選択することができる。デスクトップ設定１４５０へのリンクの選択を受信すると、デジタルアシスタントは、ユーザがｓｅｌｆｉｅ０００１と命名された写真を選択し、それをユーザデバイス１４００のウォールペーパとして設定することを可能にするデスクトップ設定構成処理を開始する。
[０２９０]
図１４Ｃに示されるように、いくつかの実施例では、デジタルアシスタントは、ユーザとのダイアログを開始し、発話入力をユーザから受信したことに応じて、ウォールペーパの構成を促進する。例えば、デジタルアシスタントは、「あなたの電話機からの最後の自撮りがここにあります。ウォールペーパとして設定しますか？（Here is the last selfie from your phone. Set is as wallpaper?）」等の発話出力１４７６を提供する。ユーザは、「ＯＫ」等の発話入力を提供する。発話入力を受信すると、デジタルアシスタントは、ウォールペーパをｓｅｌｆｉｅ０００１と命名された写真として構成するデスクトップ設定構成処理をインスタンス化する。
[０２９１]
説明されるように、いくつかの実施例では、デジタルアシスタントは、発話入力及びコンテクスト情報に基づいてユーザ意図を判定する。図１４Ｄを参照して、いくつかの実施例では、発話入力は、ユーザ意図を判定する十分な情報を含まなくてもよい。例えば、発話入力は、タスクを実行するためのコンテンツの位置を示さなくてもよい。図１４Ｄに示されるように、デジタルアシスタントは、「ちょうど撮った自撮りを見せてください。（Show me the selfie I just took.）」等の発話入力１４５８を受信する。発話入力１４５８は、どの写真が表示されるか、又は自撮りの位置が表示されるかを示す１つ以上のキーワードを含まない。結果として、ユーザ意図は、発話入力１４５８にのみ基づいて判定されなくてもよい。いくつかの実施例では、デジタルアシスタントは、発話入力１４５８及びコンテクスト情報に基づいてユーザ意図を判定する。例えば、コンテクスト情報に基づいて、デジタルアシスタントは、ユーザデバイス１４００が電子デバイス１４２０に通信可能に接続されていると判定する。いくつかの実施例では、デジタルアシスタントは、ユーザがユーザデバイス１４００及び電子デバイス１４２０において直近で撮った写真を検索する検索処理をインスタンス化する。検索結果に基づいて、デジタルアシスタントは、ｓｅｌｆｉｅ０００１と命名された写真が電子デバイス１４２０に記憶されていると判定する。従って、デジタルアシスタントは、ユーザ意図が電子デバイス１４２０に位置するｓｅｌｆｉｅ０００１と命名された写真を表示することであると判定する。いくつかの実施例では、発話入力及びコンテクスト情報に基づいてユーザ意図を判定することができない場合、デジタルアシスタントは、ユーザ意図を明確化し、又は曖昧さをなくすためにユーザとのダイアログを開始する。
[０２９２]
図１４Ｄに示されるように、いくつかの実施例では、発話入力は、タスクがユーザデバイス、又はユーザデバイスに通信可能に接続された電子デバイスにおいて実行されるかを示す１つ以上のキーワードを含まなくてもよい。例えば、発話入力１４５８は、自撮りを表示するタスクがユーザデバイス１４００又は電子デバイス１４２０において実行されるかを示さない。いくつかの実施例では、デジタルアシスタントは、コンテクスト情報に基づいて、タスクがユーザデバイスにおいて又は電子デバイスにおいて実行されるかを判定する。実施例として、コンテクスト情報は、デジタルアシスタントが電子デバイス１４２０ではなくユーザデバイス１４００において発話入力１４５８を受信することを示す。結果として、デジタルアシスタントは、自撮りを表示するタスクがユーザデバイス１４００において実行されると判定する。別の実施例として、コンテクスト情報は、写真がユーザ優先度に従って電子デバイス１４２０上で表示されることを示す。結果として、デジタルアシスタントは、自撮りを表示するタスクが電子デバイス１４２０において実行されると判定する。デジタルアシスタントは、いずれかのコンテクスト情報に基づいて、タスクがユーザデバイスにおいて又は電子デバイスにおいて実行されるかを判定することができることを認識されよう。
[０２９３]
図１５Ａを参照して、いくつかの実施形態では、デジタルアシスタントは、タスクがユーザデバイス（例えば、ユーザデバイス１５００）に通信可能に接続された電子デバイス（例えば、電子デバイス１５２０及び／又は１５３０）において実行されると判定し、コンテンツが電子デバイスに対してリモートに位置すると判定する。図１５Ａに示されるように、いくつかの実施例では、デジタルアシスタントは、「ＴＶ上でこの映画を再生してください。（Play this movie on my TV.）」等の発話入力１５５２を受信する。説明されるように、デジタルアシスタントは、発話入力１５５２及びコンテクスト情報に基づいてユーザ意図を判定することができる。例えば、コンテクスト情報は、ユーザインタフェース１５４２がＡＢＣ．ｍｏｖと命名された映画を表示していることを示す。結果として、デジタルアシスタントは、ユーザ意図がＡＢＣ．ｍｏｖと命名された映画を再生することであると判定する。
[０２９４]
ユーザ意図に従って、デジタルアシスタントは更に、タスクがユーザデバイスにおいて実行されるか、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいて実行されるかを判定する。いくつかの実施形態では、タスクがユーザデバイスにおいて又は第１の電子デバイスにおいて実行されるかを判定することは、発話入力に含まれる１つ以上のキーワードに基づいている。例えば、発話入力１５５２は、単語又はフレーズ「ＴＶ上で。」を含む。いくつかの実施例では、コンテクスト情報は、ユーザデバイス１５００が、例えば、有線接続、Ｂｌｕｅｔｏｏｔｈ接続、又はＷｉ−Ｆｉ接続を使用して、セットトップボックス１５２０及び／又はＴＶ１５３０に接続されることを示す。結果として、デジタルアシスタントは、ＡＢＣ．ｍｏｖと命名された映画を再生するタスクがセットトップボックス１５２０及び／又はＴＶ１５３０上で実行されると判定する。
[０２９５]
いくつかの実施形態では、デジタルアシスタントは更に、タスクの実行と関連付けられたコンテンツがリモートに位置しているか否かを判定する。説明されるように、どのデバイスがタスクを実行するかをデジタルアシスタントが判定する時、又はその時の近くで、タスクを実行するためのコンテンツの少なくとも一部がタスクを実行すると判定されたデバイスに記憶されていない場合、コンテンツはリモートに位置する。例えば、図１５Ａに示されるように、映画ＡＢＣ．ｍｏｖがセットトップボックス１５２０及び／又はＴＶ１５３０において再生されるとユーザデバイス１５００のデジタルアシスタントが判定する時、又はその時の近くで、映画ＡＢＣ．ｍｏｖの少なくとも一部がユーザデバイス１５００（例えば、ラップトップコンピュータ）及び／又はサーバ（図示しない）に記憶され、セットトップボックス１５２０及び／又はＴＶ１５３０に記憶されない。従って、デジタルアシスタントは、映画ＡＢＣ．ｍｏｖがセットトップボックス１５２０及び／又はＴＶ１５３０に対してリモートに位置すると判定する。
[０２９６]
図１５Ｂを参照して、タスクが第１の電子デバイス（例えば、セットトップボックス１５２０及び／又はＴＶ１５３０）において実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、ユーザデバイスのデジタルアシスタントは、タスクを実行するためにコンテンツを第１の電子デバイスに提供する。例えば、映画ＡＢＣ．ｍｏｖをセットトップボックス１５２０及び／又はＴＶ１５３０上で再生するために、ユーザデバイス１５００のデジタルアシスタントは、映画ＡＢＣ．ｍｏｖの少なくとも一部をセットトップボックス１５２０及び／又はＴＶ１５３０に送信する。
[０２９７]
いくつかの実施例では、ユーザデバイスからコンテンツを提供する代わりに、ユーザデバイスのデジタルアシスタントは、タスクを実行するために、コンテンツの少なくとも一部を別の電子デバイス（例えば、サーバ）から第１の電子デバイスに提供させる。例えば、映画ＡＢＣ．ｍｏｖは、ユーザデバイス１５００ではなくサーバ（図示しない）に記憶されている。結果として、ユーザデバイス１５００のデジタルアシスタントは、ＡＢＣ．ｍｏｖと命名された映画の少なくとも一部をサーバからセットトップボックス１５２０及び／又はＴＶ１５３０に送信させる。いくつかの実施例では、タスクを実行するためのコンテンツは、セットトップボックス１５２０に提供され、それは次いで、コンテンツをＴＶ１５３０に送信する。いくつかの実施例では、タスクを実行するためのコンテンツは、ＴＶ１５３０に直接提供される。
[０２９８]
図１５Ｂに示されるように、いくつかの実施例では、コンテンツが第１の電子デバイス（例えば、セットトップボックス１５２０及び／又はＴＶ１５３０）に提供された後、ユーザデバイス１５００のデジタルアシスタントは、ユーザデバイス１５００において応答を提供する。いくつかの実施例では、応答を提供することは、コンテンツを使用してタスクをセットトップボックス１５２０及び／又はＴＶ１５３０において実行させることを含む。例えば、ユーザデバイス１５００のデジタルアシスタントは、映画ＡＢＣ．ｍｏｖを再生するマルチメディア処理を開始する要求をセットトップボックス１５２０及び／又はＴＶ１５３０に送信する。要求に応じて、セットトップボックス１５２０及び／又はＴＶ１５３０は、映画ＡＢＣ．ｍｏｖを再生するマルチメディア処理を開始する。
[０２９９]
いくつかの実施例では、第１の電子デバイス（例えば、セットトップボックス１５２０及び／又はＴＶ１５３０）において実行されるタスクは、第１の電子デバイスに対してリモートに実行されたタスクの続きである。例えば、図１５Ａ及び１５Ｂに示されるように、ユーザデバイス１５００のデジタルアシスタントは、ユーザデバイス１５００のマルチメディア処理に、ユーザデバイス１５００において映画ＡＢＣ．ｍｏｖの一部を再生させている。ユーザ意図が第１の電子デバイス（例えば、セットトップボックス１５２０及び／又はＴＶ１５３０）において映画ＡＢＣ．ｍｏｖを再生することであるとの判定に従って、ユーザデバイス１５００のデジタルアシスタントは、第１の電子デバイスに、最初から再生を開始するのではなく、映画ＡＢＣ．ｍｏｖの残りの再生することを続けさせる。結果として、ユーザデバイス１５００のデジタルアシスタントによって、ユーザは、映画を連続して鑑賞することが可能になる。
[０３００]
図１５Ｂに示されるように、いくつかの実施形態では、応答を提供することは、ユーザがタスクの実行の結果を更に操作することを可能にする１つ以上のアフォーダンスを提供することを含む。図１５Ｂに示されるように、いくつかの実施例では、デジタルアシスタントは、ユーザインタフェース１５４４（例えば、スニペット又はウィンドウ）上でアフォーダンス１５４７及び１５４８を提供する。アフォーダンス１５４７は、第１の電子デバイス（例えば、セットトップボックス１５２０及び／又はＴＶ１５３０）上の映画ＡＢＣ．ｍｏｖの再生を中止するためのボタンとすることができる。アフォーダンス１５４８は、第１の電子デバイス上で再生している映画ＡＢＣ．ｍｏｖの再生の中断又は再開するためのボタンとすることができる。ユーザは、マウス、スタイラス、又は指等の入力デバイスを使用して、アフォーダンス１５４７又は１５４８を選択することができる。アフォーダンス１５４７の選択を受信すると、例えば、デジタルアシスタントは、第１の電子デバイス上の映画ＡＢＣ．ｍｏｖの再生を停止させる。いくつかの実施例では、第１の電子デバイス上の再生を停止した後、デジタルアシスタントはまた、ユーザデバイス１５００上の再生を再開させる。アフォーダンス１５４８の選択を受信すると、例えば、デジタルアシスタントは、第１の電子デバイス上の再生を中断又は再開させる。
[０３０１]
いくつかの実施形態では、応答を提供することは、第１の電子デバイスにおいて実行されるタスクに従って発話出力を提供することを含む。図１５Ｂに示されるように、アフォーダンス１５４０又は１５４１によって表されるデジタルアシスタントは、「あなたの映画をＴＶ上で再生します。（Playing your movie on TV.）」等の発話出力１５７２を提供する。
[０３０２]
説明されるように、タスクが第１の電子デバイスにおいて実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、デジタルアシスタントは、タスクを実行するためのコンテンツを第１の電子デバイスに提供する。図１５Ｃを参照して、タスクを実行するためのコンテンツは、例えば、ドキュメント（例えば、ドキュメント１５６０）又は位置情報を含むことができる。例えば、ユーザデバイス１５００のデジタルアシスタントは、「タブレット上でこのｐｄｆを開いてください。（Open this pdf on my tablet.）」等の発話入力１５５６を受信する。デジタルアシスタントは、ユーザ意図がドキュメント１５６０を表示するタスクを実行することであると判定し、タスクがユーザデバイス１５００に通信可能に接続されたタブレット１５３２において実行されると判定する。結果として、デジタルアシスタントは、表示されるドキュメント１５６０をタブレット１５３２に提供する。別の実施例として、ユーザデバイス１５００のデジタルアシスタントは、「この位置を電話に送信してください。（Send this location to my phone.）」等の発話入力１５５４を受信する。デジタルアシスタントは、ユーザ意図が位置情報を使用してナビゲーションのタスクを実行することであると判定し、タスクがユーザデバイス１５００に通信可能に接続された電話機１５２２（例えば、スマートフォン）において実行されると判定する。結果として、デジタルアシスタントは、ナビゲーションのタスクを実行するために、位置情報（例えば、１２３４メインストリート）を電話機１５２２に提供する。
[０３０３]
説明されるように、いくつかの実施例では、タスクを実行するためのコンテンツを第１の電子デバイスに提供した後、デジタルアシスタントは、ユーザデバイスにおいて応答を提供する。いくつかの実施形態では、応答を提供することは、タスクを第１の電子デバイスにおいて実行させることを含む。例えば、図１５Ｄに示されるように、ユーザデバイス１５００のデジタルアシスタントは、位置１２３４メインストリートにナビゲートするタスクを実行する要求を電話機１５２２に送信する。ユーザデバイス１５００のデジタルアシスタントは更に、ドキュメント１５６０を表示するタスクを実行する要求をタブレット１５３２に送信する。いくつかの実施例では、ユーザデバイスにおいて応答を提供することは、第１の電子デバイスにおいて実行されるタスクに従って発話出力を提供することを含む。図１５Ｄに示されるように、デジタルアシスタントは、「あなたのタブレット上でｐｄｆを表示します。（Showing the pdf on your tablet.）」等の発話出力１５７４及び「あなたの電話機上で１２３４メインストリートにナビゲートします。（navigating to 1234 Main St on your phone.）」等の発話出力１５７６を提供する。
[０３０４]
説明されるように、いくつかの実施例では、発話入力は、タスクがユーザデバイス、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいて実行されるかを示す１つ以上のキーワードを含まなくてもよい。図１６Ａを参照して、例えば、デジタルアシスタントは、「この映画を再生してください。（Play this movie.）」等の発話入力１６５２を受信する。発話入力１６５２は、映画を再生するタスクがユーザデバイス１６００又は第１の電子デバイス（例えば、セットトップボックス１６２０及び／若しくはＴＶ１６３０、電話機１６２２、又はタブレット１６３２）において実行されるかを示さない。
[０３０５]
いくつかの実施形態では、タスクがユーザデバイスにおいて又は第１の電子デバイスにおいて実行されるかを判定するために、ユーザデバイスのデジタルアシスタントは、ユーザデバイスにおいてタスクを実行することが実行基準を満たすか否かを判定する。実行基準は、タスクの実行を評価することを促進する。例えば、図１６Ａに示されるように、デジタルアシスタントは、ユーザ意図が映画ＡＢＣ．ｍｏｖを再生するタスクを実行することであると判定する。映画を再生するための実行基準は、例えば、映画を再生する品質基準（例えば、４８０ｐ、７２０ｐ、１０８０ｐ）、映画を再生する円滑基準（例えば、遅延若しくは待ちがない）、スクリーンサイズ基準（例えば、４８インチの最小スクリーンサイズ）、又は音響効果基準（例えば、ステレオサウンド、スピーカの数）等を含む。実行基準は、事前に構成されてもよく、及び／又は動的に更新されてもよい。いくつかの実施例では、実行基準は、ユーザ特有データ（例えば、ユーザ優先度）又はデバイス構成データ（例えば、スクリーンの解像度及び電子デバイスのサイズ）等のコンテクスト情報に基づいて判定される。
[０３０６]
いくつかの実施例では、ユーザデバイス１６００のデジタルアシスタントは、ユーザデバイスにおいてタスクを実行することが実行基準を満たすと判定する。例えば、図１６Ａに示されるように、ユーザデバイス１６００は、映画ＡＢＣ．ｍｏｖを再生する実行基準を満たすスクリーン解像度、スクリーンサイズ、及び音響効果を有することができ、それは、低解像度のオンラインビデオとなることがある。ユーザデバイス１６００においてタスクを実行することが実行基準を満たすとの判定に従って、デジタルアシスタントは、タスクがユーザデバイス１６００において実行されると判定する。
[０３０７]
いくつかの実施例では、ユーザデバイス１６００のデジタルアシスタントは、ユーザデバイスにおいてタスクを実行することが実行基準を満たさないと判定する。例えば、ユーザデバイス１６００は、映画ＡＢＣ．ｍｏｖを再生する実行基準を満たすためのスクリーンサイズ、解像度、及び／又は音響効果を有さなくてもよく、それは、高解像度のＢｌｕ−ｒａｙビデオとなることがある。いくつかの実施例では、ユーザデバイスにおいてタスクを実行することが実行基準を満たさないとの判定に従って、ユーザデバイス１６００のデジタルアシスタントは、第１の電子デバイスにおいてタスクを実行することが実行基準を満たすかを判定する。図１６Ｂに示されるように、ユーザデバイス１６００のデジタルアシスタントは、セットトップボックス１６２０及び／又はＴＶ１６３０において映画ＡＢＣ．ｍｏｖを再生するタスクを実行することが実行基準を満たすと判定する。例えば、セットトップボックス１６２０及び／又はＴＶ１６３０は、５２インチのスクリーンサイズを有してもよく、１０８０ｐの解像度を有してもよく、８個の接続されたスピーカを有してもよい。結果として、デジタルアシスタントは、タスクがセットトップボックス１６２０及び／又はＴＶ１６３０において実行されると判定する。
[０３０８]
いくつかの実施例では、ユーザデバイス１６００のデジタルアシスタントは、第１の電子デバイスにおいてタスクを実行することが実行基準を満たさないと判定する。その判定に従って、デジタルアシスタントは、第２の電子デバイスにおいてタスクを実行することが実行基準を満たすかを判定する。例えば、図１６Ｂに示されるように、ＴＶ１６３０は、実行基準（例えば、１０８０ｐ）を満たさないスクリーン解像度（例えば、７２０ｐ）を有してもよい。結果として、デジタルアシスタントは、電話機１６２２（例えば、スマートフォン）又はタブレット１６３２のいずれか１つが実行基準を満たすかを判定する。
[０３０９]
いくつかの実施例では、デジタルアシスタントは、どのデバイスがタスクの最適な実行を提供するかを判定する。例えば、図１６Ｂに示されるように、デジタルアシスタントは、ユーザデバイス１６００、セットトップボックス１６２０及びＴＶ１６３０、電話機１６２２、並びにタブレット１６３２の各々の上で映画ＡＢＣ．ｍｏｖを再生するタスクの実行を評価又は予測する。評価又は予測に基づいて、デジタルアシスタントは、１つのデバイス（例えば、ユーザデバイス１６００）においてタスクを実行することが別のデバイス（例えば、電話機１６２２）においてよりも良好であるか否かを判定し、最適な実行のためのデバイスを判定する。
[０３１０]
説明されるように、いくつかの実施例では、タスクを実行するためのデバイスの判定に従って、デジタルアシスタントは、ユーザデバイス１６００において応答を提供する。いくつかの実施形態では、応答を提供することは、デバイスにおいて実行されるタスクに従って発話出力を提供することを含む。図１６Ｂに示されるように、アフォーダンス１６４０又は１６４１によって表されるデジタルアシスタントは、「あなたのＴＶ上でこの映画を再生します。進めてもよいですか？（I will play this movie on your TV, proceed?）」等の発話出力１６７２を提供する。いくつかの実施例では、デジタルアシスタントは、「ＯＫ」等の発話入力１６５４をユーザから受信する。それに応じて、デジタルアシスタントは、例えば、セットトップボックス１６２０及びＴＶ１６３０において映画ＡＢＣ．ｍｏｖを再生させ、「あなたのＴＶ上であなたの映画を再生しています。（Playing your movie on your TV.）」等の発話出力１６７４を提供する。
[０３１１]
いくつかの実施例では、応答を提供することは、ユーザがタスクの実行のための別の電子デバイスを選択することを可能にする１つ以上のアフォーダンスを提供することを含む。図１６Ｂに示されるように、例えば、デジタルアシスタントは、アフォーダンス１６５５Ａ〜Ｂ（例えば、中止ボタン及びタブレットボタン）を提供する。アフォーダンス１６５５Ａによって、ユーザは、セットトップボックス１６２０及びＴＶ１６３０において映画ＡＢＣ．ｍｏｖを再生することを中止することが可能になる。アフォーダンス１６５５Ｂによって、ユーザは、映画ＡＢＣ．ｍｏｖを再生することを続けるためにタブレット１６３２を選択することが可能になる。
[０３１２]
図１６Ｃを参照して、いくつかの実施形態では、タスクを実行するためのデバイスを判定するために、ユーザデバイス１６００のデジタルアシスタントは、ユーザとのダイアログを開始する。例えば、デジタルアシスタントは、「あなたの映画をＴＶ又はタブレット上で再生しましょうか？（Should I play your movie on the TV or on the tablet?）」等の発話出力１６７６を提供する。ユーザは、「タブレット上で。（On my tablet.）」等の発話入力１６５６を提供する。発話入力１６５６を受信すると、デジタルアシスタントは、映画を再生するタスクがユーザデバイス１６００に通信可能に接続されたタブレット１６３２において再生されると判定する。いくつかの実施例では、デジタルアシスタントは更に、「あなたのタブレット上であなたの映画を再生します。（Playing your movie on your tablet.）」等の発話出力１６７８を提供する。
[０３１３]
図１７Ａを参照して、いくつかの実施形態では、ユーザデバイス１７００のデジタルアシスタントは、第１の電子デバイスにおいて部分的にリモートに実行されたタスクを実行することを続ける。いくつかの実施形態では、ユーザデバイスのデジタルアシスタントは、第３の電子デバイスから受信されたコンテンツを使用してタスクを実行することを続ける。図１７Ａに示されるように、いくつかの実施例では、電話機１７２０は、サーバ１７３０等の第３の電子デバイスからのコンテンツを使用して、フライト予約のタスクを実行していることがある。例えば、ユーザは、Ｋａｙａｋ．ｃｏｍからフライトを予約するために電話機１７２０を使用していることがある。結果として、電話機１７２０は、Ｋａｙａｋ．ｃｏｍと関連付けられた、サーバ１７３０から送信されたコンテンツを受信する。いくつかの実施例では、ユーザは、電話機１７２０でフライトを予約している間に中断されることがあり、ユーザデバイス１７００を使用してフライト予約を継続することを望むことがある。いくつかの実施例では、ユーザは、単純にユーザデバイス１７００を使用することがより便利であることを理由にフライト予約を継続することを望むことがある。従って、ユーザは、「電話機からＫａｙａｋ上でフライト予約を続けてください。（Continue the flight booking on Kayak from my phone.）」等の発話入力１７５２を提供することができる。
[０３１４]
図１７Ｂを参照して、発話入力１７５２を受信すると、デジタルアシスタントは、ユーザ意図がフライト予約のタスクを実行することであると判定する。いくつかの実施例では、デジタルアシスタントは更に、コンテクスト情報に基づいて、タスクがユーザデバイス１７００において実行されると判定する。例えば、デジタルアシスタントは、発話入力１７５２がユーザデバイス１７００において受信されると判定し、従って、タスクがユーザデバイス１７００において実行されると判定する。いくつかの実施例では、デジタルアシスタントは更に、タスクがユーザデバイス１７００において受信されると判定するために、ユーザ優先度等のコンテクスト情報を使用する（例えば、ユーザデバイス１７００は、フライト予約のために過去に頻繁に使用される）。
[０３１５]
図１７Ｂに示されるように、タスクがユーザデバイス１７００において実行され、タスクを実行するためのコンテンツがリモートに記憶されているとの判定に従って、デジタルアシスタントは、タスクを実行するためのコンテンツを受信する。いくつかの実施例では、デジタルアシスタントは、コンテンツの少なくとも一部を電話機１７２０（例えば、スマートフォン）から、及び／又はコンテンツの少なくとも一部をサーバ１７３０から受信する。例えば、デジタルアシスタントは、ユーザデバイス１７００がフライト予約を続けることができるように、フライト予約の状況を表すデータを電話機１７２０から受信する。いくつかの実施例では、フライト予約の状況を表すデータは、Ｋａｙａｋ．ｃｏｍと関連付けられたサーバ等のサーバ１７３０に記憶されている。よって、デジタルアシスタントは、フライト予約を続けるためのデータをサーバ１７３０から受信する。
[０３１６]
図１７Ｂに示されるように、コンテンツを電話機１７２０及び／又はサーバ１７３０から受信した後、デジタルアシスタントは、ユーザデバイス１７００において応答を提供する。いくつかの実施例では、応答を提供することは、電話機１７２０において部分的にリモートに実行されたフライト予約のタスクを実行することを続けることを含む。例えば、デジタルアシスタントは、ユーザがＫａｙａｋ．ｃｏｍ上でフライトを予約することを続けることを可能にするユーザインタフェース１７４２を表示する。いくつかの実施例では、応答を提供することは、ユーザデバイス１７００において実行されるタスクと関連付けられたリンクを提供することを含む。例えば、デジタルアシスタントは、フライト予約の現在の状況を提供する（例えば、利用可能なフライトを示す）ユーザインタフェース１７４２（例えば、スニペット又はウィンドウ）を表示する。ユーザインタフェース１７４２はまた、フライト予約のタスクを実行することを続けるためのリンク１７４４（例えば、ウェブブラウザへのリンク）を提供する。いくつかの実施形態では、デジタルアシスタントはまた、「Ｋａｙａｋの予約がここにあります。あなたのウェブブラウザで続けますか？（Here is the booking on Kayak. Continue in your web browser?）」等の発話出力１７７２を提供する。
[０３１７]
図１７Ｂ及び１７Ｃに示されるように、例えば、ユーザがリンク１７４４を選択する場合、デジタルアシスタントは、ウェブブラウジング処理をインスタンス化し、フライト予約タスクを続けるためのユーザインタフェース１７４６（例えば、スニペット又はウィンドウ）を表示する。いくつかの実施例では、発話出力１７７２に応じて、ユーザは、ユーザがユーザデバイス１７００のウェブブラウザを使用してフライト予約を続けることを望むことを確認する「ＯＫ」等の発話入力１７５６を提供する。発話入力１７５６を受信すると、デジタルアシスタントは、ウェブブラウジング処理をインスタンス化し、フライト予約タスクを続けるためのユーザインタフェース１７４６（例えば、スニペット又はウィンドウ）を表示する。
[０３１８]
図１７Ｄを参照して、いくつかの実施形態では、ユーザデバイス１７００のデジタルアシスタントは、第１の電子デバイスにおいて部分的にリモートに実行されたタスクを実行することを続ける。いくつかの実施形態では、ユーザデバイスのデジタルアシスタントは、サーバ等の第３の電子デバイスではなく、第１の電子デバイスから受信されたコンテンツを使用してタスクを実行することを続ける。図１７Ｄに示されるように、いくつかの実施例では、第１の電子デバイス（例えば、電話機１７２０又はタブレット１７３２）は、タスクを実行していることがある。例えば、ユーザは、電子メールを構成するために電話機１７２０を使用していることがある、又は写真等のドキュメントを編集するためにタブレット１７３２を使用していることがある。いくつかの実施例では、ユーザは、電話機１７２０若しくはタブレット１７３２を使用している間に中断され、及び／又はユーザデバイス１７００を使用してタスクの実行を続けることを望む。いくつかの実施例では、ユーザは、単純にユーザデバイス１７００（例えば、より大きなスクリーン）を使用することがより便利であることを理由に、タスクの実行を続けることを望むことがある。従って、ユーザは、「ちょうど編集していたドキュメントを開いてください。（Open the document I was just editing.）」等の発話入力１７５８、又はちょうど書いていた電子メールを開いてください。（Open the email I was just drafting.）」等の発話入力１７５９を提供することができる。
[０３１９]
図１７Ｄを参照して、発話入力１７５８又は１７５９を受信すると、デジタルアシスタントは、ユーザ意図がドキュメントを編集し、又は電子メールを構成するタスクを実行することであると判定する。上記説明されたものと同様に、いくつかの実施例では、デジタルアシスタントは更に、コンテクスト情報に基づいてタスクがユーザデバイス１７００において実行されると判定し、タスクを実行するためのコンテンツがリモートに位置すると判定する。上記説明されたのと同様に、いくつかの実施例では、デジタルアシスタントは、コンテクスト情報（例えば、ユーザ特有データ）に基づいて、コンテンツがサーバではなく第１の電子デバイス（例えば、電話機１７２０又はタブレット１７３２）に対してリモートに位置すると判定する。図１７Ｄに示されるように、タスクがユーザデバイス１７００において実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、デジタルアシスタントは、タスクを実行するためのコンテンツを受信する。いくつかの実施例では、デジタルアシスタントは、コンテンツの少なくとも一部を電話機１７２０（例えば、スマートフォン）から、及び／又はコンテンツの少なくとも一部をタブレット１７３０から受信する。コンテンツを電話機１７２０及び／又はタブレット１７３２から受信した後、デジタルアシスタントは、ユーザがドキュメントを編集することを続けるためにユーザインタフェース１７４８を表示し、及び／又はユーザが電子メールを構成することを続けるためにユーザインタフェース１７４９を表示する等、ユーザデバイス１７００において応答を提供する。ユーザデバイス１７００のデジタルアシスタントはまた、第１の電子デバイスに、ユーザデバイス１７００において部分的にリモートに実行されたタスクを実行することを続けさせることができることを認識されよう。例えば、ユーザは、ユーザデバイス１７００上で電子メールを構成していることがあり、そのままにする必要があることがある。ユーザは、「電話で書いていた電子メールを開いてください。（Open the email I was drafting on my phone.）」等の発話入力を提供する。発話入力に基づいて、デジタルアシスタントは、ユーザ意図が電話機１７２０上でタスクを実行することを続けることであり、コンテンツがユーザデバイス１７００においてリモートに位置すると判定する。いくつかの実施例では、デジタルアシスタントは、上記説明されたものと同様に、タスクを実行するためのコンテンツを第１の電子デバイスに提供し、第１の電子デバイスにタスクを実行することを続けさせる。
[０３２０]
図１７Ｅを参照して、いくつかの実施形態では、タスクを実行することを続けることは、例えば、ユーザデバイス１７００及び第１の電子デバイス（例えば、電話機１７２０）を含む複数のデバイスの間で共有又は同期されたコンテクスト情報に基づいている。説明されるように、いくつかの実施例では、デジタルアシスタントは、ユーザ意図が発話入力及びコンテクスト情報に基づいていると判定する。コンテクスト情報は、ローカル又はリモートに記憶されていてもよい。例えば、図１７Ｅに示されるように、ユーザは、「ニューヨークの天気はどうですか？（What is the weather like in New York?）」等の発話入力１７６０を電話機１７２０に提供する。電話機１７２０のデジタルアシスタントは、ユーザ意図を判定し、ニューヨークでの天気情報を取得するタスクを実行し、電話機１７２０のユーザインタフェース上でニューヨークの天気情報を表示する。ユーザは続いて、「ロサンゼルスはどうですか？（How about in Los Angeles?）」等の発話入力１７６１をユーザデバイス１７００に提供する。いくつかの実施例では、ユーザデバイス１７００のデジタルアシスタントは、直接又はサーバを通じてのいずれかで電話機１７２０に記憶され、及び／又は電話機１７２０によって共有されたコンテクスト情報を使用してユーザ意図を判定する。コンテクスト情報は、例えば、電話機１７２０と関連付けられた履歴的ユーザデータ、会話状態、システム状態等を含む。履歴的ユーザデータ及び会話状態の両方は、ユーザが天気情報について問い合わせていたことを示す。従って、ユーザデバイス１７００のデジタルアシスタントは、ユーザ意図がロサンゼルスでの天気情報を取得することであると判定する。ユーザ意図に基づいて、ユーザデバイス１７００のデジタルアシスタントは、天気情報を、例えば、サーバから受信し、ユーザデバイス１７１０上で天気情報を表示するユーザインタフェース１７５１を提供する。
６．デジタルアシスタントの例示的な機能−音声対応システム構成管理
[０３２１]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄは、デジタルアシスタントによって、システム構成情報を提供し、ユーザ要求に応じてタスクを実行する機能性を示す。いくつかの実施例では、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）は、様々な実施例に従ってユーザデバイスによって実装されてもよい。いくつかの実施例では、ユーザデバイス、サーバ（例えば、サーバ１０８）、又はそれらの組み合わせは、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）を実装してもよい。ユーザデバイスは、例えば、デバイス１０４、２００、又は４００を使用して実装される。いくつかの実施例では、ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、又はタブレットコンピュータである。ユーザデバイスは、デスクトップ環境等のマルチタスキング環境で動作する。
[０３２２]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄを参照して、いくつかの実施例では、ユーザデバイスは、様々なユーザインタフェース（例えば、ユーザインタフェース１８１０及び１９１０）を提供する。上記説明されたものと同様に、ユーザデバイスは、ディスプレイ上で様々なユーザインタフェースを表示し、様々なユーザインタフェースによって、ユーザは、１つ以上の処理（例えば、システム構成処理）をインスタンス化することが可能になる。
[０３２３]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄに示されるように、上記説明されたものと同様に、ユーザデバイスは、ユーザインタフェース（例えば、ユーザインタフェース１８１０及び１９１０）上で、デジタルアシスタントサービスのインスタンス化を促進するアフォーダンス（例えば、アフォーダンス１８４０及び１９４０）を表示する。
[０３２４]
上記説明されたものと同様に、いくつかの実施例では、デジタルアシスタントは、所定のフレーズを受信したことに応じてインスタンス化される。いくつかの実施例では、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じてインスタンス化される。
[０３２５]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄを参照して、いくつかの実施形態では、デジタルアシスタントは、発話入力１８５２、１８５４、１８５６、１８５８、１８６０、１８６２、１９５２、１９５４、１９５６、及び１９５８等の１つ以上の発話入力をユーザから受信する。ユーザは、ユーザデバイスの１つ以上のシステム構成を管理する目的で、様々な発話入力を提供する。システム構成は、音声構成、日付及び時間構成、聞き取り構成、表示構成、入力デバイス構成、通知構成、印刷構成、セキュリティ構成、バックアップ構成、アプリケーション構成、又はユーザインタフェース構成等を含むことができる。音声構成を管理するために、発話入力は、「マイクロフォンの音量を下げてください。（Mute my microphone.）」、「ボリュームを上げてください。（Turn the volume all the up.）」、又は「ボリュームを１０％上げてください。（Turn the volume up 10%.）」等を含んでもよい。日付及び時間構成を管理するために、発話入力は、「時間帯は何ですか？（What is my time zone?）」、「時間帯をクパーチノの時間に変えてください。（Change my time zone to Cupertino Time.）」、又は「ロンドンの時間帯についてのクロックを追加してください。（Add a clock for London time zone.）」等を含んでもよい。聞き取り構成を管理するために、発話入力は、「聞き取りをターンオンしてください。（Turn on dictation.）」、「聞き取りをターンオフしてください。（Turn off dictation.）」、「中国語で聞き取りしてください。（Dictation in Chinese.）」、又は「高度なコマンドを有効にしてください。（Enable advanced commands.）」等を含んでもよい。表示構成を管理するために、発話入力は、「スクリーンをより明るくしてください。（Make my screen brighter.）」、「コントラストを２０％上げてください。（Increase the contrast my 20%.）」、「スクリーンを第２のモニタに拡張してください。（Extend my screen to a second monitor.）」、又は「ディスプレイを映してください。（Mirror my display.）」等を含んでもよい。入力デバイス構成を管理するために、発話入力は、「Ｂｌｕｅｔｏｏｔｈキーボードを接続してください。（Connect my Bluetooth keyboard.）」又は「マウスポインタをより大きくしてください。（Make my mouse pointer bigger.）」等を含んでもよい。ネットワーク構成を管理するために、発話入力は、「Ｗｉ−Ｆｉをターンオンしてください。（Turn Wi-Fi on.）」、「Ｗｉ−Ｆｉをターンオフしてください。（Turn Wi-Fi off.）」、「どのＷｉ−Ｆｉネットワークを接続しますか（Which Wi-Fi network am I connected to?）」、又は「電話に接続しますか（Am I connected to my phone?）」等を含んでもよい。通知構成を管理するために、発話入力は、「応答不可をターンオンしてください。（Turn on Do not Disturb.）」、「それらの通知を見せることを停止してください。（Stop showing me these notifications.）」、「新たな電子メールのみを見せてください。（Show only new emails.）」、又は「テキストメッセージについてのアラートがありません。（No alert for text message.）」等を含んでもよい。印刷構成を管理するために、発話入力は、「プリンタのインクが十分にありますか？（Does my printer have enough ink?）」又は「プリンタが接続されていますか？（Is my printer connected?）」等を含んでもよい。セキュリティ構成を管理するために、発話入力は、「ジョンのアカウントについてのパスワードを変えてください。（Change password for John’s account.）」、「ファイアウォールをターンオンしてください。（Turn on firewall.）」、又は「クッキーを無効にしてください。（Disable cookie.）」等を含んでもよい。バックアップ構成を管理するために、発話入力は、「ここでバックアップを実行してください。（Run backup now.）」、「１月に１回の間隔でバックアップを設定してください。（Set backup interval to once a month.）」、又は「去年のバックアップを７月４日に戻してください。（Recover the July 4 backup of last year.）」等を含んでもよい。アプリケーション構成を管理するために、発話入力は、「デフォルトのウェブブラウザをＳａｆａｒｉに変えてください。（Change my default web browser to Safari.）」又は「サインインする都度、メッセージアプリケーションに自動的にログインしてください。（Automatically log in to Messages application each time I sign in.）」等を含んでもよい。ユーザインタフェース構成を管理するために、発話入力は、「デスクトップのウォールペーパを変えてください。（Change my desktop wallpapers.）」、「ドックを隠してください。（Hide the dock.）」、又は「Ｅｖｅｒｎｏｔｅをドックに追加してください。（Add Evernote to the Dock.）」等を含んでもよい。システム構成を管理するために発話入力を使用する様々な実施例は、以下で更に詳細に説明される。
[０３２６]
上記説明されたものと同様に、いくつかの実施例では、デジタルアシスタントは、ユーザデバイスにおいてユーザから直接、又はユーザデバイスに通信可能に接続された別の電子デバイスを通じて間接的に発話入力を受信する。
[０３２７]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄを参照して、いくつかの実施形態では、デジタルアシスタントは、ユーザデバイスと関連付けられたコンテクスト情報を特定する。コンテクスト情報は、例えば、ユーザ特有データ、センサデータ、及びユーザデバイス構成データを含む。いくつかの実施例では、ユーザ特有データは、ユーザ優先度又はユーザデバイスとのユーザの対話の履歴等を示すログ情報を含む。例えば、ユーザ特有データは、ユーザのシステムがバックアップされた最後の時を示し、いくつかのＷｉ−Ｆｉネットワークが利用可能であるときの特定のＷｉ−Ｆｉネットワのユーザの優先度、等を示す。いくつかの実施例では、センサデータは、センサによって収集された様々なデータを含む。例えば、センサデータは、プリンタインクレベルセンサによって収集されたプリンタインクレベルを示す。いくつかの実施例では、ユーザデバイス構成データは、現在及び履歴的なデバイス構成を含む。例えば、ユーザデバイス構成データは、ユーザデバイスが現在Ｂｌｕｅｔｏｏｔｈ接続を使用して１つ以上の電子デバイスに通信可能に接続されていることを示す。電子デバイスは、例えば、スマートフォン、セットトップボックス、又はタブレット等を含んでもよい。以下で更に詳細に説明されるように、ユーザデバイスは、ユーザ意図を判定することができ、及び／又はコンテクスト情報を使用して１つ以上の処理を実行することができる。
[０３２８]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄを参照して、上記説明されたものと同様に、発話入力を受信したことに応じて、デジタルアシスタントは、発話入力に基づいてユーザ意図を判定する。デジタルアシスタントは、自然言語処理の結果に基づいてユーザ意図を判定する。例えば、デジタルアシスタントは、ユーザ入力に基づいて実施可能な意図を特定し、特定された実施可能な意図を表すために構造化されたクエリを生成する。構造化されたクエリは、実施可能な意図と関連付けられた１つ以上のパラメータを含む。１つ以上のパラメータは、実施可能な意図に基づいてタスクの実行を促進するために使用されてもよい。例えば、「ボリュームを１０％上げてください。（Turn the volume up by 10%.）」等の発話入力に基づいて、デジタルアシスタントは、実施可能な意図がシステムボリュームを調節することであると判定し、パラメータは、ボリュームを現在のボリュームレベルよりも１０％高く設定することを含む。いくつかの実施形態では、デジタルアシスタントはまた、発話入力及びコンテクスト情報に基づいてユーザ意図を判定する。例えば、コンテクスト情報は、ユーザデバイスの現在のボリュームが５０％にあることを示してもよい。結果として、「ボリュームを１０％上げてください。」等の発話入力を受信すると、デジタルアシスタントは、ユーザ意図がボリュームレベルを６０％に上げることであると判定する。発話入力及びコンテクスト情報に基づいてユーザ意図を判定することは、様々な実施例において以下で更に詳細に説明される。
[０３２９]
いくつかの実施形態では、デジタルアシスタントは更に、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定する。判定の様々な実施例は、図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄに関して以下で更に詳細に提供される。
[０３３０]
図１８Ａを参照して、いくつかの実施例では、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１８３２を表示する。例えば、タスクは、ミーティングの招待を構成することを含む。ミーティングの招待を構成する際に、ユーザは、ミーティングの招待を適切に構成することができるように、ユーザデバイスの時間帯を知ることを望むことがある。いくつかの実施例では、ユーザは、アフォーダンス１８４０又は１８４１によって表されるデジタルアシスタントを呼び出すために発話入力１８５２を提供する。発話入力１８５２は、例えば、「はい、アシスタント。」を含む。ユーザデバイスは、発話入力１８５２を受信し、それに応じて、デジタルアシスタントが後続の発話入力をアクティブに監視するように、デジタルアシスタントを呼び出す。いくつかの実施例では、デジタルアシスタントは、それが呼び出されることを示す発話出力１８７２を提供する。例えば、発話出力１８７２は、「どうぞ、聞いていますよ。（Go ahead, I am listening.）」を含む。
[０３３１]
図１８Ｂを参照して、いくつかの実施例では、ユーザは、「時間帯は何ですか？（What is my time zone?）」等の発話入力１８５４を提供する。デジタルアシスタントは、ユーザ意図がユーザデバイスの時間帯を取得することであると判定する。デジタルアシスタントは更に、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定する。いくつかの実施例では、ユーザ意図が情報の要求を示すか又タスクを実行する要求を示すかを判定することは、ユーザ意図がシステム構成を変えることであるか否かを判定することを含む。例えば、ユーザ意図がユーザデバイスの時間帯を取得することであると判定することに基づいて、デジタルアシスタントは、システム構成が変わらないと判定する。結果として、デジタルアシスタントは、ユーザ意図が情報の要求を示すと判定する。
[０３３２]
いくつかの実施形態では、ユーザ意図が情報の要求を示すとの判定に従って、デジタルアシスタントは、情報の要求への発話応答を提供する。いくつかの実施例では、デジタルアシスタントは、情報の要求に従って１つ以上のシステム構成の状況を取得し、１つ以上のシステム構成の状況に従って発話応答を提供する。図１８Ｂに示されるように、デジタルアシスタントは、ユーザ意図がユーザデバイスの時間帯を取得することであると判定し、このユーザ意図が情報の要求を示す。従って、デジタルアシスタントは、時間帯状況をユーザデバイスの時間及び日付構成から取得する。時間帯状況は、例えば、ユーザデバイスが太平洋時間帯に設定されることを示す。時間帯状況に基づいて、デジタルアシスタントは、「あなたのコンピュータが太平洋標準時間に設定されます。（Your computer is set to Pacific Standard Time.）」等の発話出力１８７４を提供する。いくつかの実施例では、デジタルアシスタントは更に、情報の要求と関連付けられたリンクを提供する。図１８Ｂに示されるように、デジタルアシスタントは、ユーザがデータ及び時間構成を管理することを可能にする、リンク１８３４を提供する。いくつかの実施例では、ユーザは、リンク１８３４を選択するための入力デバイス（例えば、マウス）を使用する。リンク１８３４のユーザの選択を受信すると、デジタルアシスタントは、日付及び時間構成処理をインスタンス化し、関連付けられた日付及び時間構成ユーザインタフェースを表示する。よって、ユーザは、日付及び時間構成を更に管理するために日付及び時間構成ユーザインタフェースを使用することができる。
[０３３３]
図１８Ｃを参照して、いくつかの実施例では、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１８３６を表示する。例えば、タスクは、ビデオ（例えば、ＡＢＣ．ｍｏｖ）を再生することを含む。ビデオを鑑賞する経験を高めるために、ユーザは、スピーカを使用することを望むことがあり、Ｂｌｕｅｔｏｏｔｈスピーカが接続されているかを知ることを望むことがある。いくつかの実施例では、ユーザは、「Ｂｌｕｅｔｏｏｔｈスピーカが接続されていますか？（Is my Bluetooth speaker connected?）」等の発話入力１８５６を提供する。デジタルアシスタントは、ユーザ意図がＢｌｕｅｔｏｏｔｈスピーカ１８２０の接続状況を取得することであると判定する。デジタルアシスタントは更に、Ｂｌｕｅｔｏｏｔｈスピーカ１８２０の接続状況を取得することがいずれのシステム構成も変えず、従って、情報の要求であると判定する。
[０３３４]
いくつかの実施形態では、ユーザ意図が情報の要求を示すとの判定に従って、デジタルアシスタントは、情報の要求に従ってシステム構成の状況を取得し、システム構成の状況に従って発話応答を提供する。図１８Ｃに示されるように、デジタルアシスタントは、接続状況をユーザデバイスのネットワーク構成から取得する。接続状況は、例えば、ユーザデバイス１８００がＢｌｕｅｔｏｏｔｈスピーカ１８２０に接続されていないことを示す。接続状況に基づいて、デジタルアシスタントは、「いいえ、接続されていません、ネットワーク構成におけるＢｌｕｅｔｏｏｔｈデバイスをチェックしてください。（No, it is not connected, you can check Bluetooth devices in the network configurations.）」等の発話出力１８７６を提供する。いくつかの実施例では、デジタルアシスタントは更に、情報の要求と関連付けられたリンクを提供する。図１８Ｃに示されるように、デジタルアシスタントは、ユーザがネットワーク構成を更に管理することを可能にする、リンク１８３８を提供する。いくつかの実施例では、ユーザは、リンク１８３８を選択するための入力デバイス（例えば、マウス）を使用する。リンク１８３８のユーザの選択を受信すると、デジタルアシスタントは、ネットワーク構成処理をインスタンス化し、関連付けられたネットワーク構成ユーザインタフェースを表示する。よって、ユーザは、ネットワーク構成を更に管理するために、ネットワーク構成ユーザインタフェースを使用することができる。
[０３３５]
図１８Ｄを参照して、いくつかの実施例では、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１８４２を表示する。例えば、タスクは、ドキュメントを参照すること及び／又は編集することを含む。ユーザは、ドキュメントをプリントアウトすることを望むことがあり、プリンタ１８３０が印刷ジョブのために十分なインクを有しているかを知ることを望むことがある。いくつかの実施例では、ユーザは、「プリンタが十分なインクを有していますか？（Does my printer have enough ink?）」等の発話入力１８５８を提供する。デジタルアシスタントは、ユーザ意図がプリンタのプリンタインクレベル状況を取得することであると判定する。デジタルアシスタントは更に、プリンタレベル状況を取得することがいずれのシステム構成を変えず、従って、情報の要求であると判定する。
[０３３６]
いくつかの実施形態では、ユーザ意図が情報の要求を示すとの判定に従って、デジタルアシスタントは、情報の要求に従ってシステム構成の状況を取得し、システム構成の状況に従って発話応答を提供する。図１８Ｄに示されるように、デジタルアシスタントは、プリンタインクレベル状況をユーザデバイスの印刷構成から取得する。プリンタインクレベル状況は、例えば、プリンタ１８３０のプリンタインクレベルが５０％にあることを示す。接続状況に基づいて、デジタルアシスタントは、「はい、あなたのプリンタはインクが十分にあります。また、プリンタ構成においてプリンタ供給レベルを探してください。（Yes, your printer has enough ink. You can also look up printer supply levels in the printer configurations.）」等の発話出力１８７８を提供する。いくつかの実施例では、デジタルアシスタントは更に、情報の要求と関連付けられたリンクを提供する。図１８Ｄに示されるように、デジタルアシスタントは、ユーザがプリンタ構成を更に管理することを可能にする、リンク１８４４を提供する。いくつかの実施例では、ユーザは、リンク１８４４を選択するための入力デバイス（例えば、マウス）を使用する。リンクのユーザの選択を受信すると、デジタルアシスタントは、プリンタ構成処理をインスタンス化し、関連付けられたプリンタ構成ユーザインタフェースを表示する。よって、ユーザは、プリンタ構成を更に管理するためにプリンタ構成ユーザインタフェースを使用することができる。
[０３３７]
図１８Ｅを参照して、いくつかの実施例では、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１８４６を表示する。例えば、タスクは、ウェブブラウザ（例えば、Ｓａｆａｒｉ）を使用してインターネットをブラウジングすることを含む。インターネットをブラウジングするために、ユーザは、利用可能なＷｉ−Ｆｉネットワークを知ることを望むことがあり、接続する１つのＷｉ−Ｆｉネットワークを選択することを望むことがある。いくつかの実施例では、ユーザは、「どのＷｉ−Ｆｉネットワークが利用可能ですか？（Which Wi-Fi networks are available?）」等の発話入力１８６０を提供する。デジタルアシスタントは、ユーザ意図が利用可能なＷｉ−Ｆｉネットワークのリストを取得することであると判定する。デジタルアシスタントは更に、利用可能なＷｉ−Ｆｉネットワークのリストを取得することがいずれのシステム構成を変えず、従って、情報の要求であると判定する。
[０３３８]
いくつかの実施形態では、ユーザ意図が情報の要求を示すとの判定に従って、デジタルアシスタントは、情報の要求に従ってシステム構成の状況を取得し、システム構成の状況に従って発話応答を提供する。図１８Ｅに示されるように、デジタルアシスタントは、現在利用可能なＷｉ−Ｆｉネットワークの状況をユーザデバイスのネットワーク構成から取得する。現在利用可能なＷｉ−Ｆｉネットワークの状況は、例えば、Ｗｉ−Ｆｉネットワーク１、Ｗｉ−Ｆｉネットワーク２、及びＷｉ−Ｆｉネットワーク３が利用可能であることを示す。いくつかの実施例では、状況は更に、Ｗｉ−Ｆｉネットワークの各々の信号強度を示す。デジタルアシスタントは、状況に従って情報を提供するユーザインタフェース１８４５を表示する。例えば、ユーザインタフェース１８４５は、利用可能なＷｉ−Ｆｉネットワークのリストを提供する。デジタルアシスタントはまた、「利用可能なＷｉ−Ｆｉネットワークのリストがここにあります。（Here is a list of available Wi-Fi networks.）」等の発話出力１８８０を提供する。いくつかの実施例では、デジタルアシスタントは更に、情報の要求と関連付けられたリンクを提供する。図１８Ｅに示されるように、デジタルアシスタントは、ユーザがネットワーク構成を更に管理することを可能にする、リンク１８４７を提供する。いくつかの実施例では、ユーザは、リンク１８４７を選択するための入力デバイス（例えば、マウス）を使用する。リンク１８４７のユーザの選択を受信すると、デジタルアシスタントは、ネットワーク構成処理をインスタンス化し、関連付けられたネットワーク構成ユーザインタフェースを表示する。よって、ユーザは、構成を更に管理するためにネットワーク構成ユーザインタフェースを使用することができる。
[０３３９]
図１８Ｆを参照して、いくつかの実施例では、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１８９０を表示する。例えば、タスクは、ミーティングの課題を準備することを含む。ミーティング課題を準備する際に、ユーザは、ミーティングについての日付及び時間を発見することを望むことがある。いくつかの実施例では、ユーザは、「朝に本日の次のミーティングについてのカレンダの時間を発見してください。（Find a time on my calendar for next Tuesday’s meeting in the morning.）」等の発話入力１８６２を提供する。デジタルアシスタントは、ユーザ意図が火曜日の朝についてユーザのカレンダの利用可能な時間帯を発見することであると判定する。デジタルアシスタントは更に、時間帯を発見することがいずれのシステム構成を変えず、従って、情報の要求であると判定する。
[０３４０]
いくつかの実施形態では、ユーザ意図が情報の要求を示すとの判定に従って、デジタルアシスタントは、情報の要求に従ってシステム構成の状況を取得し、システム構成の状況に従って発話応答を提供する。図１８Ｆに示されるように、デジタルアシスタントは、ユーザのカレンダの状況をカレンダ構成から取得する。ユーザのカレンダの状況は、例えば、火曜日の午前９時又は午前１１時がいまだ利用可能であることを示す。デジタルアシスタントは、状況に従って情報を提供するユーザインタフェース１８９１を表示する。例えば、ユーザインタフェース１８９１は、ユーザのカレンダをユーザが要求した日付及び時間と近接して提供する。いくつかの実施例では、デジタルアシスタントはまた、「火曜日の午前９時又は午前１１時が利用可能であるようです。（It looks like Tuesday 9a.m. or 11a.m is available.）」等の発話出力１８８２を提供する。いくつかの実施例では、デジタルアシスタントは更に、情報の要求と関連付けられたリンクを提供する。図１８Ｆに示されるように、デジタルアシスタントは、ユーザがカレンダ構成を更に管理することを可能にする、リンク１８４９を提供する。いくつかの実施例では、ユーザは、リンク１８４９を選択するための入力デバイス（例えば、マウス）を使用する。リンク１８４９のユーザの選択を受信すると、デジタルアシスタントは、カレンダ構成処理をインスタンス化し、関連付けられたカレンダ構成ユーザインタフェースを表示する。よって、ユーザは、構成を更に管理するためにカレンダ構成ユーザインタフェースを使用することができる。
[０３４１]
図１９Ａを参照して、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１９３２を表示する。例えば、タスクは、ビデオ（例えば、ＡＢＣ．ｍｏｖ）を再生することを含む。ビデオを再生している間、ユーザは、ボリュームを上げることを望むことがある。いくつかの実施例では、ユーザは、「ボリュームをかなり上げてください。（Turn the volume all the way up.）」等の発話入力１９５２を提供する。デジタルアシスタントは、ユーザ意図がボリュームをその最大レベルまで上げることであると判定する。デジタルアシスタントは更に、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定する。例えば、ユーザ意図がユーザデバイスのボリュームを上げることであると判定することに基づいて、デジタルアシスタントは、音声構成が変わり、従って、ユーザ意図がタスクを実行する要求を示すと判定する。
[０３４２]
いくつかの実施形態では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、デジタルアシスタントは、タスクを実行するユーザデバイスと関連付けられた処理をインスタンス化する。処理をインスタンス化することは、処理がまだ実行中でない場合に処理を呼び出すことを含む。処理の少なくとも１つのインスタンスが実行中である場合、処理をインスタンス化することは、処理の既存のインスタンスを実行すること、又は処理の新たなインスタンスを生成することを含む。例えば、音声構成処理をインスタンス化することは、音声構成処理を呼び出すこと、既存の音声構成処理を使用すること、又は音声構成処理の新たなインスタンスを生成することを含む。いくつかの実施例では、処理をインスタンス化することは、処理を使用してタスクを実行することを含む。例えば、図１９Ａに示されるように、ボリュームをその最大レベルまで上げるユーザ意図に従って、デジタルアシスタントは、ボリュームをその最大レベルに設定する音声構成処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは更に、「ＯＫ、ボリュームをかなり高く設定しました。（OK, I turned the volume all the way up.）」等の発話出力１９７２を提供する。
[０３４３]
図１９Ｂを参照して、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１９３４を表示する。例えば、タスクは、ドキュメントを参照すること、及び編集することを含む。ユーザは、目の保護のためにスクリーンの輝度を下げることを望むことがある。いくつかの実施例では、ユーザは、「スクリーンの輝度を１０％低く設定してください。（Set my screen brightness to 10% lower.）」等の発話入力１９５４を提供する。デジタルアシスタントは、発話入力１９５４及びコンテクスト情報に基づいてユーザ意図を判定する。例えば、コンテクスト情報は、現在の輝度構成が９０％にあることを示す。結果として、デジタルアシスタントは、ユーザ意図が輝度レベルを９０％から８０％に下げることであると判定する。デジタルアシスタントは更に、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定する。例えば、ユーザ意図がスクリーン輝度を８０％に変更することであると判定することに基づいて、デジタルアシスタントは、表示構成が変わり、従って、ユーザ意図がタスクを実行する要求を示すと判定する。
[０３４４]
いくつかの実施形態では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、デジタルアシスタントは、タスクを実行する処理をインスタンス化する。例えば、図１９Ｂに示されるように、輝度レベルを変更するユーザ意図に従って、デジタルアシスタントは、輝度レベルを８０％に下げる表示構成処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは更に、「ＯＫ、あなたのスクリーン輝度を８０％にしました。（OK, I turned your screen brightness to 80%.）」等の発話出力１９７４を提供する。いくつかの実施例では、図１９Ｂに示されるように、デジタルアシスタントは、ユーザがタスクを実行した結果を操作することを可能にするアフォーダンス１９３６を提供する。例えば、アフォーダンス１９３６は、ユーザが輝度レベルを更に変更することを可能にするスライドバーとすることができる。
[０３４５]
図１９Ｃを参照して、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１９３８を表示する。例えば、タスクは、１つ以上の通知を提供することを含む。通知は、電子メールのアラート、メッセージ、又はリマインダ等を含むことができる。いくつかの実施例では、通知は、ユーザインタフェース１９３８において提供される。通知は、ユーザにリアルタイムで、又はそれがユーザデバイスにおいて利用可能である直後にユーザに表示又は提供されてもよい。例えば、通知は、ユーザデバイスがそれを受信した直後にユーザインタフェース１９３８及び／又はユーザインタフェース１９１０に現れる。時に、ユーザは、重要なタスク（例えば、ドキュメントを編集すること）を実行していることがあり、通知によって邪魔されたくないことがある。いくつかの実施例では、ユーザは、「到着する電子メールについて通知しないでください。（Don’t notify me about incoming emails.）」等の発話入力１９５６を提供する。デジタルアシスタントは、ユーザ意図が電子メールのアラートをターンオフすることであると判定する。ユーザ意図が到着する電子メールのアラートをターンオフすることであると判定することに基づいて、デジタルアシスタントは、通知構成が変わり、従って、ユーザ意図がタスクを実行する要求を示すと判定する。
[０３４６]
いくつかの実施形態では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、デジタルアシスタントは、タスクを実行する処理をインスタンス化する。例えば、図１９Ｃに示されるように、ユーザ意図に従って、デジタルアシスタントは、電子メールのアラートをターンオフする通知構成処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは更に、「ＯＫ、メールについての通知をターンオフします。（OK, I turned off notifications for mail.）」等の発話出力１９７６を提供する。いくつかの実施例では、図１９Ｃに示されるように、デジタルアシスタントは、ユーザがタスクを実行した結果を操作することを可能にするユーザインタフェース１９４２（例えば、スニペット又はウィンドウ）を提供する。例えば、ユーザインタフェース１９４２は、アフォーダンス１９４３（例えば、中止ボタン）を提供する。ユーザが電子メールの通知を受信することを続けることを望む場合、例えば、ユーザは、電子メールの通知を再度ターンオンするためのアフォーダンス１９４３を選択することができる。いくつかの実施例では、ユーザはまた、電子メールの通知をターンオンするために、「到着する電子メールを通知してください。（Notify me of incoming emails.）」等の別の発話入力を提供することができる。
[０３４７]
図１９Ｄを参照して、いくつかの実施形態では、デジタルアシスタントは、ユーザの発話入力に基づいてタスクを完了することが可能でないことがあり、よって、ユーザがタスクを実行することを可能にするユーザインタフェースを提供することができる。図１９Ｄに示されるように、いくつかの実施例では、ユーザは、「スクリーンセーバ上でカスタムメッセージを見せてください。（Show a custom message on my screen saver.）」等の発話入力１９５８を提供する。デジタルアシスタントは、ユーザ意図がカスタムメッセージを示すためにスクリーンセーバ設定を変更することであると判定する。デジタルアシスタントは更に、ユーザ意図が表示構成を変えることであり、従って、ユーザ意図がタスクを実行する要求を示すと判定する。
[０３４８]
いくつかの実施形態では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、デジタルアシスタントは、タスクを実行するユーザデバイスと関連付けられた処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントがユーザ意図に基づいてタスクを完了することができない場合、それは、ユーザがタスクを実行することを可能にするユーザインタフェースを提供する。例えば、発話入力１９５８に基づいて、デジタルアシスタントは、スクリーンセーバ上に示されるカスタムメッセージの内容を判定することが可能でないことがあり、従って、カスタムメッセージを表示するタスクを完了することができない。図１９Ｄに示されるように、いくつかの実施例では、デジタルアシスタントは、表示構成処理をインスタンス化し、ユーザがスクリーンセーバ設定を手動で変更することを可能にするためのユーザインタフェース１９４６（例えば、スニペット又はウィンドウ）を提供する。別の実施例として、デジタルアシスタントは、ユーザがタスクを実行することを可能にするリンク１９４４（例えば、表示構成へのリンク）を提供する。ユーザは、マウス、指、又はスタイラス等の入力デバイスを使用することによって、リンク１９４４を選択する。ユーザの選択を受信すると、デジタルアシスタントは、表示構成処理をインスタンス化し、ユーザがスクリーンセーバ設定を変更することを可能にするためのユーザインタフェース１９４６を表示する。いくつかの実施例では、デジタルアシスタントは更に、「スクリーンセーバ構成でスクリーンセーバのオプションを利用することができます。（You can explore screen saver options in the screen saver configurations.）」等の発話出力１９７８を提供する。
７．デジタルアシスタントを動作させる処理−インテリジェント検索及びオブジェクト管理
[０３４９]
図２０Ａ〜２０Ｇは、いくつかの実施形態に従った、デジタルアシスタントを動作させる例示的な処理２０００のフローチャートを示す。処理２０００は、１つ以上のデバイス１０４、１０８、２００、４００、又は６００を使用して実行されてもよい（図１、２Ａ、４、又は６Ａ〜Ｂ）。処理２０００における動作は、任意選択的に組み合わされ若しくは分離され、並びに／又はいくつかの動作の順序は任意選択的に変更される。
[０３５０]
図２０Ａを参照して、ブロック２００２において、第１の発話入力を受信する前に、デジタルアシスタントサービスを呼び出すためのアフォーダンスは、ユーザデバイスと関連付けられたディスプレイ上で表示される。ブロック２００３において、デジタルアシスタントは、所定のフレーズを受信したことに応じて呼び出される。ブロック２００４において、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じて呼び出される。
[０３５１]
ブロック２００６において、第１の発話入力は、ユーザから受信される。ブロック２００８において、ユーザデバイスと関連付けられたコンテクスト情報が特定される。ブロック２００９において、コンテクスト情報は、ユーザ特有データ、１つ以上のオブジェクトと関連付けられたメタデータ、センサデータ、及びユーザデバイス構成データのうちの少なくとも１つを含む。
[０３５２]
ブロック２０１０において、ユーザ意図は、第１の発話入力及びコンテクスト情報に基づいて判定される。ブロック２０１２において、ユーザ意図を判定するために、１つ以上の実施可能な意図が判定される。ブロック２０１３において、実施可能な意図と関連付けられた１つ以上のパラメータが判定される。
[０３５３]
図２０Ｂを参照して、ブロック２０１５において、ユーザ意図が、検索処理を使用してタスクを実行することであるか又はオブジェクト管理処理を使用してタスクを実行することであるかが判定される。検索処理は、ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されており、オブジェクト管理処理は、ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている。ブロック２０１６において、発話入力が検索処理又はオブジェクト管理処理を表す１つ以上のキーワードを含むかが判定される。ブロック２０１８において、タスクが検索することと関連付けられるかが判定される。ブロック２０２０において、タスクが検索することと関連付けられるとの判定に従って、タスクを実行することが検索処理を必要とするかが判定される。ブロック２０２１において、タスクを実行することが検索処理を必要としないとの判定に従って、検索処理又はオブジェクト管理処理を選択するための発話要求が出力され、第２の発話入力がユーザから受信される。第２の発話入力は、検索処理又はオブジェクト管理処理の選択を示す。
[０３５４]
ブロック２０２２において、タスクを実行することが検索処理を必要としないとの判定に従って、所定の構成に基づいて、検索処理又はオブジェクト管理処理を使用してタスクが実行されるかが判定される。
[０３５５]
図２０Ｃを参照して、ブロック２０２４において、タスクが検索することと関連付けられていないとの判定に従って、タスクが少なくとも１つのオブジェクトを管理することと関連付けられるかが判定される。ブロック２０２５において、タスクが少なくとも１つのオブジェクトを管理することと関連付けられていないとの判定に従って、ユーザデバイスに利用可能な第４の処理を使用してタスクを実行することができるか否かを判定すること、及びユーザとのダイアログを開始することのうちの少なくとも１つが実行される。
[０３５６]
ブロック２０２６において、ユーザ意図が検索処理を使用してタスクを実行することであるとの判定に従って、検索処理を使用してタスクが実行される。ブロック２０２８において、検索処理を使用して少なくとも１つのオブジェクトが検索される。ブロック２０２９において、少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む。ブロック２０３０において、ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含む。ブロック２０３１において、ファイルは、ユーザデバイスの内部又は外部に記憶されている。ブロック２０３２において、フォルダ又はファイルのうちの少なくとも１つを検索することは、フォルダ又はファイルと関連付けられたメタデータに基づいている。ブロック２０３４において、少なくとも１つのオブジェクトは、通信を含む。ブロック２０３５において、通信は、電子メール、メッセージ、又はボイスメールのうちの少なくとも１つを含む。ブロック２０３６において、通信と関連付けられたメタデータが検索される。
[０３５７]
図２０Ｄを参照して、ブロック２０３７において、少なくとも１つのオブジェクトは、連絡先又はカレンダのうちの少なくとも１つを含む。ブロック２０３８において、少なくとも１つのオブジェクトは、アプリケーションを含む。ブロック２０３９において、少なくとも１つのオブジェクトは、オンライン情報のソースを含む。
[０３５８]
ブロック２０４０において、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、タスクは、オブジェクト管理処理を使用して実行される。ブロック２０４２において、タスクが検索することと関連付けられ、少なくとも１つのオブジェクトは、オブジェクト管理処理を使用して検索される。ブロック２０４３において、少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む。ブロック２０４４において、ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含む。ブロック２０４５において、ファイルは、ユーザデバイスの内部又は外部に記憶されている。ブロック２０４６において、フォルダ又はファイルのうちの少なくとも１つを検索することは、フォルダ又はファイルと関連付けられたメタデータに基づいている。
[０３５９]
ブロック２０４８において、オブジェクト管理処理がインスタンス化される。オブジェクト管理処理をインスタンス化することは、オブジェクト管理処理を呼び出すこと、オブジェクト管理処理の新たなインスタンスを生成すること、又はオブジェクト管理処理の既存のインスタンスを生成することを含む。
[０３６０]
図２０Ｅを参照して、ブロック２０４９において、少なくとも１つのオブジェクトが作成される。ブロック２０５０において、少なくとも１つのオブジェクトが記憶される。ブロック２０５１において、少なくとも１つのオブジェクトが圧縮される。ブロック２０５２において、少なくとも１つのオブジェクトが第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に移動される。ブロック２０５３において、少なくとも１つのオブジェクトが第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に複製される。ブロック２０５４において、物理又は仮想記憶装置に記憶された少なくとも１つのオブジェクトが削除される。ブロック２０５５において、物理又は仮想記憶装置に記憶された少なくとも１つのオブジェクトが復元される。ブロック２０５６において、少なくとも１つのオブジェクトがマーク付けされる。少なくとも１つのオブジェクトをマーク付けすることは、可視的である、又は少なくとも１つのオブジェクトのメタデータと関連付けられていることのうちの少なくとも１つである。ブロック２０５７において、少なくとも１つのオブジェクトは、バックアップのための所定の期間に従ってバックアップされる。ブロック２０５８において、少なくとも１つのオブジェクトは、ユーザデバイスに通信可能に接続された１つ以上の電子デバイスの間で共有される。
[０３６１]
図２０Ｆを参照して、ブロック２０６０において、応答は、検索処理又はオブジェクト管理処理を使用して、タスクを実行した結果に基づいて提供される。ブロック２０６１において、検索処理又はオブジェクト管理処理を使用してタスクを実行した結果を提供する第１のユーザインタフェースが表示される。ブロック２０６２において、検索処理を使用してタスクを実行した結果と関連付けられたリンクが表示される。ブロック２０６３において、検索処理又はオブジェクト管理処理を使用してタスクを実行した結果に従って、発話出力が提供される。
[０３６２]
ブロック２０６４において、ユーザが検索処理又はオブジェクト管理処理を使用してタスクを実行した結果を操作することを可能にするアフォーダンスが提供される。ブロック２０６５において、タスクを実行した結果を使用して動作する第３の処理がインスタンス化される。
[０３６３]
図２０Ｆを参照して、ブロック２０６６において、信用レベルが判定される。ブロック２０６７において、信用レベルは、第１の発話入力及びユーザデバイスと関連付けられたコンテクスト情報に基づいてユーザ意図を判定する精度を表す。ブロック２０６８において、信用レベルは、ユーザ意図が検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する精度を表す。
[０３６４]
図２０Ｇを参照して、ブロック２０６９において、信用レベルは、検索処理又はオブジェクト管理処理を使用してタスクを実行する精度を表す。
[０３６５]
ブロック２０７０において、信用レベルの判定に従って応答が提供される。ブロック２０７１において、信用レベルが閾値信用レベル以上であるかが判定される。ブロック２０７２において、信用レベルが閾値信用レベル以上であるとの判定に従って、第１の応答が提供される。ブロック２０７３において、信用レベルが閾値信用レベル未満であるとの判定に従って、第２の応答が提供される。
８．デジタルアシスタントを動作させる処理−続き
[０３６６]
図２１Ａ〜２１Ｅは、いくつかの実施形態に従った、デジタルアシスタントを動作させる例示的な処理２１００のフローチャートを示す。処理２１００は、１つ以上のデバイス１０４、１０８、２００、４００、６００、１４００、１５００、１６００、又は１７００を使用して実行されてもよい（図１、２Ａ、４、６Ａ〜６Ｂ、１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅ）。処理２１００における動作は、任意選択的に組み合わされ若しくは分離され、並びに／又はいくつかの動作の順序が任意選択的に変更される。
[０３６７]
図２１Ａを参照して、ブロック２１０２において、第１の発話入力を受信する前に、デジタルアシスタントサービスを呼び出すためのアフォーダンスは、ユーザデバイスと関連付けられたディスプレイ上で表示される。ブロック２１０３において、デジタルアシスタントは、所定のフレーズを受信したことに応じて呼び出される。ブロック２１０４において、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じて呼び出される。
[０３６８]
ブロック２１０６において、第１の発話入力は、タスクを実行するためにユーザから受信される。ブロック２１０８において、ユーザデバイスと関連付けられたコンテクスト情報が特定される。ブロック２１０９において、ユーザデバイスは、複数のユーザインタフェースを提供するように構成されている。ブロック２１１０において、ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、又はサーバを含む。ブロック２１１２において、コンテクスト情報は、ユーザ特有データ、１つ以上のオブジェクトと関連付けられたメタデータ、センサデータ、及びユーザデバイス構成データのうちの少なくとも１つを含む。
[０３６９]
ブロック２１１４において、発話入力及びコンテクスト情報に基づいてユーザ意図が判定される。ブロック２１１５において、ユーザ意図を判定するために、１つ以上の実施可能な意図が判定される。ブロック２１１６において、実施可能な意図と関連付けられた１つ以上のパラメータが判定される。
[０３７０]
図２１Ｂを参照して、ブロック２１１８において、ユーザ意図に従って、タスクがユーザデバイス、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいてタスクが実行されるかが判定される。ブロック２１２０において、第１の電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、サーバ、スマートフォン、タブレット、セットトップボックス、又は時計を含む。ブロック２１２１において、タスクがユーザデバイスにおいて又は第１の電子デバイスにおいて実行されるかを判定することは、発話入力に含まれる１つ以上のキーワードに基づいている。ブロック２１２２において、ユーザデバイスにおいてタスクを実行することが実行基準を満たすかが判定される。ブロック２１２３において、１つ以上のユーザ優先度に基づいて実行基準が判定される。ブロック２１２４において、デバイス構成データに基づいて実行基準が判定される。ブロック２１２５において、実行基準が動的に更新される。ブロック２１２６において、ユーザデバイスにおいてタスクを実行することが実行基準を満たすとの判定に従って、タスクがユーザデバイスにおいて実行されると判定される。
[０３７１]
図２１Ｃを参照して、ブロック２１２８において、ユーザデバイスにおいてタスクを実行することが実行基準を満たさないとの判定に従って、第１の電子デバイスにおいてタスクを実行することが実行基準を満たすかが判定される。ブロック２１３０において、第１の電子デバイスにおいてタスクを実行することが実行基準を満たすとの判定に従って、タスクが第１の電子デバイスにおいて実行されると判定される。ブロック２１３２において、第１の電子デバイスにおいてタスクを実行することが実行基準を満たさないの判定に従って、第２の電子デバイスにおいてタスクを実行することが実行基準を満たすかが判定される。
[０３７２]
ブロック２１３４において、タスクがユーザデバイスにおいて実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、タスクを実行するためのコンテンツが受信される。ブロック２１３５において、コンテンツの少なくとも一部は、第１の電子デバイスから受信される。コンテンツの少なくとも一部は、第１の電子デバイスに記憶されている。ブロック２１３６において、コンテンツの少なくとも一部は、第３の電子デバイスから受信される。
[０３７３]
図２１Ｄを参照して、ブロック２１３８において、タスクが第１の電子デバイスにおいて実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、タスクを実行するためのコンテンツは、第１の電子デバイスに提供される。ブロック２１３９において、コンテンツの少なくとも一部は、ユーザデバイスから第１の電子デバイスに提供される。コンテンツの少なくとも一部は、ユーザデバイスに記憶されている。ブロック２１４０において、コンテンツの少なくとも一部は、第４の電子デバイスから第１の電子デバイスに提供される。コンテンツの少なくとも一部は、第４の電子デバイスに記憶されている。
[０３７４]
ブロック２１４２において、タスクは、ユーザデバイスにおいて実行される。第１の応答は、受信されたコンテンツを使用してユーザデバイスにおいて提供される。ブロック２１４４において、タスクは、ユーザデバイスにおいて実行される。ブロック２１４５において、ユーザデバイスにおいてタスクを実行することは、ユーザデバイスに対して部分的にリモートに実行されたタスクの続きである。ブロック２１４６において、第１のユーザインタフェースは、ユーザデバイスにおいて実行されるタスク関連付けられて表示される。ブロック２１４８において、タスクと関連付けられたリンクは、ユーザデバイスにおいて実行される。ブロック２１５０において、発話出力は、ユーザデバイスにおいて実行されるタスクに従って提供される。
[０３７５]
図２１Ｅを参照して、ブロック２１５２において、タスクは、第１の電子デバイスにおいて実行され、第２の応答は、ユーザデバイスにおいて提供される。ブロック２１５４において、タスクは、第１の電子デバイスにおいて実行される。ブロック２１５６において、第１の電子デバイスにおいて実行されるタスクは、第１の電子デバイスに対してリモートに実行されたタスクの続きである。ブロック２１５８において、発話出力は、第１の電子デバイスにおいて実行されるタスクに従って提供される。ブロック２１６０において、発話出力は、第１の電子デバイスにおいて実行されるタスクに従って提供される。
９．デジタルアシスタントを動作させる処理−システム構成管理
[０３７６]
図２２Ａ〜２２Ｄは、いくつかの実施形態に従った、デジタルアシスタントを動作させる例示的な処理２２００のフローチャートを示す。処理２２００は、１つ以上のデバイス１０４、１０８、２００、４００、６００、又は１８００を使用して実行されてもよい（図１、２Ａ、４、６Ａ〜６Ｂ、及び１８Ｃ〜１８Ｄ）。処理２２００における動作は、任意選択的に組み合わされ若しくは分離され、及び／又はいくつかの動作の順序は任意選択的に変更される。
[０３７７]
図２２Ａを参照して、ブロック２２０２において、発話入力を受信する前に、デジタルアシスタントサービスを呼び出すためのアフォーダンスは、ユーザデバイスと関連付けられたディスプレイ上で表示される。ブロック２２０３において、デジタルアシスタントは、所定のフレーズを受信したことに応じて呼び出される。ブロック２２０４において、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じて呼び出される。
[０３７８]
ブロック２２０６において、発話入力は、ユーザデバイス１つ以上のシステム構成を管理するためにユーザから受信される。ユーザデバイスは、複数のユーザインタフェースを同時に提供するように構成されている。ブロック２２０７において、ユーザデバイスの１つ以上のシステム構成は、音声構成を含む。ブロック２２０８において、ユーザデバイスの１つ以上のシステム構成は、日付及び時間構成を含む。ブロック２２０９において、ユーザデバイスの１つ以上のシステム構成は、聞き取り構成を含む。ブロック２２１０において、ユーザデバイスの１つ以上のシステム構成は、表示構成を含む。ブロック２２１１において、ユーザデバイスの１つ以上のシステム構成は、入力デバイス構成を含む。ブロック２２１２において、ユーザデバイスの１つ以上のシステム構成は、ネットワーク構成を含む。ブロック２２１３において、ユーザデバイスの１つ以上のシステム構成は、通知構成を含む。
[０３７９]
図２２Ｂを参照して、ブロック２２１４において、ユーザデバイスの１つ以上のシステム構成は、プリンタ構成を含む。ブロック２２１５において、ユーザデバイスの１つ以上のシステム構成は、セキュリティ構成を含む。ブロック２２１６において、ユーザデバイスの１つ以上のシステム構成は、バックアップ構成を含む。ブロック２２１７において、ユーザデバイスの１つ以上のシステム構成は、アプリケーション構成を含む。ブロック２２１８において、ユーザデバイスの１つ以上のシステム構成は、ユーザインタフェース構成を含む。
[０３８０]
ブロック２２２０において、ユーザデバイスと関連付けられたコンテクスト情報が特定される。ブロック２２２３において、コンテクスト情報は、ユーザ特有データ、デバイス構成データ、及びセンサデータのうちの少なくとも１つを含む。ブロック２２２４において、ユーザ意図は、発話入力及びコンテクスト情報に基づいて判定される。ブロック２２２５において、１つ以上の実施可能な意図が判定される。ブロック２２２６において、実施可能な意図と関連付けられた１つ以上のパラメーが判定される。
[０３８１]
図２２Ｃを参照して、ブロック２２２８において、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかが判定される。ブロック２２２９において、ユーザ意図がシステム構成を変えることであるかが判定される。
[０３８２]
ブロック２２３０において、ユーザ意図が情報の要求を示すとの判定に従って、情報の要求への発話応答が提供される。ブロック２２３１において、１つ以上のシステム構成の状況は、情報の要求に従って取得される。ブロック２２３２において、発話応答は、１つ以上のシステム構成の状況に従って提供される。
[０３８３]
ブロック２２３４において、情報の要求への発話応答を提供することに加え、第１のユーザインタフェースは、１つ以上のシステム構成の状況に従って情報を提供するために表示される。ブロック２２３６において、情報の要求への発話応答を提供することに加え、情報の要求と関連付けられたリンクが提供される。
[０３８４]
ブロック２２３８において、ユーザ意図がタスクを実行する要求を示すとの判定に従って、ユーザデバイスと関連付けられた処理は、タスクを実行するためにインスタンス化される。ブロック２２３９において、タスクは、処理を使用して実行される。ブロック２２４０において、第１の発話出力は、タスクを実行した結果に従って提供される。
[０３８５]
図２２Ｄを参照して、ブロック２２４２において、第２のユーザインタフェースは、ユーザがタスクを実行した結果を操作することを可能にするために提供される。ブロック２２４４において、第２のユーザインタフェースは、タスクを実行した結果と関連付けられたリンクを含む。
[０３８６]
ブロック２２４６において、第３のユーザインタフェースは、ユーザがタスク実行することを可能にするために提供される。ブロック２２４８において、第３のユーザインタフェースは、ユーザがタスクを実行することを可能にするリンクを含む。ブロック２２５０において、第３のユーザインタフェースと関連付けられた第２の発話出力が提供される。
１０．電子デバイス−インテリジェント検索及びオブジェクト管理
[０３８７]
図２３は、図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｆ、１２Ａ〜１２Ｄ、１３Ａ〜１３Ｃ、１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、１７Ａ〜１７Ｅ、１８Ａ〜１８Ｆ、及び１９Ａ〜１９Ｄを参照して説明されるものを含む、様々な説明される実施例の原理に従って構成された電子デバイス２３００の機能的ブロック図を示す。デバイスの機能的ブロックは、任意選択的に、様々な説明される実施例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実装されてもよい。図２３で説明される機能的ブロックは、任意選択的に、様々な説明される実施例の原理を実装するためにサブブロックに組み合わされてもよく、又は分離されてもよいことが当業者によって理解される。従って、本明細書における説明は、任意選択的に、本明細書で説明される機能的ブロックのいずれかの可能な組み合わせ、分離、又は更に定義をサポートする。
[０３８８]
図２３に示されるように、電子デバイス２３００は、マイクロフォン２３０２及びプロセシングユニット２３０８を含むことができる。いくつかの実施例では、プロセシングユニット２３０８は、受信ユニット２３１０、特定ユニット２３１２、判定ユニット２３１４、実行ユニット２３１６、提供ユニット２３１８、インスタンス化ユニット２３２０、表示ユニット２３２２、出力ユニット２３２４、開始ユニット２３２６、検索ユニット２３２８、生成ユニット２３３０、実行ユニット２３３２、作成ユニット２３３４、インスタンス化ユニット２３３５、記憶ユニット２３３６、圧縮ユニット２３３８、複製ユニット２３４０、削除ユニット２３４２、復元ユニット２３４４、マーク付けユニット２３４６、バックアップユニット２３４８、共有ユニット２３５０、使役ユニット２３５２、及び取得ユニット２３５４を含む。
[０３８９]
いくつかの実施例では、プロセシングユニット２３０８は、第１の発話入力をユーザから受信し（例えば、受信ユニット２３１０で）、ユーザデバイスと関連付けられたコンテクスト情報を特定し（例えば、特定ユニット２３１２で）、第１の発話入力及びコンテクスト情報に基づいてユーザ意図を判定するように構成されている（例えば、判定ユニット２３１４で）。
[０３９０]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定するように構成されている（例えば、判定ユニット２３１４で）。検索処理は、ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されており、オブジェクト管理処理は、ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている。
[０３９１]
いくつかの実施例では、ユーザ意図が検索処理を使用してタスクを実行することであるとの判定に従って、プロセシングユニット２３０８は、検索処理を使用してタスクを実行するように構成されている（例えば、実行ユニット２３１６で）。いくつかの実施例では、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、プロセシングユニット２３０８は、オブジェクト管理処理を使用してタスクを実行するように構成されている（例えば、実行ユニット２３１６で）。
[０３９２]
いくつかの実施例では、第１の発話入力を受信する前に、プロセシングユニット２３０８は、ユーザデバイスと関連付けられたディスプレイ上で、デジタルアシスタントサービスを呼び出すためのアフォーダンスを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０３９３]
いくつかの実施例では、プロセシングユニット２３０８は、所定のフレーズを受信したことに応じて、デジタルアシスタントを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０３９４]
いくつかの実施例では、プロセシングユニット２３０８は、アフォーダンスの選択を受信したことに応じて、デジタルアシスタントを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０３９５]
いくつかの実施例では、プロセシングユニット２３０８は、１つ以上の実施可能な意図を判定し（例えば判定ユニット２３１４で）、実施可能な意図と関連付けられた１つ以上のパラメータを判定するように構成されている（例えば判定ユニット２３１４で）。
[０３９６]
いくつかの実施例では、コンテクスト情報は、ユーザ特有データ、１つ以上のオブジェクトと関連付けられたメタデータ、センサデータ、及びユーザデバイス構成データを含む。
[０３９７]
いくつかの実施例では、プロセシングユニット２３０８は、発話入力が検索処理又はオブジェクト管理処理を表す１つ以上のキーワードを含むかを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０３９８]
いくつかの実施例では、プロセシングユニット２３０８は、タスクが検索することと関連付けられているか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。タスクが検索することと関連付けられているとの判定に従って、プロセシングユニット２３０８は、タスクを実行することが検索処理を必要とするか否かを判定し（例えば、判定ユニット２３１４で）、タスクが検索することと関連付けられていないとの判定に従って、タスクが少なくとも１つのオブジェクトを管理することと関連付けられているか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０３９９]
いくつかの実施例では、タスクは検索することと関連付けられ、タスクを実行することが検索処理を必要としないとの判定に従って、プロセシングユニット２３０８は、検索処理又はオブジェクト管理処理を選択するために発話要求を出力し（例えば、出力ユニット２３２４で）、ユーザから、検索処理又はオブジェクト管理処理の選択を示す第２の発話入力を受信するように構成されている（例えば、受信ユニット２３１０で）。
[０４００]
いくつかの実施例では、タスクは検索することと関連付けられ、タスクを実行することが検索処理を必要としないとの判定に従って、プロセシングユニット２３０８は、所定の構成に基づいて、検索処理又はオブジェクト管理処理を使用してタスクが実行されるか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４０１]
いくつかの実施例では、タスクは検索することと関連付けられず、タスクが少なくとも１つのオブジェクトを管理することと関連付けられていないとの判定に従って、プロセシングユニット２３０８は、ユーザデバイスに利用可能な第４の処理を使用してタスクを実行することができるか否かを判定すること（例えば、判定ユニット２３１４で）、及びユーザとのダイアログを開始すること（例えば、開始ユニット２３２６で）のうちの少なくとも１つを実行するように構成されている（例えば、実行ユニット２３１６で）。
[０４０２]
いくつかの実施例では、プロセシングユニット２３０８は、検索処理を使用して少なくとも１つのオブジェクトを検索するように構成されている（例えば、検索ユニット２３２８で）。
[０４０３]
いくつかの実施例では、少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む。ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含む。ファイルは、ユーザデバイスの内部又は外部に記憶されている。
[０４０４]
いくつかの実施例では、フォルダ又はファイルのうちの少なくとも１つを検索することは、フォルダ又はファイルと関連付けられたメタデータに基づいている。
[０４０５]
いくつかの実施例では、少なくとも１つのオブジェクトは、通信を含む。通信は、電子メール、メッセージ、通知、又はボイスメールのうちの少なくとも１つを含む。
[０４０６]
いくつかの実施例では、プロセシングユニット２３０８は、通信と関連付けられたメタデータを検索するように構成されている（例えば、検索ユニット２３２８で）。
[０４０７]
いくつかの実施例では、少なくとも１つのオブジェクトは、連絡先又はカレンダのうちの少なくとも１つを含む。
[０４０８]
いくつかの実施例では、少なくとも１つのオブジェクトは、アプリケーションを含む。
[０４０９]
いくつかの実施例では、少なくとも１つのオブジェクトは、オンライン情報のソースを含む。
[０４１０]
いくつかの実施例では、タスクは検索することと関連付けられ、プロセシングユニット２３０８は、オブジェクト管理処理を使用して少なくとも１つのオブジェクトを検索するように構成されている（例えば、検索ユニット２３２８で）。
[０４１１]
いくつかの実施例では、少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む。ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含む。ファイルは、ユーザデバイスの内部又は外部に記憶されている。
[０４１２]
いくつかの実施例では、フォルダ又はファイルのうちの少なくとも１つを検索することは、フォルダ又はファイルと関連付けられたメタデータに基づいている。
[０４１３]
いくつかの実施例では、プロセシングユニット２３０８は、オブジェクト管理処理をインスタンス化するように構成されている（例えば、インスタンス化ユニット２３３５で）。オブジェクト管理処理をインスタンス化することは、オブジェクト管理処理を呼び出すこと、オブジェクト管理処理の新たなインスタンスを生成すること、又はオブジェクト管理処理の既存のインスタンスを実行することを含む。
[０４１４]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトを作成するように構成されている（例えば、作成ユニット２３３４で）。
[０４１５]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトを記憶するように構成されている（例えば、記憶ユニット２３３６で）。
[０４１６]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトを圧縮するように構成されている（例えば、圧縮ユニット２３３８で）。
[０４１７]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトを第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に移動するように構成されている（例えば、移動ユニット２３３９で）。
[０４１８]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトを第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に複製するように構成されている（例えば、複製ユニット２３４０で）。
[０４１９]
いくつかの実施例では、プロセシングユニット２３０８は、物理又は仮想記憶装置に記憶された少なくとも１つのオブジェクトを削除するように構成されている（例えば、削除ユニット２３４２で）。
[０４２０]
いくつかの実施例では、プロセシングユニット２３０８は、物理又は仮想記憶装置に記憶された少なくとも１つのオブジェクトを復元するように構成されている（例えば、復元ユニット２３４４で）。
[０４２１]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトをマーク付けするように構成されている（例えば、マーク付けユニット２３４６で）。少なくとも１つのオブジェクトをマーク付けすることは、可視的である、又は少なくとも１つのオブジェクトのメタデータと関連付けられていることのうちの少なくとも１つである。
[０４２２]
いくつかの実施例では、プロセシングユニット２３０８は、バックアップのための所定の期間に従って少なくとも１つのオブジェクトをバックアップユニットするように構成されている（例えば、バックアップユニット２３４８で）。
[０４２３]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスに通信可能に接続された１つ以上の電子デバイスの間で少なくとも１つのオブジェクトを共有するように構成されている（例えば、共有ユニット２３５０で）。
[０４２４]
いくつかの実施例では、プロセシングユニット２３０８は、検索処理又はオブジェクト管理処理を使用して、タスクを実行した結果に基づいて応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４２５]
いくつかの実施例では、プロセシングユニット２３０８は、検索処理又はオブジェクト管理処理を使用して、タスクを実行した結果を提供する第１のユーザインタフェースを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０４２６]
いくつかの実施例では、プロセシングユニット２３０８は、検索処理を使用してタスクを実行した結果と関連付けられたリンクを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４２７]
いくつかの実施例では、プロセシングユニット２３０８は、検索処理又はオブジェクト管理処理を使用して、タスクを実行した結果に従って発話出力を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４２８]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザが検索処理又はオブジェクト管理処理を使用して、タスクを実行した結果を操作することを可能にするアフォーダンスを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４２９]
いくつかの実施例では、プロセシングユニット２３０８は、タスクを実行した結果を使用して動作する第３の処理をインスタンス化するように構成されている（例えば、インスタンス化ユニット２３３５で）。
[０４３０]
いくつかの実施例では、プロセシングユニット２３０８は、信用レベルを判定し（例えば、判定ユニット２３１４で）、信用レベルの判定に従って応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４３１]
いくつかの実施例では、信用レベルは、第１の発話入力及びユーザデバイスと関連付けられたコンテクスト情報に基づいてユーザ意図を判定する精度を表す。
[０４３２]
いくつかの実施例では、信用レベルは、検索処理を使用して又はオブジェクト管理処理を使用してユーザ意図がタスクを実行することであるかを判定する精度を表す。
[０４３３]
いくつかの実施例では、信用レベルは、検索処理又はオブジェクト管理処理を使用してタスクを実行する精度を表す。
[０４３４]
いくつかの実施例では、プロセシングユニット２３０８は、信用レベルが閾値信用レベル以上であるか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。信用レベルが閾値信用レベル以上であるとの判定に従って、プロセシングユニット２３０８は、第１の応答を提供するように構成され（例えば、提供ユニット２３１８で）、信用レベルが閾値信用レベル未満であるとの判定に従って、プロセシングユニット２３０８は、第２の応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
１１．電子デバイス−続き
[０４３５]
いくつかの実施例では、プロセシングユニット２３０８は、タスクを実行するために発話入力を受信し（例えば、受信ユニット２３１０で）、ユーザデバイスと関連付けられたコンテクスト情報を特定し（例えば、特定ユニット２３１２で）、発話入力及びユーザデバイスと関連付けられたコンテクスト情報に基づいてユーザ意図を判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４３６]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザ意図に従って、ユーザデバイスにおいて、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいてタスクが実行されるかを判定するように構成され（例えば、判定ユニット２３１４で）。
[０４３７]
いくつかの実施例では、ユーザデバイスにおいてタスクが実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、プロセシングユニット２３０８は、タスクを実行するためのコンテンツを受信するように構成されている（例えば、受信ユニット２３１０で）。
[０４３８]
いくつかの実施例では、第１の電子デバイスにおいてタスクが実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、プロセシングユニット２３０８は、タスクを実行するためのコンテンツを第１の電子デバイスに提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４３９]
いくつかの実施例では、ユーザデバイスは、複数のユーザインタフェースを提供するように構成されている。
[０４４０]
いくつかの実施例では、ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、又はサーバを含む。
[０４４１]
いくつかの実施例では、第１の電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、サーバ、スマートフォン、タブレット、セットトップボックス、又は時計を含む。
[０４４２]
いくつかの実施例では、プロセシングユニット２３０８は、発話入力を受信する前に、ユーザデバイスのディスプレイ上で、デジタルアシスタントを呼び出すためのアフォーダンスを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０４４３]
いくつかの実施例では、プロセシングユニット２３０８は、所定のフレーズを受信したことに応じて、デジタルアシスタントを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０４４４]
いくつかの実施例では、プロセシングユニット２３０８は、アフォーダンスの選択を受信したことに応じて、デジタルアシスタントを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０４４５]
いくつかの実施例では、プロセシングユニット２３０８は、１つ以上の実施可能な意図を判定し（例えば、判定ユニット２３１４で）、実施可能な意図と関連付けられた１つ以上のパラメータを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４４６]
いくつかの実施例では、コンテクスト情報は、ユーザ特有データ、センサデータ、及びユーザデバイス構成データのうちの少なくとも１つを含む。
[０４４７]
いくつかの実施例では、ユーザデバイスにおいて又は第１の電子デバイスにおいてタスクが実行されるかを判定することは、発話入力に含まれる１つ以上のキーワードに基づいている。
[０４４８]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスにおいてタスクを実行することが実行基準を満たすか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４４９]
いくつかの実施例では、ユーザデバイスにおいてタスクを実行することが実行基準を満たすとの判定に従って、プロセシングユニット２３０８は、ユーザデバイスにおいてタスクが実行されると判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４５０]
いくつかの実施例では、ユーザデバイスにおいてタスクを実行することが実行基準を満たさないとの判定に従って、プロセシングユニット２３０８は、第１の電子デバイスにおいてタスクを実行することが実行基準を満たすかを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４５１]
いくつかの実施例では、第１の電子デバイスにおいてタスクを実行することが実行基準を満たすとの判定に従って、プロセシングユニット２３０８は、第１の電子デバイスにおいてタスクが実行されると判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４５２]
いくつかの実施例では、第１の電子デバイスにおいてタスクを実行することが実行基準を満たさないとの判定に従って、プロセシングユニット２３０８は、第２の電子デバイスにおいてタスクを実行することが実行基準を満たすかを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４５３]
いくつかの実施例では、実行基準は、１つ以上のユーザ優先度に基づいて判定される。
[０４５４]
いくつかの実施例では、実行基準は、デバイス構成データに基づいて判定される。
[０４５５]
いくつかの実施例では、実行基準は、動的に更新される。
[０４５６]
いくつかの実施例では、ユーザデバイスにおいてタスクが実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、プロセシングユニット２３０８は、コンテンツの少なくとも一部を第１の電子デバイスから受信するように構成され（例えば、受信ユニット２３１０で）、コンテンツの少なくとも一部は、第１の電子デバイスに記憶されている。
[０４５７]
いくつかの実施例では、ユーザデバイスにおいてタスクが実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、プロセシングユニット２３０８は、コンテンツの少なくとも一部を第３の電子デバイスから受信するように構成されている（例えば、受信ユニット２３１０で）。
[０４５８]
いくつかの実施例では、第１の電子デバイスにおいてタスクが実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、プロセシングユニット２３０８は、コンテンツの少なくとも一部をユーザデバイスから第１の電子デバイスに提供するように構成され（例えば、提供ユニット２３１８で）、コンテンツの少なくとも一部は、ユーザデバイスに記憶されている。
[０４５９]
いくつかの実施例では、第１の電子デバイスにおいてタスクが実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、プロセシングユニット２３０８は、コンテンツの少なくとも一部を第４の電子デバイスから第１の電子デバイスに提供させるように構成されている（例えば、使役ユニット２３５２で）。コンテンツの少なくとも一部は、第４の電子デバイスに記憶されている。
[０４６０]
いくつかの実施例では、ユーザデバイスにおいてタスクが実行され、プロセシングユニット２３０８は、受信されたコンテンツを使用して、ユーザデバイスにおいて第１の応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４６１]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスにおいてタスクを実行するように構成されている（例えば、実行ユニット２３１６で）。
[０４６２]
いくつかの実施例では、ユーザデバイスにおいてタスクを実行することは、ユーザデバイスに対して部分的にリモートに実行されたタスクの続きである。
[０４６３]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスにおいて実行されるタスクと関連付けられた第１のユーザインタフェースを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０４６４]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスにおいて実行されるタスクと関連付けられたリンクを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４６５]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスにおいて実行されるタスクに従って発話出力を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４６６]
いくつかの実施例では、第１の電子デバイスにおいてタスクが実行され、プロセシングユニット２３０８は、ユーザデバイスにおいて第２の応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４６７]
いくつかの実施例では、プロセシングユニット２３０８は、第１の電子デバイスにおいてタスクを実行させるように構成されている（例えば、使役ユニット２３５２で）。
[０４６８]
いくつかの実施例では、第１の電子デバイスにおいて実行されるタスクは、第１の電子デバイスに対してリモートに実行されたタスクの続きである。
[０４６９]
いくつかの実施例では、プロセシングユニット２３０８は、第１の電子デバイスにおいて実行されるタスクに従って発話出力を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４７０]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザがタスクの実行のための別の電子デバイスを選択することを可能にするアフォーダンスを提供するように構成されている（例えば、提供ユニット２３１８で）。
１２．電子デバイス−システム構成管理
[０４７１]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスの１つ以上のシステム構成を管理するために、発話入力をユーザから受信するように構成されている（例えば、受信ユニット２３１０で）。ユーザデバイスは、複数のユーザインタフェースを同時に提供するように構成されている。
[０４７２]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスと関連付けられたコンテクスト情報を特定し（例えば、特定ユニット２３１２で）、発話入力及びコンテクスト情報に基づいてユーザ意図を判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４７３]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４７４]
いくつかの実施例では、ユーザ意図が情報の要求を示すとの判定に従って、プロセシングユニット２３０８は、情報の要求への発話応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４７５]
いくつかの実施例では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、プロセシングユニット２３０８は、タスクを実行するユーザデバイスと関連付けられた処理をインスタンス化するように構成されている（例えば、インスタンス化ユニット２３３５で）。
[０４７６]
いくつかの実施例では、プロセシングユニット２３０８は、発話入力を受信する前に、ユーザデバイスのディスプレイ上で、デジタルアシスタントを呼び出すためのアフォーダンスを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０４７７]
いくつかの実施例では、プロセシングユニット２３０８は、所定のフレーズを受信したことに応じてデジタルアシスタントサービスを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０４７８]
いくつかの実施例では、プロセシングユニット２３０８は、アフォーダンスの選択を受信したことに応じてデジタルアシスタントサービスを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０４７９]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、音声構成を含む。
[０４８０]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、日付及び時間構成を含む。
[０４８１]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、聞き取り構成を含む。
[０４８２]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、表示構成を含む。
[０４８３]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、入力デバイス構成を含む。
[０４８４]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、ネットワーク構成を含む。
[０４８５]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、通知構成を含む。
[０４８６]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、プリンタ構成を含む。
[０４８７]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、セキュリティ構成を含む。
[０４８８]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、バックアップ構成を含む。
[０４８９]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、アプリケーション構成を含む。
[０４９０]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、ユーザインタフェース構成を含む。
[０４９１]
いくつかの実施例では、プロセシングユニット２３０８は、１つ以上の実施可能な意図を判定し（例えば、判定ユニット２３１４で）、実施可能な意図と関連付けられた１つ以上のパラメータを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４９２]
いくつかの実施例では、コンテクスト情報は、ユーザ特有データ、デバイス構成データ、及びセンサデータのうちの少なくとも１つを含む。
[０４９３]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザ意図がシステム構成を変えることであるか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４９４]
いくつかの実施例では、プロセシングユニット２３０８は、情報の要求に従って１つ以上のシステム構成の状況を取得し（例えば、取得ユニット２３５４で）、１つ以上のシステム構成の状況に従って発話応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４９５]
いくつかの実施例では、ユーザ意図が情報の要求を示すとの判定に従って、プロセシングユニット２３０８は、情報の要求への発話応答を提供することに加え、１つ以上のシステム構成の状況に従って情報を提供する第１のユーザインタフェースを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０４９６]
いくつかの実施例では、ユーザ意図が情報の要求を示すとの判定に従って、プロセシングユニット２３０８は、情報の要求への発話応答を提供することに加え、情報の要求と関連付けられたリンクを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４９７]
いくつかの実施例では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、プロセシングユニット２３０８は、処理を使用してタスクを実行するように構成されている（例えば、実行ユニット２３１６で）。
[０４９８]
いくつかの実施例では、プロセシングユニット２３０８は、タスクを実行した結果に従って第１の発話出力を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４９９]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザがタスクを実行した結果を操作することを可能にするために、第２のユーザインタフェースを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０５００]
いくつかの実施例では、第２のユーザインタフェースは、タスクを実行した結果と関連付けられたリンクを含む。
[０５０１]
いくつかの実施例では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、プロセシングユニット２３０８は、ユーザがタスクを実行することを可能にする第３のユーザインタフェースを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０５０２]
いくつかの実施例では、第３のユーザインタフェースは、ユーザがタスクを実行することを可能にするリンクを含む。
[０５０３]
いくつかの実施例では、プロセシングユニット２３０８は、第３のユーザインタフェースと関連付けられた第２の発話出力を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０５０４]
図２３を参照して上記説明された動作は、任意選択的に、図１、２Ａ、４、６Ａ〜Ｂ、又は７Ａ〜７Ｂに記述された構成要素によって実装される。例えば、受信動作２３１０、特定動作２３１２、判定動作２３１４、実行動作２３１６、及び提供動作２３１８は、任意選択的に、プロセッサ（単数又は複数）２２０によって実施される。図１、２Ａ、４、６Ａ〜Ｂ、又は７Ａ〜７Ｂに記述された構成要素に基づいて、他の処理をどのように実施することができるかが当業者にとって明らかとなるであろう。
[０５０５]
図１２で説明された機能的ブロックは、任意選択的に、様々な説明された実施形態の原理を実装するためにサブブロックに組み合わされ、又は分離されることが当業者によって理解される。従って、本明細書における説明は、任意選択的に、本明細書で説明されたいずれかの可能な組み合わせ、分離、又は更に定義をサポートする。例えば、プロセシングユニット２３０８は、動作を可能にするためにプロセシングユニット２３０８と動作可能に結合された関連付けられた「コントローラ」ユニットを有することができる。このコントローラユニットは、図２３で別々に示されていないが、デバイス２３００等のプロセシングユニット２３０８を有するデバイスを設計している当業者の把握の範囲内にあることが理解される。別の実施例として、受信ユニット２３１０等の１つ以上のユニットは、いくつかの実施形態におけるプロセシングユニット２３０８の外側のハードウェアユニットであってもよい。よって、本明細書における説明は、任意選択的に、本明細書で説明された機能的ブロックの組み合わせ、分離、及び／又は更に定義をサポートする。
[０５０６]
上記説明は、説明の目的で、特定の実施形態を参照して説明されてきた。しかしながら。上記例示的な議論は、包括的であることを意図しておらず、又は開示される簡易な形式に本発明を限定することを意図していない。多くの修正及び変更が上記教示を考慮して可能である。技術の原理及びそれらの実用的な適用例を最良に説明するために実施形態が選択及び説明されてきた。他の当業者は、それらによって、考慮される特定の使用に適切なものとして、様々な修正で技術及び様々な実施形態を最良に利用することが可能になる。
[０５０７]
添付図面を参照して開示及び実施例が十分に説明されたが、様々な変更及び修正が当業者にとって明らかとなることに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるものとして、開示及び実施例の範囲内に含まれるものとして理解される。
[書類名]特許請求の範囲
[請求項１]
１つ以上のプロセッサと、
メモリと、
メモリに記憶された１つ以上のプログラムと、を備える電子デバイスであって、前記１つ以上のプログラムが、命令を含み、前記命令は、
第１の音声入力をユーザから受信し、
前記ユーザデバイスと関連付けられたコンテクスト情報を特定し、
前記第１の音声入力及び前記コンテクスト情報に基づいてユーザ意図を判定し、
前記ユーザ意図が、検索処理であって、前記検索処理は、前記ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されている、検索処理を使用してタスクを実行することであるか又はオブジェクト管理処理であって、前記オブジェクト管理処理は、前記ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている、オブジェクト管理処理を使用してタスクを実行することであるかを判定し、
前記ユーザ意図が前記検索処理を使用して前記タスクを実行することであるとの判定に従って、前記検索処理を使用して前記タスクを実行し、
前記ユーザ意図が前記オブジェクト管理処理を使用して前記タスクを実行することであるとの判定に従って、前記オブジェクト管理処理を使用して前記タスクを実行する、電子デバイス。
[請求項２]
前記第１の音声入力を受信する前に、
所定のフレーズを受信したことに応じて前記デジタルアシスタントを呼び出す、又は
アフォーダンスの選択を受信したことに応じて前記デジタルアシスタントを呼び出す、ことを更に備える、請求項１に記載の電子デバイス。
[請求項３]
前記ユーザ意図を判定することは、
１つ以上の実施可能な意図を判定し、
前記実施可能な意図と関連付けられた１つ以上のパラメータを判定する、ことを含む、請求項１に記載の電子デバイス。
[請求項４]
前記コンテクスト情報は、ユーザ特有データ、１つ以上のオブジェクトと関連付けられたメタデータ、センサデータ、及びユーザデバイス構成データのうちの少なくとも１つを含む、請求項１に記載の電子デバイス。
[請求項５]
前記ユーザ意図が、前記検索処理を使用して前記タスクを実行することであるか又は前記オブジェクト管理処理を使用して前記タスクを実行することであるかを判定することは、
前記音声入力が前記検索処理又は前記オブジェクト管理処理を表す１つ以上のキーワードを含むかを判定することを含む、請求項１に記載の電子デバイス。
[請求項６]
前記ユーザ意図が、前記検索処理を使用して前記タスクを実行することであるか又は前記オブジェクト管理処理を使用して前記タスクを実行することであるかを判定することは、
前記タスクが検索することと関連付けられるかを判定し、
前記タスクが検索することと関連付けられるとの判定に従って、前記タスクを実行することが前記検索処理を必要とするかを判定し、
前記タスクが検索することと関連付けられていないとの判定に従って、前記タスクが少なくとも１つのオブジェクトを管理することと関連付けられているかを判定する、ことを含む、請求項１に記載の電子デバイス。
[請求項７]
前記タスクは、検索することと関連付けられ、
前記タスクを実行することが前記検索処理を必要としないとの判定に従って、
前記検索処理又は前記オブジェクト管理処理を選択するために口頭要求を出力し、
前記ユーザから、前記検索処理又は前記オブジェクト管理処理の前記選択を示す第２の音声入力を受信する、ことを更に備える、請求項６に記載の電子デバイス。
[請求項８]
前記タスクは、検索することと関連付けられ、
前記タスクを実行することが前記検索処理を必要としないとの判定に従って、所定の構成に基づいて、前記検索処理又は前記オブジェクト管理処理を使用して前記タスクが実行されるかを判定する、ことを更に備える、請求項６に記載の電子デバイス。
[請求項９]
前記タスクは、検索することと関連付けられず、
前記タスクが前記少なくとも１つのオブジェクトを管理することと関連付けられていないとの判定に従って、
タスクが前記ユーザデバイスに利用可能な第４の処理を使用して実行可能であるかを判定し、及び、
前記ユーザとのダイアログを開始する、ことのうちの少なくとも１つを実行することを更に備える、請求項６に記載の電子デバイス。
[請求項１０]
前記検索処理を使用して前記タスクを実行することは、
前記検索処理を使用して少なくとも１つのオブジェクトを検索する、ことを含む、請求項１に記載の電子デバイス。
[請求項１１]
前記少なくとも１つのオブジェクトは、フォルダ、ファイル、通信、コンタクト、カレンダー、アプリケーション、及びオンライン情報ソースのうちの少なくとも１つを含む、請求項１０に記載の電子デバイス。
[請求項１２]
前記ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含み、前記ファイルは、前記ユーザデバイスの内部又は外部に記憶され、前記フォルダ又は前記ファイルのうちの少なくとも１つを検索することは、前記フォルダ又は前記ファイルと関連付けられたメタデータに基づいている、請求項１１に記載の電子デバイス。
[請求項１３]
前記通信は、電子メール、メッセージ、通知、又はボイスメールのうちの少なくとも１つを含む、請求項１１に記載の電子デバイス。
[請求項１４]
前記通信と関連付けられたメタデータを検索することを更に含む、請求項１１に記載の電子デバイス。
[請求項１５]
前記タスクは、検索することと関連付けられ、前記オブジェクト管理処理を使用して前記タスクを実行することは、
前記オブジェクト管理処理を使用して前記少なくとも１つのオブジェクトを検索することを含む、請求項１に記載の電子デバイス。
[請求項１６]
前記少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む、請求項１５に記載の電子デバイス。
[請求項１７]
前記ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含み、前記ファイルは、前記ユーザデバイスの内部又は外部に記憶され、前記フォルダ又は前記ファイルのうちの少なくとも１つを検索することは、前記フォルダ又は前記ファイルと関連付けられたメタデータに基づいている、請求項１６に記載の電子デバイス。
[請求項１８]
前記オブジェクト管理処理を使用して前記タスクを実行することは、前記オブジェクト管理処理をインスタンス化することを含み、前記オブジェクト管理処理をインスタンス化することは、前記オブジェクト管理処理を呼び出し、前記オブジェクト管理処理の新たなインスタンスを生成し、又は前記オブジェクト管理処理の既存のインスタンスを実行することを含む、請求項１に記載の電子デバイス。
[請求項１９]
前記オブジェクト管理処理を使用して前記タスクを実行することは、
前記少なくとも１つのオブジェクトを作成し、
前記少なくとも１つのオブジェクトを記憶し、
前記少なくとも１つのオブジェクトを圧縮し、
前記少なくとも１つのオブジェクトを第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に移動し、
前記少なくとも１つのオブジェクトを第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に複製し、
物理又は仮想記憶装置に記憶された前記少なくとも１つのオブジェクトを削除し、
物理又は仮想記憶装置に記憶された少なくとも１つのオブジェクトを復元し、
可視的である、又は前記少なくとも１つのオブジェクトのメタデータと関連付けられていることのうちの少なくとも１つである、前記少なくとも１つのオブジェクトをマーク付けし、
バックアップのための所定の期間に従って前記少なくとも１つのオブジェクトをバックアップし、及び、
前記ユーザデバイスに通信可能に接続された１つ以上の電子デバイスの間で前記少なくとも１つのオブジェクトを共有する、ことのうちの少なくとも１つを含む、請求項１に記載の電子デバイス。
[請求項２０]
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した結果に基づいて応答を提供することを更に含む、
請求項１に記載の電子デバイス。
[請求項２１]
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した前記結果に基づいて前記応答を提供することは、
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した前記結果を提供する第１のユーザインタフェースを表示し、
前記検索処理を使用して前記タスクを実行した前記結果と関連付けられたリンクを提供し、
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した前記結果に従って口頭出力を提供し、
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した前記結果を前記ユーザが操作することを可能にするアフォーダンスを提供し、及び、
前記タスクを実行した前記結果を使用して動作する第３の処理をインスタンス化する、ことのうちの少なくとも１つを含む、請求項２０に記載の電子デバイス。
[請求項２２]
検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した前記結果に基づいて前記応答を提供することは、
信用レベルを判定し、
前記信用レベルの判定に従って前記応答を提供すること、を含む、請求項２０に記載の電子デバイス。
[請求項２３]
前記信用レベルは、
前記第１の音声入力及び前記ユーザデバイスと関連付けられたコンテクスト情報に基づいて前記ユーザ意図を判定する精度、
前記ユーザ意図は前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行するかを判定する精度、及び、
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行する精度、のうちの少なくとも１つを表す、請求項２２に記載の電子デバイス。
[請求項２４]
前記信用レベルの前記判定に従って前記応答を提供することは、
前記信用レベルが閾値信用レベル以上であるかを判定し、
前記信用レベルが前記閾値信用レベル以上であるとの判定に従って、第１の応答を提供し、
前記信用レベルが閾値信用レベル未満であるとの判定に従って、第２の応答を提供する、ことを含む、請求項２２に記載の電子デバイス。
[請求項２５]
１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは命令を含み、前記命令は、電子デバイスの１つ以上のプロセッサによって実行されると、前記電子デバイスに、
第１の音声入力をユーザから受信させ、
前記ユーザデバイスと関連付けられたコンテクスト情報を特定させ、
前記第１の音声入力及び前記コンテクスト情報に基づいてユーザ意図を判定させ、
前記ユーザ意図が、検索処理であって、前記検索処理は、前記ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されている、検索処理を使用してタスクを実行することであるか又はオブジェクト管理処理であって、前記オブジェクト管理処理は、前記ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている、記オブジェクト管理処理を使用してタスクを実行することであるかを判定させ、
前記ユーザ意図が前記検索処理を使用して前記タスクを実行することであるとの判定に従って、前記検索処理を使用して前記タスクを実行させ、
前記ユーザ意図が前記オブジェクト管理処理を使用して前記タスクを実行することであるとの判定に従って、前記オブジェクト管理処理を使用して前記タスクを実行させる、非一時的コンピュータ可読記憶媒体。
[請求項２６]
デジタルアシスタントサービスを提供する方法であって、
第１の音声入力をユーザから受信することと、
前記ユーザデバイスと関連付けられたコンテクスト情報を特定することと、
前記第１の音声入力及び前記コンテクスト情報に基づいてユーザ意図を判定することと、
前記ユーザ意図は、検索処理を使用してタスクを実行することであるか又はオブジェクト管理処理を使用してタスクを実行することであるかを判定することであって、
前記検索処理は、前記ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されており、前記オブジェクト管理処理は、前記ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている、ことと、
前記ユーザ意図が前記検索処理を使用して前記タスクを実行することであるとの判定に従って、前記検索処理を使用して前記タスクを実行することと、
前記ユーザ意図が前記オブジェクト管理処理を使用して前記タスクを実行することであるとの判定に従って、前記オブジェクト管理処理を使用して前記タスクを実行することと、を含む、方法。
[書類名] 要約書
[要約]
デジタルアシスタントを動作させるためのシステム及び処理が提供される。一実施例では、方法は、第１の発話入力をユーザから受信することを含む。方法は、コンテクスト情報を特定することと、第１の発話入力及びコンテクスト情報に基づいてユーザ意図を判定することとを更に含む。方法は、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定することを更に含む。検索処理は、データを検索するように構成されており、オブジェクト管理処理は、オブジェクトを管理するように構成されている。方法は、ユーザ意図が検索処理を使用してタスクを実行することであるとの判定に従って、検索処理を使用してタスクを実行することと、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、オブジェクト管理処理を使用してタスクを実行することとを更に含む。
[書類名] 図面
[図１]
[図２Ａ]
[図２Ｂ]
[図３]
[図４]
[図５Ａ]
[図５Ｂ]
[図６Ａ]
[図６Ｂ]
[図７Ａ]
[図７Ｂ]
[図７Ｃ]
[図８Ａ]
[図８Ｂ]
[図８Ｃ]
[図８Ｄ]
[図８Ｅ]
[図８Ｆ]
[図９Ａ]
[図９Ｂ]
[図９Ｃ]
[図９Ｄ]
[図９Ｅ]
[図９Ｆ]
[図９Ｇ]
[図９Ｈ]
[図１０Ａ]
[図１０Ｂ]
[図１１Ａ]
[図１１Ｂ]
[図１１Ｃ]
[図１１Ｄ]
[図１２Ａ]
[図１２Ｂ]
[図１２Ｃ]
[図１２Ｄ]
[図１３Ａ]
[図１３Ｂ]
[図１３Ｃ]
[図１４Ａ]
[図１４Ｂ]
[図１４Ｃ]
[図１４Ｄ]
[図１５Ａ]
[図１５Ｂ]
[図１５Ｃ]
[図１５Ｄ]
[図１６Ａ]
[図１６Ｂ]
[図１６Ｃ]
[図１７Ａ]
[図１７Ｂ]
[図１７Ｃ]
[図１７Ｄ]
[図１７Ｅ]
[図１８Ａ]
[図１８Ｂ]
[図１８Ｃ]
[図１８Ｄ]
[図１８Ｅ]
[図１８Ｆ]
[図１９Ａ]
[図１９Ｂ]
[図１９Ｃ]
[図１９Ｄ]
[図２０Ａ]
[図２０Ｂ]
[図２０Ｃ]
[図２０Ｄ]
[図２０Ｅ]
[図２０Ｆ]
[図２０Ｇ]
[図２１Ａ]
[図２１Ｂ]
[図２１Ｃ]
[図２１Ｄ]
[図２１Ｅ]
[図２２Ａ]
[図２２Ｂ]
[図２２Ｃ]
[図２２Ｄ]
[図２３]
付録
[書類名] 明細書
[発明の名称] マルチタスキング環境におけるインテリジェントデジタルアシスタント
[０００１]
（関連出願の相互参照）
本出願は、２０１６年６月１０日に出願された「ＩＮＴＥＬＬＩＧＥＮＴ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ ＩＮ Ａ ＭＵＬＴＩ−ＴＡＳＫＩＮＧ ＥＮＶＩＲＯＮＭＥＮＴ」と題する米国仮特許出願第６２／３４８，７２８号の優先権を主張し、全ての目的のためにその全体が参照により本明細書に組み込まれる。
[技術分野]
[０００２]
本開示は、概して、デジタルアシスタントに関し、より具体的には、マルチタスキング環境においてタスクを実行するためにユーザと対話するデジタルアシスタントに関する。
[背景技術]
[０００３]
デジタル端末がますます人気になっている。デスクトップ又はタブレット環境において、ユーザは、ファイル又は情報を検索すること、ファイル又はフォルダを管理すること、映画又は曲を再生すること、ドキュメントを編集すること、システム構成を調節すること、電子メールを送信すること等を含む、複数のタスクを頻繁に。ユーザが複数のタスクを並列して手動で実行し、タスクの間で頻繁に切り替えることは、煩わしく、不便であることが多い。よって、デジタルアシスタントは、ユーザの音声入力に基づいて、マルチタスキング環境においてユーザがタスクのいくつかを実行することを支援する能力を有することが望ましい。
[発明の概要]
[０００４]
ユーザがマルチタスキング環境においてユーザがタスクを実行することを支援するいくつかの既存の技術は、例えば、聞き取りを含んでもよい。典型的には、ユーザは、マルチタスキング環境において多くの他のタスクを手動で実行することが必要とされることがある。例として、ユーザは、自分のデスクトップコンピュータ上で昨日のプレゼンテーションに取りかかっていることがあり、プレゼンテーションに対する作業を続けることを望むことがある。ユーザは典型的には、自分のデスクトップコンピュータ上でプレゼンテーションを手動で位置付け、プレゼンテーションを開き、プレゼンテーションを編集することを続けることが必要とされる。
[０００５]
別の例として、ユーザは、ユーザが自分のデスクトップコンピュータから離れているときに自分のスマートフォン上でフライトを予約していることがある。ユーザは、デスクトップコンピュータが利用可能であるときにフライトを予約することを続けることを望むことがある。既存の技術では、ユーザは、ウェブブラウザを立ち上げ、ユーザのデスクトップコンピュータにおいてフライト予約処理を開始する必要がある。言い換えると、ユーザがスマートフォンにおいて行った前のフライト予約処理は、ユーザのデスクトップコンピュータにおいて続けられないことがある。
[０００６]
別の例として、ユーザは、自分のデスクトップコンピュータ上でドキュメントを編集している間に、スクリーンの輝度レベルを変更すること又はＢｌｕｅｔｏｏｔｈ接続をターンオンすることなど、システム構成を変更することを望むことがある。既存の技術では、ユーザは、ドキュメントを編集することを停止し、輝度構成アプリケーションを発見し、及び立ち上げ、設定を手動で変更する必要があることがある。マルチタスキング環境では、いくつかの既存の技術は、ユーザの発話入力に基づいて上記例で説明されたようなタスクを実行することが可能でない。よって、マルチタスキング環境における音声対応デジタルアシスタントを提供することが望まれ、有利である。
[０００７]
デジタルアシスタントを動作させるシステム及び処理が提供される。１つ以上の実施例によれば、方法は、１つ以上のプロセッサ及びメモリを有するユーザデバイスにおいて、第１の発話入力をユーザから受信することを含む。方法は、ユーザデバイスと関連付けられたコンテクスト情報を特定することと、第１の発話入力及びコンテクスト情報に基づいてユーザ意図を判定することとを更に含む。方法は、ユーザ意図が、検索処理を使用してタスクを実行することであるか又はオブジェクト管理処理を使用してタスクを実行することであるかを判定することを更に含む。検索処理は、ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されており、オブジェクト管理処理は、ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている。方法は、ユーザ意図が検索処理を使用してタスクを実行することであるとの判定に従って、検索処理を使用してタスクを実行することを更に含む。方法は、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、オブジェクト管理処理を使用してタスクを実行することを更に含む。
[０００８]
１つ以上の実施例によれば、方法は、１つ以上のプロセッサ及びメモリを有するユーザデバイスにおいて、タスクを実行するために発話入力をユーザから受信することを含む。方法は、ユーザデバイスと関連付けられたコンテクスト情報を特定することと、発話入力及びユーザデバイスと関連付けられたコンテクスト情報に基づいてユーザ意図を判定することとを更に含む。方法は、ユーザ意図に従って、タスクがユーザデバイス、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいて実行されるか否かを判定することを更に含む。方法は、タスクがユーザデバイスにおいて実行され、タスクを実行するためのコンテンツがリモートに記憶されているとの判定に従って、タスクを実行するためのコンテンツを受信することを更に含む。方法は、タスクが第１の電子デバイスにおいて実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、タスクを実行するためのコンテンツを第１の電子デバイスに提供することを更に含む。
[０００９]
１つ以上の実施例によれば、方法は、１つ以上のプロセッサ及びメモリを有するユーザデバイスにおいて、ユーザデバイスの１つ以上のシステム構成を管理するために発話入力をユーザから受信することを含む。ユーザデバイスは、複数のユーザインタフェースを同時に提供するように構成されている。方法は、ユーザデバイスと関連付けられたコンテクスト情報を特定することと、発話入力及びコンテクスト情報に基づいてユーザ意図を判定することとを更に含む。方法は、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定することを更に含む。方法は、ユーザ意図が情報の要求を示すとの判定に従って、情報の要求への発話応答を提供することを更に含む。方法は、ユーザ意図がタスクを実行する要求を示すとの判定に従って、タスクを実行するためにユーザデバイスと関連付けられた処理をインスタンス化することを更に含む。
[００１０]
それらの機能を実行するための実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行するように構成された他のコンピュータプログラム製品に含まれる。それらの機能を実行するための実行可能命令は、任意選択的に、一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行するように構成された他のコンピュータプログラム製品に含まれる。
[図面の簡単な説明]
[００１１]
説明される様々な実施形態のより良好な理解のために、以下の図面と併せて、以下の「発明を実装するための形態」を参照されたく、類似の参照番号は、図面全体を通じた対応する部分を指す。
[００１２]
[図１] 様々な実施例に従った、デジタルアシスタントを実装するためのシステム及び環境を示すブロック図である。
[００１３]
[図２Ａ] いくつかの実施形態に従った、デジタルアシスタントのクライアント側部分を実行するポータブル多機能デバイスを示すブロック図である。
[００１４]
[図２Ｂ] 様々な実施例に従った、イベント処理のための例示的な構成要素を示すブロック図である。
[００１５]
[図３] 様々な実施例に従った、デジタルアシスタントのクライアント側部分を実行するポータブル多機能デバイスを示す図である。
[００１６]
[図４] 様々な実施例に従った、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
[００１７]
[図５Ａ] 様々な実施例に従った、ポータブル多機能デバイス上のアプリケーションのメニューのための例示的なユーザインタフェースを示す図である。
[００１８]
[図５Ｂ] 様々な実施例に従った、ディスプレイとは別個のタッチ感知面を有する多機能デバイスのための例示的なユーザインタフェースを示す図である。
[００１９]
[図６Ａ] 様々な実施例に従った、パーソナル電子デバイスを示す図である。
[００２０]
[図６Ｂ] 様々な実施例に従った、パーソナル電子デバイスを示すブロック図である。
[００２１]
[図７Ａ] 様々な実施例に従った、デジタルアシスタントシステム又はそのサーバ部分を示すブロック図である。
[００２２]
[図７Ｂ] 様々な実施例に従った、図７Ａに示されるデジタルアシスタントの機能を示す図である。
[００２３]
[図７Ｃ] 様々な実施例に従った、オントロジ（ontology）の一部を示す図である。
[００２４]
[図８Ａ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図８Ｂ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図８Ｃ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図８Ｄ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図８Ｅ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図８Ｆ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[００２５]
[図９Ａ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｂ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｃ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｄ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｅ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｆ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｇ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図９Ｈ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[００２６]
[図１０Ａ] 様々な実施例に従った、デジタルアシスタントによってオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１０Ｂ] 様々な実施例に従った、デジタルアシスタントによってオブジェクト管理処理を使用してタスクを実行する機能を示す。
[００２７]
[図１１Ａ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図１１Ｂ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図１１Ｃ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[図１１Ｄ] 様々な実施例に従った、デジタルアシスタントによって検索処理を使用してタスクを実行する機能を示す。
[００２８]
[図１２Ａ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１２Ｂ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１２Ｃ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１２Ｄ] 様々な実施例に従った、デジタルアシスタントによって検索処理又はオブジェクト管理処理を使用してタスクを実行する機能を示す。
[００２９]
[図１３Ａ] 様々な実施例に従った、デジタルアシスタントによってオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１３Ｂ] 様々な実施例に従った、デジタルアシスタントによってオブジェクト管理処理を使用してタスクを実行する機能を示す。
[図１３Ｃ] 様々な実施例に従った、デジタルアシスタントによってオブジェクト管理処理を使用してタスクを実行する機能を示す。
[００３０]
[図１４Ａ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１４Ｂ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１４Ｃ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１４Ｄ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[００３１]
[図１５Ａ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[図１５Ｂ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[図１５Ｃ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[図１５Ｄ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[００３２]
[図１６Ａ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[図１６Ｂ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[図１６Ｃ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用して第１の電子デバイスにおいてタスクを実行する機能を示す。
[００３３]
[図１７Ａ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１７Ｂ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１７Ｃ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１７Ｄ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[図１７Ｅ] 様々な実施例に従った、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイスにおいてタスクを実行する機能を示す。
[００３４]
[図１８Ａ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[図１８Ｂ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[図１８Ｃ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[図１８Ｄ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[図１８Ｅ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[図１８Ｆ] 様々な実施例に従った、デジタルアシスタントによってユーザの情報の要求に応じてシステム構成情報を提供する機能を示す。
[００３５]
[図１９Ａ] 様々な実施例に従った、デジタルアシスタントによってユーザ要求に応じてタスクを実行する機能を示している。
[図１９Ｂ] 様々な実施例に従った、デジタルアシスタントによってユーザ要求に応じてタスクを実行する機能を示している。
[図１９Ｃ] 様々な実施例に従った、デジタルアシスタントによってユーザ要求に応じてタスクを実行する機能を示している。
[図１９Ｄ] 様々な実施例に従った、デジタルアシスタントによってユーザ要求に応じてタスクを実行する機能を示している。
[００３６]
[図２０Ａ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｂ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｃ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｄ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｅ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｆ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２０Ｇ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[００３７]
[図２１Ａ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２１Ｂ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２１Ｃ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２１Ｄ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２１Ｅ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[００３８]
[図２２Ａ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２２Ｂ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２２Ｃ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[図２２Ｄ] 様々な実施例に従った、デジタルアシスタントを動作させる例示的な処理のフローチャートである。
[００３９]
[図２３] 様々な実施例に従った、電子デバイスのブロック図を示す。
[発明を実施するための形態]
[００４０]
以下の開示及び実施形態の説明では、実装することができる特定の実施形態の、実施例として示されている添付の図面への参照がなされる。本開示の範囲から逸脱することなく、他の実施形態及び実施例を実施することができ、変更を行うことができることを理解されたい。
[００４１]
マルチタスキング環境におけるデジタルアシスタントを提供する技術が望ましい。本明細書で説明されるように、マルチタスキング環境におけるデジタルアシスタントを提供する技術は、検索対象又は情報を検索する煩雑さを削減すること、効率的なオブジェクト管理を可能にすること、ユーザデバイス及び他の電子デバイスにおいて実行されるタスクの間の連続性を維持すること、並びにシステム構成を調節する際のユーザの手作業を削減すること等、様々な目的に対して望まれる。このような技術は、マルチタスキング環境において発話入力使用して様々なタスクを実行するためにユーザがデジタルアシスタントを操作することを可能にすることによって有利となる。更に、このような技術は、マルチタスキング環境において様々なタスクを実行することと関連付けられた煩わしさ又は不都合を軽減する。更に、ユーザが発話を使用してタスクを実行することを可能にすることによって、コンテクストスイッチを必要とするタスキングを実行する間にキーボード又はマウス上で両手を維持することができ、ユーザの「第３の手」のようにデジタルアシスタントがタスクを実行することを可能にする。理解されるように、ユーザが発話を使用してタスクを実行することを可能にすることによって、ユーザが複数のアプリケーションとの複数の対話を必要とすることがあるタスクをより効率的に完了させることが可能になる。例えば、電子メール内の画像を検索し、それらを個人に送信することは、検索インタフェースを開くこと、検索語を入力すること、１つ以上の結果を選択すること、構成のために電子メールを開くこと、結果として生じたファイルを開いた電子メールに複製又は移動すること、及び電子メールにアドレス指定し、それを送信することを必要とすることがある。このようなタスクは、「Ｘ日からの写真を発見し、それらを妻に送信する」こと等、コマンドで音声によって効率的に完了させることができる。ファイルを移動し、インターネット上で情報を検索し、メッセージを構成するための同様の要求は、音声を使用して更に効率的に行うことができると共に、ユーザが自身の手を使用して他のタスクを実行することを可能にする。
[００４２]
以下の説明では、様々な要素を説明するために「第１」、「第２」等の用語を使用するが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、１つの要素を別の要素と区別するためにのみ使用される。例えば、説明される様々な実施例の範囲から逸脱することなく、第１の記憶は第２の記憶と称されてもよく、同様に、第２の記憶は第１の記憶と称されてもよい。第１の記憶及び第２の記憶は両方とも記憶とすることができ、いくつかのケースでは、別々及び異なる記憶とすることができる。
[００４３]
本明細書で説明される様々な実施例の説明で使用される用語は、特定の実施例を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施例の説明及び添付の特許請求の範囲で使用されるとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形をも含むことが意図される。本明細書で使用される用語「ａｎｄ／ｏｒ（及び／又は）」は、関連する列挙された項目のうちの１つ以上のうちの任意のかつ全ての可能な組み合わせを指し、これを含むことをもまた理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む）」及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む）」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
[００４４]
用語「ｉｆ（〜場合に）」は、文脈に応じて「ｗｈｅｎ（〜するときに）」、「ｕｐｏｎ（〜すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（〜と判定したことに応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（〜を検出したことに応じて）」を意味すると解釈することができる。同様に、句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（〜と判定される場合に）」又は「ｉｆ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］ｉｓ ｄｅｔｅｃｔｅｄ（［述べられる条件又はイベント］が検出される場合に）」は、文脈に応じて「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（〜と判定されると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（〜と判定したことに応じて）」、「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられる条件又はイベント］を検出すると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられる条件又はイベント］を検出したことに応じて）」を意味すると解釈することができる。
１．システム及び環境
[００４５]
図１は、様々な実施例に従った、システム１００のブロック図を示す。いくつかの実施例では、システム１００はデジタルアシスタントを実装することができる。用語「デジタルアシスタント」、「仮想アシスタント」、「インテリジェント自動アシスタント」、又は「自動デジタルアシスタント」は、口頭形式及び／又はテキスト形式にある自然言語入力を解釈してユーザ意図を推測し、推測したユーザ意図に基づいてアクションを実行する任意の情報処理システムを指すことができる。例えば、推測されたユーザの意図に作用するために、システムは、以下のうちの１つ以上、すなわち、推測されたユーザ意図を実現するために設計されたステップ及びパラメータを有するタスクフローを特定することと、推測されたユーザの意図からの特定の要件をタスクフローに入力することと、プログラム、方法、サービス、又はＡＰＩ等を呼び出すことによってタスクフローを実行することと、可聴（例えば、発話）形式及び／又は視覚形式でユーザへの出力応答を生成することと、を実行することができる。
[００４６]
具体的には、デジタルアシスタントは、自然言語コマンド、要求、陳述、叙述、及び／又は照会の形式で少なくとも部分的にユーザ要求を受け付ける能力を有することができる。典型的には、ユーザ要求はデジタルアシスタントによる情報の回答又はタスクの実行のいずれかを求めることができる。ユーザ要求への満足な応答は、要求された情報の回答の提供、要求されたタスクの実行、又はその２つの組み合わせとすることができる。例えば、ユーザはデジタルアシスタントに「私は今どこにいますか？」等の質問をしてもよい。ユーザの現在位置に基づいて、デジタルアシスタントは、「あなたはセントラルパーク内の西門の近くにいます」と回答することができる。ユーザは、タスクの実行、例えば、「私の友人を、来週のガールフレンドの誕生日パーティーに招待してください。」を要求することができる。それに応じて、デジタルアシスタントは、「はい、ただ今」と述べることによって要求を認知することができ、次に、ユーザの代わりに、ユーザの電子アドレス帳に載っているユーザの友人の各々に適切なカレンダの招待状を送信することができる。要求されたタスクの実行の間、デジタルアシスタントは、時により、長時間にわたって情報を複数回交換することを含む連続的なダイアログにおいてユーザと対話することができる。情報又は様々なタスクの実行を要求するためにデジタルアシスタントと対話する多くの他の方法が存在する。口頭による応答を提供し、プログラムされたアクションを取ることに加えて、デジタルアシスタントはまた、他の視覚又は音声形式、例えば、テキスト、警報、音楽、ビデオ、アニメーション等で応答を提供することもできる。
[００４７]
図１に示されるように、いくつかの実施例では、デジタルアシスタントは、クライアントサーバモデルに従って実装されてもよい。デジタルアシスタントは、ユーザデバイス１０４上で実行されるクライアント側部分１０２（以後、「ＤＡクライアント１０２」）、及びサーバシステム１０８上で実行されるサーバ側部分１０６（以後「ＤＡサーバ１０６」）を含むことができる。ＤＡクライアント１０２は１つ以上のネットワーク１１０を通じてＤＡサーバ１０６と通信することができる。ＤＡクライアント１０２は、ユーザ直面（facing）入力及び出力処理、並びにＤＡサーバ１０６との通信等のクライアント側機能を提供することができる。ＤＡサーバ１０６は、それぞれのユーザデバイス１０４上に各々が常駐する任意の数のＤＡクライアント１０２のためのサーバ側機能性を提供することができる。
[００４８]
いくつかの実施例では、ＤＡサーバ１０６は、クライアント直面Ｉ／Ｏインタフェース１１２、１つ以上のプロセシングモジュール１１４、データ及びモデル１１６、並びに外部サービスへのＩ／Ｏインタフェース１１８を含むことができる。クライアント直面Ｉ／Ｏインタフェース１１２は、ＤＡサーバ１０６のためのクライアント直面入力及び出力処理を促進することができる。１つ以上のプロセシングモジュール１１４は、発話入力を処理し、自然言語入力に基づいてユーザの意図を判定するためにデータ及びモデル１１６を利用することができる。更に、１つ以上のプロセシングモジュール１１４は、推測されたユーザの意図に基づいてタスクを実行する。いくつかの実施例では、ＤＡサーバ１０６は、タスクの完了又は情報の取得のために、ネットワーク（単数又は複数）１１０を通じて外部サービス１２０と通信することができる。外部サービスへのＩ／Ｏインタフェース１１８は、このような通信を促進することができる。
[００４９]
ユーザデバイス１０４は、任意の適切な電子デバイスとすることができる。例えば、ユーザデバイスは、ポータブル多機能デバイス（例えば、図２Ａを参照して以下で説明されるデバイス２００）、多機能デバイス（例えば、図４を参照して以下で説明されるデバイス４００）、又はパーソナル電子デバイス（例えば、図６Ａ〜図６Ｂを参照して以下で説明されるデバイス６００）とすることができる。ポータブル多機能デバイスは、例えば、ＰＤＡ及び／又は音楽再生機能等の他の機能も含む携帯電話とすることができる。ポータブル多機能デバイスの具体的な実施例は、Ａｐｐｌｅ Ｉｎｃ．（Ｃｕｐｅｒｔｉｎｏ，Ｃａｌｉｆｏｒｎｉａ）による、ｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスを含むことができる。ポータブル多機能デバイスの他の実施例は、限定なしに、ラップトップコンピュータ又はタブレットコンピュータを含んでもよい。更に、いくつかの実施例では、ユーザデバイス１０４は、非ポータブル多機能デバイスとすることができる。特に、ユーザデバイス１０４は、デスクトップコンピュータ、ゲームコンソール、テレビ、又はテレビセットトップボックスとすることができる。いくつかの実施例では、ユーザデバイス１０４は、マルチタスキング環境で動作することができる。マルチタスキング環境は、ユーザがデバイス１０４を操作して複数のタスクを並列して実行することを可能にする。例えば、マルチタスキング環境は、デバイス１０４が物理ユーザインタフェースデバイスから受信されたユーザ入力に応じて１つのタスクを実行し、ユーザの発話入力に応じて別のタスクを並列して実行することができるデスクトップ又はラップトップ環境であってもよい。いくつかの実施例では、ユーザデバイス１０４は、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を含むことができる。更に、ユーザデバイス１０４は、任意選択的に、物理キーボード、マウス、及び／又はジョイスティック等の１つ以上の他の物理ユーザインタフェースデバイスを含むことができる。多機能デバイス等の電子デバイスの様々な実施例は、以下で更に詳細に説明される。
[００５０]
通信ネットワーク（単数又は複数）１１０の例は、ローカルエリアネットワーク（ＬＡＮ）及び、例えば、インターネットのようなワイドエリアネットワーク（ＷＡＮ）を含むことができる。通信ネットワーク（単数又は複数）１１０は、例えば、イーサネット、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、又は任意の他の適切な通信プロトコル等、様々な有線又は無線プロトコルを含む任意の既知のネットワークプロトコルを使用して実装されてもよい。
[００５１]
サーバシステム１０８は、１つ以上のスタンドアロンデータ処理装置、又はコンピュータの分散型ネットワーク上で実装されてもよい。いくつかの実施例では、サーバシステム１０８はまた、サーバシステム１０８の基本的なコンピューティングリソース及び／又はインフラストラクチャリソースを提供するために、様々な仮想デバイス及び／又はサードパーティサービスプロバイダ（例えば、サードパーティクラウドサービスプロバイダ）のサービスを採用することができる。
[００５２]
いくつかの実施例では、ユーザデバイス１０４は、第２のユーザデバイス１２２を介してＤＡサーバ１０６と通信することができる。第２のユーザデバイス１２２は、ユーザデバイス１０４と同様又は同一とすることができる。例えば、第２のユーザデバイス１２２は、図２Ａ、図４、及び図６Ａ〜図６Ｂを参照して以下に説明されるデバイス２００、デバイス４００、又はデバイス６００と同様とすることができる。ユーザデバイス１０４は、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、若しくはＢＴＬ等の直接通信接続を介して、又はローカルＷｉ−Ｆｉネットワーク等の有線ネットワーク若しくは無線ネットワークを介して第２のユーザデバイス１２２に通信可能に結合するよう構成されてもよい。いくつかの実施例では、第２のユーザデバイス１２２は、ユーザデバイス１０４とＤＡサーバ１０６との間のプロキシとして動作するよう構成されてもよい。例えば、ユーザデバイス１０４のＤＡクライアント１０２は、情報（例えば、ユーザデバイス１０４において受信されたユーザ要求）を、第２のユーザデバイス１２２を介してＤＡサーバ１０６に送信するよう構成されてもよい。ＤＡサーバ１０６は情報を処理することができ、関連するデータ（例えば、ユーザの要求に応答したデータコンテンツ）を、第２のユーザデバイス１２２を介してユーザデバイス１０４に返すことができる。
[００５３]
いくつかの実施例では、ユーザデバイス１０４は、データに対する短縮された要求を、第２のユーザデバイス１２２に通信して、ユーザデバイス１０４から送信される情報量を削減するように構成されてもよい。第２のユーザデバイス１２２は、追加情報を判定し、短縮された要求を追加して完全な要求を生成し、ＤＡサーバ１０６に送信するよう構成されてもよい。このシステムアーキテクチャは、より強い通信能力及び／又はより大きなバッテリ電力を有する第２のユーザデバイス１２２（例えば、携帯電話、ラップトップコンピュータ、又はタブレットコンピュータ等）をＤＡサーバ１０６へのプロキシとして使用することによって、限られた通信能力及び／又は限られたバッテリ電力を有するユーザデバイス１０４（例えば、時計又は同様のコンパクト電子デバイス）がＤＡサーバ１０６によって提供されるサービスにアクセスすることを好適に可能にすることができる。図１では２つのユーザデバイス１０４及びユーザデバイス１２２のみが示されるが、システム１００は、ＤＡサーバシステム１０６と通信するようにこのプロキシ構成で構成された任意の数及びタイプのユーザデバイスを含むことができることを理解されたい。
[００５４]
図１に示すデジタルアシスタントは、クライアント側部分（例えば、ＤＡクライアント１０２）及びサーバ側部分（例えば、ＤＡサーバ１０６）の両方を含むことができるが、いくつかの実施例では、デジタルアシスタントの機能は、ユーザデバイス上にインストールされるスタンドアロンアプリケーションとして実装されてもよい。加えて、デジタルアシスタントのクライアント部分とサーバ部分との間の機能の分配は、異なる実装によって変化することができる。例えば、いくつかの実施例では、ＤＡクライアントは、ユーザ直面入力及び出力処理機能のみを提供し、デジタルアシスタントの全ての他の機能をバックエンドサーバに移譲するシンクライアントとすることができる。
２．電子デバイス
[００５５]
ここで、デジタルアシスタントのクライアント側部分を実行するための電子デバイスの実施形態に注目する。図２Ａは、いくつかの実施形態に従った、タッチ感知ディスプレイシステム２１２を有するポータブル多機能デバイス２００を示すブロック図である。タッチ感知ディスプレイ２１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、「タッチ感知ディスプレイシステム」として既知であり、又はそう呼ばれる場合がある。デバイス２００は、メモリ２０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ２２２、１つ以上のプロセシングユニット（ＣＰＵ）２２０、周辺機器インタフェース２１８、ＲＦ回路２０８、音声回路２１０、スピーカ２１１、マイクロフォン２１３、入出力（Ｉ／Ｏ）サブシステム２０６、他の入力制御デバイス２１６、及び外部ポート２２４を含む。デバイス２００は、任意選択的に、１つ以上の光センサ２６４を含む。デバイス２００は、任意選択的に、デバイス２００（例えば、デバイス２００のタッチ感知ディスプレイシステム２１２等のタッチ感知面）上の接触の強度を検出するための１つ以上の接触強度センサ２６５を含む。デバイス２００は、任意選択的に、デバイス２００上で触知出力を生成する（例えば、デバイス２００のタッチ感知ディスプレイシステム２１２又はデバイス４００のタッチパッド４５５等のタッチ感知面上で触知出力を生成する）ための１つ以上の触知出力生成器２６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン２０３を介して通信する。
[００５６]
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当りの力）、又はタッチ感知面上の接触の力若しくは圧力の代替物（代用物）を指す。接触の強度は、少なくとも４つの異なる値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）異なる値を含む、値範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して判定（又は、測定）される。例えば、タッチ感知面の下にあり、又はこれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。いくつかの実装形態において、複数の力センサの力測定値を組み合わせて（例えば、加重平均）、接触力の推定値を判定する。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。代わりに、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は接触に近接するタッチ感知面の抵抗及び／若しくはその変化は、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。いくつかの実装形態では、接触の力又は圧力についての代替的測定値は、強度閾値を超えているか否かを判定するために直接使用される（例えば、強度閾値は、代替的測定値に対応する単位で説明される）。いくつかの実装形態では、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、推定された力又は圧力は、強度閾値を超えているか否かを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザ入力の属性として使用することによって、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するための、及び／或いは、ユーザ入力を受信するための（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタン等の物理的／機械的制御部を介して）、面積が制限されている低減されたサイズのデバイス上で、他の場合であればユーザによってアクセスすることができないことがある、追加的なデバイス機能へのユーザのアクセスが可能となる。
[００５７]
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）のデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの重心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の知覚された変化に対応する触感としてユーザによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、任意選択的に、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として解釈される。いくつかの場合、ユーザの移動によって物理的に押圧された（例えば、変位した）タッチ感知面と関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」等の触感を感じる。別の実施例として、タッチ感知面の移動は、任意選択的に、タッチ感知面の平滑度に変化がないときでさえ、ユーザによって、タッチ感知面の「粗さ」として、解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。よって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして説明されるとき、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの説明された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
[００５８]
デバイス２００は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス２００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有し、任意選択的に、２つ以上の構成要素を組み合わせ、又は、任意選択的に、構成要素の異なる構成若しくは配置を有することを理解されたい。図２Ａに示される様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの双方の組み合わせで実装される。
[００５９]
メモリ２０２は、１つ以上のコンピュータ可読記憶媒体を含んでもよい。コンピュータ可読記憶媒体は、有形かつ非一時的であってもよい。メモリ２０２は、高速ランダムアクセスメモリを含んでもよく、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイス等の不揮発性メモリも含んでもよい。メモリコントローラ２２２は、デバイス２００の他の構成要素によるメモリ２０２へのアクセスを制御してもよい。
[００６０]
いくつかの実施例では、メモリ２０２の非一時的コンピュータ可読記憶媒体は、（例えば、以下に説明する処理１２００の態様を実行する）命令を、コンピュータベースのシステム、プロセッサを含むシステム、又は命令実行システム、装置、若しくはデバイスから命令をフェッチすることができ、それらの命令を実行する他のシステム等の、命令実行システム、装置、又はデバイスによる使用、又はそれと関連した使用のために記憶するために使用されてもよい。他の実施例では、（例えば、以下で説明する処理１２００の態様を実行する）命令は、サーバシステム１０８の非一時的コンピュータ可読記憶媒体（図示せず）に記憶されていてもよく、又はメモリ２０２の非一時的コンピュータ可読記憶媒体とサーバシステム１０８の非一時的コンピュータ可読記憶媒体との間で分配されてもよい。本文書のコンテクストでは、「非一時的コンピュータ可読記憶媒体」は、命令実行システム、装置、又はデバイスによって、又はそれらに関連して使用するためのプログラムを含み、又は記憶することが可能な任意の媒体とすることができる。
[００６１]
周辺機器インタフェース２１８は、デバイスの入力及び出力周辺機器をＣＰＵ２２０及びメモリ２０２に結合するために使用されてもよい。１つ以上のプロセッサ２２０は、デバイス２００のための様々な機能を実行し、データを処理するために、メモリ２０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させ、又は実行する。いくつかの実施形態では、周辺機器インタフェース２１８、ＣＰＵ２２０、及びメモリコントローラ２２２は、チップ２０４等の単一のチップ上で実装されてもよい。いくつかの他の実施形態では、それらは、別個のチップ上で実装されてもよい。
[００６２]
ＲＦ（radio frequency）（無線周波数）回路２０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路２０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路２０８は、任意選択的に、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタルシグナルプロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、及びメモリ等を含むがこれらに限定されない、それらの機能を実行するための周知の回路を含む。ＲＦ回路２０８は、任意選択的に、ワールドワイドウェブ（ＷＷＷ）とも称されるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（ＭＡＮ）等の無線ネットワーク等のネットワークと、他のデバイスと無線通信によって通信する。ＲＦ回路２０８は、任意選択的に、近距離通信無線等によって等、近距離無線通信（ＮＦＣ）フィールドを検出するための周知の回路を含む。無線通信は、任意選択的に、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ−Ｏｎｌｙ（ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（Dual-Cell HSPDA、ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、及び／又はＩＥＥＥ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and Presence Leveraging Extensions、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、及び／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、或いは本文書の出願日現在までにまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含むが、これらに限定されない、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを使用する。
[００６３]
音声回路２１０、スピーカ２１１、及びマイクロフォン２１３は、ユーザとデバイス２００との間の音声インタフェースを提供する。音声回路２１０は、周辺機器インタフェース２１８から音声データを受信し、音声データを電気信号に変換し、電気信号をスピーカ２１１に送信する。スピーカ２１１は、電気信号を人間の可聴音波に変換する。音声回路２１０はまた、マイクロフォン２１３によって音波から変換された電気信号を受信する。音声回路２１０は、電気信号を音声データに変換し、音声データを処理のために周辺機器インタフェース２１８に送信する。音声データは、周辺機器インタフェース２１８によって、メモリ２０２及び／若しくはＲＦ回路２０８から取得されてもよく、並びに／又はメモリ２０２及び／若しくはＲＦ回路２０８に送信されてもよい。いくつかの実施形態では、音声回路２１０はまた、ヘッドセットジャック（例えば、図３の３１２）を含む。ヘッドセットジャックは、音声回路２１０と、出力専用ヘッドホン又は出力（例えば、片耳若しくは両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の双方を有するヘッドセット等の、取り外し可能な音声入出力周辺機器との間のインタフェースを提供する。
[００６４]
Ｉ／Ｏサブシステム２０６は、周辺機器インタフェース２１８に、タッチスクリーン２１２及び他の入力制御デバイス２１６等のデバイス２００上の入出力周辺機器を結合する。Ｉ／Ｏサブシステム２０６は、任意選択的に、ディスプレイコントローラ２５６、光センサコントローラ２５８、強度センサコントローラ２５９、触覚フィードバックコントローラ２６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ２６０を含む。１つ以上の入力コントローラ２６０は、他の入力制御デバイス２１６から／に電気信号を受信／送信する。他の入力制御デバイス２１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカーボタン等）、ダイヤル、スライダスイッチ、ジョイスティック、及びクリックホイール等を含む。いくつかの代替的実施形態では、入力コントローラ（単数又は複数）２６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウス等のポインタデバイスのうちのいずれかに接続される（又は、いずれにも接続されない）。１つ以上のボタン（例えば、図３の３０８）は、任意選択的に、スピーカ２１１及び／又はマイクロフォン２１３の音量制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図３の３０６）を含む。
[００６５]
その全体が参照により本明細書に組み込まれる、２００５年１２月２３日に出願された米国特許第７，６５７，８４９号である米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」に記載されているように、プッシュボタンの素早い押圧は、タッチスクリーン２１２のロックを解除し、又はデバイスのロックを解除するためにタッチスクリーン上のジェスチャを使用する処理を開始することができる。プッシュボタン（例えば、３０６）のより長く押圧は、デバイス２００の電源をオン又はオフすることができる。ユーザは、１つ以上のボタンの機能をカスタマイズすることができる。タッチスクリーン２１２は、仮想又はソフトボタン、及び１つ以上のソフトキーボードを実装するために使用される。
[００６６]
タッチ感知ディスプレイ２１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ２５６は、タッチスクリーン２１２から電気信号を受信し、及び／又はタッチスクリーン２１２に電気信号を送信する。タッチスクリーン２１２は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ（「グラフィック」と総称される）を含んでもよい。いくつかの実施形態では、視覚出力の一部又は全てはユーザインタフェースオブジェクトに対応してもよい。
[００６７]
タッチスクリーン２１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン２１２及びディスプレイコントローラ２５６は（メモリ２０２における任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン２１２上で接触（及び任意の接触の移動又は中断）を検出し、検出された接触をタッチスクリーン２１２上で表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン２１２とユーザとの間の接触点は、ユーザの指に対応する。
[００６８]
タッチスクリーン２１２は、ＬＣＤ（liquid crystal display、液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display、発光ポリマーディスプレイ）技術、又はＬＥＤ（light emitting diode、発光ダイオード）技術を使用してもよいが、他の実施形態では、その他のディスプレイ技術が使用されてもよい。タッチスクリーン２１２及びディスプレイコントローラ２５６は、静電容量技術、抵抗性技術、赤外線技術及び表面弾性波技術、並びにタッチスクリーン２１２との１つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在既知の、又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触、及びその接触のいずれかの移動又は中断を検出することができる。例示的な実施形態では、Ａｐｐｌｅ Ｉｎｃ．（Ｃａｌｉｆｏｒｎｉａ、Ｃｕｐｅｒｔｉｎｏ）によるｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）において見られるような、投影型相互静電容量感知技術が使用される。
[００６９]
タッチスクリーン２１２のいくつかの実施形態におけるタッチ感知ディスプレイは、各々のその全体が参照により本明細書に組み込まれる、以下の米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、同第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、同第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、及び／又は米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドと同様であってもよい。しかしながら、タッチスクリーン２１２はデバイス２００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
[００７０]
タッチスクリーン２１２のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願で説明されている通りであってもよい。（１）２００６年５月２日に出願された米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日に出願された同第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日に出願された同第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日に出願された同第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日に出願された同第１１／０３８，５９０号、「Ｍｏｄｅ−Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日に出願された同第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日に出願された同第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日に出願された同第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ−Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日に出願された同第１１／３６７，７４９号、「Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ−Ｈｅｌｄ Ｄｅｖｉｃｅ」。これらの出願の全ては、全体が参照により本明細書に組み込まれる。
[００７１]
タッチスクリーン２１２は、１００ｄｐｉを超えるビデオ解像度を有してもよい。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス及び指等の任意の適切な物体又は付属物を使用して、タッチスクリーン２１２と接触することができる。いくつかの実施形態では、ユーザインタフェースは、主として指を基準とした接触及びジェスチャで機能するように設計され、タッチスクリーン上の指の接触面積が広いことに起因してスタイラスを基準とした入力よりも精度が低いことがある。いくつかの実施形態では、デバイスは、指に基づく粗い入力を正確なポインタ／カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。
[００７２]
いくつかの実施形態では、タッチスクリーンに加えて、デバイス２００は、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド（図示せず）を含んでもよい。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しないデバイスのタッチ感知領域である。タッチパッドは、タッチスクリーン２１２とは別個のタッチ感知面、又はタッチスクリーンによって形成されるタッチ感知面の拡張部であってもよい。
[００７３]
デバイス２００はまた、様々な構成要素に電力を供給するための電力システム２６２を含む。電力システム２６２は、電力管理システム、１つ以上の電源（例えば、バッテリ又は交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイスにおける電力の生成、管理、及び分配と関連付けられた任意の他の構成要素を含んでもよい。
[００７４]
デバイス２００はまた、１つ以上の光センサ２６４を含んでもよい。図２Ａは、Ｉ／Ｏサブシステム２０６における光センサコントローラ２５８に結合された光センサを示す。光センサ２６４は、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを含んでもよい。光センサ２６４は、１つ以上のレンズを通じて投影された、環境からの光を受光し、光を、画像を表すデータに変換する。撮像モジュール２４３（カメラモジュールとも呼ばれる）と連携して、光センサ２６４は静止画像又はビデオをキャプチャしてもよい。いくつかの実施形態では、タッチスクリーンディスプレイを静止画像及び／又はビデオ画像の取得のためのビューファインダとして使用することができるように、デバイスの前面のタッチスクリーンディスプレイ２１２の反対側である、デバイス２００の背面上に光センサが位置する。いくつの実施形態では、ユーザが他のビデオ会議参加者をタッチスクリーンディスプレイ上で参照する間に、ユーザの画像をビデオ会議のために取得することができるように、デバイスの前面上に光センサが位置する。いくつかの実施形態では、ビデオ会議並びに静止画像及び／又はビデオ画像の取得の双方のために、単一の光センサ２６４を、タッチスクリーンディスプレイと共に使用することができるように、光センサ２６４の位置は、ユーザによって（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更されてもよい。
[００７５]
デバイス２００はまた、任意選択的に、１つ以上の接触強度センサ２６５を含む。図２Ａは、Ｉ／Ｏサブシステム２０６における強度センサコントローラ２５９に結合された接触強度センサを示す。接触強度センサ２６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用されるセンサ）を含む。接触強度センサ２６５は、環境から接触強度情報（例えば、圧力情報又は圧力情報の代用物）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサが、タッチ感知面（例えば、タッチ感知ディスプレイシステム２１２）に配置されているか、又はそれに近接している。いくつか実施形態では、少なくとも１つの接触強度センサが、デバイス２００の前面上に位置するタッチスクリーンディスプレイ２１２の反対側である、デバイス２００の背面上に位置する。
[００７６]
デバイス２００はまた、１つ以上の近接センサ２６６を含んでもよい。図２Ａは、周辺機器インタフェース２１８に結合された近接センサ２６６を示す。代わりに、近接センサ２６６は、Ｉ／Ｏサブシステム２０６における入力コントローラ２６０に結合されてもよい。近接センサ２６６は、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び、同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように実行してもよく、これらの出願は、その全体が参照により本明細書に組み込まれる。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されるとき（例えば、ユーザが電話で通話しているとき）、近接センサは、タッチスクリーン２１２をオフにし、無効化する。
[００７７]
デバイス２００はまた、任意選択的に、１つ以上の触知出力生成器２６７を含む。図２Ａは、Ｉ／Ｏサブシステム２０６における触覚フィードバックコントローラ２６１に結合された触知出力生成器を示す。触知出力生成器２６７は、任意選択的に、スピーカ若しくは他の音声構成要素等の１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）等の、エネルギーを線形的な動きに変換する電気機械デバイスを含む。接触強度センサ２６５は、触覚フィードバックモジュール２３３から触知フィードバック生成命令を受信し、デバイス２００のユーザによって感知することが可能な触知出力をデバイス２００上で生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム２１２）に配置され、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス２００の表面の内／外）に、又は横方向（例えば、デバイス２００の表面と同一の平面内の前後）に移動させることによって触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス２００の前面に位置するタッチスクリーンディスプレイ２１２の反対側である、デバイス２００の背面上に位置する。
[００７８]
デバイス２００はまた、１つ以上の加速度計２６８も含んでもよい。図２Ａは、周辺機器インタフェース２１８に結合された加速度計２６８示す。代わりに、加速度計２６８は、Ｉ／Ｏサブシステム２０６における入力コントローラ２６０に結合されてもよい。加速度計２６８は、その双方のその全体が参照により本明細書に組み込まれる、米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ−ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び同第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」で説明されるように実行してもよい。いくつかの実施形態では、情報は、１つ以上の加速度計から受信されたデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイ上で表示される。デバイス２００は、任意選択的に、加速度計（単数又は複数）２６８に加えて、磁気計（図示せず）並びにデバイス２００の位置及び向き（例えば、縦長又は横長）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機（図示せず）を含む。
[００７９]
いくつかの実施形態では、メモリ２０２に記憶されたソフトウェア構成要素は、オペレーティングシステム２２６、通信モジュール（又は、命令セット）２２８、接触／動きモジュール（又は、命令セット）２３０、グラフィックモジュール（又は、命令セット）２３２、テキスト入力モジュール（又は、命令セット）２３４、全地球測位システム（ＧＰＳ）モジュール（又は、命令セット）２３５、デジタルアシスタントクライアントモジュール２２９、及びアプリケーション（又は、命令セット）２３６を含む。更に、メモリ２０２は、ユーザデータ及びモデル２３１等のデータ及びモデルを記憶することができる。更に、いくつかの実施形態では、図２Ａ及び図４に示されるように、メモリ２０２（図２Ａ）又はメモリ４７０（図４）は、デバイス／グローバル内部状態２５７を記憶する。デバイス／グローバル内部状態２５７は、現在アクティブであるアプリケーションがある場合、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ２１２の様々な領域を占領しているかを示す表示状態、デバイスの様々なセンサ及び入力制御デバイス２１６から取得される情報を含むセンサ状態、並びにデバイスの位置及び／又は姿勢に関する位置情報のうちの１つ以上を含む。
[００８０]
オペレーティングシステム２２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ｉＯＳ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓ等の組み込みオペレーティングシステム）は、汎用的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理等）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を促進する。
[００８１]
通信モジュール２２８は、１つ以上の外部ポート２２４を通じて他のデバイスとの通信を促進し、ＲＦ回路２０８及び／又は外部ポート２２４によって受信されたデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート２２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ等）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮ等）を通じて間接的に、他のデバイスに結合するように適応される。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同一若しくは同様のマルチピン（例えば、３０ピン）コネクタ、及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。
[００８２]
接触／動きモジュール２３０は、任意選択的に、（ディスプレイコントローラ２５６と連携して）タッチスクリーン２１２との接触、及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール２３０は、接触が生じたかを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したかを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）等、接触の検出に関する様々な動作を実行するための様々なソフトウェア構成要素を含む。接触／動きモジュール２３０は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、並びに／又は加速度（大きさ及び／若しくは方向における変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール２３０及びディスプレイコントローラ２５６は、タッチパッド上の接触を検出する。
[００８３]
いくつかの実施形態では、接触／動きモジュール２３０は、ユーザによって動作が実行されたかを判定するための（例えば、ユーザがアイコン上で「クリック」したかを判定するための）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、少なくとも強度閾値のサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されず、デバイス２００の物理ハードウェアを変更することなく調節されてもよい）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の予め定義された閾値のうちのいずれかに設定されてもよい。加えて、いくつかの実施形態では、デバイスのユーザは、強度閾値のセットのうちの１つ以上を調節するためのソフトウェア設定が提供される（例えば、個々の強度閾値を調節することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調節することによって）。
[００８４]
接触／動きモジュール２３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば、検出される接触の異なる動き、タイミング、及び／又は強度）を有する。よって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャを検出することは、（例えば、アイコンの位置における）指を下ろすイベントを検出し、続いて指を下ろすイベントと同一の位置（又は、実質的に同一の位置）で指を上げる（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて、１つ以上の指をドラッグするイベントを検出し、その後、続いて指を上げる（リフトオフ）イベントを検出することを含む。
[００８５]
グラフィックモジュール２３２は、表示されるグラフィックの視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含む、タッチスクリーン２１２又は他のディスプレイ上でグラフィックをレンダリング及び表示するための様々な既知のソフトウェア構成要素を含む。本明細書で使用されるとき、用語「グラフィック」は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクト等）、デジタル画像、ビデオ、及びアニメーション等を含むが、これらに限定されない、ユーザに対して表示することができる任意のオブジェクトを含む。
[００８６]
いくつかの実施形態では、グラフィックモジュール２３２は、使用されることになるグラフィックを表すデータを記憶する。各々のグラフィックは、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール２３２は、アプリケーション等から、必要に応じて、座標データ及び他のグラフィック特性データと共に表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次いで、ディスプレイコントローラ２５６に出力するスクリーンの画像データを生成する。
[００８７]
触覚フィードバックモジュール２３３は、デバイス２００とのユーザ対話に応じて、デバイス２００上の１つ以上の位置で触知出力を生成するために、触知出力生成器（単数又は複数）２６７によって使用される命令を生成するための様々なソフトウェア構成要素を含む。
[００８８]
グラフィックモジュール２３２の構成要素とすることができるテキスト入力モジュール２３４は、様々なアプリケーション（例えば、連絡先２３７、電子メール２４０、ＩＭ２４１、ブラウザ２４７、及びテキスト入力を必要とする任意の他のアプリケーション）においてテキストを入力するためのソフトキーボードを提供する。
[００８９]
ＧＰＳモジュール２３５は、デバイスの位置を判定し、この情報を、様々なアプリケーションで使用するために提供する（例えば、位置に基づく電話にて使用するために電話２３８へ、写真／ビデオメタデータとしてカメラ２４３へ、及び天気ウィジェット、ローカルイエローページウィジェット、及び地図／ナビゲーションウィジェット等の位置に基づくサービスを提供するアプリケーションへ）。
[００９０]
デジタルアシスタントクライアントモジュール２２９は、デジタルアシスタントのクライアント側機能性を提供する様々なクライアント側デジタルアシスタント命令を含むことができる。例えば、デジタルアシスタントクライアントモジュール２２９は、ポータブル多機能デバイス２００の様々なユーザインタフェース（例えば、マイクロフォン２１３、加速度計（単数又は複数）２６８、タッチ感知ディスプレイシステム２１２、光センサ（単数又は複数）２６４、他の入力制御デバイス２１６等）を通じて、音声入力（例えば、発話入力）、テキスト入力、タッチ入力、及び／又はジェスチャ入力を受け付ける能力を有することができる。デジタルアシスタントクライアントモジュール２２９はまた、ポータブル多機能デバイス２００の様々な出力インタフェース（例えば、スピーカ２１１、タッチ感知ディスプレイシステム２１２、触知出力生成器（単数又は複数）２６７等）を通じて、音声（例えば、発話出力）、視覚、及び／又は触知の形式で出力を提供する能力を有することができる。例えば、出力は、音声、音響、警報、テキストメッセージ、メニュー、グラフィック、ビデオ、アニメーション、振動、及び／又は上記の２つ以上の組み合わせとして提供されてもよい。動作の間、デジタルアシスタントクライアントモジュール２２９は、ＲＦ回路２０８を使用してＤＡサーバ１０６と通信することができる。
[００９１]
ユーザデータ及びモデル２３１は、デジタルアシスタントのクライアント側機能性を提供するための、ユーザと関連付けられた様々なデータ（例えば、ユーザ特有の語彙データ、ユーザ優先度データ、ユーザ特有の名前の発音、ユーザの電子アドレス帳からのデータ、ｔｏ ｄｏリスト、買い物リスト等）を含むことができる。更に、ユーザデータ及びモデル２３１は、ユーザ入力を処理し、ユーザの意図を判定するための様々なモデル（例えば、発話認識モデル、統計的言語モデル、自然言語処理モデル、オントロジ、タスクフローモデル、サービスモデル等）を含むことができる。
[００９２]
いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９は、ポータブル多機能デバイス２００の周囲環境から追加情報を収集して、ユーザ、現在のユーザ対話、及び／又は現在のユーザ入力と関連付けられたコンテクストを確立するために、ポータブル多機能デバイス２００の様々なセンサ、サブシステム、及び周辺機器を利用することができる。いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９は、ユーザの意図の推測を支援するために、ユーザ入力と共にコンテクスト情報又はそのサブセットをＤＡサーバ１０６に提供することができる。いくつかの実施例では、デジタルアシスタントはまた、ユーザへの出力をどのように準備及び配信するかを決定するために、コンテクスト情報を使用することができる。コンテクスト情報は、コンテクストデータと呼ばれてもよい。
[００９３]
いくつかの実施例では、ユーザ入力に伴うコンテクスト情報は、センサ情報、例えば、照明、周囲ノイズ、周囲温度、周囲環境の画像又はビデオ等を含むことができる。いくつかの実施例では、コンテクスト情報はまた、デバイスの物理状態、例えば、デバイスの向き、デバイスの位置、デバイスの温度、電力レベル、速さ、加速度、動きパターン、セルラー信号強度等を含むことができる。いくつかの実施例では、ＤＡサーバ１０６のソフトウェア状態、例えば、稼働中の処理、インストールされたプログラム、過去と現在のネットワーク活動、バックグラウンドサービス、エラーログ、リソース使用量等、及びポータブル多機能デバイス２００のソフトウェア状態に関係する情報が、ＤＡサーバ１０６に、ユーザ入力と関連付けられたコンテクスト情報として提供されてもよい。
[００９４]
いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９は、ＤＡサーバ１０６からの要求に応じて、ポータブル多機能デバイス２００に記憶された情報（例えば、ユーザデータ２３１）を選択的に提供することができる。いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９はまた、ＤＡサーバ１０６による要求があると、自然言語ダイアログ又は他のユーザインタフェースを介してユーザから追加入力を引き出すことができる。デジタルアシスタントクライアントモジュール２２９は、ユーザ要求で表されるユーザの意図の意図推論及び／又は履行においてＤＡサーバ１０６を支援するために、追加入力をＤＡサーバ１０６に渡すことができる。
[００９５]
図７Ａ〜Ｃを参照して、より詳細な情報アシスタントの説明を記述する。デジタルアシスタントクライアントモジュール２２９は、以下に説明されるデジタルアシスタントモジュール７２６の任意の数のサブモジュールを含むことができることを認識するべきである。
[００９６]
アプリケーション２３６は、以下のモジュール（若しくは、命令セット）、又はそれらのサブセット若しくはスーパーセットを含んでもよい。
・連絡先モジュール２３７（アドレス帳又は連絡先リストとも呼ばれる場合がある）、
・電話モジュール２３８、
・ビデオ会議モジュール２３９、
・電子メールクライアントモジュール２４０、
・インスタントメッセージング（ＩＭ）モジュール２４１、
・トレーニングサポートモジュール２４２、
・静止画像及び／又はビデオ画像用のカメラモジュール２４３、
・画像管理モジュール２４４、
・ビデオ再生モジュール、
・音楽再生モジュール、
・ブラウザモジュール２４７、
・カレンダモジュール２４８、
・天気ウィジェット２４９−１、株式ウィジェット２４９−２、計算機ウィジェット２４９−３、アラーム時計ウィジェット２４９−４、辞書ウィジェット２４９−５、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット２４９−６のうちの１つ以上を含んでもよいウィジェットモジュール２４９、
・ユーザ作成ウィジェット２４９−６を作成するためのウィジェットクリエータモジュール２５０、
・検索モジュール２５１、
・ビデオ再生モジュール及び音楽再生モジュールを統合した、ビデオ及び音楽再生モジュール２５２、
・メモモジュール２５３、
・地図モジュール２５４、並びに／又は
・オンラインビデオモジュール２５５。
[００９７]
メモリ２０２に記憶することができる他のアプリケーション２３６の例は、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製を含む。
[００９８]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、連絡先モジュール２３７は、（例えば、メモリ２０２又はメモリ４７０内の連絡先モジュール２３７のアプリケーション内部状態２９２に記憶された）アドレス帳又は連絡先リストを管理するために使用されてもよく、アドレス帳に名前（単数又は複数）を追加すること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類及び並べ替えること、電話番号又は電子メールアドレスを提供して、電話２３８、ビデオ会議モジュール２３９、電子メール２４０、若しくはＩＭ２４１による通信を開始及び／又は促進すること等を含む。
[００９９]
ＲＦ回路２０８、音声回路２１０、スピーカ２１１、マイクロフォン２１３、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、電話モジュール２３８は、電話番号に対応する一連の文字を入力し、連絡先モジュール２３７における１つ以上の電話番号にアクセスし、入力された電話番号を修正し、それぞれの電話番号をダイヤルし、会話を行い、そして、会話が完了したときに接続を切り又は電話を切るために使用されてもよい。上述したように、無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを使用してもよい。
[０１００]
ＲＦ回路２０８、音声回路２１０、スピーカ２１１、マイクロフォン２１３、タッチスクリーン２１２、ディスプレイコントローラ２５６、光センサ２６４、光センサコントローラ２５８、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、連絡先モジュール２３７、及び電話モジュール２３８と連携して、ビデオ会議モジュール２３９は、ユーザの命令に従って、ユーザと１人以上の他の参加者との間のビデオ会議を開始、遂行、及び終了する実行可能な命令を含む。
[０１０１]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、電子メールクライアントモジュール２４０は、ユーザの指示に応じて、電子メールを作成、送信、受信、及び管理する実行可能な命令を含む。画像管理モジュール２４４と連携して、電子メールクライアントモジュール２４０は、カメラモジュール２４３で撮影した静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
[０１０２]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、インスタントメッセージングモジュール２４１は、インスタントメッセージに対応する文字列を入力し、前に入力された文字を修正し、（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用して）それぞれのインスタントメッセージを送信し、インスタントメッセージを受信し、受信されたインスタントメッセージを参照する実行可能な命令を含む。いくつかの実施形態では、送信及び／又は受信されるインスタントメッセージは、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、音声ファイル、ビデオファイル、及び／又は他の添付ファイルを含んでもよい。本明細書で使用されるとき、「インスタントメッセージ」は、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）の双方を指す。
[０１０３]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動作モジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、ＧＰＳモジュール２３５、地図モジュール２５４、及び音楽再生モジュールと連携して、トレーニングサポートモジュール２４２は、（例えば、時間、距離、及び／又はカロリー消費目標を有する）トレーニングを生成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、トレーニングデータを表示、記憶、及び送信する実行可能な命令を含む。
[０１０４]
タッチスクリーン２１２、ディスプレイコントローラ２５６、光センサ（単数又は複数）２６４、光センサコントローラ２５８、接触／動きモジュール２３０、グラフィックモジュール２３２、及び画像管理モジュール２４４と連携して、カメラモジュール２４３は、静止画像又は（ビデオストリームを含む）ビデオをキャプチャし、メモリ２０２にそれらを記憶し、静止画像若しくはビデオの特性を修正し、又はメモリ２０２から静止画像若しくはビデオを削除する実行可能な命令を含む。
[０１０５]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びカメラモジュール２４３と連携して、画像管理モジュール２４４は、静止画像及び／又はビデオ画像を配置、修正（例えば、編集）、又は別の方法で操作、ラベルを付け、削除、（例えば、デジタルスライドショー又はアルバムにおいて）提示、及び記憶する実行可能な命令を含む。
[０１０６]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、ブラウザモジュール２４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索すること、リンク付けすること、受信すること、及び表示することを含むユーザの命令に従ってインターネットをブラウズする実行可能な命令を含む。
[０１０７]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、電子メールクライアントモジュール２４０、及びブラウザモジュール２４７と連携して、カレンダモジュール２４８は、ユーザの指示に従って、カレンダ及びカレンダと関連付けられたデータ（例えば、カレンダエントリ、ｔｏ ｄｏリスト等）を作成、表示、変更、記憶する実行可能な命令を含む。
[０１０８]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びブラウザモジュール２４７と連携して、ウィジェットモジュール２４９は、ユーザによってダウンロード及び使用することができるミニアプリケーション（例えば、天気ウィジェット２４９−１、株式ウィジェット２４９−２、計算機ウィジェット２４９−３、アラーム時計ウィジェット２４９−４、及び辞書ウィジェット２４９−５）、又はユーザによって作成することができる（例えば、ユーザ作成ウィジェット２４９−６）ミニアプリケーションである。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language）（ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets）（カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
[０１０９]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びブラウザモジュール２４７と連携して、ウィジェットクリエータモジュール２５０は、ウィジェットを作成する（例えば、ウェブページのユーザ指定箇所をウィジェットに変える）ためにユーザによって使用されてもよい。
[０１１０]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、検索モジュール２５１は、ユーザの命令に従って、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索用語）と一致する、メモリ２０２内のテキスト、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索する実行可能な命令を含む。
[０１１１]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、音声回路２１０、スピーカ２１１、ＲＦ回路２０８、及びブラウザモジュール２４７と連携して、ビデオ及び音楽再生モジュール２５２は、ＭＰ３又はＡＡＣファイル等の１つ以上のファイル形式で記憶された録音済みの音楽又は他のサウンドファイルをユーザがダウンロード及び再生することを可能にする実行可能な命令、並びにビデオを（タッチスクリーン２１２上、又は外部ポート２２４を介して接続された外部のディスプレイ上で）表示、提示、又は別の方法で再生する実行可能な命令を含む。いくつかの実施形態では、デバイス２００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）等のＭＰ３再生の機能を含む。
[０１１２]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、メモモジュール２５３は、ユーザの命令に従って、メモ及びｔｏ ｄｏリスト等を作成及び管理する実行可能な命令を含む。
[０１１３]
ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、ＧＰＳモジュール２３５、及びブラウザモジュール２４７と連携して、地図モジュール２５４は、ユーザの命令に従って、地図及び地図と関連付けられたデータ（例えば、運転方向、特定の位置若しくはその付近の店舗及び他の関心対象地点についてのデータ、並びに他の位置に基づく他のデータ）を受信、表示、修正、及び記憶するために使用されてもよい。
[０１１４]
タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、音声回路２１０、スピーカ２１１、ＲＦ回路２０８、テキスト入力モジュール２３４、電子メールクライアントモジュール２４０、及びブラウザモジュール２４７と連携して、オンラインビデオモジュール２５５は、ユーザがＨ．２６４等の１つ以上のファイル形式にあるオンラインビデオにアクセス、ブラウズ、（例えば、ストリーミング及び／又はダウンロードにより）受信、（例えば、タッチスクリーン上で、又は外部ポート２２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理することを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール２４０ではなく、インスタントメッセージングモジュール２４１が使用される。オンラインビデオアプリケーションの追加の説明は、その内容の全体が参照により本明細書に組み込まれる、２００７年６月２０日に出願された米国特許仮出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日に出願された米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」に見出すことができる。
[０１１５]
上記特定されたモジュール及びアプリケーションの各々は、上記説明された１つ以上の機能を実行するための実行可能な命令セット及び本出願に記載の方法（例えば、コンピュータにより実装される方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（例えば、命令のセット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、様々な実施形態では、これらのモジュールの様々なサブセットを組み合わせるか、又は他の方式で再編成することができる。例えば、ビデオ再生モジュールは、音楽再生モジュールと組み合わせて、単一のモジュール（例えば、図２Ａのビデオ及び音楽再生モジュール２５２）としてもよい。いくつかの実施形態では、メモリ２０２は、上記特定されたモジュール及びデータ構造のサブセットを記憶してもよい。更に、メモリ２０２は、上記説明されていない追加のモジュール及びデータ構造を記憶してもよい。
[０１１６]
いくつかの実施形態では、デバイス２００は、デバイス上の機能の予め定義されたセットの動作が排他的にタッチスクリーン及び／又はタッチパッドを通じて実行されるデバイスである。デバイス２００の動作についての主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することによって、デバイス２００上の（プッシュボタン及びダイヤル等の）物理入力制御デバイスの数を削減することができる。
[０１１７]
排他的にタッチスクリーン及び／又はタッチパッドを通じて実行される、予め定義された機能のセットは、任意選択的に、ユーザインタフェースの間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされるとき、デバイス２００上で表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューへデバイス２００をナビゲートする。そのような実施形態では、「メニューボタン」はタッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理プッシュボタン又は他の物理入力制御デバイスである。
[０１１８]
図２Ｂは、いくつかの実施形態に従った、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ２０２（図２Ａ）又はメモリ４７０（図４）は、イベントソート部２７０（例えば、オペレーティングシステム２２６内）及びそれぞれアプリケーション２３６−１（例えば、上述したアプリケーション２３７〜２５１、２５５、４８０〜４９０のうちのいずれか）を含む。
[０１１９]
イベントソート部２７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション２３６−１及びアプリケーション２３６−１のアプリケーションビュー２９１を判定する。イベントソート部２７０は、イベントモニタ２７１及びイベントディスパッチャモジュール２７４を含む。いくつかの実施形態では、アプリケーション２３６−１は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイ２１２上で表示される直近のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態２９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態２５７は、どのアプリケーション（単数又は複数）が現在アクティブであるか否かを判定するためにイベントソート部２７０によって使用され、アプリケーション内部状態２９２は、イベント情報が配信されるアプリケーションビュー２９１を判定するためにイベントソート部２７０によって使用される。
[０１２０]
いくつかの実施形態では、アプリケーション内部状態２９２は、アプリケーション２３６−１が実行を再開するときに使用される再開情報、アプリケーション２３６−１によって情報が表示されているか又は表示の準備がされていることを示すユーザインタフェース状態情報、ユーザがアプリケーション２３６−１の前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが前に行ったアクションの再実行／取消待ち行列のうちの１つ以上等の追加情報を含む。
[０１２１]
イベントモニタ２７１は、周辺機器インタフェース２１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ２１２上でのユーザのタッチ）に関する情報を含む。周辺機器インタフェース２１８は、Ｉ／Ｏサブシステム２０６、又は近接センサ２６６、加速度計（単数又は複数）２６８、及び／若しくは（音声回路２１０を通じた）マイクロフォン２１３等のセンサから受信する情報を送信する。周辺機器インタフェース２１８がＩ／Ｏサブシステム２０６から受信する情報は、タッチ感知ディスプレイ２１２又はタッチ感知面からの情報を含む。
[０１２２]
いくつかの実施形態では、イベントモニタ２７１は、所定の間隔で周辺機器インタフェース２１８に要求を送信する。これに応じて、周辺機器インタフェース２１８はイベント情報を送信する。他の実施形態では、周辺機器インタフェース２１８は、重要なイベント（例えば、所定のノイズ閾値を上回り、及び／又は所定の時間を超える入力を受信すること）が存在するときのみ、イベント情報を送信する。
[０１２３]
いくつかの実施形態では、イベントソート部２７０はまた、ヒットビュー判定モジュール２７２及び／又はアクティブイベント認識部判定モジュール２７３を含む。
[０１２４]
ヒットビュー判定モジュール２７２は、タッチ感知ディスプレイ２１２が２つ以上のビューを表示するときに、サブイベントが１つ以上のビュー内で発生したかを判定するためのソフトウェア手順を提供する。ビューは、制御部及びユーザがディスプレイ上で見ることができる他の要素で構成されている。
[０１２５]
アプリケーションと関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合があるビューのセットであり、それらにおいて情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、そのアプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応してもよい。例えば、タッチが検出される最下位レベルのビューはヒットビューと呼ばれてもよく、適切な入力として認識されるイベントのセットは、少なくとも部分的にタッチに基づくジェスチャを開始する最初のタッチのヒットビューに基づいて判定されてもよい。
[０１２６]
ヒットビュー判定モジュール２７２は、タッチに基づくジェスチャのサブイベントと関連する情報を受信する。アプリケーションが、階層で編成された複数のビューを有するとき、ヒットビュー判定モジュール２７２は、サブイベントを処理するべき階層における最下位のビューとしてヒットビューを特定する。ほとんどの状況では、ヒットビューは、最初のサブイベント（例えば、イベント又は潜在的なイベントを形成する一連のサブイベントにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュール２７２によって特定されると、ヒットビューは、典型的には、それがヒットビューとして特定された、同一のタッチ又は入力ソースに関連する全てのサブイベントを受信する。
[０１２７]
アクティブイベント認識部判定モジュール２７３は、ビュー階層内のどのビュー（単数又は複数）が特定の一連のサブイベントを受信するべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール２７３は、ヒットビューのみが特定の一連のサブイベントを受信するべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール２７３は、サブイベントの物理的な位置を含む全てのビューがアクティブに関与しているビューであると判定し、従って、全てのアクティブに関与しているビューが特定の一連のサブイベントを受信するべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューと関連付けられたエリアに完全に制限される場合でさえ、階層における上位のビューは、アクティブに関与しているビューのままである。
[０１２８]
イベントディスパッチャモジュール２７４は、イベント情報をイベント認識部（例えば、イベント認識部２８０）に発送する。アクティブイベント認識部判定モジュール２７３を含む実施形態では、イベントディスパッチャモジュール２７４は、アクティブイベント認識部判定モジュール２７３によって判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール２７４は、それぞれのイベント受信部２８２により取得されるイベント情報をイベント待ち行列に記憶する。
[０１２９]
いくつかの実施形態では、オペレーティングシステム２２６は、イベントソート部２７０を含む。代わりに、アプリケーション２３６−１は、イベントソート部２７０を含む。更なる他の実施形態では、イベントソート部２７０は、スタンドアロンモジュール、又は接触／動きモジュール２３０等のメモリ２０２に記憶された別のモジュールの一部である。
[０１３０]
いくつかの実施形態では、アプリケーション２３６−１は、各々がアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベントハンドラ２９０及び１つ以上のアプリケーションビュー２９１を含む。アプリケーション２３６−１の各々のアプリケーションビュー２９１は、１つ以上のイベント認識部２８０を含む。典型的には、それぞれのアプリケーションビュー２９１は、複数のイベント認識部２８０を含む。他の実施形態では、イベント認識部２８０のうちの１つ以上は、ユーザインタフェースキット（図示せず）、又はアプリケーション２３６−１がメソッド及び他の性質をそれから継承する上位レベルのオブジェクト等の別々のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部２９０は、データ更新部２７６、オブジェクト更新部２７７、ＧＵＩ更新部２７８、及び／又はイベントソート部２７０から受信されたイベントデータ２７９のうちの１つ以上を含む。イベント処理部２９０は、アプリケーション内部状態２９２を更新するために、データ更新部２７６、オブジェクト更新部２７７、若しくはＧＵＩ更新部２７８を利用又は呼び出すことができる。代わりに、アプリケーションビュー２９１のうちの１つ以上は、１つ以上のそれぞれのイベント処理部２９０を含む。また、いくつかの実施形態では、データ更新部２７６、オブジェクト更新部２７７、及びＧＵＩ更新部２７８のうちの１つ以上は、それぞれのアプリケーションビュー２９１に含まれる。
[０１３１]
それぞれのイベント認識部２８０は、イベントソート部２７０からイベント情報（例えば、イベントデータ２７９）を受信し、イベント情報からイベントを特定する。イベント認識部２８０は、イベント受信部２８２及びイベント比較部２８４を含む。いくつかの実施形態では、イベント認識部２８０はまた、メタデータ２８３及びイベント配信命令２８８（サブイベント配信命令を含んでもよい）の少なくともサブセットを含む。
[０１３２]
イベント受信部２８２は、イベントソート部２７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動に関する情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置等の追加の情報を含む。サブイベントがタッチの動きに関係するとき、イベント情報はまた、そのサブイベントの速さ及び方向も含んでもよい。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへの、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ばれる）に関する対応する情報を含む。
[０１３３]
イベント比較部２８４は、イベント情報を予め定義されたイベント又はサブイベント定義と比較し、比較に基づいて、イベント若しくはサブイベントを判定し、又はイベント若しくはサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部２８４は、イベント定義２８６を含む。イベント定義２８６は、例えば、イベント１（２８７−１）、イベント２（２８７−２）等の、イベントの定義（例えば、予め定義された一連のサブイベント）を含む。いくつかの実施形態では、イベント（２８７）におけるサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの中止、及び複数のタッチを含む。一実施例では、イベント１（２８７−１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階の間の表示されたオブジェクト上の第１のタッチ（タッチの開始）、所定の段階の間の第１のリフトオフ（タッチの終了）、所定の段階の間の表示オブジェクト上の第２のタッチ（タッチの開始）、及び所定の段階の間の第２のリフトオフ（タッチの終了）を含む。別の実施例では、イベント２（２８７−２）についての定義は、表示されたオブジェクト上のドラッグ操作である。ドラッグ操作は、例えば、所定の段階の間の表示されたオブジェクト上のタッチ（又は、接触）、タッチ感知ディスプレイ２１２を横断するタッチの移動、及びタッチのリフトオフ（タッチの終了）を含む。いくつかの実施形態では、イベントはまた、１つ以上の関連付けられたイベント処理部２９０についての情報を含む。
[０１３４]
いくつかの実施形態では、イベント定義２８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部２８４は、どのユーザインタフェースオブジェクトがサブイベントと関連付けられるかを判定するためのヒットテストを実行する。例えば、３つのユーザインタフェースオブジェクトがタッチ感知ディスプレイ２１２に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ２１２上でタッチが検出されるとき、イベント比較部２８４は、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）と関連付けられているかを判定するためのヒットテストを実行する。表示された各々のオブジェクトがそれぞれのイベント処理部２９０と関連付けられている場合、イベント比較部は、ヒットテストの結果を使用して、どのイベント処理部２９０をアクティブ化するべきかを判定する。例えば、イベント比較部２８４は、サブイベント及びヒットテストをトリガするオブジェクトと関連付けられたイベント処理部を選択する。
[０１３５]
いくつかの実施形態では、それぞれのイベント（２８７）についての定義はまた、一連のサブイベントがイベント認識部のイベントタイプに対応するか否かが判定されるまでイベント情報の配信を遅延させる遅延アクションを含む。
[０１３６]
それぞれのイベント認識部２８０が、一連のサブイベントがイベント定義２８６におけるイベントのいずれとも一致しないと判定するとき、それぞれのイベント認識部２８０は、イベント不可能、イベント失敗、又はイベント終了状態に入り、その後は、タッチに基づくジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューに対してアクティブのままである他のイベント認識部がある場合、そのイベント認識部は、進行中のタッチに基づくジェスチャのサブイベントを追跡及び処理することを続ける。
[０１３７]
いくつかの実施形態では、それぞれのイベント認識部２８０は、イベント配信システムがどのようにサブイベント配信を実行するべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ２８３を含む。いくつかの実施形態では、メタデータ２８３は、イベント認識部が相互にどのように対話することができるか、又は対話が可能になるかについて示す、構成変更可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ２８３は、サブイベントがビュー階層又はプログラム階層における様々なレベルに配信されるかを示す、構成変更可能なプロパティ、フラグ、及び／又はリストを含む。
[０１３８]
いくつかの実施形態では、それぞれのイベント認識部２８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベント処理部２９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部２８０は、イベントと関連付けられたイベント情報をイベント処理部２９０に配信する。イベント処理部２９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信（及び送信を延期する）することとは異なる。いくつかの実施形態では、イベント認識部２８０は、認識されたイベントと関連付けられたフラグをスローし、フラグと関連付けられたイベント処理部２９０は、フラグをキャッチし、予め定義された処理を実行する。
[０１３９]
いくつかの実施形態では、イベント配信命令２８８は、イベント処理部をアクティブ化することなくサブイベントに関するイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
[０１４０]
いくつかの実施形態では、データ更新部２７６は、アプリケーション２３６−１で使用されるデータを作成及び更新する。例えば、データ更新部２７６は、連絡先モジュール２３７で使用される電話番号を更新し、又はビデオ再生モジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部２７７は、アプリケーション２３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部２７７は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部２７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部２７８は、表示情報を作成し、タッチ感知ディスプレイ上で表示するためにそれをグラフィックモジュール２３２に送信する。
[０１４１]
いくつかの実施形態では、イベント処理部（単数又は複数）２９０は、データ更新部２７６、オブジェクト更新部２７７、及びＧＵＩ更新部２７８を含み、又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部２７６、オブジェクト更新部２７７、及びＧＵＩ更新部２７８は、それぞれのアプリケーション２３６−１又はアプリケーションビュー２９１の単一のモジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
[０１４２]
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の議論はまた、入力デバイスを有する多機能デバイス２００を動作させるための他の形式のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことが理解されよう。例えば、単一若しくは複数のキーボードの押圧若しくは保持に任意選択的に合わせたマウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロール等の接触移動、ペンのスタイラス入力、デバイスの移動、口頭による指示、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組み合わせは、任意選択的に、認識されることになるイベントを定義するサブイベントに対応する入力として利用される。
[０１４３]
図３は、いくつかの実施形態に従った、タッチスクリーン２１２を有するポータブル多機能デバイス２００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface）（ＵＩ）３００内に１つ以上のグラフィックを表示する。本実施形態と共に以下で説明されるその他では、ユーザは、例えば、１本以上の指３０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス３０３（図には、正確な縮尺率では描かれていない）で、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することが可能になる。いくつかの実施形態では、ユーザが１つ以上のグラフィックとの接触を中断するときに１つ以上のグラフィックの選択が発生する。いくつかの実施形態では、ジェスチャは、任意選択的に、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ、及び／若しくは下方向へ）、並びに／又はデバイス２００と接触した指の回転（右から左へ、左から右へ、上方向へ、及び／若しくは下方向へ）を含む。いくつかの実施形態又は状況では、グラフィックとの不測の接触は、グラフィックを選択しない。例えば、選択に対応するジェスチャがタップであるとき、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択しない。
[０１４４]
デバイス２００はまた、「ホーム」又はメニューボタン３０４等の１つ以上の物理ボタンを含んでもよい。前に説明されたように、メニューボタン３０４は、デバイス２００上で実行することができるアプリケーションセットにおける任意のアプリケーション２３６へナビゲートするために使用されてもよい。代わりに、いくつかの実施形態では、メニューボタンは、タッチスクリーン２１２に表示されたＧＵＩにおけるソフトキーとして実装される。
[０１４５]
一実施形態では、デバイス２００は、タッチスクリーン２１２、メニューボタン３０４、デバイスの電源をオン／オフし、デバイスをロックするためのプッシュボタン３０６、音量調節ボタン（単数又は複数）３０８、加入者識別モジュール（ＳＩＭ）カードスロット３１０、ヘッドセットジャック３１２、及びドッキング／充電用外部ポート２２４を含む。プッシュボタン３０６は、任意選択的に、ボタンを押し下げ、予め定義された時間間隔の間にボタンを押し下げた状態で保持することによってデバイス上の電力をターンオン／オフし、ボタンを押し下げ予め定義された時間間隔が経過する前にボタンを解放することによってデバイスをロックし、及び／又はデバイスのロックを解除し若しくはロック解除処理を開始するために使用される。代替的な実施形態では、デバイス２００はまた、マイクロフォン２１３を通じていくつかの機能をアクティブ化又は非アクティブ化するための口頭入力を受け付ける。デバイス２００はまた、任意選択的に、タッチスクリーン２１２上の接触の強度を検出するための１つ以上の接触強度センサ２６５、及び／又はデバイス２００のユーザについての触知出力を生成するための１つ以上の触知出力生成器２６７を含む。
[０１４６]
図４は、いくつかの実施形態に従った、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス４００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス４００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具等）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス４００は、典型的には、１つ以上のプロセシングユニット（ＣＰＵ）４１０、１つ以上のネットワーク又は他の通信インタフェース４６０、メモリ４７０、及びこれらの構成要素を相互接続するための１つ以上の通信バス４２０を含む。通信バス４２０は、任意選択的に、システム構成要素の間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を含む。デバイス４００は、典型的には、タッチスクリーンディスプレイであるディスプレイ４４０を含む入出力（Ｉ／Ｏ）インタフェース４３０を含む。Ｉ／Ｏインタフェース４３０はまた、任意選択的に、キーボード及び／若しくはマウス（又は、他のポインティングデバイス）４５０、並びにタッチパッド４５５、デバイス４００上で触知出力を生成するための（例えば、図２Ａを参照して上記説明された触知出力生成器２６７（単数又は複数）と同様の）触知出力生成器４５７、センサ４５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図２Ａを参照して上記説明された接触強度センサ（単数又は複数）２６５と同様の接触強度センサ）を含む。メモリ４７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイス等の高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体記憶デバイス等の不揮発性メモリを含む。メモリ４７０は、任意選択的に、ＣＰＵ（単数又は複数）４１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ４７０は、ポータブル多機能デバイス２００（図２Ａ）のメモリ２０２に記憶されたプログラム、モジュール、及びデータ構造、又はそれらのサブセットに類似する、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ４７０は、任意選択的に、ポータブル多機能デバイス２００のメモリ２０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス４００のメモリ４７０は、任意選択的に、描画モジュール４８０、プレゼンテーションモジュール４８２、ワードプロセッシングモジュール４８４、ウェブサイト作成モジュール４８６、ディスクオーサリングモジュール４８８、及び／又はスプレッドシートモジュール４９０を記憶するが、ポータブル多機能デバイス２００（図２Ａ）のメモリ２０２はこれらのモジュールを記憶しない。
[０１４７]
図４における上記特定された要素の各々は、前述のメモリデバイスのうちの１つ以上に記憶されていてもよい。上記特定されたモジュールの各々は、上記説明された機能を実行する命令セットに対応する。上記特定されたモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、様々な実施形態では、これらのモジュールの様々なサブセットは組み合わされてもよく、又は他の方式で再編成されてもよい。いくつかの実施形態では、メモリ４７０は、上記特定されたモジュール及びデータ構造のサブセットを記憶してもよい。更に、メモリ４７０は、上記説明されていない追加のモジュール及びデータ構造を記憶してもよい。
[０１４８]
ここで、例えば、ポータブル多機能デバイス２００上で実装することができるユーザインタフェースの実施形態に注意を向ける。
[０１４９]
図５Ａは、いくつかの実施形態に従った、ポータブル多機能デバイス２００上のアプリケーションのメニュー用の例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス４００上で実装されてもよい。いくつかの実施形態では、ユーザインタフェース５００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
[０１５０]
セルラー信号及びＷｉ−Ｆｉ信号等の無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）５０２、
●時間５０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ５０５、
●バッテリ状態インジケータ５０６、
●下記等の、頻繁に使用されるアプリケーション用のアイコンを含むトレー５０８、
○不在着信又はボイスメールメッセージの数のインジケータ５１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール２３８用のアイコン５１６、
○未読電子メールの数のインジケータ５１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール２４０用のアイコン５１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール２４７用のアイコン５２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール２５２とも称されるビデオ及び音楽再生モジュール２５２用のアイコン５２２、並びに
●下記等の、その他のアプリケーションのためのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール２４１用のアイコン５２４、
○「カレンダ」とラベル付けされた、カレンダモジュール２４８用のアイコン５２６、
○「写真」とラベル付けされた、画像管理モジュール２４４用のアイコン５２８、
○「カメラ」とラベル付けされた、カメラモジュール２４３用のアイコン５３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール２５５用のアイコン５３２、
○「株式」とラベル付けされた、株式ウィジェット２４９−２用のアイコン５３４、
○「地図」とラベル付けされた、地図モジュール２５４用のアイコン５３６、
○「天気」とラベル付けされた、天気ウィジェット２４９−１用のアイコン５３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット２４９−４用のアイコン５４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール２４２用のアイコン５４２、
○「メモ」とラベル付けされた、メモモジュール２５３用のアイコン５４４、及び
○デバイス２００及びその様々なアプリケーション２３６についての設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション若しくはモジュール用のアイコン５４６。
[０１５１]
図５Ａに示されるアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽再生モジュール２５２用のアイコン５２２は、任意選択的に、「音楽」又は「音楽再生」とラベル付けされてもよい。他のラベルは、任意選択的に、様々なアプリケーションアイコンのために使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンについてのラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンについてのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
[０１５２]
図５Ｂは、ディスプレイ５５０（例えば、タッチスクリーンディスプレイ２１２）とは別個のタッチ感知面５５１（例えば、図４のタブレット又はタッチパッド４５５）を有するデバイス（例えば、図４のデバイス４００）上の例示的なユーザインタフェースを示す。デバイス４００はまた、任意選択的に、タッチ感知面５５１上の接触の強度を検出するための１つ以上の接触強度センサ（例えば、センサ４５７のうちの１つ以上）、及び／又はデバイス４００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器４５９を含む。
[０１５３]
以下の実施例のうちのいくつかはタッチスクリーンディスプレイ２１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、いくつかの実施形態では、デバイスは、図５Ｂに示されるように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図５Ｂの５５１）は、ディスプレイ（例えば、５５０）上の主軸（例えば、図５Ｂの５５３）に対応する主軸（例えば、図５Ｂの５５２）を有する。これらの実施形態に従って、デバイスは、タッチ感知面５５１との接触（例えば、図５Ｂの５６０及び５６２）を、ディスプレイ上のそれぞれの一に対応する位置（例えば、図５Ｂでは、５６０は５６８に対応し、５６２は５７０に対応する）において検出する。このように、タッチ感知面がディスプレイとは別個であるとき、タッチ感知面（例えば、図５Ｂの５５１）上でデバイスによって検出されたユーザ入力（例えば、接触５６０及び接触５６２、並びにそれらの移動）が、多機能デバイスのディスプレイ（例えば、図５Ｂでの５５０）上でユーザインタフェースを操作するためにデバイスによって使用される。同様の方法は、任意選択的に、本明細書で説明される他のユーザインタフェースに使用されることを理解されたい。
[０１５４]
加えて、以下の実施例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ）を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力、又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、スワイプの経路に沿ったカーソルの移動がその後に続く（例えば、接触の移動の代わりに）、マウスクリックと置き換えられる（例えば、接触の代わりに）。別の実施例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間にマウスクリックと置き換えられる（例えば、接触の検出とそれに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが任意選択的に同時に使用され、又はマウス及び指の接触が任意選択的に同時に使用されることを理解されたい。
[０１５５]
図６Ａは、例示的なパーソナル電子デバイス６００を示す。デバイス６００は、本体６０２を含む。いくつかの実施形態では、デバイス６００は、デバイス２００及びデバイス４００（例えば、図２Ａ〜図４Ｂ）に関して説明される特徴のいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス６００は、タッチ感知ディスプレイ画面６０４、以後、タッチスクリーン６０４を有する。タッチスクリーン６０４の代わりに、又はそれに加えて、デバイス６００は、ディスプレイ及びタッチ感知面を有する。デバイス２００及びデバイス４００と同様に、いくつかの実施形態では、タッチスクリーン６０４（又は、タッチ感知面）は、加えられている接触（例えば、タッチ）の強度を検出するための１つ以上の強度センサを有してもよい。タッチスクリーン６０４（又は、タッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス６００のユーザインタフェースは、タッチの強度に基づいてタッチに応じてもよく、これは、異なる強度のタッチがデバイス６００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
[０１５６]
タッチ強度を検出及び処理するための技術は、それぞれが全体として参照により本明細書に組み込まれる、例えば、関連出願である、２０１３年５月８日に出願された「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」と題する国際出願ＰＣＴ／ＵＳ２０１３／０４００６１号、及び２０１３年１１月１１日に出願された「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」と題する同ＰＣＴ／ＵＳ２０１３／０６９４８３号に見出すことができる。
[０１５７]
いくつかの実施形態では、デバイス６００は、１つ以上の入力機構６０６及び６０８を有する。入力機構６０６及び６０８は、含まれる場合、物理的なものとすることができる。物理入力機構の例は、プッシュボタン及び回転可能機構を含む。いくつかの実施形態では、デバイス６００は、１つ以上の取付機構を有する。そのような取付機構は、含まれる場合、例えば、デバイス６００を、帽子、アイウェア、イヤリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計バンド、チェーン、ズボン、ベルト、靴、財布、及びバックパック等に取り付けることを可能にする。これらの取付機構によって、ユーザはデバイス６００を着用することができる。
[０１５８]
図６Ｂは、例示的なパーソナル電子デバイス６００を示す。いくつかの実施形態では、デバイス６００は、図２Ａ、図２Ｂ、及び図４に関連して説明された構成要素のいくつか又は全てを含むことができる。デバイス６００は、Ｉ／Ｏ部６１４を１つ以上のコンピュータプロセッサ６１６及びメモリ６１８に動作可能に結合するバス６１２を有する。Ｉ／Ｏ部６１４は、タッチ感知構成要素６２２、及び、任意選択的に、タッチ強度感知構成要素６２４を有することができるディスプレイ６０４に接続されてもよい。加えて、Ｉ／Ｏ部６１４は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（「ＮＦＣ」）、セルラー、及び／又は他の無線通信技術を使用して、アプリケーション及びオペレーティングシステムデータを受信するための通信ユニット６３０と接続されてもよい。デバイス６００は、入力機構６０６及び／又は６０８を含むことができる。入力機構６０６は、例えば、回転可能入力デバイス、又は押し下げ可能及び回転可能入力デバイスであってもよい。入力機構６０８は、いくつかの実施例では、ボタンであってもよい。
[０１５９]
入力機構６０８は、いくつかの実施例では、マイクロフォンであってもよい。パーソナル電子デバイス６００は、ＧＰＳセンサ６３２、加速度計６３４、方向センサ６４０（例えば、コンパス）、ジャイロスコープ６３６、動きセンサ６３８、及び／又はこれらの組み合わせ等の、様々なセンサを含むことができるが、それらの全ては、Ｉ／Ｏ部６１４に動作可能に接続されてもよい。
[０１６０]
パーソナル電子デバイス６００のメモリ６１８は、コンピュータ実行可能命令を記憶するための非一時的コンピュータ可読記憶媒体とすることができ、それらの命令は、１つ以上のコンピュータプロセッサ６１６によって実行されるとき、例えば、コンピュータプロセッサに、処理１２００（図１２Ａ〜Ｄ）を含む、上記説明された技術を実行させることができる。コンピュータ実行可能命令はまた、コンピュータベースのシステム、プロセッサを含むシステム、又は命令実行システム、装置、若しくはデバイスから命令をフェッチすることができ、命令を実行することができる他のシステム等、命令実行システム、装置、又はデバイスによって、又はそれらと接続して使用するための任意の非一時的コンピュータ可読記憶媒体に記憶及び／又は伝送されてもよい。パーソナル電子デバイス６００は、図６Ｂの構成要素及び構成に限定されるものではなく、複数の構成における他の構成要素又は追加的構成要素を含むことができる。
[０１６１]
本明細書で使用されるとき、用語「アフォーダンス」は、デバイス２００、デバイス４００、及び／又はデバイス６００（図２、図４、及び図６）のディスプレイスクリーン上で表示することができるユーザ対話式のグラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及びテキスト（例えば、リンク）は各々、アフォーダンスを構成することができる。
[０１６２]
本明細書で使用されるとき、用語「フォーカスセレクタ」は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含むいくつかの実装形態では、カーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上にある間に、タッチ感知面（例えば、図４のタッチパッド４５５、又は図５Ｂのタッチ感知面５５１）上で入力（例えば、押圧入力）が検出されるとき、特定のユーザインタフェース要素が検出された入力に従って調整されるように、カーソルは「フォーカスセレクタ」として機能する。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ（例えば、図２Ａのタッチ感知ディスプレイシステム２１２、又は図５Ａのタッチスクリーン２１２）を含むいくつかの実装形態では、入力（例えば、接触による押圧入力）がタッチスクリーンディスプレイ上で特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の位置において検出されるとき、特定のユーザインタフェース要素が検出された入力に従って調節されるように、タッチスクリーン上の検出された接触は、「フォーカスセレクタ」として機能する。いくつかの実装形態では、（例えば、タブキー又は矢印キーを使用してフォーカスを１つのボタンから別のボタンに移動させることにより）タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスが、ユーザインタフェースの１つの領域からユーザインタフェースの別の領域に移動され、それらの実施形態では、フォーカスセレクタは、ユーザインタフェースの異なる領域の間のフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形式とは関係なく、フォーカスセレクタは概して、ユーザの意図したユーザインタフェースとの対話を通信するために（例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインタフェース要素（又は、タッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出される間、それぞれのボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、（デバイスのディスプレイ上で示される他のユーザインタフェース要素とは反対側の）それぞれのボタンをユーザがアクティブ化することを意図していることを示す。
[０１６３]
本明細書及び特許請求の範囲で使用するとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づくその接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、予め定義された数の強度サンプル、或いは予め定義されたイベントに対する（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終わりを検出する前、接触の強度における増大を検出する前若しくは後、及び／又は接触の強度における減少を検出する前若しくは後）所定の時間期間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルの組に基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、又は接触の強度の最大値の９０％の値等のうちの１つ以上に基づく。いくつかの実施形態では、接触の期間は、特性強度を判定する際に使用される（例えば、特性強度が経時的な接触の強度の平均にあるとき）。いくつかの実施形態では、特性強度は、操作がユーザによって実行されたかを判定するために１つ以上の強度閾値の組と比較される。例えば、１つ以上の強度閾値のセットは、第１の強度閾値及び第２の強度閾値を含むことができる。この実施例では、第１の閾値を越えない特性強度を有する接触の結果として第１の動作が実行され、第１の強度閾値を越え、第２の強度閾値を越えない特性強度を有する接触の結果として第２の動作が実行され、第２の閾値を越える特性強度を有する接触の結果として第３の動作が実行される。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するか又は第２の動作を実行するかを判定するために使用されるのではなく、１つ以上の動作を実行するか否か（例えば、それぞれの動作を実行するのか、又はそれぞれの動作の実行をしないで済ますか）を判定するために使用される。
[０１６４]
いくつかの実施形態では、特性強度を判定する目的で、ジェスチャの一部が特定される。例えば、タッチ感知面は、接触の強度が増加する開始位置から遷移して終了位置に到達する連続的なスワイプ接触を受け取ってもよい。この実施例では、終了位置における接触の特性強度は、連続的なスワイプ接触の一部のみに基づいており、全体的なスワイプ接触ではない（例えば、終了位置におけるスワイプ接触の一部のみ）。いくつかの実施形態では、接触の特性強度を判定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用してもよい。例えば、平滑化アルゴリズムは、任意選択的に、非荷重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的で、スワイプ接触の強度の小幅な上昇又は低下を除外する。
[０１６５]
タッチ感知面上の接触の強度は、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び／又は１つ以上の他の強度閾値等などの１つ以上の強度閾値に対して特徴付けられてもよい。いくつかの実施形態では、軽い押圧強度閾値は、典型的に物理マウスのボタン又はトラックパッドのクリックと関連付けられた動作をデバイスが実行する強度に対応する。いくつかの実施形態では、深い押圧強度閾値は、典型的に物理マウスのボタン又はトラックパッドのクリックと関連付けられた動作とは異なる動作をデバイスが実行する強度に対応する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、かつ、それを下回ると接触がもはや検出されないわずかな接触検出強度閾値を上回る）特性強度を有する接触が検出されるとき、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値と関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従ってフォーカスセレクタを移動させる。概して、特に明記しない限り、これらの強度閾値は、ユーザインタフェースの図の異なるセットの間で一貫している。
[０１６６]
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への接触の特性強度の増大は、「軽い押圧」入力と称される場合がある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への接触の特性強度の増大は、「深い押圧」入力と称される場合がある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への接触の特性強度の増大は、タッチ面上の接触の検出と称される場合がある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と称される場合がある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロより大きい。
[０１６７]
本明細書で説明されるいくつかの実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（又は、複数の接触）で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度における増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの操作は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大（例えば、それぞれの押圧入力の「ダウンストローク」）の検出に応じて実行される。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及び押圧入力強度閾値を下回る接触の強度の後続の減少を含み、それぞれの動作は、押圧入力閾値を下回るそれぞれの接触の強度の後続の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて実行される。
[０１６８]
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との予め定義された関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な比率である）。よって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及び押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の後続の減少を含み、それぞれの動作は、ヒステリシス強度閾値を下回る、それぞれの接触の強度の後続の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて実行される。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、ヒステリシス強度以下の強度への、接触の強度の後続の減少を検出する場合にのみ検出され、それぞれの動作は、押圧入力の検出（例えば、状況に応じて、接触の強度の増大、又は接触の強度の減少）に応じて実行される。
[０１６９]
説明を容易にするために、押圧入力強度閾値と関連付けられた押圧入力に応じて、又は押圧入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて動作が実行されるとして説明される実施例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る、接触の強度の減少を検出したことに応じて実行される。
３．デジタルアシスタントシステム
[０１７０]
図７Ａは、様々な実施例に従った、デジタルアシスタントシステム７００のブロック図を示す。いくつかの実施例では、デジタルアシスタントシステム７００は、スタンドアロンコンピュータシステム上で実装されてもよい。いくつかの実施例では、デジタルアシスタントシステム７００は、複数のコンピュータにわたって分散されてもよい。いくつかの実施例では、デジタルアシスタントのモジュール及び機能のいくつかは、サーバ部分及びクライアント部分に分割されてもよく、そこでは、クライアント部分は１つ以上のユーザデバイス（例えば、デバイス１０４、デバイス１２２、デバイス２００、デバイス４００、又はデバイス６００）上に常駐し、例えば、図１に示すように、１つ以上のネットワークを通じてサーバ部分（例えば、サーバシステム１０８）と通信する。いくつかの実施例では、デジタルアシスタントシステム７００は、図１に示されたサーバシステム１０８（及び／又は、ＤＡサーバ１０６）の実施形態であってもよい。デジタルアシスタントシステム７００は、デジタルアシスタントシステムの単なる一実施例に過ぎず、デジタルアシスタントシステム７００は、示されているよりも多くの若しくは少ない構成要素を有してもよく、２つ以上の構成要素を組み合わせてもよく、又は構成要素の異なる構成若しくは配置を有することができることに留意されたい。図７Ａに示される様々な構成要素は、１つ以上の信号処理回路及び／若しくは特定用途向け集積回路を含む、ハードウェア、１つ以上のプロセッサによって実行されるソフトウェア命令、ファームウェア、又はそれらの組み合わせの形態で実装されてもよい。
[０１７１]
デジタルアシスタントシステム７００は、メモリ７０２、１つ以上のプロセッサ７０４、入出力（Ｉ／Ｏ）インタフェース７０６、及びネットワーク通信インタフェース７０８を含むことができる。これらの構成要素は、１つ以上の通信バス又は信号線７１０を介して相互に通信することができる。
[０１７２]
いくつかの実施例では、メモリ７０２は、高速ランダムアクセスメモリ並びに／又は不揮発性コンピュータ可読記憶媒体（例えば、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、若しくは他の不揮発性固体メモリデバイス）等の非一時的コンピュータ可読媒体を含むことができる。
[０１７３]
いくつかの実施例では、Ｉ／Ｏインタフェース７０６は、ディスプレイ、キーボード、タッチスクリーン、及びマイクロフォン等、デジタルアシスタントシステム７００の入出力デバイス７１６をユーザインタフェースモジュール７２２に結合することができる。Ｉ／Ｏインタフェース７０６は、ユーザインタフェースモジュール７２２と協働して、ユーザ入力（例えば、音声入力、キーボード入力、タッチ入力等）を受信し、対応してそれらを処理する。いくつかの実施例では、例えば、デジタルアシスタントがスタンドアロンユーザデバイス上で実装されるとき、デジタルアシスタントシステム７００は、図２Ａ、図４、図６Ａ〜図６Ｂにおいてそれぞれデバイス２００、デバイス４００、又はデバイス６００に関連して説明されている構成要素及びＩ／Ｏ通信インタフェースのいずれかを含むことができる。いくつかの実施例では、デジタルアシスタントシステム７００は、デジタルアシスタントの実施形態のサーバ部分を表すことができ、ユーザデバイス（例えば、デバイス１０４、デバイス２００、デバイス４００、又はデバイス６００）上に常駐するクライアント側部分を通じてユーザと対話することができる。
[０１７４]
いくつかの実施例では、ネットワーク通信インタフェース７０８は、有線通信ポート（単数又は複数）７１２及び／又は無線送受信回路７１４を含むことができる。有線通信ポート（単数又は複数）７１２は、１つ以上の有線インタフェース、例えば、イーサネット、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ等を介して通信信号を受信及び送信することができる。無線回路７１４は、通信ネットワーク及び他の通信デバイスをから／へ、ＲＦ信号及び／又は光信号を受信及び送信することができる。無線通信は、ＧＳＭ、ＥＤＧＥ、ＣＤＭＡ、ＴＤＭＡ、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、ＶｏＩＰ、Ｗｉ−ＭＡＸ、又は任意のその他の適切な通信プロトコル等の複数の通信規格、プロトコル及び技術のうちのいずれかを使用することができる。ネットワーク通信インタフェース７０８は、インターネット、イントラネット等のネットワーク、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）等の無線ネットワーク、及び／又はメトロポリタンエリアネットワーク（Metropolitan Area Network、ＭＡＮ）による、デジタルアシスタントシステム７００と他のデバイスとの間の通信を可能にすることができる。
[０１７５]
いくつかの実施例では、メモリ７０２、又はメモリ７０２のコンピュータ可読記憶媒体は、オペレーティングシステム７１８、通信モジュール７２０、ユーザインタフェースモジュール７２２、１つ以上のアプリケーション７２４、及びデジタルアシスタントモジュール７２６の全て又はサブセットを含むプログラム、モジュール、命令、及びデータ構造を記憶することができる。特に、メモリ７０２又はメモリ７０２のコンピュータ可読記憶媒体は、以下で説明する処理１２００を実行する命令を記憶することができる。１つ以上のプロセッサ７０４はこれらのプログラム、モジュール、及び命令を実行し、データ構造から／へと読み出し／書き込みを行うことができる。
[０１７６]
オペレーティングシステム７１８（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ｉＯＳ、ＯＳ Ｘ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓ等の組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶装置制御、電力管理等）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含むことができ、様々なハードウェア、ファームウェア、及びソフトウェア構成要素間の通信を促進する。
[０１７７]
通信モジュール７２０は、ネットワーク通信インタフェース７０８上でのデジタルアシスタントシステム７００と他のデバイスとの間の通信を促進する。例えば、通信モジュール７２０は、図２Ａ、図４、図６Ａ〜図６Ｂにそれぞれ示すデバイス２００、デバイス４００、及びデバイス６００等の電子デバイスのＲＦ回路２０８と通信することができる。通信モジュール７２０はまた、無線回路７１４及び／又は有線通信ポート７１２により受信されたデータを処理するための様々な構成要素も含むことができる。
[０１７８]
ユーザインタフェースモジュール７２２はＩ／Ｏインタフェース７０６を介して（例えば、キーボード、タッチスクリーン、ポインティングデバイス、コントローラ、及び／又はマイクロフォンから）ユーザからのコマンド及び／又は入力を受信することができ、ディスプレイ上でユーザインタフェースオブジェクトを生成することができる。ユーザインタフェースモジュール７２２はまた、Ｉ／Ｏインタフェース７０６を介して（例えば、ディスプレイ、音声チャネル、スピーカ、タッチパッド等を通じて）、ユーザへの出力（例えば、発話、音声、アニメーション、テキスト、アイコン、振動、触覚フィードバック、光等）を準備及び配信することができる。
[０１７９]
アプリケーション７２４は、１つ以上のプロセッサ７０４により実行されるように構成されたプログラム及び／又はモジュールを含むことができる。例えば、デジタルアシスタントシステムがスタンドアロンのユーザデバイス上で実装される場合、アプリケーション７２４は、ゲーム、カレンダアプリケーション、ナビゲーションアプリケーション、又は電子メールアプリケーション等のユーザアプリケーションを含むことができる。デジタルアシスタントシステム７００がサーバ上で実装される場合、アプリケーション７２４は、例えば、リソース管理アプリケーション、診断アプリケーション、又はスケジューリングアプリケーションを含むことができる。
[０１８０]
メモリ７０２はまた、デジタルアシスタントモジュール７２６（又は、デジタルアシスタントのサーバ部分）を記憶することができる。いくつかの実施例では、デジタルアシスタントモジュール７２６は、以下のサブモジュール、又はそれらのサブセット若しくはスーパーセットを含むことができる：入出力処理モジュール７２８、音声テキスト化（ＳＴＴ）処理モジュール７３０、自然言語処理モジュール７３２、ダイアログフロー処理モジュール７３４、タスクフロー処理モジュール７３６、サービス処理モジュール７３８、及び発話合成モジュール７４０。これらのモジュールの各々は、デジタルアシスタントモジュール７２６の以下のシステム又はデータ及びモデルのうちの１つ以上、又はそれらのサブセット若しくはスーパーセットへのアクセスを有することができる：オントロジ７６０、語彙索引７４４、ユーザデータ７４８、タスクフローモデル７５４、サービスモデル７５６、及びＡＳＲシステム７３１。
[０１８１]
いくつかの実施例では、デジタルアシスタントモジュール７２６で実装された処理モジュール、データ、及びモデルを使用して、デジタルアシスタントは以下のうちの少なくともいくつかを実行することができる：発話入力をテキストに変換すること、ユーザから受信された自然言語入力で表現されているユーザの意図を特定すること、ユーザの意図を完全に推測するために必要な情報を（例えば、単語、ゲーム、意図等の曖昧さをなくすことによって）能動的に引き出し、取得すること、推測された意図を満たすためのタスクフローを判定すること、及びそのタスクフローを実行して、推測された意図を満たすこと。
[０１８２]
いくつかの実施例では、図７Ｂに示すように、Ｉ／Ｏ処理モジュール７２８は、ユーザ入力（例えば、発話入力）を取得し、ユーザ入力への応答を（例えば、音声出力として）提供するために、図７ＡにおけるＩ／Ｏデバイス７１６を通じてユーザと対話し、又は図７Ａにおけるネットワーク通信インタフェース７０８を通じてユーザデバイス（例えば、デバイス１０４、デバイス２００、デバイス４００、若しくはデバイス６００）と対話することができる。Ｉ／Ｏ処理モジュール７２８は、任意選択的に、ユーザ入力と共に、又はその受信の直後に、ユーザ入力と関連付けられたコンテクスト情報をユーザデバイスから取得することができる。コンテクスト情報は、ユーザ入力に関連するユーザ特有データ、語彙、及び／又は優先度を含むことができる。いくつかの実施例では、コンテクスト情報はまた、ユーザ要求が受信された時点におけるユーザデバイスのソフトウェア及びハードウェア状態、並びに／又はユーザ要求が受信された時点におけるユーザの周囲環境に関連する情報を含む。いくつかの実施例では、Ｉ／Ｏ処理モジュール７２８はまた、ユーザ要求について、ユーザに補足質問を送信し、ユーザから回答を受信することができる。ユーザ要求がＩ／Ｏ処理モジュール７２８によって受信され、ユーザ要求が発話入力を含むことができるとき、Ｉ／Ｏ処理モジュール７２８は、発話−テキスト変換のために、発話入力をＳＴＴ処理モジュール７３０（又は、発話認識器）へ転送することができる。
[０１８３]
ＳＴＴ処理モジュール７３０は、１つ以上のＡＳＲシステムを含むことができる。１つ以上のＡＳＲシステムは、Ｉ／Ｏ処理モジュール７２８を通じて受信された発話入力を処理して、認識結果を生成することができる。各々のＡＳＲシステムは、フロントエンド発話プリプロセッサを含むことができる。フロントエンド発話プリプロセッサは、発話入力から代表的な特徴を抽出することができる。例えば、フロントエンド発話プリプロセッサは、発話入力を代表的な多次元ベクトルの列として特徴付けるスペクトル特徴を抽出するために、発話入力に対してフーリエ変換を実行することができる。更に、各々のＡＳＲシステムは、１つ以上の発話認識モデル（例えば、音響モデル及び／又は言語モデル）を含むことができ、１つ以上の音声認識エンジンを実装することができる。発話認識モデルの実施例は、隠れマルコフモデル、混合ガウスモデル、ディープニューラルネットワークモデル、ｎグラム言語モデル、及び他の統計モデルを含むことができる。発話認識エンジンの実施例は、動的時間伸縮ベースのエンジン及び重み付き有限状態トランスデューサ（ＷＦＳＴ）ベースのエンジンを含むことができる。フロントエンド発話プリプロセッサの抽出された代表的な特徴を処理して、中間認識結果（例えば、音素、音素文字列及びサブワード）を生成し、最終的には、テキスト認識結果（例えば、単語、単語文字列、又はトークンの列）を生成するために、１つ以上の発話認識モデル及び１つ以上の発話認識エンジンを使用することができる。いくつかの実施例では、発話入力は、認識結果を生成するために、サードパーティサービスによって、又はユーザのデバイス（例えば、デバイス１０４、デバイス２００、デバイス４００、若しくはデバイス６００）上で少なくとも部分的に処理されてもよい。ＳＴＴ処理モジュール７３０が、テキスト文字列（例えば、単語、単語の列、又はトークンの列）を包含する認識結果を生成すると、認識結果は意図推論のために自然言語処理モジュール７３２に渡されてもよい。
[０１８４]
音声テキスト化処理についての更なる詳細は、開示全体が参照により本明細書に組み込まれる、２０１１年９月２０日に出願された、「Ｃｏｎｓｏｌｉｄａｔｉｎｇ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ Ｒｅｓｕｌｔｓ」についての米国実用特許出願第１３／２３６，９４２号に記載されている。
[０１８５]
いくつかの実施例では、ＳＴＴ処理モジュール７３０は、認識可能な単語の語彙を含むことができ、及び／又は音標アルファベット変換モジュール７３１を介してそれにアクセスすることができる。各々の語彙語は、１つ以上の発話認識音標アルファベットで表される単語の発音候補と関連付けられてもよい。詳細には、認識可能な単語の語彙は、複数の発音候補と関連付けられた単語を含むことができる。例えば、語彙は、発音候補
[数１]
[０１８６]
いくつかの実施例では、発音候補の一般性に基づいて、発音候補をランク付けすることができる。例えば、発音候補
[数2]
[数3]
[数4]
[数5]
[数6]
[数7]
[数8]
[０１８７]
発話入力が受信されるとき、ＳＴＴ処理モジュール７３０は、発話入力に対応する音素を（例えば、音響モデルを使用して）判定するために使用されてもよく、次に、音素に一致する単語を（例えば、言語モデルを使用して）判定することを試みる。例えば、ＳＴＴ処理モジュール７３０は、発話入力の一部分に対応する音素の列
[数9]
[０１８８]
いくつかの実施例では、ＳＴＴ処理モジュール７３０は、近似マッチング技術を使用して、音声入力における単語を判定することができる。従って、例えば、ＳＴＴ処理モジュール７３０は、特定の音素の列が、単語「トマト」の候補音素の列のうちの１つではない場合でさえ、音素の列
[数10]
[０１８９]
デジタルアシスタントの自然言語処理モジュール７３２（「自然言語プロセッサ」）は、ＳＴＴ処理モジュール７３０により生成された単語又はトークンの列（「トークン列」）を獲得し、トークン列を、デジタルアシスタントにより認識される１つ以上の「実施可能な意図」と関連付けようと試みることができる。「実施可能な意図」は、デジタルアシスタントにより実行することができるタスクを表すことができ、タスクフローモデル７５４で実装される、関連付けられたタスクフローを有することができる。関連付けられたタスクフローは、タスクを実行するためにデジタルアシスタントが取る一連のプログラムされたアクション及びステップとすることができる。デジタルアシスタントの能力の範囲は、タスクフローモデル７５４で実装及び記憶されているタスクフローの数及び種類に依存し、又は、換言すれば、デジタルアシスタントを認識する「実施可能な意図」の数及び種類に依存することができる。しかし、デジタルアシスタントの有効性はまた、自然言語で表現されたユーザ要求から正しい「実施可能な意図（単数又は複数）」を推定するアシスタントの能力に依存することができる。
[０１９０]
いくつかの実施例では、ＳＴＴ処理モジュール７３０から取得される単語又はトークンの列に加えて、自然言語処理モジュール７３２はまた、例えば、Ｉ／Ｏ処理モジュール７２８から、ユーザ要求と関連付けられたコンテクスト情報を受信することができる。自然言語処理モジュール７３２は、任意選択的に、コンテクスト情報を使用して、ＳＴＴ処理モジュール７３０から受信したトークン列に含まれる情報を明らかにし、補完し、及び／又は更に定義することができる。コンテクスト情報は、例えば、ユーザ優先度、ユーザデバイスのハードウェア及び／又はソフトウェア状態、ユーザ要求の前、最中、若しくは直後に収集されたセンサ情報、並びにデジタルアシスタントとユーザとの間の以前の対話（例えば、ダイアログ）等を含むことができる。本明細書で説明するように、コンテクスト情報は動的であってもよく、時間、位置、ダイアログの内容、及び他の因子によって変化することができる。
[０１９１]
いくつかの実施例では、自然言語処理は、例えば、オントロジ７６０に基づくことができる。オントロジ７６０は、多数のノードを包含する階層構造とすることができ、各々のノードは、「実施可能な意図」又は他の「属性」のうちの１つ以上に関連する「実施可能な意図」又は「属性」のいずれかを表す。上述したように、「実施可能な意図」は、デジタルアシスタントが実行する能力を有する、即ち、それは「実装可能」である、又は作用することができるタスクを表すことができる。「属性」は、実施可能な意図、又は別の属性の下位態様と関連付けられたパラメータを表すことができる。オントロジ７６０内の実施可能な意図ノードと属性ノードとの間のリンクは、属性ノードにより表されるパラメータが、実施可能な意図ノードにより表されるタスクにどのくらい関係するのかを定義することができる。
[０１９２]
いくつかの実施例では、オントロジ７６０は実施可能な意図ノード及び属性ノードで構成されてもよい。オントロジ７６０内で、各々の実施可能な意図ノードは、直接又は１つ以上の中間属性ノードを通じてのいずれかで、１つ以上の属性ノードにリンクされてもよい。同様に、各々の属性ノードは、直接又は１つ以上の中間属性ノードを通じてのいずれかで、１つ以上の実施可能な意図ノードにンクされてもよい。例えば、図７Ｃに示すように、オントロジ７６０は、「レストラン予約」ノード（すなわち、実施可能な意図ノード）を含むことができる。属性ノード「レストラン」、「日付／時間」（予約用）及び「参加人数」は各々の、実施可能な意図ノード（即ち、「レストラン予約」ノード）にそれぞれ直接リンクされてもよい。
[０１９３]
更に、属性ノード「料理」、「価格帯」、「電話番号」及び「ロケーション」は、属性ノード「レストラン」のサブノードであってもよく、中間属性ノード「レストラン」を通じて「レストラン予約」ノード（即ち、実施可能な意図ノード）にそれぞれリンクされてもよい。別の実施例として、図７Ｃに示されるように、オントロジ７６０はまた、「リマインダ設定」ノード（即ち、別の実施可能な意図ノード）を含むことができる。属性ノード「日付／時間」（リマインダ設定用）及び「テーマ」（リマインダ用）は、「リマインダ設定」ノードに各々がリンクされてもよい。属性ノード「日付／時間」がレストラン予約をするタスク及びリマインダを設定するタスクの両方に関連することがあるため、属性ノード「日付／時間」はオントロジ７６０において「レストラン予約」ノード及び「リマインダ設定」ノードの両方にリンクされてもよい。
[０１９４]
実施可能な意図ノードは、そのリンクされた属性ノードと共に、「ドメイン」として説明されてもよい。本議論では、各々のドメインは、それぞれの実施可能な意図と関連付けられてもよく、特定の実施可能な意図と関連付けられたノードのグループ（及びノード間の関係）を指す。例えば、図７Ｃに示されるオントロジ７６０は、オントロジ７６０内のレストラン予約ドメイン７６２の例及びリマインダドメイン７６４の例を含むことができる。レストラン予約ドメインは、実施可能な意図ノード「レストラン予約」、属性ノード「レストラン」、「日付／時間」、及び「参加人数」、並びに下位属性ノード「料理」、「価格帯」、「電話番号」及び「ロケーション」を含む。リマインダドメイン７６４は、実施可能な意図ノード「リマインダ設定」、及び属性ノード「テーマ」及び「日付／時間」を含むことができる。いくつかの実施例では、オントロジ７６０は多くのドメインで構成されてもよい。各々のドメインは、１つ以上の他のドメインと、１つ以上の属性ノードを共有することができる。例えば、「日付／時間」属性ノードは、レストラン予約ドメイン７６２及びリマインダドメイン７６４に加えて、多くの異なるドメイン（例えば、スケジューリングドメイン、旅行予約ドメイン、映画チケットドメイン等）と関連付けられてもよい。
[０１９５]
図７Ｃは、オントロジ７６０内の２つの例示的なドメインを示すが、他のドメインは、例えば、「映画を探す」、「通話を開始する」、「道順を探す」、「会議をスケジュールする」、「メッセージを送信する」、及び「質問への回答を提供する」、「リストを読み上げる」、「ナビゲーションの指示を提供する」、並びに「タスクの指示を提供する」等を含むことができる。「メッセージを送信する」ドメインは、「メッセージを送信する」の実施可能な意図ノードと関連付けられており、「受信者（単数又は複数）」、「メッセージタイプ」、及び「メッセージ本文」等の属性ノードを更に含んでもよい。属性ノード「受信者」は更に、例えば、「受信者名」及び「メッセージアドレス」等の下位属性ノードによって定義されてもよい。
[０１９６]
いくつかの実施例では、オントロジ７６０は、デジタルアシスタントが理解し、作用することができる全てのドメイン（よって、実施可能な意図）を含むことができる。いくつかの実施例では、オントロジ７６０は、ドメイン又はノード全体を追加若しくは除去し、又はオントロジ７６０内のノードの間の関係を修正すること等によって修正されてもよい。
[０１９７]
いくつかの実施例では、複数の関連する実施可能な意図と関連付けられたノードは、オントロジ７６０における「スーパドメイン」の下にクラスタ化されてもよい。例えば、「旅行」スーパドメインは、旅行に関連する属性ノード及び実施可能な意図ノードのクラスタを含むことができる。旅行に関連する実施可能な意図ノードは、「航空券予約」、「ホテル予約」、「カーレンタル」、「道順を知る」、及び「興味のある場所を探す」等を含むことができる。同一のスーパドメイン（例えば、「旅行」スーパドメイン）の下の実施可能な意図ノードは、多くの属性ノードを共通して有することができる。例えば、「航空券予約」、「ホテル予約」、「カーレンタル」、「道順を知る」、「興味のある場所を探す」についての実施可能な意図ノードは、属性ノードである「出発場所」、「目的地」、「出発日／時間」、「到着日／時間」、及び「参加人数」のうちの１つ以上を共有することができる。
[０１９８]
いくつかの実施例では、オントロジ７６０における各々のノードは、ノードによって表される属性又は実施可能な意図に関連する単語及び／又はフレーズのセットと関連付けられてもよい。各々のノードと関連付けられた単語及び／又はフレーズのそれぞれのセットは、そのノードと関連付けられたいわゆる「語彙」とすることができる。各々のノードと関連付けられた単語及び／又はフレーズのそれぞれのセットは、ノードによって表される属性又は実施可能な意図に関連して語彙索引７４４に記憶されていてもよい。例えば、図７Ｂに戻ると、「レストラン」の属性についてのノードと関連付けられた語彙は、「食べ物」、「飲み物」、「料理」、「空腹」、「食べる」、「ピザ」、「ファストフード」、「食事」等の単語を含むことができる。別の実施例として、「通話を開始する（initiate a phone call）」の実施可能な意図についてのノードと関連付けられた語彙は、「電話する（call）」、「電話（phone）」、「ダイヤルする（dial）」、「電話をかける（ring）」、「この番号に電話する（call this number）」、及び「〜に電話をかける（make a call to）」等の単語及びフレーズを含むことができる。語彙索引７４４は、任意選択的に、異なる言語の単語及びフレーズを含むことができる。
[０１９９]
自然言語処理モジュール７３２は、ＳＴＴ処理モジュール７３０からトークン列（例えば、テキスト文字列）を受信することができ、トークン列における単語によってどのノードを暗示されているかを判定することができる。いくつかの実施例では、トークン列内の単語又はフレーズが（語彙索引７４４を介して）オントロジ７６０における１つ以上のノードと関連付けられていることが分かった場合、その単語又はフレーズが、それらのノードを「トリガし」又は「アクティブ化する」ことができる。アクティブ化されたノードの量及び／又は相対的重要度に基づいて、自然言語処理モジュール７３２は、ユーザがデジタルアシスタントに実行させようと意図したタスクとして、実施可能な意図のうちの１つを選択することができる。いくつかの実施例では、最も多く「トリガされた」ノードを有するドメインを選択することができる。いくつかの実施例では、最も高い信頼値を有するドメインを（例えば、その様々なトリガされたノードの相対的重要度に基づいて）選択することができる。いくつかの実施例では、トリガされたノードの数及び重要度の組み合わせに基づいて、ドメインを選択することができる。いくつかの実施例では、ノードを選択する際に、デジタルアシスタントはユーザからの同様の要求を以前に正確に解釈したかどうか等の追加の因子も考慮される。
[０２００]
ユーザデータ７４８は、ユーザ特有語彙、ユーザ優先度、ユーザアドレス、ユーザのデフォルト言語及び第二言語、ユーザの連絡先リスト、並びに各々のユーザに関するその他の短期的若しくは長期的情報等のユーザ特有情報を含むことができる。いくつかの実施例では、自然言語処理モジュール７３２は、ユーザ入力に含まれる情報を補完してユーザ意図を更に定義するために、ユーザ特有情報を使用することができる。例えば、ユーザ要求「私の誕生日パーティーに私の友人を招待してください（invite my friends to my birthday party）」について、自然言語処理モジュール７３２は、誰が「友人」であり、いつ及びどこで「誕生日パーティー」が催されるかを判定するために、そのような情報をユーザの要求内で明示的に提供するようにユーザに要求する代わりに、ユーザデータ７４８にアクセスすることができる。
[０２０１]
トークン文字列に基づいてオントロジを検索するその他の詳細は、その開示全体が参照により本明細書に組み込まれる、２００８年１２月２２日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｓｅａｒｃｈｉｎｇ Ｕｓｉｎｇ ａｎ Ａｃｔｉｖｅ Ｏｎｔｏｌｏｇｙ」についての米国特許出願第１２／３４１，７４３号に記載されている。
[０２０２]
いくつかの実施例では、自然言語処理モジュール７３２が、ユーザ要求に基づいて、実施可能な意図（又はドメイン）を特定すると、自然言語処理モジュール７３２は、特定された実施可能な意図を表すように、構造化されたクエリを生成することができる。いくつかの実施例では、構造化されたクエリは、実施可能な意図についてのドメイン内の１つ以上のノードについてのパラメータを含むことができ、パラメータの少なくともいくつかは、ユーザ要求で指定された特定の情報及び要件が追加される。例えば、ユーザは「私のために７時に寿司屋で夕食の予約を取ってください。（Make me a dinner reservation at a sushi place at 7.）」と言う場合がある。この場合、自然言語処理モジュール７３２は、ユーザ入力に基づいて、実施可能な意図を「レストラン予約」であると正確に特定することができる。オントロジに従って、「レストラン予約」ドメインについての構造化されたクエリは、｛料理｝、｛時間｝、｛日付｝、及び｛参加人数｝等のパラメータを含むことができる。いくつかの実施例では、発話入力、及びＳＴＴ処理モジュール７３０を使用して発話入力から導出されたテキストに基づいて、自然言語処理モジュール７３２は、レストラン予約ドメインについての部分的な構造化されたクエリを生成することができ、この場合、部分的な構造化されたクエリはパラメータ｛料理＝「寿司」｝及び｛時間＝「午後７時」｝を含む。しかしながら、この実施例では、ユーザの発話入力は、ドメインと関連付けられた構造化されたクエリを完了するために十分な情報を包含していない。従って、｛参加人数｝及び｛日付｝等のその他の必要パラメータは、現在利用可能な情報に基づいて、構造化されたクエリで指定されなくてもよい。いくつかの実施例では、自然言語処理モジュール７３２は、構造化されたクエリのいくつかのパラメータに、受信されたコンテクスト情報を追加することができる。例えば、いくつかの実施例では、ユーザが「私の近くの」寿司レストランを要求した場合、自然言語処理モジュール７３２は、構造化されたクエリにおける｛ロケーション｝パラメータにユーザデバイスからのＧＰＳ座標を追加することができる。
[０２０３]
いくつかの実施例では、自然言語処理モジュール７３２は、（任意の完了したパラメータを含む）生成した構造化されたクエリをタスクフロー処理モジュール７３６（「タスクフロープロセッサ」）に渡すことができる。タスクフロー処理モジュール７３６は、自然言語処理モジュール７３２から構造化されたクエリを受信し、必要な場合、構造化されたクエリを完了し、ユーザの最終的な要求を「完了する」ために必要とされるアクションを実行するように構成されてもよい。いくつかの実施例では、これらのタスクを完了するために必要な様々な手順をタスクフローモデル７５４で設けられてもよい。いくつかの実施例では、タスクフローモデル７５４は、ユーザから追加情報を取得するための手順、及び実施可能な意図と関連付けられたアクションを実行するためのタスクフローを含むことができる。
[０２０４]
上記説明されたように、構造化されたクエリを完了するために、タスクフロー処理モジュール７３６は、追加情報を取得し、及び／又は潜在的に曖昧な発話入力の曖昧さをなくすために、ユーザとの追加のダイアログを開始することが必要となることがある。このような対話が必要となるとき、タスクフロー処理モジュール７３６は、ユーザとのダイアログに携わるためにタスクフロー処理モジュール７３４を呼び出すことができる。いくつかの実施例では、ダイアログフロー処理モジュール７３４は、どのように（及び／又はいつ）ユーザに追加情報を求めるべきかを判定することができ、ユーザ応答を受信することができ、これを処理することができる。Ｉ／Ｏ処理モジュール７２８を通じてユーザに質問を提供することができ、ユーザから回答を受信することができる。いくつかの実施例では、ダイアログフロー処理モジュール７３４は音声及び／又は視覚出力を介してユーザにダイアログ出力を提示することができ、発話応答又は物理的な（例えば、クリック）応答を介してユーザから入力を受信することができる。上記実施例を続けると、タスクフロー処理モジュール７３６が、ドメイン「レストラン予約」と関連付けられた構造化されたクエリについての「参加人数」及び「日付」情報を判定するためにダイアログフロー処理モジュール７３４を呼び出すとき、ダイアログフロー処理モジュール７３４は、「何人分ですか？」及び「どの日にしますか？」等の質問をユーザに渡すために生成することができる。ユーザから回答が受信されると、次に、ダイアログフロー処理モジュール７３４は、構造化されたクエリに、欠けている情報を追加し、又は構造化されたクエリから欠けている情報を完了するために、その情報をタスクフロー処理モジュール７３６に渡すことができる。
[０２０５]
タスクフロー処理モジュール７３６が、実施可能な意図についての構造化されたクエリを完了すると、タスクフロー処理モジュール７３６は、実施可能な意図と関連付けられた最終的なタスクの実行に進むことができる。従って、タスクフロー処理モジュール７３６は、構造化されたクエリ含まれる具体的なパラメータに従って、タスクフローモデルにおけるステップ及び命令を実行することができる。例えば、「レストラン予約」の実施可能な意図についてのタスクフローモデルは、レストランと連絡を取り、特定の時間に特定の参加人数のための予約を実際に要求するためのステップ及び命令を含むことができる。例えば、｛レストラン予約、レストラン＝ＡＢＣ Ｃａｆｅ、日付＝３／１２／２０１２、時間＝午後７時、参加人数＝５｝、等の構造化されたクエリを使用して、タスクフロー処理モジュール７３６は、（１）ＡＢＣ Ｃａｆｅのサーバ、又はＯＰＥＮＴＡＢＬＥ（登録商標）等のレストラン予約システムにログオンするステップと、（２）ウェブサイト上のフォームに日付、時間、及び参加人数情報を入力するステップと、（３）フォームを提出し（４）ユーザのカレンダに予約のためのカレンダエントリを作成するステップとを実行することができる。
[０２０６]
いくつかの実施例では、タスクフロー処理モジュール７３６は、ユーザ入力で要求されたタスクを完了するために、又はユーザ入力で要求された情報の回答を提供するために、サービス処理モジュール７３８（「サービス処理モジュール」）の支援を採用することができる。例えば、サービス処理モジュール７３８は、電話をかけるため、カレンダエントリを設定するため、地図検索を呼び出すため、ユーザデバイス上にインストールされているその他のユーザアプリケーションを呼び出すか若しくはそれと対話するため、並びにサードパーティサービス（例えばレストラン予約ポータル、ソーシャルネットワーキングウェブサイト、バンキングポータル等）を呼び出すか若しくはそれと対話するために、タスクフロー処理モジュール７３６の代わりに動作することができる。いくつかの実施例では、各々のサービスによって必要とされるプロトコル及びアプリケーションプログラミングインタフェース（application programming interface、ＡＰＩ）は、サービスモデル７５６の間のそれぞれのサービスモデルによって指定されてもよい。サービス処理モジュール７３８は、サービスについての適切なサービスモデルにアクセスすることができ、サービスモデルに下従ったサービスによって必要とされるプロトコル及びＡＰＩに従ってサービスの要求を生成することができる。
[０２０７]
例えば、レストランがオンライン予約サービスを有効にしている場合、レストランは、予約を行うための必要なパラメータ、及び必要なパラメータの値をオンライン予約サービスへ通信するためのＡＰＩを指定するサービスモデルを提出することができる。タスクフロー処理モジュール７３６によって要求されるとき、サービス処理モジュール７３８は、サービスモデルに記憶されているウェブアドレスを使用して、オンライン予約サービスとのネットワーク接続を確立することができ、必要な予約のパラメータ（例えば、時間、日付、参加人数）を、オンライン予約サービスのＡＰＩに従った形式でオンライン予約インタフェースへ送信することができる。
[０２０８]
いくつかの実施例では、ユーザの意図を推定及び定義し、ユーザ意図を更に明らかにして絞り込むための情報を取得し、ユーザの意図を満たすように応答（即ち、ユーザへの出力又はタスクの完了）を最終的に生成するために、自然言語処理モジュール７３２、ダイアログフロー処理モジュール７３４、及びタスクフロー処理モジュール７３６を集合的かつ反復的に使用することができる。生成された応答は、ユーザの意図を少なくとも部分的に満たす、発話入力へのダイアログ応答とすることができる。更に、いくつかの実施例では、生成された応答を、発話出力として出力することができる。これらの実施例では、生成された応答を、発話合成モジュール７４０（例えば、発話合成器）に送信することができ、そこでは、発話形態のダイアログ応答を合成するためにそれが処理されてもよい。更なる他の実施例では、生成された応答は、発話入力のユーザ要求を満たすことに関連するデータコンテンツとすることができる。
[０２０９]
発話合成モジュール７４０は、ユーザに提示するために、発話出力を合成するように構成されてもよい。発話合成モジュール７４０は、デジタルアシスタントにより提供されたテキストに基づいて、発話出力を合成する。例えば、生成されたダイアログ応答は、テキスト文字列の形式にあってもよい。発話合成モジュール７４０は、テキスト文字列を可聴の発話出力に変換することができる。発話合成モジュール７４０は、テキストから発話出力を生成するために、波形接続合成、単位選択合成、ダイフォン合成、領域特化合成、フォルマント合成、調音合成、隠れマルコフモデル（ＨＭＭ）ベースの合成、及びサイン波合成を含むが、これらには限定されない任意の適切な発話合成技術を使用することができる。いくつかの実施例では、発話合成モジュール７４０は、単語に対応する音素文字列に基づいて個々の単語を合成するように構成されてもよい。例えば、音素文字列は、生成したダイアログ応答における単語と関連付けられてもよい。音素文字列は、単語と関連付けられたメタデータに記憶されていてもよい。発話合成モデル７４０は、単語を発話形式で合成するために、メタデータにおける音素文字列を直接処理するように構成されてもよい。
[０２１０]
いくつかの実施例では、発話合成モジュール７４０を使用する代わりに（又は、それに加えて）、リモートデバイス（例えば、サーバシステム１０８）上で発話合成を実行することができ、合成された発話を、ユーザへの出力のために、ユーザデバイスに送信することができる。例えば、これは、デジタルアシスタントのための出力がサーバシステムにおいて生成される、いくつかの実装形態で行われてもよい。また、サーバシステムは概して、ユーザデバイスよりも多くの処理電力又はリソースを有するので、クライアント側合成での実用的な出力よりも高い品質の発話出力を取得することが可能となることがある。
[０２１１]
デジタルアシスタントに関する追加の詳細は、その開示全体が参照により本明細書に組み込まれる、２０１１年１月１０日に出願された「Ｉｎｔｅｌｌｉｇｅｎｔ Ａｕｔｏｍａｔｅｄ Ａｓｓｉｓｔａｎｔ」と題する米国実用特許出願第１２／９８７，９８２号、２０１１年９月３０日に出願された「Ｇｅｎｅｒａｔｉｎｇ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ Ｄａｔａ Ｉｔｅｍｓ Ｔｈａｔ Ｒｅｐｒｅｓｅｎｔ Ｔａｓｋｓ ｔｏ Ｐｅｒｆｏｒｍ」と題された米国特許出願第１３／２５１，０８８号に記載されている。
[０２１２]
４．デジタルアシスタント−インテリジェント検索及びオブジェクト管理
[０２１３]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃは、デジタルアシスタントによる検索処理又はオブジェクト管理処理を使用してタスクを実行する機能性を示す。いくつかの実施例では、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）は、様々な実施例に従ってユーザデバイスによって実装される。いくつかの実施例では、ユーザデバイス、サーバ（例えば、サーバ１０８）、又はそれらの組み合わせは、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）を実装してもよい。ユーザデバイスは、例えば、デバイス１０４、２００、又は４００を使用して実装されてもよい。いくつかの実施例では、ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、又はタブレットコンピュータである。ユーザデバイスは、デスクトップ環境などのマルチタスキング環境で動作することができる。
[０２１４]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃを参照して、いくつかの実施例では、ユーザデバイスは、様々なユーザインタフェース（例えば、ユーザインタフェース８１０、９１０、１０１０、１１１０、１２１０、及び１３１０）を提供する。ユーザデバイスは、ユーザデバイスと関連付けられたディスプレイ（例えば、タッチ感知ディスプレイシステム２１２、ディスプレイ４４０）上で様々なユーザインタフェースを表示する。様々なユーザインタフェースは、異なる処理を表す１つ以上のアフォーダンス（例えば、検索処理を表すアフォーダンス８２０、９２０、１０２０、１１２０、１２２０、及び１３２０、並びにオブジェクト管理処理を表すアフォーダンス８３０、９３０、１０３０、１１３０、１２３０、及び１３３０）を提供する。１つ以上の処理は、ユーザによって直接又は間接的にインスタンス化されてもよい。例えば、ユーザは、キーボード、マウス、ジョイスティック、又は指などの入力デバイスを使用してアフォーダンスを選択することによって、１つ以上の処理をインスタンス化する。ユーザはまた、以下で更に詳細に説明されるように、発話入力を使用して１つ以上の処理をインスタンス化することができる。処理をインスタンス化することは、処理がまだ実行中でない場合に処理を呼び出すことを含む。処理の少なくとも１つのインスタンスが実行中である場合、処理をインスタンス化することは、処理の既存のインスタンスを実行すること、又は処理の新たなインスタンスを生成することを含む。例えば、オブジェクト管理処理をインスタンス化することは、オブジェクト管理処理を呼び出すこと、既存のオブジェクト管理処理を使用すること、又はオブジェクト管理処理の新たなインスタンス生成を含む。
[０２１５]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃに示されるように、ユーザデバイスは、ユーザインタフェース（例えば、ユーザインタフェース８１０、９１０、１０１０、１１１０、１２１０、及び１３１０）上で、デジタルアシスタントサービスをインスタンス化するためのアフォーダンス（例えば、アフォーダンス８４０、９４０、１０４０、１１４０、１２４０、及び１３４０）を表示する。アフォーダンスは、例えば、デジタルアシスタントを表すマイクロフォンアイコンとすることができる。アフォーダンスは、ユーザインタフェース上でいずれかの位置で表示されてもよい。例えば、アフォーダンスは、ユーザインタフェースの底部におけるドック（例えば、ドック８０８、９０８、１００８、１１０８、１２０８、及び１３０８）上で、ユーザインタフェースの最上部におけるメニューバー（例えば、メニューバー８０６、９０６、１００６、１１０６、１２０６、及び１３０６）上で、又はユーザインタフェースの右側における通知センタ等で表示されてもよい。アフォーダンスはまた、ユーザインタフェース上で動的に表示されてもよい。例えば、ユーザデバイスは、デジタルアシスタントサービスを便利にインスタンス化することができるように、アプリケーションユーザインタフェース（例えば、アプリケーションウィンドウ）の近くでアフォーダンスを表示する。
[０２１６]
いくつかの実施例では、デジタルアシスタントは、所定のフレーズを受信したことに応じてインスタンス化される。例えば、デジタルアシスタントは、「はい、アシスタント（Hey, Assistant）」、起きて、アシスタント（Wake up, Assistant）」、「聞いて、アシスタント（Listen up, Assistant）」、又は「ＯＫ、アシスタント（OK, Assistant）」等のフレーズを受信したことに応じて呼び出される。いくつかの実施例では、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じてインスタンス化される。例えば、ユーザは、マウス、スタイラス、又は指等の入力デバイスを使用してアフォーダンス８４０、９４０、１０４０、１１４０、１２４０、及び／又は１３４０を選択する。ユーザデバイス上でデジタルアシスタントを提供することは、コンピューティングリソース（例えば、電力、ネットワーク帯域幅、メモリ、及びプロセッササイクル）を消費する。いくつかの実施例では、デジタルアシスタントは、ユーザがそれを呼び出すまで一時停止又はシャットダウンされる。いくつかの実施例では、デジタルアシスタントは、様々な期間の間にアクティブである。例えば、デジタルアシスタントは、様々なユーザインタフェースが表示され、ユーザデバイスがターンオンされ、ユーザデバイスが休止若しくはスリープしており、ユーザがログオフし、又はそれらの組み合わせの間、アクティブでいることがあり、ユーザの発話入力を監視していることがある。
[０２１７]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃを参照して、デジタルアシスタントは、ユーザから発話入力８５２、８５４、８５５、８５６、９５２、９５４、１０５２、１０５４、１１５２、１２５２、又は１３５２等の１つ以上の発話入力を受信する。ユーザは、例えば、検索処理又はオブジェクト管理処理を使用してタスクを実行する目的で様々な発話入力を提供する。いくつかの実施例では、デジタルアシスタントは、ユーザデバイスにおいてユーザから直接、又はユーザデバイスに通信可能に接続された別の電子デバイスを通じて間接的に発話入力を受信する。デジタルアシスタントは、例えば、ユーザデバイスのマイクロフォン（例えば、マイクロフォン２１３）を介してユーザから直接発話入力を受信する。ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、タブレット、又はサーバ等、マルチタスキング環境で動作するように構成されたデバイスを含む。デジタルアシスタントはまた、ヘッドセット、スマートフォン、又はタブレット等の１つ以上の電子デバイスを通じて間接的に発話入力を受信することができる。例えば、ユーザは、ヘッドセット（図示しない）に発話してもよい。ヘッドセットは、例えば、ヘッドセットとユーザデバイスとの間のＢｌｕｅｔｏｏｔｈ接続を介して、ユーザから発話入力を受信し、発話入力又はその表現をユーザデバイスのデジタルアシスタントに送信する。
[０２１８]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃを参照して、いくつかの実施形態では、デジタルアシスタント（例えば、アフォーダンス８４０、９４０、１０４０、１１４０、１２４０、及び１３４０によって表される）は、ユーザデバイスと関連付けられたコンテクスト情報を特定する。コンテクスト情報は、例えば、ユーザ特有データ、１つ以上のオブジェクトと関連付けられたメタデータ、センサデータ、及びユーザデバイス構成データを含む。オブジェクトは、タスクを実行することと関連付けられた処理（例えば、オブジェクト管理処理）のターゲット若しくは構成要素、又はスクリーン上に現在表示されているグラフィカル要素とすることができ、オブジェクト又はグラフィカル要素は、現在フォーカスを有してもよく（例えば、現在選択されている）又は有してなくてもよい。例えば、オブジェクトは、ファイル（例えば、写真、ドキュメント）、フォルダ、通信（例えば、電子メール、メッセージ、通知、若しくはボイスメール）、連絡先、カレンダ、アプリケーション、又はオンラインリソース等を含むことができる。いくつかの実施例では、ユーザ特有データは、ログ情報、ユーザ優先度、ユーザデバイスとのユーザの対話の履歴等を含む。ログ情報は、処理で使用される直近のオブジェクト（例えば、プレゼンテーションファイル）を示す。いくつかの実施例では、１つ以上のオブジェクトと関連付けられたメタデータは、オブジェクトのタイトル、オブジェクトの時間情報、オブジェクトの著者、又はオブジェクトの概要等を含む。いくつかの実施例では、センサデータは、ユーザデバイスと関連付けられたセンサによって収集された様々なデータを含む。例えば、センサデータは、ユーザデバイスの物理的な位置を示す位置データを含む。いくつかの実施例では、ユーザデバイス構成データは、現在のデバイス構成を含む。例えば、デバイス構成は、ユーザデバイスがスマートフォン又はタブレット等の１つ以上の電子デバイスに通信可能に接続されることを示す。以下で更に詳細に説明されるように、ユーザデバイスは、コンテクスト情報を使用して１つ以上の処理を実行することができる。
[０２１９]
図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃを参照して、発話入力を受信したことに応じて、デジタルアシスタントは、発話入力に基づいてユーザ意図を判定する。上記説明されたように、いくつかの実施例では、デジタルアシスタントは、Ｉ／Ｏ処理モジュール（例えば、図７Ｂに示されるＩ／Ｏ処理モジュール７２８）、ＳＴＴ処理モジュール（例えば、図７Ｂに示されるＳＴＴ処理モジュール７３０）、及び自然言語処理モジュール（例えば、図７Ｂに示される自然言語処理モジュール７３２）を介して発話入力を処理する。Ｉ／Ｏ処理モジュールは、発話入力を発話−テキスト変換のためのＳＴＴ処理モジュール（又は、発話認識器）に転送する。発話−テキスト変換は、発話入力に基づいてテキストを生成する。上記説明されたように、ＳＴＴ処理モジュールは、単語又トークンの列（「トークン列」）を生成し、トークン列を自然言語処理モジュールに提供する。自然言語処理モジュールは、テキストの自然言語処理を実行し、自然言語処理の結果に基づいてユーザ意図を判定する。例えば、自然言語処理モジュールは、トークン列をデジタルアシスタントによって認識された１つ以上の実施可能な意図と関連付けることを試みてもよい。説明されるように、自然言語処理モジュールがユーザ入力に基づいて実施可能な意図を特定すると、それは、特定された実施可能な意図を表すために構造化されたクエリを生成する。構造化されたクエリは、実施可能な意図と関連付けられた１つ以上のパラメータを含む。１つ以上のパラメータは、実施可能な意図に基づくタスクの実行を促進するために使用される。
[０２２０]
いくつかの実施形態では、デジタルアシスタントは更に、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する。検索処理は、ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されている。オブジェクト管理処理は、ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている。ユーザ意図の判定の様々な実施例は、図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｄ、１２Ａ〜１２Ｄ、及び１３Ａ〜１３Ｃを参照して以下で更に詳細に提供される。
[０２２１]
図８Ａを参照して、いくつかの実施例では、ユーザデバイスは、デジタルアシスタントをインスタンス化するために発話入力８５２をユーザから受信する。発話入力８５２は、例えば、「はい、アシスタント。」を含む。発話入力に応じて、ユーザデバイスは、デジタルアシスタントが後続の発話入力をアクティブに監視しているように、アフォーダンス８４０又は８４１によって表されるデジタルアシスタントをインスタンス化する。いくつかの実施例では、デジタルアシスタントは、それがインスタンス化されることを示す発話出力８７２を提供する。例えば、発話出力８７２は、「さあ、聞いていますよ。（Go ahead, I am listening.）」を含む。いくつかの実施例では、ユーザデバイスは、デジタルアシスタントをインスタンス化するためにアフォーダンス８４０又はアフォーダンス８４１の選択をユーザから受信する。アフォーダンスの選択は、マウス、スタイラス、又は指等の入力デバイスを使用することによって実行される。
[０２２２]
図８Ｂを参照して、いくつかの実施例では、デジタルアシスタントは、発話入力８５４を受信する。発話入力８５４は、例えば、「検索処理を始めて、ＡＡＰＬの今日の株価を探してください。（Open the searching process and find the AAPL stock price today.）」、又は単純に「ＡＡＰＬの今日の株価を見せてください。（show me the AAPL stock price today.）」を含む。発話入力８５４に基づいて、デジタルアシスタントはユーザ意図を判定する。例えば、ユーザ意図を判定するために、デジタルアシスタントは、実施可能な意図がオンライン情報を取得しており、この実施可能な意図と関連付けられた１つ以上のパラメータが「ＡＡＰＬの今日の株価」及び「今日」を含むと判定する。
[０２２３]
説明されるように、いくつかの実施例では、デジタルアシスタントは更に、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する。いくつかの実施形態では、判定を行うために、デジタルアシスタントは、発話入力が検索処理又はオブジェクト管理処理を表す１つ以上のキーワードを含むかを判定する。例えば、デジタルアシスタントは、ユーザ意図がタスクを実行するために検索処理を使用することであることを示す、キーワード又は「検索処理を始めてください。（open the searching process.）」等のフレーズを発話入力８５４が含むと判定する。結果として、デジタルアシスタントは、ユーザ意図が検索処理を使用してタスクを実行することであると判定する。
[０２２４]
図８Ｂに示されるように、ユーザ意図が検索処理を使用してタスクを実行することであるとの判定に従って、デジタルアシスタントは、検索処理を使用してタスクを実行する。説明されるように、デジタルアシスタントの自然言語処理モジュールは、ユーザ意図に基づいて構造化されたクエリを生成し、生成された構造化されたクエリをタスクフロー処理モジュール（例えば、タスクフロー処理モジュール７３６）に渡す。タスクフロー処理モジュールは、構造化されたクエリを自然言語処理モジュールから受信し、必要な場合に構造化されたクエリを完了し、ユーザの最終的な要求を「完了する」ために必要なアクションを実行する。検索処理を使用してタスクを実行することは、例えば、少なくとも１つのオブジェクトを検索することを含む。いくつかの実施形態では、少なくとも１つのオブジェクトは、フォルダ、ファイル（例えば、写真、音声、ビデオ）、通信（例えば、電子メール、メッセージ、通知、ボイスメール）、連絡先、カレンダ、アプリケーション（例えば、Ｋｅｙｎｏｔｅ、Ｎｕｍｂｅｒ、ｉＴｕｎｅｓ、Ｓａｆａｒｉ）、オンライン情報のソース（例えば、Ｇｏｏｇｌｅ、Ｙａｈｏｏ、Ｂｌｏｏｍｂｅｒｇ）、又はそれらの組み合わせを含む。いくつかの実施例では、オブジェクトを検索することは、オブジェクトと関連付けられたメタデータに基づいている。例えば、ファイル又はフォルダを検索することは、タグ、日付、時間、著者、タイトル、ファイルのタイプ、サイズ、ページ数、及び／又はフォルダ若しくはファイルと関連付けられたファイル位置等のメタデータを使用することができる。いくつかの実施例では、ファイル又はフォルダは、ユーザデバイスの内部又は外部に記憶されている。例えば、ファイル又はフォルダは、ユーザデバイスのハードディスクに記憶されていてもよく、又はクラウドサーバに記憶されていてもよい。いくつかの実施例では、通信を検索することは、通信と関連付けられたメタデータに基づいている。例えば、電子メールを検索することは、電子メールの送信者、電子メールの受信者、又は電子メール送信／受信日等のメタデータを使用する。
[０２２５]
図８Ｂに示されるように、ユーザ意図が検索処理を使用してＡＡＰＬの株価を取得することであるとの判定に従って、デジタルアシスタントは、検索を実行する。例えば、デジタルアシスタントは、アフォーダンス８２０によって表される検索処理をインスタンス化し、検索処理に今日のＡＡＰＬの株価を検索させる。いくつかの実施例では、デジタルアシスタントは更に、検索処理に、発話入力８５４（例えば、「検索処理を始めて、ＡＡＰＬの今日の株価を探してください。（Open the searching process and find the AAPL stock price today.）」）に対応するテキストを提供するユーザインタフェース８２２（例えば、スニペット又はウィンドウ）を表示させる。
[０２２６]
図８Ｃを参照して、いくつかの実施形態では、デジタルアシスタントは、検索処理を使用してタスクを実行した結果に基づいて応答を提供する。図８Ｃに示されるようにＡＡＰＬの株価を検索した結果として、デジタルアシスタントは、検索処理を使用してタスクを実行した結果を提供するユーザインタフェース８２４（例えば、スニペット又はウィンドウ）を表示する。いくつかの実施形態では、ユーザインタフェース８２４は、別々のユーザインタフェースとしてユーザインタフェース８２２内に位置する。いくつかの実施形態では、ユーザインタフェース８２４及び８２２は、単一のユーザインタフェースとして共に統合される。ユーザインタフェース８２４上で、ＡＡＰＬの株価の検索結果が表示される。いくつかの実施形態では、ユーザインタフェース８２４は更に、アフォーダンス８３１及び８３３を提供する。アフォーダンス８３１によって、ユーザインタフェース８２４を閉じることが可能になる。例えば、デジタルアシスタントがアフォーダンス８３１のユーザの選択を受信する場合、ユーザインタフェース８２４は、ユーザデバイスのディスプレイから見えなくなり、又は閉じられる。アフォーダンス８３３によって、ユーザインタフェース８２４上で表示された検索結果を移動又は共有することが可能になる。例えば、デジタルアシスタントがアフォーダンス８３３のユーザの選択を受信する場合、それは、ユーザインタフェース８２４（又は、その検索結果）移動し、又は通知アプリケーションと共有する処理（例えば、オブジェクト管理処理）をインスタンス化する。図８Ｃに示されるように、デジタルアシスタントは、ＡＡＰＬの株価の検索結果を提供するために、通知アプリケーションと関連付けられたユーザインタフェース８２６を表示する。いくつかの実施形態では、ユーザインタフェース８２６は、アフォーダンス８２７を表示する。アフォーダンス８２７によって、ユーザがユーザインタフェース８２６内でコンテンツ全体（例えば、複数の通知）を参照することができるように、ユーザインタフェース８２６内でのスクロールすることが可能になり、並びに／又はアフォーダンス８２７は、その全体の長さ及び／若しくは幅に対してドキュメントのその相対的な位置を示す。いくつかの実施形態では、ユーザインタフェース８２６は、デジタルアシスタントによって記憶された結果並びに／又はダイアログ履歴（例えば、現在及び／若しくは過去の検索処理から取得された検索結果）を表示する。更に、いくつかの実施例では、タスクを実行した結果は、時間と共に動的に更新される。例えば、ＡＡＰＬの株価は、時間と共に動的に更新されてもよく、ユーザインタフェース８２６上で表示されてもよい。
[０２２７]
いくつかの実施形態では、デジタルアシスタントはまた、検索結果に対応する発話出力を提供する。例えば、デジタルアシスタント（例えば、アフォーダンス８４０によって表される）は、「今日のＡＡＰＬの価格は＄１００．００です。（Today’s AAPL price is $100.00.）」を含む発話出力８７４を提供する。いくつかの実施例では、ユーザインタフェース８２２は、発話出力８７４に対応するテキストを含む。
[０２２８]
図８Ｄを参照して、いくつかの実施例では、デジタルアシスタントは、後続の発話入力に応じて、ユーザインタフェース８２４上で表示された検索結果を移動又は共有する処理（例えば、オブジェクト管理処理）をインスタンス化する。例えば、デジタルアシスタントは、「ＡＡＰＬの株価を私のメモに複製してください。（Copy the AAPL stock price to my notes.）」等の発話入力８５５を受信する。これに応じて、デジタルアシスタントは、検索結果（例えば、ＡＡＰＬの株価）をユーザのメモに移動又は複製する処理をインスタンス化する。図８Ｄに示されるように、いくつかの実施例では、デジタルアシスタントは更に、ユーザのメモに複製又は移動された検索結果を提供するユーザインタフェース８２５を表示する。いくつかの実施例では、デジタルアシスタントは更に、「ＯＫ、ＡＡＰＬの株価があなたのメモに複製されます。（OK, the AAPL stock price is copied to your notes.）」等の発話出力８７５を提供する。いくつかの実施例では、ユーザインタフェース８２２は、発話出力８７５に対応するテキストを含む。
[０２２９]
図８Ｅを参照して、いくつかの実施例では、デジタルアシスタントは、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであると判定し、オブジェクト管理処理を使用してタスクを実行する。例えば、デジタルアシスタントは、「オブジェクト管理処理を始めて、コロラド旅行からの全ての写真を見せてください。（Open the object managing process and show me all the photos from my Colorado trip.）」、又は単純に「コロラド旅行からの全ての写真を見せてください。（Show me all the photos from my Colorado trip.）」等の発話入力８５６を受信する。発話入力８５６及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図を判定する。例えば、デジタルアシスタントは、実施可能な意図が写真を表示することであると判定し、「全て」、及び「コロラド旅行」等の１つ以上のパラメータを判定する。デジタルアシスタントは更に、コンテクスト情報を使用して、どの写真がユーザのコロラド旅行に対応するかを判定する。説明されるように、コンテクスト情報は、ユーザ特有データ、１つ以上のオブジェクトのメタデータ、センサデータ、及び／又はデバイス構成データを含む。実施例として、１つ以上のファイル（例えば、ユーザインタフェース８３２に表示されたファイル１、ファイル２、及びファイル３）と関連付けられメタデータは、ファイル名が単語「コロラド」又はコロラドの都市名（例えば、「デンバー」）を含むことを示す。メタデータはまた、フォルダ名が単語「コロラド」又はコロラドの都市名（例えば、「デンバー」）を含むことを示す。別の実施例としてセンサデータ（例えば、ＧＰＳデータ）は、ユーザが或る期間の間にコロラド内で旅行をしていたことを示す。結果として、ユーザが特定の期間の間に撮っていたいずれかの写真は、ユーザのコロラド旅行の間に撮られた写真である。また、写真それ自体は、それが撮られた位置と写真とを関連付ける位置情報が付加された（geotagged）メタデータを含んでもよい。コンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が、例えば、フォルダ名「コロラド旅行」を有するフォルダに記憶された写真を表示し、又はユーザがコロラド内で旅行していた期間の間に撮られた写真を表示することであると判定する。
[０２３０]
説明されるように、いくつかの実施例では、デジタルアシスタントは、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する。そのような判定を行うために、デジタルアシスタントは、発話入力が検索処理又はオブジェクト管理処理を表す１つ以上のキーワードを含むか否かを判定する。例えば、デジタルアシスタントは、発話入力８５６が、ユーザ意図がタスクを実行するためにオブジェクト管理処理を使用することであることを示す、キーワード又は「オブジェクト管理処理を始めてください。（open the object managing process.）」等のフレーズを含むと判定する。
[０２３１]
ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであると判定したことに従って、デジタルアシスタントは、オブジェクト管理処理を使用してタスクを実行する。例えば、デジタルアシスタントは、オブジェクト管理処理を使用して少なくとも１つのオブジェクトを検索する。いくつかの実施例では、少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む。ファイルは、写真、音声（例えば、歌）、又はビデオ（例えば、動画）のうちの少なくとも１つを含むことができる。いくつかの実施例では、ファイル又はフォルダを検索することは、フォルダ又はファイルと関連付けられたメタデータに基づいている。例えば、ファイル又はフォルダを検索することは、タグ、日付、時間、著者、タイトル、ファイルのタイプ、サイズ、ページ数、及び／又はフォルダ若しくはファイルと関連付けられたファイル位置等のメタデータを使用する。いくつかの実施例では、ファイル又はフォルダは、ユーザデバイスの内部又は外部に記憶されていてもよい。例えば、ファイル又はフォルダは、ユーザデバイスのハードディスクに記憶されていてもよく、又はクラウドサーバに記憶されていてもよい。
[０２３２]
図８Ｅに示されるように、ユーザ意図が、例えば、フォルダ名「コロラド旅行」を有するフォルダに記憶された写真を表示し、又はユーザがコロラド内で旅行していた期間の間に撮られた写真を表示することであるとの判定に従って、デジタルアシスタントは、オブジェクト管理処理を使用してタスクを実行する。例えば、デジタルアシスタントは、アフォーダンス８３０によって表されるオブジェクト管理処理をインスタンス化し、オブジェクト管理処理にユーザのコロラド旅行からの写真を検索させる。いくつかの実施例では、デジタルアシスタントはまた、オブジェクト管理処理に、ユーザの発話入力８５６のテキストを提供するスニペット又はウィンドウ（図示しない）を表示させる。
[０２３３]
図８Ｆを参照して、いくつかの実施形態では、デジタルアシスタントは更に、オブジェクト管理処理を使用して、タスクを実行した結果に基づいて応答を提供する。図８Ｆに示されるように、ユーザのコロラド旅行の写真を検索した結果として、デジタルアシスタントは、オブジェクト管理処理を使用して、タスクを実行した結果を提供するユーザインタフェース８３４（例えば、スニペット又はウィンドウ）を表示する。例えば、ユーザインタフェース８３４上で、写真のプレビューが表示される。いくつかの実施例では、デジタルアシスタントは、写真をドキュメントに挿入すること、又は写真を電子メールに添付すること等、写真に関する追加のタスクを実行する処理（例えば、オブジェクト管理処理）をインスタンス化する。以下で更に詳細に説明されるように、デジタルアシスタントは、ユーザの追加の発話入力に応じて、追加のタスクを実行する処理をインスタンス化することができる。また、デジタルアシスタントは、「コロラド旅行からの写真を電子メールで母に送信してください。（send the photos from my Colorado trip to my Mom by email.）」等の単一の発話入力に応じて、複数のタスクを実行することができる。デジタルアシスタントはまた、入力デバイス（例えば、１つ以上のアフォーダンスを選択し、又はドラッグ及びドロップ操作を実行するマウス入力）を使用して、ユーザの入力に応じてそのような追加のタスクを実行する処理をインスタンス化することができる。いくつかの実施形態では、デジタルアシスタントは更に、結果に対応する発話出力を提供する。例えば、デジタルアシスタントは、「あなたのコロラド旅行からの写真がここにあります。（Here are the photos from your Colorado trip.）」を含む発話出力８７６を提供する。
[０２３４]
図９Ａを参照して、いくつかの実施例では、ユーザの発話入力は、ユーザ意図が検索処理又はオブジェクト管理処理を使用することであるかを示す１つ以上のキーワードを含まなくてもよい。例えば、ユーザは、「今日のウォリアーズの試合のスコアは何ですか？（What is the score of today’s Warriors game?）」等の発話入力９５２を提供する。発話入力９５２は、「検索処理」又は「オブジェクト管理処理」を示すキーワードを含まない。結果として、キーワードは、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定するために、デジタルアシスタントに利用可能でないことがある。
[０２３５]
いくつかの実施形態では、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定するために、デジタルアシスタントは、タスクが発話入力に基づいて検索することと関連付けられるか否かを判定する。いくつかの実施例では、検索することと関連付けられたタスクは、検索処理又はオブジェクト管理処理のいずれかによって実行されてもよい。例えば、検索処理及びオブジェクト管理処理の両方は、フォルダ及びファイルを検索することができる。いくつかの実施例では、検索処理は更に、オンライン情報ソース（例えば、ウェブサイト）、通信（例えば、電子メール）、連絡先、又はカレンダ等を含む様々なオブジェクトを検索することができる。いくつかの実施例では、オブジェクト管理処理は、オンライン情報ソース等の或るオブジェクトを検索するように構成されなくてもよい。
[０２３６]
タスクが検索することと関連付けられるとの判定に従って、デジタルアシスタントは更に、タスクを実行することが検索処理を必要とするか否かを判定する。説明されるように、タスクが検索することと関連付けられる場合、検索処理又はオブジェクト管理処理のいずれかは、タスクを実行するために使用されてもよい。しかしながら、オブジェクト管理処理は、或るオブジェクトを検索するように構成されなくてもよい。結果として、ユーザ意図が検索処理又はオブジェクト管理処理を使用することであるか否かを判定するために、デジタルアシスタントは更に、タスクが検索処理を必要とするか否かを判定する。例えば、図９Ａに示されるように、発話入力９５２に基づいて、デジタルアシスタントは、ユーザ意図が、例えば、今日のウォリアーズの試合のスコアを取得することであると判定する。ユーザ意図に従って、デジタルアシスタントは更に、タスクを実行することがオンライン情報ソースを検索することを必要とし、従って、検索することと関連付けられると判定する。デジタルアシスタントは更に、タスクを実行することが検索処理を必要とするか否かを判定する。説明されるように、いくつかの実施例では、検索処理は、ウェブサイト等のオンライン情報ソースを検索するように構成されているが、オブジェクト管理処理は、そのようなオンライン情報ソースを検索するように構成されなくてもよい。結果として、デジタルアシスタントは、オンライン情報ソースを検索することが（例えば、スコアを取得するためにウォリアーズのウェブサイトを検索する）検索処理を必要とすると判定する。
[０２３７]
図９Ｂを参照して、いくつかの実施形態では、タスクを実行することが検索処理を必要とするとの判定に従って、デジタルアシスタントは、検索処理を使用してタスクを実行する。例えば、今日のウォリアーズの試合のスコアを検索することが検索処理を必要とするとの判定に従って、デジタルアシスタントは、アフォーダンス９２０によって表される検索処理をインスタンス化し、検索処理に今日のウォリアーズの試合のスコアを検索させる。いくつかの実施例では、デジタルアシスタントは更に、検索処理にユーザの発話入力９５２（例えば、「今日のウォリアーズの試合のスコアは何ですか？」のテキストを提供するユーザインタフェース９２２（例えば、スニペット又はウィンドウ）を表示させる。ユーザインタフェース９２２は、１つ以上のアフォーダンス９２１及び９２７を含む。上記説明されたのと同様に、アフォーダンス９２１（例えば、閉ボタン）によって、ユーザインタフェース９２２を閉じることが可能になり、アフォーダンス９２７（例えば、スクロールバー）によって、ユーザがユーザインタフェース９２２内でコンテンツを参照することができるようにユーザインタフェース９２２内でスクロールすることが可能になる。
[０２３８]
図９Ｂを参照して、いくつかの実施例では、検索結果に基づいて、デジタルアシスタントは更に、１つ以上の応答を提供する。図９Ｂに示されるように、今日のウォリアーズの試合のスコアを検索した結果として、デジタルアシスタントは、検索処理を使用してタスクを実行した結果を提供するユーザインタフェース９２４（例えば、スニペット又はウィンドウ）を表示する。いくつかの実施形態では、ユーザインタフェース９２４は、別々のユーザインタフェースとしてユーザインタフェース９２２内に位置する。いくつかの実施形態では、ユーザインタフェース９２４及び９２２は、単一のユーザインタフェースとして共に統合される。いくつかの実施例では、デジタルアシスタントは、現在の検索結果（例えば、ウォリアーズの試合のスコア）を提供するユーザインタフェース９２４を、前の検索結果（例えば、ＡＡＰＬの株価）を提供する別のユーザインタフェース（例えば、図８Ｃに示されるユーザインタフェース８２４）と共に表示する。いくつかの実施形態では、デジタルアシスタントは、現在の検索結果を提供するユーザインタフェース９２４のみを表示し、前の検索結果を提供する別のユーザインタフェースを表示しない。図９Ｂに示されるように、デジタルアシスタントは、現在の検索結果（例えば、ウォリアーズの試合のスコア）を提供するためのユーザインタフェース９２４のみを表示する。いくつかの実施例では、アフォーダンス９２７（例えば、スクロールバー）によって、ユーザが前の検索結果を参照することができるように、ユーザインタフェース９２２内でスクロールすることが可能になる。更に、いくつかの実施例では、前の検索結果は、例えば、株価、スポーツのスコア、天気予報等が時間と共に更新されるように、動的に更新又はリフレッシュ。
[０２３９]
図９Ｂに示されるように、ユーザインタフェース９２４上で、今日のウォリアーズの試合のスコアの検索結果が表示される（例えば、ウォリアーズ１０４−８９キャバリアーズ）。いくつかの実施形態では、ユーザインタフェース９２４は更に、アフォーダンス９２３及び９２５を提供する。アフォーダンス９２３によって、ユーザインタフェース９２４を閉じることが可能になる。例えば、デジタルアシスタントがアフォーダンス９２３のユーザの選択を受信する場合、ユーザインタフェース９２４は、ユーザデバイスのディスプレイから見えなくなり、又は閉じられる。アフォーダンス９２５によって、ユーザインタフェース９２４上で表示された検索結果を移動又は共有することが可能になる。例えば、デジタルアシスタントがアフォーダンス９２５のユーザの選択を受信する場合、それは、ユーザインタフェース９２４（又は、その検索結果）を移動し、又は通知アプリケーションと共有する。図９Ｂに示されるように、デジタルアシスタントは、ウォリアーズの試合のスコアの検索結果を提供するための、通知アプリケーションと関連付けられたユーザインタフェース９２６を表示する。説明されるように、タスクを実行した結果は、時間と共に動的に更新される。例えば、ウォリアーズの試合のスコアは、ゲームが進行中の間に時間と共に動的に更新されてもよく、ユーザインタフェース９２４（例えば、スニペット若しくはウィンドウ）及び／又はユーザインタフェース９２６（例えば、通知アプリケーションユーザインタフェース）上で表示されてもよい。いくつかの実施形態では、デジタルアシスタントは更に、検索結果に対応する発話出力を提供する。例えば、アフォーダンス９４０又は９４１によって表されるデジタルアシスタントは、「ウォリアーズがキャバリアーズを１０４−８９で破りました。（Warriors beats Cavaliers, 104-89.）」等の発話出力９７２を提供する。いくつかの実施例では、ユーザインタフェース９２２（例えば、スニペット又はウィンドウ）は、発話出力９７２に対応するテキストを提供する。
[０２４０]
上記説明されたように、いくつかの実施形態では、デジタルアシスタントは、タスクが検索することと関連付けられるか否かを判定し、そのような判定に従って、デジタルアシスタントは、タスクが検索処理を必要とするか否かを判定する。図９Ｃを参照して、いくつかの実施形態では、デジタルアシスタントは、タスクを実行することが検索処理を必要としないと判定する。例えば、図９Ｃに示されるように、デジタルアシスタントは、「支出と呼ばれる全てのファイルを見せてください。（Show me all the files called Expenses.）」等の発話入力９５４を受信する。発話入力９５４及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図がそれらのファイル名、メタデータ、又はファイルの中身等に含まれる単語「支出」（又は、それの一部、変形、言い換え）を有する全てのファイルを表示することであると判定する。ユーザ意図に従って、デジタルアシスタントは、実行されるタスクが単語「支出」と関連付けられた全てのファイルを検索することを含むと判定する。結果として、デジタルアシスタントは、タスクを実行することが検索することと関連付けられていると判定する。上記説明されたように、いくつかの実施例では、検索処理及びオブジェクト管理処理は両方、ファイルの検索を実行することができる。結果として、デジタルアシスタントは、単語「支出」と関連付けられた全てのファイルを検索するタスクを実行することが検索処理を必要としないと判定する。
[０２４１]
図９Ｄを参照して、いくつかの実施例では、タスクを実行することが検索処理を必要としないとの判定に従って、デジタルアシスタントは、所定の構成に基づいて、タスクが検索処理又はオブジェクト管理処理を使用して実行されるか否かを判定する。例えば、検索処理及びオブジェクト管理処理の両方がタスクを実行することができる場合、所定の構成は、タスクが検索処理を使用して実行されることを示すことができる。所定の構成は、ユーザ優先度又はユーザ特有データ等のコンテクスト情報を使用して生成及び更新されてもよい。例えば、デジタルアシスタントは、特定のユーザについて、履歴的に、検索処理がファイル検索のためにオブジェクト管理処理よりも多くの頻度で選択されたと判定する。結果として、デジタルアシスタントは、検索処理がファイルを検索するためのデフォルトの処理であることを示すために所定の構成を生成又は更新する。いくつかの実施例では、デジタルアシスタントは、オブジェクト管理処理がデフォルトの処理であることを示すために所定の構成を生成又は更新する。
[０２４２]
図９Ｄに示されるように、所定の構成に基づいて、デジタルアシスタントは、単語「支出」と関連付けられた全てのファイルを検索するタスクが検索処理を使用して実行されることであると判定する。結果として、デジタルアシスタントは、検索処理を使用して単語「支出」と関連付けられた全てのファイルの検索を実行する。例えば、デジタルアシスタントは、ユーザインタフェース９１０上で表示されたアフォーダンス９２０によって表される検索処理をインスタンス化し、検索処理に、単語「支出」と関連付けられた全てのファイルを検索させる。いくつかの実施例では、デジタルアシスタントは更に、ユーザにタスクが実行されていることを通知する発話出力９７４を提供する。発話出力９７４は、例えば、「ＯＫ、『支出』と呼ばれる全てのファイルを検索します。（OK, searching all files called ‘Expenses’.）」を含む。いくつかの実施例では、デジタルアシスタントは更に、検索処理に、発話入力９５４及び発話出力９７４に対応するテキストを提供するユーザインタフェース９２８（例えば、スニペット又はウィンドウ）を表示させる。
[０２４３]
図９Ｅを参照して、いくつかの実施形態では、デジタルアシスタントは更に、検索処理を使用して、タスクを実行した結果に基づいて１つ以上の応答を提供する。図９Ｅに示されるように、単語「支出」と関連付けられた全てのファイルを検索した結果として、デジタルアシスタントは、検索結果を提供するユーザインタフェース９４７（例えば、スニペット又はウィンドウ）を表示する。いくつかの実施形態では、ユーザインタフェース９４７は、別々のユーザインタフェースとしてユーザインタフェース９２８内に位置する。いくつかの実施形態では、ユーザインタフェース９４７及び９２８は、単一のユーザインタフェースとして共に統合される。ユーザインタフェース９４７上で、単語「支出」と関連付けられたファイルのリストが表示される。いくつかの実施形態では、デジタルアシスタントは更に、検索結果に対応する発話出力を提供する。例えば、アフォーダンス９４０又は９４１によって表されるデジタルアシスタントは、「支出と呼ばれる全てのファイルがここにあります。（Here are all the files called Expenses.）」等の発話出力９７６を提供する。いくつかの実施例では、デジタルアシスタントは更に、ユーザインタフェース９２８上で、発話出力９７６に対応するテキストを提供する。
[０２４４]
いくつかの実施形態では、デジタルアシスタントは、検索処理を使用してタスクを実行した結果と関連付けられた１つ以上のリンクを提供する。リンクによって、検索結果を使用して処理をインスタンス化する（例えば、ファイルを開く、オブジェクト管理処理を呼び出す）ことが可能になる。図９Ｅに示されるように、ユーザインタフェース９４７上で、ファイルのそれらのファイル名によって表されるリスト（例えば、支出ファイル１、支出ファイル２、支出ファイル３）は、リンクと関連付けられてもよい。実施例として、リンクは、各々のファイル名の側面上で表示される。別の実施例として、ファイル名は、ファイル名がリンクと関連付けられることを示す特定の色（例えば、青）で表示される。いくつかの実施例では、リンクと関連付けられたファイル名は、ユーザインタフェース９４７上で表示された他の項目と同一の色で表示される。
[０２４５]
説明されるように、リンクによって、検索結果を使用して処理をインスタンス化することが可能になる。処理をインスタンス化することは、処理がまだ実行中でない場合に処理を呼び出すことを含む。処理の少なくとも１つのインスタンスが実行中である場合、処理をインスタンス化することは、処理の既存のインスタンスを実行すること、又は処理の新たなインスタンスを生成することを含む。例えば、オブジェクト管理処理をインスタンス化することは、オブジェクト管理処理を呼び出すこと、既存のオブジェクト管理処理を使用すること、又はオブジェクト管理処理の新たなインスタンスを生成することを含む。図９Ｅ及び９Ｆに示されるように、ユーザインタフェース９４７上で表示されたリンクによって、リンクと関連付けられたオブジェクト（例えば、ファイル）を管理することが可能になる。例えば、ユーザインタフェース９４７は、ファイル（例えば、「支出ファイル３」）と関連付けられたリンクのユーザ選択（例えば、カーソル９３４による選択）を受信する。それに応じて、デジタルアシスタントは、ファイルの管理を可能にする、アフォーダンス９３０によって表されるオブジェクト管理処理をインスタンス化する。図９Ｆに示されるように、デジタルアシスタントは、リンクと関連付けられたファイル（例えば、「支出ファイル３」）を含むフォルダを提供するユーザインタフェース９３６（例えば、スニペット又はウィンドウ）を表示する。ユーザインタフェース９３６を使用して、デジタルアシスタントは、ファイルに関して１つ以上の追加のタスク（例えば、複製すること、編集すること、参照すること、移動すること、又は圧縮すること等）を実行するオブジェクト管理処理をインスタンス化する。
[０２４６]
再度図９Ｅを参照して、いくつかの実施例では、ユーザインタフェース９４７上で表示されたリンクによって、オブジェクトを直接参照及び／又は編集することが可能になる。例えば、デジタルアシスタントは、ユーザインタフェース９４７を介して、ファイル（例えば、「支出ファイル３」）と関連付けられたリンクの選択（例えば、カーソル９３４による選択）を受信する。それに応じて、デジタルアシスタントは、ファイルを参照及び／又は編集する処理（例えば、ドキュメント参照／編集処理）をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、オブジェクト管理処理インスタンス化することなく、ファイルを参照及び／又は編集する処理をインスタンス化する。例えば、デジタルアシスタントは、支出ファイル３を参照及び／又は編集するナンバー（Number）処理又はエクセル（Excel）処理を直接インスタンス化する。
[０２４７]
図９Ｅ及び９Ｇを参照して、いくつかの実施例では、デジタルアシスタントは、検索結果を改善する処理（例えば、検索処理）をインスタンス化する。図９Ｅ及９Ｇに示されるように、ユーザは、ユーザインタフェース９４７上で表示された検索結果を改善することを望むことがある。例えば、ユーザは、検索結果からの１つ以上のファイルを選択することを望むことがある。いくつかの実施例では、デジタルアシスタントは、ユーザから、「ケビンがちょうど私に送信したものは、ドラフトでタグ付けしたものです。（Just the ones Kevin sent me that I tagged with draft.）」等の発話入力９７７を受信する。発話入力９７７及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が、ケビンから送信されており、ドラフトタグと関連付けられた支出ファイルのみを表示することであると判定する。ユーザ意図に基づいて、デジタルアシスタントは、検索結果を改善する処理（例えば、検索処理）をインスタンス化する。例えば、図９Ｇに示されるように、検索結果に基づいて、デジタルアシスタントは、支出ファイル１及び支出ファイル２がケビンからユーザに送信されており、タグ付けされたと判定する。結果として、デジタルアシスタントは、それらの２つのファイルをユーザインタフェース９４７上で表示することを続け、支出ファイル３をユーザインタフェース９４７から除去することを続ける。いくつかの実施例では、デジタルアシスタントは、「あなたがドラフトでタグ付けし、ケビンがちょうどあなたに送信したものがここにあります。（Here are just the ones Kevin sent you that you tagged with draft.）」等の発話出力９７８を提供する。デジタルアシスタントは更に、ユーザインタフェース９２８上で発話出力９７８に対応するテキストを提供する。
[０２４８]
図９Ｈを参照して、いくつかの実施例では、デジタルアシスタントは、オブジェクト管理タスク（例えば、複製すること、移動すること、共有すること等）を実行する処理（例えば、オブジェクト管理処理）をインスタンス化する。例えば、図９Ｈに示されるように、デジタルアシスタントは、ユーザから、「支出ファイル１をドキュメントフォルダに移動してください。（Move the Expenses file １ to Documents folder.）」等の発話入力９８４を受信する。発話入力９８４及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図、が支出ファイル１をその現在のフォルダからドキュメントフォルダに複製又は移動することであると判定する。ユーザ意図に従って、デジタルアシスタントは、支出ファイル１をその現在のフォルダからドキュメントフォルダに複製又は移動する処理（例えば、オブジェクト管理処理）をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、「ＯＫ、支出ファイル１をあなたのドキュメントフォルダに移動します。（Ok, moving Expenses File 1 to your Documents folder.）」等の発話出力９８２を提供する。いくつかの実施例では、デジタルアシスタントは更に、ユーザインタフェース９２８上で発話出力９８２に対応するテキストを提供する。
[０２４９]
説明されるように、いくつかの実施例では、ユーザの発話入力は、ユーザ意図が検索処理又はオブジェクト管理処理を使用してタスクを実行することであるかを示すキーワードを含まなくてもよい。図１０Ａ〜１０Ｂを参照して、いくつかの実施形態では、デジタルアシスタントは、タスクを実行することが検索処理を必要としないと判定する。その判定に従って、デジタルアシスタントは、ユーザが検索処理又はオブジェクト管理処理を選択することを要求する発話出力を提供する。例えば、図１０Ａに示されるように、デジタルアシスタントは、ユーザから、「『支出』と呼ばれる全てのファイルを見せてください。（Show me all the files called ‘Expenses’.）」等の発話入力１０５２を受信する。発話入力１０５２及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が単語「支出」と関連付けられた全てのファイルを表示することであると判定する。ユーザ意図に従って、デジタルアシスタントは更に、タスクが検索処理又はオブジェクト管理処理のいずれかによって実行されてもよく、従って、検索処理を必要としないと判定する。いくつかの実施例では、デジタルアシスタントは、「検索処理又はオブジェクト管理処理を使用して検索を希望しますか？（Do you want to search using the searching process or the object managing process?）」等の発話出力１０７２を提供する。いくつかの実施例では、デジタルアシスタントは、ユーザから、「オブジェクト管理処理」等の発話入力１０５４を受信する。よって、発話入力１０５４は、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであることを示す。選択に従って、例えば、デジタルアシスタントは、単語「支出」関連付けられた全てのファイルを検索する、アフォーダンス１０３０によって表されるオブジェクト管理処理をインスタンス化する。図１０Ｂに示されるように、上記説明されたものと同様に、検索の結果として、デジタルアシスタントは、単語「支出」と関連付けられたファイルを含むフォルダを提供するユーザインタフェース１０３２（例えば、スニペット又はウィンドウ）を表示する。上記説明されたものと同様に、ユーザインタフェース１０３２を使用して、デジタルアシスタントは、ファイルに関して追加の１つ以上のタスク（例えば、複製すること、編集すること、参照すること、移動すること、又は圧縮すること等）を実行するオブジェクト管理処理をインスタンス化する。
[０２５０]
図１１Ａ及び１１Ｂを参照して、いくつかの実施形態では、デジタルアシスタントは、コンテクスト情報を特定し、コンテクスト情報及びユーザの発話入力に基づいてユーザ意図を判定する。図１１Ａに示されるように、アフォーダンス１１４０又は１１４１によって表されるデジタルアシスタントは、「昨夜作成したＫｅｙｎｏｔｅプレゼンテーションを開いてください。（Open the Keynote presentation I created last night.）」等の発話入力１１５２を受信する。発話入力１１５２を受信したことに応じて、デジタルアシスタントは、ユーザデバイスとのユーザの対話の履歴、又はユーザが直近で取りかかったファイルと関連付けられたメタデータ等のコンテクスト情報を特定する。例えば、デジタルアシスタントは、日付、時間、及びユーザが昨日の午後６時〜午前２時に取りかかったユーザのファイルのタイプ等のメタデータを特定する。特定されたコンテクスト情報及び発話入力１１５２に基づいて、デジタルアシスタントは、ユーザ意図が、ファイルが昨日のおおよそ午後６時〜午前０時に編集されたことを示すメタデータと関連付けられたＫｅｙｎｏｔｅプレゼンテーションファイルを検索すること、及びプレゼンテーションファイルを開く処理（例えば、Ｋｅｙｎｏｔｅ処理）をインスタンス化することを含むと判定する。
[０２５１]
いくつかの実施例では、コンテクスト情報は、アプリケーション名又は識別子（ＩＤ）を含む。例えば、ユーザの発話入力は、「Ｋｅｙｎｏｔｅプレゼンテーションを開いてください。（Open the Keynote presentation.）」、「マイページのドキュメントを探してください。（find my Pages document.）」、又は「ＨｏｔＮｅｗＡｐｐドキュメントを探してください。（find my HotNewApp documents.）」を提供する。コンテクスト情報は、アプリケーション名（例えば、Ｋｅｙｎｏｔｅ、Ｐａｇｅｓ、ＨｏｔＮｅｗＡｐｐ）又はアプリケーションＩＤを含む。いくつかの実施例では、コンテクスト情報は、動的に更新又は同期される。例えば、コンテクスト情報は、ユーザがＨｏｔＮｅｗＡｐｐと命名される新たなアプリケーションをインストールした後にリアルタイムで更新される。いくつかの実施例では、デジタルアシスタントは、動的に更新されたコンテクスト情報を特定し、ユーザ意図を判定する。例えば、デジタルアシスタントは、アプリケーション名Ｋｅｙｎｏｔｅ、Ｐａｇｅｓ、ＨｏｔＮｅｗＡｐｐ、又はそれらのＩＤを特定し、アプリケーション名／ＩＤ及び発話入力に従ってユーザ意図を判定する。
[０２５２]
ユーザ意図に従って、デジタルアシスタントは更に、ユーザ意図が検索処理又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する。説明されるように、デジタルアシスタントは、発話入力に含まれる１つ以上のキーワードに基づいて、タスクが検索処理を必要とするかに基づいて、所定の構成に基づいて、及び／又はユーザの選択に基づいてそのような判定を行う。図１１Ａに示されるように、発話入力１１５２は、ユーザ意図が検索処理又はオブジェクト管理処理を使用することであるかを示すキーワードを含まない。結果として、デジタルアシスタントは、例えば、所定の構成に基づいて、ユーザ意図がオブジェクト管理処理を使用することであると判定する。その判定に従って、デジタルアシスタントは、ファイルが昨日のおおよそ午後６時〜午前０時に編集されたことを示すメタデータと関連付けられたＫｅｙｎｏｔｅプレゼンテーションファイルを検索するオブジェクト管理処理をインスタンス化する。いくつかの実施形態では、デジタルアシスタントは更に、「ＯＫ、昨夜あなたが作成したＫｅｙｎｏｔｅプレゼンテーションを検索してください。（OK, looking for the Keynote presentation you created last night.）」等の発話出力１１７２を提供する。
[０２５３]
いくつかの実施形態では、コンテクスト情報は、タスクを実行する際に使用される。例えば、アプリケーション名及び／又はＩＤは、アプリケーション名／ＩＤと関連付けられたアプリケーション及び／又はオブジェクト（例えば、ファイル）を検索するためのクエリを形成するために使用されてもよい。いくつかの実施例では、サーバ（例えば、サーバ１０８）は、アプリケーション名（例えば、Ｋｅｙｎｏｔｅ、Ｐａｇｅｓ、ＨｏｔＮｅｗＡｐｐ）及び／又はＩＤを使用してクエリを形成し、クエリをユーザデバイスのデジタルアシスタントに送信する。クエリに基づいて、デジタルアシスタントは、１つ以上のアプリケーション及び／又はオブジェクトを検索する検索処理又はオブジェクト管理処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、アプリケーション名／ＩＤに対応するオブジェクト（例えば、ファイル）のみを検索する。例えば、クエリがアプリケーション名「Ｐａｇｅｓ」を含む場合、デジタルアシスタントは、Ｐａｇｅｓファイルのみを検索し、Ｐａｇｅｓアプリケーションによって開くことができる他のファイル（例えば、単語ファイル）を検索しない。いくつかの実施例では、デジタルアシスタントは、クエリにおいてアプリケーション名／ＩＤと関連付けられた全てのオブジェクトを検索する。
[０２５４]
図１１Ｂ及び１１Ｃを参照して、いくつかの実施形態では、デジタルアシスタントは、タスクを実行した結果と関連付けられた信用レベルに従って、１つ以上の応答を提供する。ユーザ意図の判定、ユーザ意図が検索処理若しくはオブジェクト管理処理を使用してタスクを実行することであるかの判定、及び／又はタスクの実行の間、不正確さが存在し、又は起こることがある。いくつかの実施例では、デジタルアシスタントは、発話入力及びコンテクスト情報に基づいてユーザ意図を判定する精度、ユーザ意図が検索処理を使用して若しくはオブジェクト管理処理を使用してタスクを実行することであるかを判定する精度、検索処理若しくはオブジェクト管理処理を使用してタスクを実行する精度、又はそれらの組み合わせを表す信用レベルを判定する。
[０２５５]
図１１Ａに示される上記実施例を続けて、「昨夜作成したＫｅｙｎｏｔｅプレゼンテーションを開いてください。（Open the Keynote presentation I created last night.）」等の発話入力１１５２に基づいて、デジタルアシスタントは、ファイルが昨日のおおよそ午後６時〜午前０時に編集されたことを示すメタデータと関連付けられたＫｅｙｎｏｔｅプレゼンテーションファイルの検索を実行するオブジェクト管理処理をインスタンス化する。検索結果は、検索基準に完全に一致する単一のファイルを含んでもよい。すなわち、単一のファイルは、昨日のおおよそ午後６時〜午前０時に編集されたプレゼンテーションファイルである。従って、デジタルアシスタントは、検索の精度が高いと判定し、よって、信用レベルが高いと判定する。別の実施例として、検索結果は、検索基準に部分的に一致する複数のファイルを含んでもよい。例えば、昨日のおおよそ午後６時〜午前０時に編集されたプレゼンテーションファイルであるファイルがなく、又は複数のファイルは、昨日のおおよそ午後６時〜午前０時に編集されたプレゼンテーションファイルである。従って、デジタルアシスタントは、検索の精度が中間又は低いと判定し、よって、信用レベルが中間又は低いと判定する。
[０２５６]
図１１Ｂ及び１１Ｃに示されるように、デジタルアシスタントは、信用レベルの判定に従って応答を提供する。いくつかの実施例では、デジタルアシスタントは、信用レベルが閾値信用レベル以上であるか否かを判定する。信用レベルが閾値信用レベル以上であるとの判定に従って、デジタルアシスタントは、第１の応答を提供する。信用レベルが閾値信用レベル未満であるとの判定に従って、デジタルアシスタントは、第２の応答を提供する。いくつかの実施例では、第２の応答は第１の応答とは異なる。図１１Ｂに示されるように、信用レベルが閾値信用レベル以上であるとデジタルアシスタントが判定する場合、デジタルアシスタントは、ファイルを参照及び編集することを可能にする処理（例えば、ユーザインタフェース１１４２によって表されるＫｅｙｎｏｔｅ処理）をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、「昨夜あなたが作成したプレゼンテーションがここにあります。（Here is the presentation you created last night.）」等の発話出力を提供し、ユーザインタフェース１１４３において発話出力のテキストを表示する。図１１Ｃに示されるように、信用レベルが閾値信用レベル未満であるとデジタルアシスタントが判定する場合、デジタルアシスタントは、候補ファイルのリストを提供するユーザインタフェース１１２２（例えば、スニペット又はウィンドウ）を表示する。候補ファイルの各々は、検索基準を部分的に満たすことができる。いくつかの実施形態では、信用レベルは、ユーザ優先度又は履歴的精度レーティング等に基づいて、予め定められてもよく、及び／又は動的に更新されてもよい。いくつかの実施例では、デジタルアシスタントは更に、「昨夜作成した全てのプレゼンテーションがここにあります。」等の発話出力１１７４を提供し、ユーザインタフェース１１２２上で発話出力１１７４に対応するテキストを表示する。
[０２５７]
図１１Ｄを参照して、いくつかの実施形態では、デジタルアシスタントは、追加のタスクを実行する処理（例えば、Ｋｅｙｎｏｔｅプレゼンテーション処理）をインスタンス化する。上記実施例を続けると、図１１Ｂ及び１１Ｄに示されるように、ユーザは、フルスクリーンモードでプレゼンテーションファイルを表示することを望むことがある。デジタルアシスタントは、ユーザから、「それをフルスクリーンにしてください。（Make it full screen.）」等の発話入力１１５４を受信する。発話入力１１５４及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図がフルスクリーンモードでプレゼンテーションファイルを表示することであると判定する。ユーザ意図に従って、デジタルアシスタントは、Ｋｅｙｎｏｔｅプレゼンテーション処理にフルスクリーンモードでスライドを表示させる。いくつかの実施例では、デジタルアシスタントは、「ＯＫ、フルスクリーンであなたのプレゼンテーションを表示します。（OK, showing your presentation in full screen.）」等の発話出力１１７６を提供する。
[０２５８]
図１２Ａ〜１２Ｃを参照して、いくつかの実施形態では、デジタルアシスタントは、単一の発話入力又は発言に基づいて、ユーザ意図が複数のタスクを実行することであると判定する。ユーザ意図に従って、デジタルアシスタントは更に、複数のタスクを実行する１つ以上の処理をインスタンス化する。例えば、図１２Ａに示されるように、アフォーダンス１２４０又は１２４１によって表されるデジタルアシスタントは、「コロラド旅行からの全て写真を見せ、私の母に送信してください。（Show me all the photos from my Colorado trip, and send them to my mom.）」等の単一の発話入力１２５２を受信する。発話入力１２５２及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が第１のタスク及び第２のタスクを実行することであると判定する。上記説明されたものと同様に、第１のタスクは、フォルダ名「コロラド旅行」を有するフォルダに記憶された写真を表示すること、又はユーザがコロラド内で旅行している期間の間に撮られた写真を表示することである。第２のタスクに関して、コンテクスト情報は、ユーザの連絡先に記憶された特定の電子メールアドレスがユーザの母としてタグ付けされることを示してもよい。従って、第２のタスクは、コロラド旅行と関連付けられた写真を含む電子メールを特定の電子メールアドレスに送信することである。
[０２５９]
いくつかの実施例では、デジタルアシスタントは、各々のタスクに関して、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する。実施例として、デジタルアシスタントは、第１のタスクが検索することと関連付けられ、ユーザ意図がオブジェクト管理処理を使用して第１のタスクを実行することであると判定する。図１２Ｂに示されるように、ユーザ意図がオブジェクト管理処理を使用して第１のタスクを実行することであるとの判定に従って、デジタルアシスタントは、ユーザのコロラド旅行と関連付けられた写真を検索するオブジェクト管理処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、検索結果（例えば、写真１、２、及び３）を含むフォルダを提供するユーザインタフェース１２３２（例えば、スニペット又はウィンドウ）を表示する。別の実施例として、デジタルアシスタントは、第１のタスクが検索することと関連付けられ、ユーザ意図が検索処理を使用して第１のタスクを実行することであると判定する。図１２Ｃに示されるように、ユーザ意図が検索処理を使用して第１のタスクを実行することであるとの判定に従って、デジタルアシスタントは、ユーザのコロラド旅行と関連付けられた写真を検索する検索処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、検索結果（例えば、写真１、２、及び３）と関連付けられた写真及び／又はリンクを提供するユーザインタフェース１２３４（例えば、スニペット又はウィンドウ）を表示する。
[０２６０]
別の実施例として、デジタルアシスタントは、第２のタスク（例えば、コロラド旅行と関連付けられた写真を含む電子メールを特定の電子メールアドレスに送信すること）が検索することと関連付けられておらず、又はオブジェクトを管理することと関連付けられていると判定する。その判定に従って、デジタルアシスタントは、ユーザデバイスに利用可能な処理を使用してタスクを実行することができると判定する。例えば、デジタルアシスタントは、ユーザデバイスにおいて、電子メール処理を使用して第２のタスクを実行することができると判定する。その判定に従って、デジタルアシスタントは、第２のタスクを実行する処理をインスタンス化する。図１２Ｂ及び１２Ｃに示されるように、デジタルアシスタントは、電子メール処理をインスタンス化し、電子メール処理と関連付けられたユーザインタフェース１２４２及び１２４４を表示する。電子メール処理は、ユーザのコロラド旅行と関連付けられた写真を電子メールメッセージに添付する。図１２Ｂ及び１２Ｃに示されるように、いくつかの実施形態では、デジタルアシスタントは更に、「あなたのコロラド旅行からの写真がここにあります。写真をあなたの母に送信する準備ができています。進めていいですか？（Here are the photos from your Colorado trip. I am ready to send the photos to your mom, proceed?）」等の発話出力１２７２及び１２７４を提供する。いくつかの実施例では、デジタルアシスタントは、ユーザインタフェース１２４４上で発話出力１２７４に対応するテキストを表示する。発話出力１２７２及び１２７４に応じて、ユーザは、「ＯＫ」等の発話入力を提供する。発話入力をユーザから受信すると、デジタルアシスタントは、電子メール処理に電子メールメッセージを送出させる。
[０２６１]
例えば、関連する出願、２０１４年５月３０日に出願された「ＭＵＬＴＩ−ＣＯＭＭＡＮＤ ＳＩＮＧＬＥ ＵＴＴＥＲＡＮＣＥ ＩＮＰＵＴ ＭＥＴＨＯＤ」と題する米国仮特許出願第６２／００５，５５６号及び２０１５年３月８日に出願された「ＭＵＬＴＩ−ＣＯＭＭＡＮＤ ＳＩＮＧＬＥ ＵＴＴＥＲＡＮＣＥ ＩＮＰＵＴ ＭＥＴＨＯＤ」と題する米国仮特許出願第６２／１２９，８５１号の優先権の利益を主張する、２０１５年５月２８日に出願された「ＭＵＬＴＩ−ＣＯＭＭＡＮＤ ＳＩＮＧＬＥ ＵＴＴＥＲＡＮＣＥ ＩＮＰＵＴ ＭＥＴＨＯＤ」と題する米国特許出願第１４／７２４，６２３号において、単一の発話入力又は発言内に含まれる複数のコマンドに基づいて複数のタスクを実行する技術を発見することができる。それらの出願の各々は、全体を参照することによって以下に組み込まれる。
[０２６２]
図１２Ｃ及び１２Ｄに示されるように、いくつかの実施例では、デジタルアシスタントは、処理に、ユーザの追加の発話入力に基づいて追加のタスクを実行させる。例えば、ユーザインタフェース１２３４に表示された検索結果を考慮して、ユーザは、写真の全てではなくいくつかを送信することを望むことがある。ユーザは、「写真１及び写真２のみを送信してください。（Send only Photo 1 and Photo 2.）」等の発話入力１２５４を提供する。いくつかの実施例では、デジタルアシスタントは、ユーザがアフォーダンス１２３５（例えば、ユーザインタフェース１２３４上で表示されたマイクロフォンのアイコン）を選択した後に発話入力１２５４を受信する。デジタルアシスタントは、発話入力１２５４及びコンテクスト情報に基づいて、ユーザ意図が写真１及び写真２のみを添付する電子メールを送信することであると判定する。ユーザ意図に従って、デジタルアシスタントは、電子メール処理に、写真３を電子メールメッセージから除去させる。いくつかの実施例では、デジタルアシスタントは、「ＯＫ、写真１及び写真２をあなたの電子メールに添付します。（OK, attaching Photo 1 and Photo 2 to your email.）」等の発話出力１２７６を提供し、ユーザインタフェース１２３４上で発話出力１２７６に対応するテキストを表示する。
[０２６３]
図１３Ａを参照して、いくつかの実施形態では、タスクが検索することと関連付けられていないとの判定に従って、デジタルアシスタントは、タスクが少なくとも１つのオブジェクトを管理することと関連付けられているか否かを判定する。図１３Ａに示されるように、例えば、デジタルアシスタントは、「プロジェクトと呼ばれる新たなフォルダをデスクトップ上で作成してください。（Create a new folder on the desktop called Projects.）」等の発話入力１３５２を受信する。発話入力１３５２及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図がフォルダ名「プロジェクト」を有する新たなフォルダをデスクトップにおいて生成することであると判定する。デジタルアシスタントは更に、オブジェクト（例えば、フォルダ）を管理することと関連付けられる代わりに、ユーザ意図が検索することと関連付けられていないと判定する。従って、デジタルアシスタントは、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであると判定する。
[０２６４]
いくつかの実施例では、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、デジタルアシスタントは、オブジェクト管理処理を使用してタスクを実行する。オブジェクト管理処理を使用してタスクを実行することは、例えば、少なくとも１つのオブジェクトを作成すること（例えば、フォルダ又はファイルを作成すること）、少なくとも１つのオブジェクトを記憶すること（例えば、フォルダ、ファイル、又は通信を記憶すること）、並びに少なくとも１つのオブジェクトを圧縮すること（例えば、フォルダ及びファイルを圧縮することを含むことができる。オブジェクト管理処理を使用してタスクを実行することは更に、例えば、少なくとも１つのオブジェクトを第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に複製又は移動することを含むことができる。例えば、デジタルアシスタントは、ファイルをユーザデバイスからフラッシュドライブ又はクラウドドライブにカットアンドペーストするオブジェクト管理処理をインスタンス化する。
[０２６５]
オブジェクト管理処理を使用してタスクを実行することは更に、例えば、物理若しくは仮想記憶装置に記憶された少なくとも１つのオブジェクトを削除すること（例えば、フォルダ若しくはファイル削除すること）、及び／又は物理若しくは仮想記憶装置に記憶された少なくとも１つのオブジェクトを復元すること（例えば、削除されたフォルダ若しくは削除されたファイルを復元すること）を含むことができる。オブジェクト管理処理を使用してタスクを実行することは更に、例えば、少なくとも１つのオブジェクトをマーク付けすることを含むことができる。いくつかの実施例では、オブジェクトをマーク付けすることは、可視的又は可視的でなくてもよい。例えば、デジタルアシスタントは、オブジェクト管理処理に、ソーシャルメディアの投稿のための「ｌｉｋｅ」サインを生成させ、電子メールをタグ付けさせ、又はファイルをマーク付けさせること等ができる。マーク付けすることは、例えば、フラグ又はサイン等を表示することによって可視的であってもよい。マーク付けすることはまた、メタデータの記憶（例えば、メモリ）内容が変わるようにオブジェクトのメタデータに関して実行されてもよい。メタデータは、可視的であってもよく、又はそうでなくてもよい。
[０２６６]
オブジェクト管理処理を使用してタスクを実行することは更に、例えば、バックアップための所定の期間に従って、又はユーザの要求があると少なくとも１つのオブジェクトをバックアップすることを含むことができる。例えば、デジタルアシスタントは、オブジェクト管理処理に、フォルダ及びファイルをバックアップするバックアッププログラム（例えば、タイムマシンプログラム）をインスタンス化させることができる。バックアップは、所定のスケジュール（例えば、１日、１週間、若しくは１カ月に１回等）、又はユーザ要求に従って自動的に実行されてもよい。
[０２６７]
オブジェクト管理処理を使用してタスクを実行することは更に、例えば、少なくとも１つのオブジェクトをユーザデバイスに通信可能に接続された１つ以上の電子デバイスの間で共有することを含むことができる。例えば、デジタルアシスタントは、オブジェクト管理処理に、ユーザデバイスに記憶された写真を別の電子デバイス（例えば、ユーザのスマートフォン又はタブレット）と共有させることができる。
[０２６８]
図１３Ｂに示されるように、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、デジタルアシスタントは、オブジェクト管理処理を使用してタスクを実行する。例えば、デジタルアシスタントは、ユーザインタフェース１３１０のデスクトップ上で「プロジェクト」と命名されたフォルダを生成するオブジェクト管理処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは、オブジェクト管理処理に、自動的に又は追加のユーザ入力に応じてのいずれかでフォルダを更に開かせることができる。例えば、デジタルアシスタントは、「ＯＫ、プロジェクトと呼ばれるフォルダをデスクトップ上で作成しました。それを開けますか？（OK, I’ ve created a folder on the desktop called Projects, would you like to open it?）」等の発話出力１３７２を提供する。ユーザは、「Ｙｅｓ」等の発話入力１３７４を提供する。ユーザの発話入力１３７４に応じて、デジタルアシスタントは、オブジェクト管理処理に、プロジェクトフォルダを開かせ、プロジェクトフォルダに対応するユーザインタフェース１３３２を表示させる。
[０２６９]
図１３Ｃを参照して、いくつかの実施形態では、デジタルアシスタントは、ユーザが検索処理又はオブジェクト管理処理を使用してタスクを実行した結果を操作することを可能にする１つ以上のアフォーダンスを提供する。１つ以上のアフォーダンスは、例えば、編集ボタン、中止ボタン、再実行ボタン、又は取消ボタン等を含む。例えば、図１３Ｃに示されるように、デスクトップ上での「プロジェクト」と命名されたフォルダを生成した後、デジタルアシスタントは、編集ボタン１３３６Ａ、取消ボタン１３３６Ｂ、及び再実行ボタン１３３６Ｃを表示するユーザインタフェース１３３４を提供する。いくつかの実施例では、編集ボタン１３３６Ａによって、ユーザは、オブジェクトの１つ以上の態様を編集することが可能になり（例えば、プロジェクトフォルダの名前を編集する）、取消ボタン１３３６Ｂによって、ユーザは、オブジェクト管理処理によって実行された最後のタスクを元に戻すことが可能になり（例えば、プロジェクトフォルダを削除する）、再実行ボタン１３３６Ｃによって、ユーザは、オブジェクト管理処理によって実行された最後のタスクを復元することが可能になる（例えば、オブジェクト管理処理を使用して別のフォルダを作成する）。デジタルアシスタントは、ユーザが検索処理又はオブジェクト管理処理を使用してタスクを実行した結果のいずれかの操作を実行することを可能にするいずれかの所望のアフォーダンスを提供することができることを認識されよう。
[０２７０]
説明されるように、デジタルアシスタントは、ユーザ意図が検索処理又はオブジェクト管理処理を使用してタスクを実行することであるかを判定することができる。いくつかの実施例では、デジタルアシスタントは、ユーザ意図が検索処理又はオブジェクト管理処理と関連付けられていないと判定する。例えば、ユーザは、「聞き取りを開始してください。（start dictation.）」等の発話入力を提供する。デジタルアシスタントは、聞き取りのタスクが検索することと関連付けられていないと判定する。いくつかの実施例では、タスクが検索することと関連付けられていないとの判定に従って、デジタルアシスタントは更に、タスクが少なくとも１つのオブジェクトを管理することと管理付けられているか否かを判定する。例えば、デジタルアシスタントは、聞き取りのタスクがまた、ファイル、フォルダ、又は電子メールを複製、移動、又は削除すること等、オブジェクトを管理することと関連付けられていないと判定する。いくつかの実施例では、タスクがオブジェクトを管理することと関連付けられていないとの判定に従って、デジタルアシスタントは、ユーザデバイスに利用可能な処理を使用してタスクを実行することができるか否かを判定する。例えば、デジタルアシスタントは、ユーザデバイスに利用可能な聞き取り処理を使用して聞き取りのタスクを実行することができると判定する。いくつかの実施例では、デジタルアシスタントは、ユーザデバイスに利用可能な処理を使用してタスクを実行することに関して、ユーザとのダイアログを開始する。例えば、デジタルアシスタントは、「ＯＫ、聞き取りを開始します。（OK, starting dictation.）」又は「現在行っているこのプレゼンテーションにおいて聞き取りをしますか？（Would you like to dictate in this presentation you are working now?）」等の発話出力を提供する。発話出力を提供した後、デジタルアシスタントは、例えば、ユーザ意図が、ユーザが現在行っているプレゼンテーションにおいて聞き取りをすることであることを確認する応答をユーザから受信する。
５．デジタルアシスタントの例示的な機能−連続性
[０２７１]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅは、デジタルアシスタントによってリモートに位置するコンテンツを使用してユーザデバイス又は第１の電子デバイスにおいてタスクを実行する機能性を示す。いくつかの実施例では、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）は、様々な実施例に従って、ユーザデバイス（例えば、デバイス１４００、１５００、１６００、及び１７００）によって実装される。いくつかの実施例では、ユーザデバイス、サーバ（例えば、１０８）、又はそれらの組み合わせは、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）を実装してもよい。ユーザデバイスは、例えば、デバイス１０４、２００、又は４００を使用して実装されてもよい。いくつかの実施例では、ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、又はタブレットコンピュータとすることができる。ユーザデバイスは、デスクトップ環境等のマルチタスキング環境で動作する。
[０２７２]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅを参照して、いくつかの実施例では、ユーザデバイス（例えば、デバイス１４００、１５００、１６００、及び１７００）は、様々なユーザインタフェース（例えば、ユーザインタフェース１４１０、１５１０、１６１０、及び１７１０）を提供する。上記説明されたものと同様に、ユーザデバイスは、ディスプレイ上で様々なユーザインタフェースを表示し、様々なユーザインタフェースによって、ユーザは、１つ以上の処理（例えば、映画処理、写真処理、ウェブブラウジングの処理）をインスタンス化することが可能になる。
[０２７３]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅに示されるように、上記説明されたものと同様に、ユーザデバイス（例えば、デバイス１４００、１５００、１６００、及び１７００）は、ユーザインタフェース（例えば、ユーザインタフェース１４１０、１５１０、１６１０、及び１７１０）上で、デジタルアシスタントサービスをインスタンス化するアフォーダンス（例えば、アフォーダンス１４４０、１５４０、１６４０、及び１７４０）を表示する。上記説明されたものと同様に、いくつかの実施例では、デジタルアシスタントは、所定のフレーズを受信したことに応じてインスタンス化される。いくつかの実施例では、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じてインスタンス化される。
[０２７４]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅを参照して、いくつかの実施形態では、デジタルアシスタントは、発話入力１４５２、１４５４、１４５６、１４５８、１５５２、１５５４、１５５６、１６５２、１６５４、１６５６、１７５２、及び１７５６等の１つ以上の発話入力をユーザから受信する。ユーザは、例えば、ユーザデバイス（例えば、デバイス１４００、１５００、１６００、及び１７００）又は第１の電子デバイス（例えば、電子デバイス１４２０、１５２０、１５３０、１５２２、１５３２、１６２０、１６２２、１６３０、１７２０、及び１７３０）においてタスクを実行する目的で、リモートに位置するコンテンツを使用して、様々な発話入力を提供してもよい。上記説明されたものと同様に、いくつかの実施例では、デジタルアシスタントはユーザデバイスにおいて、ユーザから直接、又はユーザデバイスに通信可能に接続された別の電子デバイスを通じて間接的に発話入力を受信することができる。
[０２７５]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅを参照して、いくつかの実施形態では、デジタルアシスタントは、ユーザデバイスと関連付けられたコンテクスト情報を特定する。コンテクスト情報は、例えば、ユーザ特有データ、センサデータ、及びユーザデバイス構成データを含む。いくつかの実施例では、ユーザ特有データは、ユーザ優先度、並びにユーザデバイス（例えば、デバイス１４００、１５００、１６００、及び１７００）及び／又はユーザデバイスに通信可能に接続された電子デバイスとのユーザの対話の履歴等を示すログ情報を含む。例えば、ユーザ特有データは、ユーザが電子デバイス１４２０（例えば、スマートフォン）を使用して自画像写真を直近で撮ったこと、ユーザがポッドキャスト、ウェブキャスト、映画、音楽、又は音声ブック等に直近でアクセスしたことを示す。いくつかの実施例では、センサデータは、ユーザデバイス又は他の電子デバイスと関連付けられたセンサによって収集された様々なデータを含む。例えば、センサデータは、いずれかの時点において、又はいずれかの期間の間にユーザデバイス又はユーザデバイスに通信可能に接続された電子デバイスの物理位置を示すＧＰＳ位置データを含む。例えば、センサデータは、電子デバイス１４２０に記憶された写真がハワイで撮られたことを示す。いくつかの実施例では、ユーザデバイス構成データは、現在又は履歴的なデバイス構成を含む。例えば、ユーザデバイス構成データは、ユーザデバイスが現在いくつかの電子デバイスに通信可能に接続されているが、他の電子デバイスからは切断されていることを示す。電子デバイスは、例えば、スマートフォン、セットトップボックス、タブレット等を含む。以下で更に詳細に説明されるように、コンテクスト情報は、ユーザ意図を判定する際、及び／又は１つ以上のタスクを実行する際に使用されてもよい。
[０２７６]
図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅを参照して、上記説明されたものと同様に、発話入力を受信したことに応じて、デジタルアシスタントは、発話入力に基づいてユーザ意図を判定する。デジタルアシスタントは、自然言語処理の結果に基づいてユーザ意図を判定する。例えば、デジタルアシスタントは、ユーザ入力に基づいて実施可能な意図を特定し、特定された実施可能な意図を表すために構造化されたクエリを生成する。構造化されたクエリは、実施可能な意図と関連付けられた１つ以上のパラメータを含む。１つ以上のパラメータは、実施可能な意図に基づいてタスクの実行を促進するために使用されてもよい。例えば、「ちょうど撮った自分撮りを見せてください。（show the selfie I just took.）」等の発話入力に基づいて、デジタルアシスタントは、実施可能な意図が写真を表示することであると判定し、パラメータは、ユーザが数日後の間に直近で撮った自画像を含む。いくつかの実施形態では、デジタルアシスタントは更に、発話入力及びコンテクスト情報に基づいてユーザ意図を判定する。例えば、コンテクスト情報は、ユーザデバイスがＢｌｕｅｔｏｏｔｈ接続を使用してユーザの電話に通信可能に接続されていることを示し、自画像写真が２日前にユーザの写真に追加されたことを示す。結果として、デジタルアシスタントは、ユーザ意図が２日前にユーザの写真に追加された自画像である写真を表示することであると判定する。発話入力及びコンテクスト情報に基づいてユーザ意図を判定することは、様々な実施例において以下で更に詳細に説明される。
[０２７７]
いくつかの実施形態では、ユーザ意図に従って、デジタルアシスタントは更に、タスクがユーザデバイスにおいて実行されるか、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいて実行されるかを判定する。判定の様々な実施例は、図１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅに関して以下で更に詳細に提供される。
[０２７８]
図１４Ａを参照して、いくつかの実施例では、ユーザデバイス１４００は、デジタルアシスタントを呼び出す発話入力１４５２をユーザから受信する。図１４Ａに示されるように、いくつかの実施例では、デジタルアシスタントは、ユーザインタフェース１４１０上で表示されたアフォーダンス１４４０又は１４４１によって表される。発話入力１４５２は、例えば、「はい、アシスタント。」を含む。発話入力１４５２に応じて、ユーザデバイス１４００は、デジタルアシスタントが後続の発話入力をアクティブに監視するようにデジタルアシスタントを呼び出す。いくつかの実施例では、デジタルアシスタントは、それが呼び出されることを示す発話出力１４７２を提供する。例えば、発話出力１４７２は、「どうぞ、聞いていますよ。（Go ahead, I am listening.）」を含む。図１４Ａに示されるように、いくつかの実施例では、ユーザデバイス１４００は、電子デバイス１４２０等の１つ以上の電子デバイスに通信可能に接続される。電子デバイス１４２０は、有線又は無線ネットワークを使用してユーザデバイス１４００と通信することができる。例えば、電子デバイス１４２０は、音声及びデータ（例えば、音声及びビデオファイル）を２つのデバイスの間で交換することができるように、Ｂｌｕｅｔｏｏｔｈ接続を使用してユーザデバイス１４００と通信する。
[０２７９]
図１４Ｂを参照して、いくつかの実施例では、デジタルアシスタントは、「このデバイス上で電話機を使用してちょうど撮った自撮りを見せてください。（Show me the selfie I just took using my phone on this device.）」等の発話入力１４５４を受信する。発話入力１４５４及び／又はコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図を判定する。例えば、図１４Ｂに示されるように、コンテクスト情報は、ユーザデバイス１４００が有線又は無線ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ接続又はＷｉ−Ｆｉ接続）を使用して電子デバイス１４２０に通信可能に接続されていることを示す。コンテクスト情報はまた、ユーザが名前「ｓｅｌｆｉｅ０００１」を有する電子デバイス１４２０に記憶された自画像を直近で撮ったことを示す。結果として、デジタルアシスタントは、ユーザ意図が電子デバイス１４２０に記憶されたｓｅｌｆｉｅ０００１と命名された写真を表示することであると判定する。代わりに、写真は、ユーザの顔を含むものとして写真認識ソフトウェアでタグ付けされていることがあり、従って、特定されることがある。
[０２８０]
説明されるように、ユーザ意図に従って、デジタルアシスタントは更に、タスクがユーザデバイス、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいて実行されるかを判定する。いくつかの実施形態では、タスクがユーザデバイス又は第１の電子デバイスにおいて実行されるかを判定することは、発話入力に含まれる１つ以上のキーワードに基づいている。例えば、デジタルアシスタントは、発話入力１４５４が、タスクがユーザデバイス１４００上で実行されることを示す、「このデバイス上で」等のキーワード又はフレーズを含むと判定する。結果として、デジタルアシスタントは、電子デバイス１４２０に記憶されたｓｅｌｆｉｅ０００１と命名された写真を表示することが、ユーザデバイス１４００において実行されることであると判定する。ユーザデバイス１４００及び電子デバイス１４２０は異なるデバイスである。例えば、ユーザデバイス１４００はラップトップコンピュータとすることができ、電子デバイス１４２０は電話とすることができる。
[０２８１]
いくつかの実施形態では、デジタルアシスタントは更に、タスクの実行と関連付けられたコンテンツがリモートに位置しているか否かを判定する。デジタルアシスタントが、どのデバイスがタスクを実行するかを判定する時、又はその時の近くで、タスクを実行するためのコンテンツの少なくとも一部がタスクを実行すると判定されたデバイスに記憶されていない場合、コンテンツがリモートに位置する。例えば、図１４Ｂに示されるように、ユーザデバイス１４００のデジタルアシスタントが、ユーザ意図がユーザデバイス１４００においてｓｅｌｆｉｅ０００１と命名された写真を表示することであると判定する時、又はその時のその近くで、ｓｅｌｆｉｅ０００１と命名された写真は、ユーザデバイス１４００に記憶されず、代わりに、電子デバイス１４２０（例えば、スマートフォン）に記憶されている。従って、デジタルアシスタントは、写真がユーザデバイス１４００に対してリモートに位置すると判定する。
[０２８２]
図１４Ｂに示されるように、いくつかの実施形態では、タスクがユーザデバイスにおいて実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、ユーザデバイスのデジタルアシスタントは、タスクを実行するためのコンテンツを受信する。いくつかの実施例では、ユーザデバイス１４００のデジタルアシスタントは、電子デバイス１４２０に記憶されたコンテンツの少なくとも一部を受信する。例えば、ｓｅｌｆｉｅ０００１と命名された写真を表示するために、ユーザデバイス１４００のデジタルアシスタントは、ｓｅｌｆｉｅ０００１と命名された写真を取得する要求を電子デバイス１４２０に送信する。電子デバイス１４２０は、要求を受信し、それに応じて、ｓｅｌｆｉｅ０００１と命名された写真をユーザデバイス１４００に送信する。ユーザデバイス１４００のデジタルアシスタントは次いで、ｓｅｌｆｉｅ０００１と命名された写真を受信する。
[０２８３]
図１４Ｂに示されるように、いくつかの実施形態では、リモートに位置するコンテンツを受信した後、デジタルアシスタントは、ユーザデバイスにおいて応答を提供する。いくつかの実施例では、応答を提供することは、受信されたコンテンツを使用してタスクを実行することを含む。例えば、ユーザデバイス１４００のデジタルアシスタントは、ｓｅｌｆｉｅ０００１と命名された写真のビュー１４４３を提供するユーザインタフェース１４４２（例えば、スニペット又はウィンドウ）を表示する。ビュー１４４３は、ｓｅｌｆｉｅ０００１と命名された写真のプレビュー（例えば、サムネイル）、アイコン、又はフルビューとすることができる。
[０２８４]
いくつかの実施例では、応答を提供することは、ユーザデバイスにおいて実行されるタスクと関連付けられたリンクを提供することを含む。リンクによって、処理をインスタンス化することが可能になる。説明されるように、処理をインスタンス化することは、処理がまだ実行中でない場合に処理を呼び出すことを含む。処理の少なくとも１つのインスタンスが実行中である場合、処理をインスタンス化することは、処理の既存のインスタンスを実行すること、又は処理の新たなインスタンスを生成することを含む。図１４Ｂに示されるように、ユーザインタフェース１４４２は、ｓｅｌｆｉｅ０００１と命名された写真のビュー１４４３と関連付けられたリンク１４４４を提供してもよい。リンク１４４４によって、例えば、写真の完全な表現を参照し、又は写真を編集する写真処理をインスタンス化することが可能になる。実施例として、リンク１４４４は、ビュー１４４３の側面上で表示される。別の実施例として、ビュー１４４３はそれ自体、ビュー１４４３の選択が写真処理をインスタンス化するように、リンク１４４４を含むことができ、又はそれを組み込むことができる。
[０２８５]
いくつかの実施形態では、応答を提供することは、ユーザがタスクの実行の結果を更に操作することを可能にする１つ以上のアフォーダンスを提供することを含む。図１４Ｂに示されるように、いくつかの実施例では、デジタルアシスタントは、ユーザインタフェース１４４２（例えば、スニペット又はウィンドウ）上でアフォーダンス１４４５及び１４４６を提供する。アフォーダンス１４４５は、写真をアルバムに追加するためのボタンを含むことができ、アフォーダンス１４４６は、写真のビュー１４４３を中止するためのボタンを含むことができる。ユーザは、アフォーダンス１４４５及び１４４６のうちの一方又は両方を選択することができる。アフォーダンス１４４５の選択に応じて、例えば、写真処理は、ビュー１４４３と関連付けられた写真をアルバムに追加する。アフォーダンス１４４６の選択に応じて、例えば、写真処理は、ビュー１４４３をユーザインタフェース１４４２から除去する。
[０２８６]
いくつかの実施形態では、応答を提供することは、ユーザデバイスにおいて実行されるタスクに従って発話出力を提供することを含む。図１４Ｂに示されるように、アフォーダンス１４４０又は１４４１によって表されるデジタルアシスタントは、「あなたの電話機からの最後の自撮りがここにあります。（Here is the last selfie from your phone.）」等の発話出力１４７４を提供する。
[０２８７]
図１４Ｃを参照して、いくつかの実施例では、単一の発話入力／発言及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が複数のタスクを実行することであると判定する。図１４Ｃに示されるように、デジタルアシスタントは、「このデバイス上で電話機を使用してちょうど撮った自撮りを見せ、それをウォールペーパとして設定してください。（Show me the selfie I just took using my phone on this device and set it as my wallpaper.）」等の発話入力１４５６を受信する。発話入力１４５６及びコンテクスト情報に基づいて、デジタルアシスタントは、ユーザ意図が電子デバイス１４２０に記憶されたｓｅｌｆｉｅ０００１と命名された写真を表示する第１のタスクを実行することであると判定し、ｓｅｌｆｉｅ０００１と命名された写真をウォールペーパとして設定する第２のタスクを実行する。よって、単一の発話入力１４５６に基づいて、デジタルアシスタントは、ユーザ意図が複数のタスクを実行することであると判定する。
[０２８８]
いくつかの実施形態では、デジタルアシスタントは、複数のタスクがユーザデバイスにおいて実行されるか、又はユーザデバイスに通信可能に接続された電子デバイスにおいて実行されるかを判定する。例えば、発話入力１４５６に含まれるキーワード「このデバイス」を使用して、デジタルアシスタントは、複数のタスクがユーザデバイス１４００において実行されると判定する。上記説明されたものと同様に、デジタルアシスタントは更に、少なくとも１つのタスクを実行するためのコンテンツがリモートに記憶されているか否かを判定する。例えば、デジタルアシスタントは、少なくとも第１のタスク（例えば、ｓｅｌｆｉｅ０００１と命名された写真を表示すること）を実行するためのコンテンツがリモートに記憶されていると判定する。いくつかの実施形態では、複数のタスクがユーザデバイスにおいて実行され、少なくとも１つのタスクを実行するためのコンテンツがリモートに記憶されているとの判定に従って、デジタルアシスタントは、コンテンツを別の電子デバイス（例えば、電子デバイス１４２０）から要求し、タスクを実行するためのコンテンツを受信し、ユーザデバイスにおいて応答を提供する。
[０２８９]
いくつかの実施形態では、応答を提供することは、複数のタスクを実行することを含む。例えば、図１４Ｃに示されるように、応答を提供することは、ｓｅｌｆｉｅ０００１と命名された写真のビュー１４４９を表示する第１のタスクを実行すること、及びｓｅｌｆｉｅ０００１と命名された写真をウォールペーパとして設定する第２のタスクを実行することを含む。いくつかの実施例では、デジタルアシスタントは、デスクトップ設定構成処理を使用して、ウォールペーパがｓｅｌｆｉ０００１と命名された写真となるように自動的に構成する。いくつかの実施例では、デジタルアシスタントは、ユーザがｓｅｌｆｉｅ０００１と命名され写真を使用してウォールペーパを手動で構成することを可能にする、デスクトップ設定１４５０へのリンクを提供する。例えば、ユーザは、マウス、スタイラス、又は指等の入力デバイスを使用することによって、デスクトップ設定１４５０へのリンクを選択することができる。デスクトップ設定１４５０へのリンクの選択を受信すると、デジタルアシスタントは、ユーザがｓｅｌｆｉｅ０００１と命名された写真を選択し、それをユーザデバイス１４００のウォールペーパとして設定することを可能にするデスクトップ設定構成処理を開始する。
[０２９０]
図１４Ｃに示されるように、いくつかの実施例では、デジタルアシスタントは、ユーザとのダイアログを開始し、発話入力をユーザから受信したことに応じて、ウォールペーパの構成を促進する。例えば、デジタルアシスタントは、「あなたの電話機からの最後の自撮りがここにあります。ウォールペーパとして設定しますか？（Here is the last selfie from your phone. Set is as wallpaper?）」等の発話出力１４７６を提供する。ユーザは、「ＯＫ」等の発話入力を提供する。発話入力を受信すると、デジタルアシスタントは、ウォールペーパをｓｅｌｆｉｅ０００１と命名された写真として構成するデスクトップ設定構成処理をインスタンス化する。
[０２９１]
説明されるように、いくつかの実施例では、デジタルアシスタントは、発話入力及びコンテクスト情報に基づいてユーザ意図を判定する。図１４Ｄを参照して、いくつかの実施例では、発話入力は、ユーザ意図を判定する十分な情報を含まなくてもよい。例えば、発話入力は、タスクを実行するためのコンテンツの位置を示さなくてもよい。図１４Ｄに示されるように、デジタルアシスタントは、「ちょうど撮った自撮りを見せてください。（Show me the selfie I just took.）」等の発話入力１４５８を受信する。発話入力１４５８は、どの写真が表示されるか、又は自撮りの位置が表示されるかを示す１つ以上のキーワードを含まない。結果として、ユーザ意図は、発話入力１４５８にのみ基づいて判定されなくてもよい。いくつかの実施例では、デジタルアシスタントは、発話入力１４５８及びコンテクスト情報に基づいてユーザ意図を判定する。例えば、コンテクスト情報に基づいて、デジタルアシスタントは、ユーザデバイス１４００が電子デバイス１４２０に通信可能に接続されていると判定する。いくつかの実施例では、デジタルアシスタントは、ユーザがユーザデバイス１４００及び電子デバイス１４２０において直近で撮った写真を検索する検索処理をインスタンス化する。検索結果に基づいて、デジタルアシスタントは、ｓｅｌｆｉｅ０００１と命名された写真が電子デバイス１４２０に記憶されていると判定する。従って、デジタルアシスタントは、ユーザ意図が電子デバイス１４２０に位置するｓｅｌｆｉｅ０００１と命名された写真を表示することであると判定する。いくつかの実施例では、発話入力及びコンテクスト情報に基づいてユーザ意図を判定することができない場合、デジタルアシスタントは、ユーザ意図を明確化し、又は曖昧さをなくすためにユーザとのダイアログを開始する。
[０２９２]
図１４Ｄに示されるように、いくつかの実施例では、発話入力は、タスクがユーザデバイス、又はユーザデバイスに通信可能に接続された電子デバイスにおいて実行されるかを示す１つ以上のキーワードを含まなくてもよい。例えば、発話入力１４５８は、自撮りを表示するタスクがユーザデバイス１４００又は電子デバイス１４２０において実行されるかを示さない。いくつかの実施例では、デジタルアシスタントは、コンテクスト情報に基づいて、タスクがユーザデバイスにおいて又は電子デバイスにおいて実行されるかを判定する。実施例として、コンテクスト情報は、デジタルアシスタントが電子デバイス１４２０ではなくユーザデバイス１４００において発話入力１４５８を受信することを示す。結果として、デジタルアシスタントは、自撮りを表示するタスクがユーザデバイス１４００において実行されると判定する。別の実施例として、コンテクスト情報は、写真がユーザ優先度に従って電子デバイス１４２０上で表示されることを示す。結果として、デジタルアシスタントは、自撮りを表示するタスクが電子デバイス１４２０において実行されると判定する。デジタルアシスタントは、いずれかのコンテクスト情報に基づいて、タスクがユーザデバイスにおいて又は電子デバイスにおいて実行されるかを判定することができることを認識されよう。
[０２９３]
図１５Ａを参照して、いくつかの実施形態では、デジタルアシスタントは、タスクがユーザデバイス（例えば、ユーザデバイス１５００）に通信可能に接続された電子デバイス（例えば、電子デバイス１５２０及び／又は１５３０）において実行されると判定し、コンテンツが電子デバイスに対してリモートに位置すると判定する。図１５Ａに示されるように、いくつかの実施例では、デジタルアシスタントは、「ＴＶ上でこの映画を再生してください。（Play this movie on my TV.）」等の発話入力１５５２を受信する。説明されるように、デジタルアシスタントは、発話入力１５５２及びコンテクスト情報に基づいてユーザ意図を判定することができる。例えば、コンテクスト情報は、ユーザインタフェース１５４２がＡＢＣ．ｍｏｖと命名された映画を表示していることを示す。結果として、デジタルアシスタントは、ユーザ意図がＡＢＣ．ｍｏｖと命名された映画を再生することであると判定する。
[０２９４]
ユーザ意図に従って、デジタルアシスタントは更に、タスクがユーザデバイスにおいて実行されるか、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいて実行されるかを判定する。いくつかの実施形態では、タスクがユーザデバイスにおいて又は第１の電子デバイスにおいて実行されるかを判定することは、発話入力に含まれる１つ以上のキーワードに基づいている。例えば、発話入力１５５２は、単語又はフレーズ「ＴＶ上で。」を含む。いくつかの実施例では、コンテクスト情報は、ユーザデバイス１５００が、例えば、有線接続、Ｂｌｕｅｔｏｏｔｈ接続、又はＷｉ−Ｆｉ接続を使用して、セットトップボックス１５２０及び／又はＴＶ１５３０に接続されることを示す。結果として、デジタルアシスタントは、ＡＢＣ．ｍｏｖと命名された映画を再生するタスクがセットトップボックス１５２０及び／又はＴＶ１５３０上で実行されると判定する。
[０２９５]
いくつかの実施形態では、デジタルアシスタントは更に、タスクの実行と関連付けられたコンテンツがリモートに位置しているか否かを判定する。説明されるように、どのデバイスがタスクを実行するかをデジタルアシスタントが判定する時、又はその時の近くで、タスクを実行するためのコンテンツの少なくとも一部がタスクを実行すると判定されたデバイスに記憶されていない場合、コンテンツはリモートに位置する。例えば、図１５Ａに示されるように、映画ＡＢＣ．ｍｏｖがセットトップボックス１５２０及び／又はＴＶ１５３０において再生されるとユーザデバイス１５００のデジタルアシスタントが判定する時、又はその時の近くで、映画ＡＢＣ．ｍｏｖの少なくとも一部がユーザデバイス１５００（例えば、ラップトップコンピュータ）及び／又はサーバ（図示しない）に記憶され、セットトップボックス１５２０及び／又はＴＶ１５３０に記憶されない。従って、デジタルアシスタントは、映画ＡＢＣ．ｍｏｖがセットトップボックス１５２０及び／又はＴＶ１５３０に対してリモートに位置すると判定する。
[０２９６]
図１５Ｂを参照して、タスクが第１の電子デバイス（例えば、セットトップボックス１５２０及び／又はＴＶ１５３０）において実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、ユーザデバイスのデジタルアシスタントは、タスクを実行するためにコンテンツを第１の電子デバイスに提供する。例えば、映画ＡＢＣ．ｍｏｖをセットトップボックス１５２０及び／又はＴＶ１５３０上で再生するために、ユーザデバイス１５００のデジタルアシスタントは、映画ＡＢＣ．ｍｏｖの少なくとも一部をセットトップボックス１５２０及び／又はＴＶ１５３０に送信する。
[０２９７]
いくつかの実施例では、ユーザデバイスからコンテンツを提供する代わりに、ユーザデバイスのデジタルアシスタントは、タスクを実行するために、コンテンツの少なくとも一部を別の電子デバイス（例えば、サーバ）から第１の電子デバイスに提供させる。例えば、映画ＡＢＣ．ｍｏｖは、ユーザデバイス１５００ではなくサーバ（図示しない）に記憶されている。結果として、ユーザデバイス１５００のデジタルアシスタントは、ＡＢＣ．ｍｏｖと命名された映画の少なくとも一部をサーバからセットトップボックス１５２０及び／又はＴＶ１５３０に送信させる。いくつかの実施例では、タスクを実行するためのコンテンツは、セットトップボックス１５２０に提供され、それは次いで、コンテンツをＴＶ１５３０に送信する。いくつかの実施例では、タスクを実行するためのコンテンツは、ＴＶ１５３０に直接提供される。
[０２９８]
図１５Ｂに示されるように、いくつかの実施例では、コンテンツが第１の電子デバイス（例えば、セットトップボックス１５２０及び／又はＴＶ１５３０）に提供された後、ユーザデバイス１５００のデジタルアシスタントは、ユーザデバイス１５００において応答を提供する。いくつかの実施例では、応答を提供することは、コンテンツを使用してタスクをセットトップボックス１５２０及び／又はＴＶ１５３０において実行させることを含む。例えば、ユーザデバイス１５００のデジタルアシスタントは、映画ＡＢＣ．ｍｏｖを再生するマルチメディア処理を開始する要求をセットトップボックス１５２０及び／又はＴＶ１５３０に送信する。要求に応じて、セットトップボックス１５２０及び／又はＴＶ１５３０は、映画ＡＢＣ．ｍｏｖを再生するマルチメディア処理を開始する。
[０２９９]
いくつかの実施例では、第１の電子デバイス（例えば、セットトップボックス１５２０及び／又はＴＶ１５３０）において実行されるタスクは、第１の電子デバイスに対してリモートに実行されたタスクの続きである。例えば、図１５Ａ及び１５Ｂに示されるように、ユーザデバイス１５００のデジタルアシスタントは、ユーザデバイス１５００のマルチメディア処理に、ユーザデバイス１５００において映画ＡＢＣ．ｍｏｖの一部を再生させている。ユーザ意図が第１の電子デバイス（例えば、セットトップボックス１５２０及び／又はＴＶ１５３０）において映画ＡＢＣ．ｍｏｖを再生することであるとの判定に従って、ユーザデバイス１５００のデジタルアシスタントは、第１の電子デバイスに、最初から再生を開始するのではなく、映画ＡＢＣ．ｍｏｖの残りの再生することを続けさせる。結果として、ユーザデバイス１５００のデジタルアシスタントによって、ユーザは、映画を連続して鑑賞することが可能になる。
[０３００]
図１５Ｂに示されるように、いくつかの実施形態では、応答を提供することは、ユーザがタスクの実行の結果を更に操作することを可能にする１つ以上のアフォーダンスを提供することを含む。図１５Ｂに示されるように、いくつかの実施例では、デジタルアシスタントは、ユーザインタフェース１５４４（例えば、スニペット又はウィンドウ）上でアフォーダンス１５４７及び１５４８を提供する。アフォーダンス１５４７は、第１の電子デバイス（例えば、セットトップボックス１５２０及び／又はＴＶ１５３０）上の映画ＡＢＣ．ｍｏｖの再生を中止するためのボタンとすることができる。アフォーダンス１５４８は、第１の電子デバイス上で再生している映画ＡＢＣ．ｍｏｖの再生の中断又は再開するためのボタンとすることができる。ユーザは、マウス、スタイラス、又は指等の入力デバイスを使用して、アフォーダンス１５４７又は１５４８を選択することができる。アフォーダンス１５４７の選択を受信すると、例えば、デジタルアシスタントは、第１の電子デバイス上の映画ＡＢＣ．ｍｏｖの再生を停止させる。いくつかの実施例では、第１の電子デバイス上の再生を停止した後、デジタルアシスタントはまた、ユーザデバイス１５００上の再生を再開させる。アフォーダンス１５４８の選択を受信すると、例えば、デジタルアシスタントは、第１の電子デバイス上の再生を中断又は再開させる。
[０３０１]
いくつかの実施形態では、応答を提供することは、第１の電子デバイスにおいて実行されるタスクに従って発話出力を提供することを含む。図１５Ｂに示されるように、アフォーダンス１５４０又は１５４１によって表されるデジタルアシスタントは、「あなたの映画をＴＶ上で再生します。（Playing your movie on TV.）」等の発話出力１５７２を提供する。
[０３０２]
説明されるように、タスクが第１の電子デバイスにおいて実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、デジタルアシスタントは、タスクを実行するためのコンテンツを第１の電子デバイスに提供する。図１５Ｃを参照して、タスクを実行するためのコンテンツは、例えば、ドキュメント（例えば、ドキュメント１５６０）又は位置情報を含むことができる。例えば、ユーザデバイス１５００のデジタルアシスタントは、「タブレット上でこのｐｄｆを開いてください。（Open this pdf on my tablet.）」等の発話入力１５５６を受信する。デジタルアシスタントは、ユーザ意図がドキュメント１５６０を表示するタスクを実行することであると判定し、タスクがユーザデバイス１５００に通信可能に接続されたタブレット１５３２において実行されると判定する。結果として、デジタルアシスタントは、表示されるドキュメント１５６０をタブレット１５３２に提供する。別の実施例として、ユーザデバイス１５００のデジタルアシスタントは、「この位置を電話に送信してください。（Send this location to my phone.）」等の発話入力１５５４を受信する。デジタルアシスタントは、ユーザ意図が位置情報を使用してナビゲーションのタスクを実行することであると判定し、タスクがユーザデバイス１５００に通信可能に接続された電話機１５２２（例えば、スマートフォン）において実行されると判定する。結果として、デジタルアシスタントは、ナビゲーションのタスクを実行するために、位置情報（例えば、１２３４メインストリート）を電話機１５２２に提供する。
[０３０３]
説明されるように、いくつかの実施例では、タスクを実行するためのコンテンツを第１の電子デバイスに提供した後、デジタルアシスタントは、ユーザデバイスにおいて応答を提供する。いくつかの実施形態では、応答を提供することは、タスクを第１の電子デバイスにおいて実行させることを含む。例えば、図１５Ｄに示されるように、ユーザデバイス１５００のデジタルアシスタントは、位置１２３４メインストリートにナビゲートするタスクを実行する要求を電話機１５２２に送信する。ユーザデバイス１５００のデジタルアシスタントは更に、ドキュメント１５６０を表示するタスクを実行する要求をタブレット１５３２に送信する。いくつかの実施例では、ユーザデバイスにおいて応答を提供することは、第１の電子デバイスにおいて実行されるタスクに従って発話出力を提供することを含む。図１５Ｄに示されるように、デジタルアシスタントは、「あなたのタブレット上でｐｄｆを表示します。（Showing the pdf on your tablet.）」等の発話出力１５７４及び「あなたの電話機上で１２３４メインストリートにナビゲートします。（navigating to 1234 Main St on your phone.）」等の発話出力１５７６を提供する。
[０３０４]
説明されるように、いくつかの実施例では、発話入力は、タスクがユーザデバイス、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいて実行されるかを示す１つ以上のキーワードを含まなくてもよい。図１６Ａを参照して、例えば、デジタルアシスタントは、「この映画を再生してください。（Play this movie.）」等の発話入力１６５２を受信する。発話入力１６５２は、映画を再生するタスクがユーザデバイス１６００又は第１の電子デバイス（例えば、セットトップボックス１６２０及び／若しくはＴＶ１６３０、電話機１６２２、又はタブレット１６３２）において実行されるかを示さない。
[０３０５]
いくつかの実施形態では、タスクがユーザデバイスにおいて又は第１の電子デバイスにおいて実行されるかを判定するために、ユーザデバイスのデジタルアシスタントは、ユーザデバイスにおいてタスクを実行することが実行基準を満たすか否かを判定する。実行基準は、タスクの実行を評価することを促進する。例えば、図１６Ａに示されるように、デジタルアシスタントは、ユーザ意図が映画ＡＢＣ．ｍｏｖを再生するタスクを実行することであると判定する。映画を再生するための実行基準は、例えば、映画を再生する品質基準（例えば、４８０ｐ、７２０ｐ、１０８０ｐ）、映画を再生する円滑基準（例えば、遅延若しくは待ちがない）、スクリーンサイズ基準（例えば、４８インチの最小スクリーンサイズ）、又は音響効果基準（例えば、ステレオサウンド、スピーカの数）等を含む。実行基準は、事前に構成されてもよく、及び／又は動的に更新されてもよい。いくつかの実施例では、実行基準は、ユーザ特有データ（例えば、ユーザ優先度）又はデバイス構成データ（例えば、スクリーンの解像度及び電子デバイスのサイズ）等のコンテクスト情報に基づいて判定される。
[０３０６]
いくつかの実施例では、ユーザデバイス１６００のデジタルアシスタントは、ユーザデバイスにおいてタスクを実行することが実行基準を満たすと判定する。例えば、図１６Ａに示されるように、ユーザデバイス１６００は、映画ＡＢＣ．ｍｏｖを再生する実行基準を満たすスクリーン解像度、スクリーンサイズ、及び音響効果を有することができ、それは、低解像度のオンラインビデオとなることがある。ユーザデバイス１６００においてタスクを実行することが実行基準を満たすとの判定に従って、デジタルアシスタントは、タスクがユーザデバイス１６００において実行されると判定する。
[０３０７]
いくつかの実施例では、ユーザデバイス１６００のデジタルアシスタントは、ユーザデバイスにおいてタスクを実行することが実行基準を満たさないと判定する。例えば、ユーザデバイス１６００は、映画ＡＢＣ．ｍｏｖを再生する実行基準を満たすためのスクリーンサイズ、解像度、及び／又は音響効果を有さなくてもよく、それは、高解像度のＢｌｕ−ｒａｙビデオとなることがある。いくつかの実施例では、ユーザデバイスにおいてタスクを実行することが実行基準を満たさないとの判定に従って、ユーザデバイス１６００のデジタルアシスタントは、第１の電子デバイスにおいてタスクを実行することが実行基準を満たすかを判定する。図１６Ｂに示されるように、ユーザデバイス１６００のデジタルアシスタントは、セットトップボックス１６２０及び／又はＴＶ１６３０において映画ＡＢＣ．ｍｏｖを再生するタスクを実行することが実行基準を満たすと判定する。例えば、セットトップボックス１６２０及び／又はＴＶ１６３０は、５２インチのスクリーンサイズを有してもよく、１０８０ｐの解像度を有してもよく、８個の接続されたスピーカを有してもよい。結果として、デジタルアシスタントは、タスクがセットトップボックス１６２０及び／又はＴＶ１６３０において実行されると判定する。
[０３０８]
いくつかの実施例では、ユーザデバイス１６００のデジタルアシスタントは、第１の電子デバイスにおいてタスクを実行することが実行基準を満たさないと判定する。その判定に従って、デジタルアシスタントは、第２の電子デバイスにおいてタスクを実行することが実行基準を満たすかを判定する。例えば、図１６Ｂに示されるように、ＴＶ１６３０は、実行基準（例えば、１０８０ｐ）を満たさないスクリーン解像度（例えば、７２０ｐ）を有してもよい。結果として、デジタルアシスタントは、電話機１６２２（例えば、スマートフォン）又はタブレット１６３２のいずれか１つが実行基準を満たすかを判定する。
[０３０９]
いくつかの実施例では、デジタルアシスタントは、どのデバイスがタスクの最適な実行を提供するかを判定する。例えば、図１６Ｂに示されるように、デジタルアシスタントは、ユーザデバイス１６００、セットトップボックス１６２０及びＴＶ１６３０、電話機１６２２、並びにタブレット１６３２の各々の上で映画ＡＢＣ．ｍｏｖを再生するタスクの実行を評価又は予測する。評価又は予測に基づいて、デジタルアシスタントは、１つのデバイス（例えば、ユーザデバイス１６００）においてタスクを実行することが別のデバイス（例えば、電話機１６２２）においてよりも良好であるか否かを判定し、最適な実行のためのデバイスを判定する。
[０３１０]
説明されるように、いくつかの実施例では、タスクを実行するためのデバイスの判定に従って、デジタルアシスタントは、ユーザデバイス１６００において応答を提供する。いくつかの実施形態では、応答を提供することは、デバイスにおいて実行されるタスクに従って発話出力を提供することを含む。図１６Ｂに示されるように、アフォーダンス１６４０又は１６４１によって表されるデジタルアシスタントは、「あなたのＴＶ上でこの映画を再生します。進めてもよいですか？（I will play this movie on your TV, proceed?）」等の発話出力１６７２を提供する。いくつかの実施例では、デジタルアシスタントは、「ＯＫ」等の発話入力１６５４をユーザから受信する。それに応じて、デジタルアシスタントは、例えば、セットトップボックス１６２０及びＴＶ１６３０において映画ＡＢＣ．ｍｏｖを再生させ、「あなたのＴＶ上であなたの映画を再生しています。（Playing your movie on your TV.）」等の発話出力１６７４を提供する。
[０３１１]
いくつかの実施例では、応答を提供することは、ユーザがタスクの実行のための別の電子デバイスを選択することを可能にする１つ以上のアフォーダンスを提供することを含む。図１６Ｂに示されるように、例えば、デジタルアシスタントは、アフォーダンス１６５５Ａ〜Ｂ（例えば、中止ボタン及びタブレットボタン）を提供する。アフォーダンス１６５５Ａによって、ユーザは、セットトップボックス１６２０及びＴＶ１６３０において映画ＡＢＣ．ｍｏｖを再生することを中止することが可能になる。アフォーダンス１６５５Ｂによって、ユーザは、映画ＡＢＣ．ｍｏｖを再生することを続けるためにタブレット１６３２を選択することが可能になる。
[０３１２]
図１６Ｃを参照して、いくつかの実施形態では、タスクを実行するためのデバイスを判定するために、ユーザデバイス１６００のデジタルアシスタントは、ユーザとのダイアログを開始する。例えば、デジタルアシスタントは、「あなたの映画をＴＶ又はタブレット上で再生しましょうか？（Should I play your movie on the TV or on the tablet?）」等の発話出力１６７６を提供する。ユーザは、「タブレット上で。（On my tablet.）」等の発話入力１６５６を提供する。発話入力１６５６を受信すると、デジタルアシスタントは、映画を再生するタスクがユーザデバイス１６００に通信可能に接続されたタブレット１６３２において再生されると判定する。いくつかの実施例では、デジタルアシスタントは更に、「あなたのタブレット上であなたの映画を再生します。（Playing your movie on your tablet.）」等の発話出力１６７８を提供する。
[０３１３]
図１７Ａを参照して、いくつかの実施形態では、ユーザデバイス１７００のデジタルアシスタントは、第１の電子デバイスにおいて部分的にリモートに実行されたタスクを実行することを続ける。いくつかの実施形態では、ユーザデバイスのデジタルアシスタントは、第３の電子デバイスから受信されたコンテンツを使用してタスクを実行することを続ける。図１７Ａに示されるように、いくつかの実施例では、電話機１７２０は、サーバ１７３０等の第３の電子デバイスからのコンテンツを使用して、フライト予約のタスクを実行していることがある。例えば、ユーザは、Ｋａｙａｋ．ｃｏｍからフライトを予約するために電話機１７２０を使用していることがある。結果として、電話機１７２０は、Ｋａｙａｋ．ｃｏｍと関連付けられた、サーバ１７３０から送信されたコンテンツを受信する。いくつかの実施例では、ユーザは、電話機１７２０でフライトを予約している間に中断されることがあり、ユーザデバイス１７００を使用してフライト予約を継続することを望むことがある。いくつかの実施例では、ユーザは、単純にユーザデバイス１７００を使用することがより便利であることを理由にフライト予約を継続することを望むことがある。従って、ユーザは、「電話機からＫａｙａｋ上でフライト予約を続けてください。（Continue the flight booking on Kayak from my phone.）」等の発話入力１７５２を提供することができる。
[０３１４]
図１７Ｂを参照して、発話入力１７５２を受信すると、デジタルアシスタントは、ユーザ意図がフライト予約のタスクを実行することであると判定する。いくつかの実施例では、デジタルアシスタントは更に、コンテクスト情報に基づいて、タスクがユーザデバイス１７００において実行されると判定する。例えば、デジタルアシスタントは、発話入力１７５２がユーザデバイス１７００において受信されると判定し、従って、タスクがユーザデバイス１７００において実行されると判定する。いくつかの実施例では、デジタルアシスタントは更に、タスクがユーザデバイス１７００において受信されると判定するために、ユーザ優先度等のコンテクスト情報を使用する（例えば、ユーザデバイス１７００は、フライト予約のために過去に頻繁に使用される）。
[０３１５]
図１７Ｂに示されるように、タスクがユーザデバイス１７００において実行され、タスクを実行するためのコンテンツがリモートに記憶されているとの判定に従って、デジタルアシスタントは、タスクを実行するためのコンテンツを受信する。いくつかの実施例では、デジタルアシスタントは、コンテンツの少なくとも一部を電話機１７２０（例えば、スマートフォン）から、及び／又はコンテンツの少なくとも一部をサーバ１７３０から受信する。例えば、デジタルアシスタントは、ユーザデバイス１７００がフライト予約を続けることができるように、フライト予約の状況を表すデータを電話機１７２０から受信する。いくつかの実施例では、フライト予約の状況を表すデータは、Ｋａｙａｋ．ｃｏｍと関連付けられたサーバ等のサーバ１７３０に記憶されている。よって、デジタルアシスタントは、フライト予約を続けるためのデータをサーバ１７３０から受信する。
[０３１６]
図１７Ｂに示されるように、コンテンツを電話機１７２０及び／又はサーバ１７３０から受信した後、デジタルアシスタントは、ユーザデバイス１７００において応答を提供する。いくつかの実施例では、応答を提供することは、電話機１７２０において部分的にリモートに実行されたフライト予約のタスクを実行することを続けることを含む。例えば、デジタルアシスタントは、ユーザがＫａｙａｋ．ｃｏｍ上でフライトを予約することを続けることを可能にするユーザインタフェース１７４２を表示する。いくつかの実施例では、応答を提供することは、ユーザデバイス１７００において実行されるタスクと関連付けられたリンクを提供することを含む。例えば、デジタルアシスタントは、フライト予約の現在の状況を提供する（例えば、利用可能なフライトを示す）ユーザインタフェース１７４２（例えば、スニペット又はウィンドウ）を表示する。ユーザインタフェース１７４２はまた、フライト予約のタスクを実行することを続けるためのリンク１７４４（例えば、ウェブブラウザへのリンク）を提供する。いくつかの実施形態では、デジタルアシスタントはまた、「Ｋａｙａｋの予約がここにあります。あなたのウェブブラウザで続けますか？（Here is the booking on Kayak. Continue in your web browser?）」等の発話出力１７７２を提供する。
[０３１７]
図１７Ｂ及び１７Ｃに示されるように、例えば、ユーザがリンク１７４４を選択する場合、デジタルアシスタントは、ウェブブラウジング処理をインスタンス化し、フライト予約タスクを続けるためのユーザインタフェース１７４６（例えば、スニペット又はウィンドウ）を表示する。いくつかの実施例では、発話出力１７７２に応じて、ユーザは、ユーザがユーザデバイス１７００のウェブブラウザを使用してフライト予約を続けることを望むことを確認する「ＯＫ」等の発話入力１７５６を提供する。発話入力１７５６を受信すると、デジタルアシスタントは、ウェブブラウジング処理をインスタンス化し、フライト予約タスクを続けるためのユーザインタフェース１７４６（例えば、スニペット又はウィンドウ）を表示する。
[０３１８]
図１７Ｄを参照して、いくつかの実施形態では、ユーザデバイス１７００のデジタルアシスタントは、第１の電子デバイスにおいて部分的にリモートに実行されたタスクを実行することを続ける。いくつかの実施形態では、ユーザデバイスのデジタルアシスタントは、サーバ等の第３の電子デバイスではなく、第１の電子デバイスから受信されたコンテンツを使用してタスクを実行することを続ける。図１７Ｄに示されるように、いくつかの実施例では、第１の電子デバイス（例えば、電話機１７２０又はタブレット１７３２）は、タスクを実行していることがある。例えば、ユーザは、電子メールを構成するために電話機１７２０を使用していることがある、又は写真等のドキュメントを編集するためにタブレット１７３２を使用していることがある。いくつかの実施例では、ユーザは、電話機１７２０若しくはタブレット１７３２を使用している間に中断され、及び／又はユーザデバイス１７００を使用してタスクの実行を続けることを望む。いくつかの実施例では、ユーザは、単純にユーザデバイス１７００（例えば、より大きなスクリーン）を使用することがより便利であることを理由に、タスクの実行を続けることを望むことがある。従って、ユーザは、「ちょうど編集していたドキュメントを開いてください。（Open the document I was just editing.）」等の発話入力１７５８、又はちょうど書いていた電子メールを開いてください。（Open the email I was just drafting.）」等の発話入力１７５９を提供することができる。
[０３１９]
図１７Ｄを参照して、発話入力１７５８又は１７５９を受信すると、デジタルアシスタントは、ユーザ意図がドキュメントを編集し、又は電子メールを構成するタスクを実行することであると判定する。上記説明されたものと同様に、いくつかの実施例では、デジタルアシスタントは更に、コンテクスト情報に基づいてタスクがユーザデバイス１７００において実行されると判定し、タスクを実行するためのコンテンツがリモートに位置すると判定する。上記説明されたのと同様に、いくつかの実施例では、デジタルアシスタントは、コンテクスト情報（例えば、ユーザ特有データ）に基づいて、コンテンツがサーバではなく第１の電子デバイス（例えば、電話機１７２０又はタブレット１７３２）に対してリモートに位置すると判定する。図１７Ｄに示されるように、タスクがユーザデバイス１７００において実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、デジタルアシスタントは、タスクを実行するためのコンテンツを受信する。いくつかの実施例では、デジタルアシスタントは、コンテンツの少なくとも一部を電話機１７２０（例えば、スマートフォン）から、及び／又はコンテンツの少なくとも一部をタブレット１７３０から受信する。コンテンツを電話機１７２０及び／又はタブレット１７３２から受信した後、デジタルアシスタントは、ユーザがドキュメントを編集することを続けるためにユーザインタフェース１７４８を表示し、及び／又はユーザが電子メールを構成することを続けるためにユーザインタフェース１７４９を表示する等、ユーザデバイス１７００において応答を提供する。ユーザデバイス１７００のデジタルアシスタントはまた、第１の電子デバイスに、ユーザデバイス１７００において部分的にリモートに実行されたタスクを実行することを続けさせることができることを認識されよう。例えば、ユーザは、ユーザデバイス１７００上で電子メールを構成していることがあり、そのままにする必要があることがある。ユーザは、「電話で書いていた電子メールを開いてください。（Open the email I was drafting on my phone.）」等の発話入力を提供する。発話入力に基づいて、デジタルアシスタントは、ユーザ意図が電話機１７２０上でタスクを実行することを続けることであり、コンテンツがユーザデバイス１７００においてリモートに位置すると判定する。いくつかの実施例では、デジタルアシスタントは、上記説明されたものと同様に、タスクを実行するためのコンテンツを第１の電子デバイスに提供し、第１の電子デバイスにタスクを実行することを続けさせる。
[０３２０]
図１７Ｅを参照して、いくつかの実施形態では、タスクを実行することを続けることは、例えば、ユーザデバイス１７００及び第１の電子デバイス（例えば、電話機１７２０）を含む複数のデバイスの間で共有又は同期されたコンテクスト情報に基づいている。説明されるように、いくつかの実施例では、デジタルアシスタントは、ユーザ意図が発話入力及びコンテクスト情報に基づいていると判定する。コンテクスト情報は、ローカル又はリモートに記憶されていてもよい。例えば、図１７Ｅに示されるように、ユーザは、「ニューヨークの天気はどうですか？（What is the weather like in New York?）」等の発話入力１７６０を電話機１７２０に提供する。電話機１７２０のデジタルアシスタントは、ユーザ意図を判定し、ニューヨークでの天気情報を取得するタスクを実行し、電話機１７２０のユーザインタフェース上でニューヨークの天気情報を表示する。ユーザは続いて、「ロサンゼルスはどうですか？（How about in Los Angeles?）」等の発話入力１７６１をユーザデバイス１７００に提供する。いくつかの実施例では、ユーザデバイス１７００のデジタルアシスタントは、直接又はサーバを通じてのいずれかで電話機１７２０に記憶され、及び／又は電話機１７２０によって共有されたコンテクスト情報を使用してユーザ意図を判定する。コンテクスト情報は、例えば、電話機１７２０と関連付けられた履歴的ユーザデータ、会話状態、システム状態等を含む。履歴的ユーザデータ及び会話状態の両方は、ユーザが天気情報について問い合わせていたことを示す。従って、ユーザデバイス１７００のデジタルアシスタントは、ユーザ意図がロサンゼルスでの天気情報を取得することであると判定する。ユーザ意図に基づいて、ユーザデバイス１７００のデジタルアシスタントは、天気情報を、例えば、サーバから受信し、ユーザデバイス１７１０上で天気情報を表示するユーザインタフェース１７５１を提供する。
６．デジタルアシスタントの例示的な機能−音声対応システム構成管理
[０３２１]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄは、デジタルアシスタントによって、システム構成情報を提供し、ユーザ要求に応じてタスクを実行する機能性を示す。いくつかの実施例では、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）は、様々な実施例に従ってユーザデバイスによって実装されてもよい。いくつかの実施例では、ユーザデバイス、サーバ（例えば、サーバ１０８）、又はそれらの組み合わせは、デジタルアシスタントシステム（例えば、デジタルアシスタントシステム７００）を実装してもよい。ユーザデバイスは、例えば、デバイス１０４、２００、又は４００を使用して実装される。いくつかの実施例では、ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、又はタブレットコンピュータである。ユーザデバイスは、デスクトップ環境等のマルチタスキング環境で動作する。
[０３２２]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄを参照して、いくつかの実施例では、ユーザデバイスは、様々なユーザインタフェース（例えば、ユーザインタフェース１８１０及び１９１０）を提供する。上記説明されたものと同様に、ユーザデバイスは、ディスプレイ上で様々なユーザインタフェースを表示し、様々なユーザインタフェースによって、ユーザは、１つ以上の処理（例えば、システム構成処理）をインスタンス化することが可能になる。
[０３２３]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄに示されるように、上記説明されたものと同様に、ユーザデバイスは、ユーザインタフェース（例えば、ユーザインタフェース１８１０及び１９１０）上で、デジタルアシスタントサービスのインスタンス化を促進するアフォーダンス（例えば、アフォーダンス１８４０及び１９４０）を表示する。
[０３２４]
上記説明されたものと同様に、いくつかの実施例では、デジタルアシスタントは、所定のフレーズを受信したことに応じてインスタンス化される。いくつかの実施例では、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じてインスタンス化される。
[０３２５]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄを参照して、いくつかの実施形態では、デジタルアシスタントは、発話入力１８５２、１８５４、１８５６、１８５８、１８６０、１８６２、１９５２、１９５４、１９５６、及び１９５８等の１つ以上の発話入力をユーザから受信する。ユーザは、ユーザデバイスの１つ以上のシステム構成を管理する目的で、様々な発話入力を提供する。システム構成は、音声構成、日付及び時間構成、聞き取り構成、表示構成、入力デバイス構成、通知構成、印刷構成、セキュリティ構成、バックアップ構成、アプリケーション構成、又はユーザインタフェース構成等を含むことができる。音声構成を管理するために、発話入力は、「マイクロフォンの音量を下げてください。（Mute my microphone.）」、「ボリュームを上げてください。（Turn the volume all the up.）」、又は「ボリュームを１０％上げてください。（Turn the volume up 10%.）」等を含んでもよい。日付及び時間構成を管理するために、発話入力は、「時間帯は何ですか？（What is my time zone?）」、「時間帯をクパーチノの時間に変えてください。（Change my time zone to Cupertino Time.）」、又は「ロンドンの時間帯についてのクロックを追加してください。（Add a clock for London time zone.）」等を含んでもよい。聞き取り構成を管理するために、発話入力は、「聞き取りをターンオンしてください。（Turn on dictation.）」、「聞き取りをターンオフしてください。（Turn off dictation.）」、「中国語で聞き取りしてください。（Dictation in Chinese.）」、又は「高度なコマンドを有効にしてください。（Enable advanced commands.）」等を含んでもよい。表示構成を管理するために、発話入力は、「スクリーンをより明るくしてください。（Make my screen brighter.）」、「コントラストを２０％上げてください。（Increase the contrast my 20%.）」、「スクリーンを第２のモニタに拡張してください。（Extend my screen to a second monitor.）」、又は「ディスプレイを映してください。（Mirror my display.）」等を含んでもよい。入力デバイス構成を管理するために、発話入力は、「Ｂｌｕｅｔｏｏｔｈキーボードを接続してください。（Connect my Bluetooth keyboard.）」又は「マウスポインタをより大きくしてください。（Make my mouse pointer bigger.）」等を含んでもよい。ネットワーク構成を管理するために、発話入力は、「Ｗｉ−Ｆｉをターンオンしてください。（Turn Wi-Fi on.）」、「Ｗｉ−Ｆｉをターンオフしてください。（Turn Wi-Fi off.）」、「どのＷｉ−Ｆｉネットワークを接続しますか（Which Wi-Fi network am I connected to?）」、又は「電話に接続しますか（Am I connected to my phone?）」等を含んでもよい。通知構成を管理するために、発話入力は、「応答不可をターンオンしてください。（Turn on Do not Disturb.）」、「それらの通知を見せることを停止してください。（Stop showing me these notifications.）」、「新たな電子メールのみを見せてください。（Show only new emails.）」、又は「テキストメッセージについてのアラートがありません。（No alert for text message.）」等を含んでもよい。印刷構成を管理するために、発話入力は、「プリンタのインクが十分にありますか？（Does my printer have enough ink?）」又は「プリンタが接続されていますか？（Is my printer connected?）」等を含んでもよい。セキュリティ構成を管理するために、発話入力は、「ジョンのアカウントについてのパスワードを変えてください。（Change password for John’s account.）」、「ファイアウォールをターンオンしてください。（Turn on firewall.）」、又は「クッキーを無効にしてください。（Disable cookie.）」等を含んでもよい。バックアップ構成を管理するために、発話入力は、「ここでバックアップを実行してください。（Run backup now.）」、「１月に１回の間隔でバックアップを設定してください。（Set backup interval to once a month.）」、又は「去年のバックアップを７月４日に戻してください。（Recover the July 4 backup of last year.）」等を含んでもよい。アプリケーション構成を管理するために、発話入力は、「デフォルトのウェブブラウザをＳａｆａｒｉに変えてください。（Change my default web browser to Safari.）」又は「サインインする都度、メッセージアプリケーションに自動的にログインしてください。（Automatically log in to Messages application each time I sign in.）」等を含んでもよい。ユーザインタフェース構成を管理するために、発話入力は、「デスクトップのウォールペーパを変えてください。（Change my desktop wallpapers.）」、「ドックを隠してください。（Hide the dock.）」、又は「Ｅｖｅｒｎｏｔｅをドックに追加してください。（Add Evernote to the Dock.）」等を含んでもよい。システム構成を管理するために発話入力を使用する様々な実施例は、以下で更に詳細に説明される。
[０３２６]
上記説明されたものと同様に、いくつかの実施例では、デジタルアシスタントは、ユーザデバイスにおいてユーザから直接、又はユーザデバイスに通信可能に接続された別の電子デバイスを通じて間接的に発話入力を受信する。
[０３２７]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄを参照して、いくつかの実施形態では、デジタルアシスタントは、ユーザデバイスと関連付けられたコンテクスト情報を特定する。コンテクスト情報は、例えば、ユーザ特有データ、センサデータ、及びユーザデバイス構成データを含む。いくつかの実施例では、ユーザ特有データは、ユーザ優先度又はユーザデバイスとのユーザの対話の履歴等を示すログ情報を含む。例えば、ユーザ特有データは、ユーザのシステムがバックアップされた最後の時を示し、いくつかのＷｉ−Ｆｉネットワークが利用可能であるときの特定のＷｉ−Ｆｉネットワのユーザの優先度、等を示す。いくつかの実施例では、センサデータは、センサによって収集された様々なデータを含む。例えば、センサデータは、プリンタインクレベルセンサによって収集されたプリンタインクレベルを示す。いくつかの実施例では、ユーザデバイス構成データは、現在及び履歴的なデバイス構成を含む。例えば、ユーザデバイス構成データは、ユーザデバイスが現在Ｂｌｕｅｔｏｏｔｈ接続を使用して１つ以上の電子デバイスに通信可能に接続されていることを示す。電子デバイスは、例えば、スマートフォン、セットトップボックス、又はタブレット等を含んでもよい。以下で更に詳細に説明されるように、ユーザデバイスは、ユーザ意図を判定することができ、及び／又はコンテクスト情報を使用して１つ以上の処理を実行することができる。
[０３２８]
図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄを参照して、上記説明されたものと同様に、発話入力を受信したことに応じて、デジタルアシスタントは、発話入力に基づいてユーザ意図を判定する。デジタルアシスタントは、自然言語処理の結果に基づいてユーザ意図を判定する。例えば、デジタルアシスタントは、ユーザ入力に基づいて実施可能な意図を特定し、特定された実施可能な意図を表すために構造化されたクエリを生成する。構造化されたクエリは、実施可能な意図と関連付けられた１つ以上のパラメータを含む。１つ以上のパラメータは、実施可能な意図に基づいてタスクの実行を促進するために使用されてもよい。例えば、「ボリュームを１０％上げてください。（Turn the volume up by 10%.）」等の発話入力に基づいて、デジタルアシスタントは、実施可能な意図がシステムボリュームを調節することであると判定し、パラメータは、ボリュームを現在のボリュームレベルよりも１０％高く設定することを含む。いくつかの実施形態では、デジタルアシスタントはまた、発話入力及びコンテクスト情報に基づいてユーザ意図を判定する。例えば、コンテクスト情報は、ユーザデバイスの現在のボリュームが５０％にあることを示してもよい。結果として、「ボリュームを１０％上げてください。」等の発話入力を受信すると、デジタルアシスタントは、ユーザ意図がボリュームレベルを６０％に上げることであると判定する。発話入力及びコンテクスト情報に基づいてユーザ意図を判定することは、様々な実施例において以下で更に詳細に説明される。
[０３２９]
いくつかの実施形態では、デジタルアシスタントは更に、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定する。判定の様々な実施例は、図１８Ａ〜１８Ｆ及び１９Ａ〜１９Ｄに関して以下で更に詳細に提供される。
[０３３０]
図１８Ａを参照して、いくつかの実施例では、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１８３２を表示する。例えば、タスクは、ミーティングの招待を構成することを含む。ミーティングの招待を構成する際に、ユーザは、ミーティングの招待を適切に構成することができるように、ユーザデバイスの時間帯を知ることを望むことがある。いくつかの実施例では、ユーザは、アフォーダンス１８４０又は１８４１によって表されるデジタルアシスタントを呼び出すために発話入力１８５２を提供する。発話入力１８５２は、例えば、「はい、アシスタント。」を含む。ユーザデバイスは、発話入力１８５２を受信し、それに応じて、デジタルアシスタントが後続の発話入力をアクティブに監視するように、デジタルアシスタントを呼び出す。いくつかの実施例では、デジタルアシスタントは、それが呼び出されることを示す発話出力１８７２を提供する。例えば、発話出力１８７２は、「どうぞ、聞いていますよ。（Go ahead, I am listening.）」を含む。
[０３３１]
図１８Ｂを参照して、いくつかの実施例では、ユーザは、「時間帯は何ですか？（What is my time zone?）」等の発話入力１８５４を提供する。デジタルアシスタントは、ユーザ意図がユーザデバイスの時間帯を取得することであると判定する。デジタルアシスタントは更に、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定する。いくつかの実施例では、ユーザ意図が情報の要求を示すか又タスクを実行する要求を示すかを判定することは、ユーザ意図がシステム構成を変えることであるか否かを判定することを含む。例えば、ユーザ意図がユーザデバイスの時間帯を取得することであると判定することに基づいて、デジタルアシスタントは、システム構成が変わらないと判定する。結果として、デジタルアシスタントは、ユーザ意図が情報の要求を示すと判定する。
[０３３２]
いくつかの実施形態では、ユーザ意図が情報の要求を示すとの判定に従って、デジタルアシスタントは、情報の要求への発話応答を提供する。いくつかの実施例では、デジタルアシスタントは、情報の要求に従って１つ以上のシステム構成の状況を取得し、１つ以上のシステム構成の状況に従って発話応答を提供する。図１８Ｂに示されるように、デジタルアシスタントは、ユーザ意図がユーザデバイスの時間帯を取得することであると判定し、このユーザ意図が情報の要求を示す。従って、デジタルアシスタントは、時間帯状況をユーザデバイスの時間及び日付構成から取得する。時間帯状況は、例えば、ユーザデバイスが太平洋時間帯に設定されることを示す。時間帯状況に基づいて、デジタルアシスタントは、「あなたのコンピュータが太平洋標準時間に設定されます。（Your computer is set to Pacific Standard Time.）」等の発話出力１８７４を提供する。いくつかの実施例では、デジタルアシスタントは更に、情報の要求と関連付けられたリンクを提供する。図１８Ｂに示されるように、デジタルアシスタントは、ユーザがデータ及び時間構成を管理することを可能にする、リンク１８３４を提供する。いくつかの実施例では、ユーザは、リンク１８３４を選択するための入力デバイス（例えば、マウス）を使用する。リンク１８３４のユーザの選択を受信すると、デジタルアシスタントは、日付及び時間構成処理をインスタンス化し、関連付けられた日付及び時間構成ユーザインタフェースを表示する。よって、ユーザは、日付及び時間構成を更に管理するために日付及び時間構成ユーザインタフェースを使用することができる。
[０３３３]
図１８Ｃを参照して、いくつかの実施例では、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１８３６を表示する。例えば、タスクは、ビデオ（例えば、ＡＢＣ．ｍｏｖ）を再生することを含む。ビデオを鑑賞する経験を高めるために、ユーザは、スピーカを使用することを望むことがあり、Ｂｌｕｅｔｏｏｔｈスピーカが接続されているかを知ることを望むことがある。いくつかの実施例では、ユーザは、「Ｂｌｕｅｔｏｏｔｈスピーカが接続されていますか？（Is my Bluetooth speaker connected?）」等の発話入力１８５６を提供する。デジタルアシスタントは、ユーザ意図がＢｌｕｅｔｏｏｔｈスピーカ１８２０の接続状況を取得することであると判定する。デジタルアシスタントは更に、Ｂｌｕｅｔｏｏｔｈスピーカ１８２０の接続状況を取得することがいずれのシステム構成も変えず、従って、情報の要求であると判定する。
[０３３４]
いくつかの実施形態では、ユーザ意図が情報の要求を示すとの判定に従って、デジタルアシスタントは、情報の要求に従ってシステム構成の状況を取得し、システム構成の状況に従って発話応答を提供する。図１８Ｃに示されるように、デジタルアシスタントは、接続状況をユーザデバイスのネットワーク構成から取得する。接続状況は、例えば、ユーザデバイス１８００がＢｌｕｅｔｏｏｔｈスピーカ１８２０に接続されていないことを示す。接続状況に基づいて、デジタルアシスタントは、「いいえ、接続されていません、ネットワーク構成におけるＢｌｕｅｔｏｏｔｈデバイスをチェックしてください。（No, it is not connected, you can check Bluetooth devices in the network configurations.）」等の発話出力１８７６を提供する。いくつかの実施例では、デジタルアシスタントは更に、情報の要求と関連付けられたリンクを提供する。図１８Ｃに示されるように、デジタルアシスタントは、ユーザがネットワーク構成を更に管理することを可能にする、リンク１８３８を提供する。いくつかの実施例では、ユーザは、リンク１８３８を選択するための入力デバイス（例えば、マウス）を使用する。リンク１８３８のユーザの選択を受信すると、デジタルアシスタントは、ネットワーク構成処理をインスタンス化し、関連付けられたネットワーク構成ユーザインタフェースを表示する。よって、ユーザは、ネットワーク構成を更に管理するために、ネットワーク構成ユーザインタフェースを使用することができる。
[０３３５]
図１８Ｄを参照して、いくつかの実施例では、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１８４２を表示する。例えば、タスクは、ドキュメントを参照すること及び／又は編集することを含む。ユーザは、ドキュメントをプリントアウトすることを望むことがあり、プリンタ１８３０が印刷ジョブのために十分なインクを有しているかを知ることを望むことがある。いくつかの実施例では、ユーザは、「プリンタが十分なインクを有していますか？（Does my printer have enough ink?）」等の発話入力１８５８を提供する。デジタルアシスタントは、ユーザ意図がプリンタのプリンタインクレベル状況を取得することであると判定する。デジタルアシスタントは更に、プリンタレベル状況を取得することがいずれのシステム構成を変えず、従って、情報の要求であると判定する。
[０３３６]
いくつかの実施形態では、ユーザ意図が情報の要求を示すとの判定に従って、デジタルアシスタントは、情報の要求に従ってシステム構成の状況を取得し、システム構成の状況に従って発話応答を提供する。図１８Ｄに示されるように、デジタルアシスタントは、プリンタインクレベル状況をユーザデバイスの印刷構成から取得する。プリンタインクレベル状況は、例えば、プリンタ１８３０のプリンタインクレベルが５０％にあることを示す。接続状況に基づいて、デジタルアシスタントは、「はい、あなたのプリンタはインクが十分にあります。また、プリンタ構成においてプリンタ供給レベルを探してください。（Yes, your printer has enough ink. You can also look up printer supply levels in the printer configurations.）」等の発話出力１８７８を提供する。いくつかの実施例では、デジタルアシスタントは更に、情報の要求と関連付けられたリンクを提供する。図１８Ｄに示されるように、デジタルアシスタントは、ユーザがプリンタ構成を更に管理することを可能にする、リンク１８４４を提供する。いくつかの実施例では、ユーザは、リンク１８４４を選択するための入力デバイス（例えば、マウス）を使用する。リンクのユーザの選択を受信すると、デジタルアシスタントは、プリンタ構成処理をインスタンス化し、関連付けられたプリンタ構成ユーザインタフェースを表示する。よって、ユーザは、プリンタ構成を更に管理するためにプリンタ構成ユーザインタフェースを使用することができる。
[０３３７]
図１８Ｅを参照して、いくつかの実施例では、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１８４６を表示する。例えば、タスクは、ウェブブラウザ（例えば、Ｓａｆａｒｉ）を使用してインターネットをブラウジングすることを含む。インターネットをブラウジングするために、ユーザは、利用可能なＷｉ−Ｆｉネットワークを知ることを望むことがあり、接続する１つのＷｉ−Ｆｉネットワークを選択することを望むことがある。いくつかの実施例では、ユーザは、「どのＷｉ−Ｆｉネットワークが利用可能ですか？（Which Wi-Fi networks are available?）」等の発話入力１８６０を提供する。デジタルアシスタントは、ユーザ意図が利用可能なＷｉ−Ｆｉネットワークのリストを取得することであると判定する。デジタルアシスタントは更に、利用可能なＷｉ−Ｆｉネットワークのリストを取得することがいずれのシステム構成を変えず、従って、情報の要求であると判定する。
[０３３８]
いくつかの実施形態では、ユーザ意図が情報の要求を示すとの判定に従って、デジタルアシスタントは、情報の要求に従ってシステム構成の状況を取得し、システム構成の状況に従って発話応答を提供する。図１８Ｅに示されるように、デジタルアシスタントは、現在利用可能なＷｉ−Ｆｉネットワークの状況をユーザデバイスのネットワーク構成から取得する。現在利用可能なＷｉ−Ｆｉネットワークの状況は、例えば、Ｗｉ−Ｆｉネットワーク１、Ｗｉ−Ｆｉネットワーク２、及びＷｉ−Ｆｉネットワーク３が利用可能であることを示す。いくつかの実施例では、状況は更に、Ｗｉ−Ｆｉネットワークの各々の信号強度を示す。デジタルアシスタントは、状況に従って情報を提供するユーザインタフェース１８４５を表示する。例えば、ユーザインタフェース１８４５は、利用可能なＷｉ−Ｆｉネットワークのリストを提供する。デジタルアシスタントはまた、「利用可能なＷｉ−Ｆｉネットワークのリストがここにあります。（Here is a list of available Wi-Fi networks.）」等の発話出力１８８０を提供する。いくつかの実施例では、デジタルアシスタントは更に、情報の要求と関連付けられたリンクを提供する。図１８Ｅに示されるように、デジタルアシスタントは、ユーザがネットワーク構成を更に管理することを可能にする、リンク１８４７を提供する。いくつかの実施例では、ユーザは、リンク１８４７を選択するための入力デバイス（例えば、マウス）を使用する。リンク１８４７のユーザの選択を受信すると、デジタルアシスタントは、ネットワーク構成処理をインスタンス化し、関連付けられたネットワーク構成ユーザインタフェースを表示する。よって、ユーザは、構成を更に管理するためにネットワーク構成ユーザインタフェースを使用することができる。
[０３３９]
図１８Ｆを参照して、いくつかの実施例では、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１８９０を表示する。例えば、タスクは、ミーティングの課題を準備することを含む。ミーティング課題を準備する際に、ユーザは、ミーティングについての日付及び時間を発見することを望むことがある。いくつかの実施例では、ユーザは、「朝に本日の次のミーティングについてのカレンダの時間を発見してください。（Find a time on my calendar for next Tuesday’s meeting in the morning.）」等の発話入力１８６２を提供する。デジタルアシスタントは、ユーザ意図が火曜日の朝についてユーザのカレンダの利用可能な時間帯を発見することであると判定する。デジタルアシスタントは更に、時間帯を発見することがいずれのシステム構成を変えず、従って、情報の要求であると判定する。
[０３４０]
いくつかの実施形態では、ユーザ意図が情報の要求を示すとの判定に従って、デジタルアシスタントは、情報の要求に従ってシステム構成の状況を取得し、システム構成の状況に従って発話応答を提供する。図１８Ｆに示されるように、デジタルアシスタントは、ユーザのカレンダの状況をカレンダ構成から取得する。ユーザのカレンダの状況は、例えば、火曜日の午前９時又は午前１１時がいまだ利用可能であることを示す。デジタルアシスタントは、状況に従って情報を提供するユーザインタフェース１８９１を表示する。例えば、ユーザインタフェース１８９１は、ユーザのカレンダをユーザが要求した日付及び時間と近接して提供する。いくつかの実施例では、デジタルアシスタントはまた、「火曜日の午前９時又は午前１１時が利用可能であるようです。（It looks like Tuesday 9a.m. or 11a.m is available.）」等の発話出力１８８２を提供する。いくつかの実施例では、デジタルアシスタントは更に、情報の要求と関連付けられたリンクを提供する。図１８Ｆに示されるように、デジタルアシスタントは、ユーザがカレンダ構成を更に管理することを可能にする、リンク１８４９を提供する。いくつかの実施例では、ユーザは、リンク１８４９を選択するための入力デバイス（例えば、マウス）を使用する。リンク１８４９のユーザの選択を受信すると、デジタルアシスタントは、カレンダ構成処理をインスタンス化し、関連付けられたカレンダ構成ユーザインタフェースを表示する。よって、ユーザは、構成を更に管理するためにカレンダ構成ユーザインタフェースを使用することができる。
[０３４１]
図１９Ａを参照して、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１９３２を表示する。例えば、タスクは、ビデオ（例えば、ＡＢＣ．ｍｏｖ）を再生することを含む。ビデオを再生している間、ユーザは、ボリュームを上げることを望むことがある。いくつかの実施例では、ユーザは、「ボリュームをかなり上げてください。（Turn the volume all the way up.）」等の発話入力１９５２を提供する。デジタルアシスタントは、ユーザ意図がボリュームをその最大レベルまで上げることであると判定する。デジタルアシスタントは更に、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定する。例えば、ユーザ意図がユーザデバイスのボリュームを上げることであると判定することに基づいて、デジタルアシスタントは、音声構成が変わり、従って、ユーザ意図がタスクを実行する要求を示すと判定する。
[０３４２]
いくつかの実施形態では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、デジタルアシスタントは、タスクを実行するユーザデバイスと関連付けられた処理をインスタンス化する。処理をインスタンス化することは、処理がまだ実行中でない場合に処理を呼び出すことを含む。処理の少なくとも１つのインスタンスが実行中である場合、処理をインスタンス化することは、処理の既存のインスタンスを実行すること、又は処理の新たなインスタンスを生成することを含む。例えば、音声構成処理をインスタンス化することは、音声構成処理を呼び出すこと、既存の音声構成処理を使用すること、又は音声構成処理の新たなインスタンスを生成することを含む。いくつかの実施例では、処理をインスタンス化することは、処理を使用してタスクを実行することを含む。例えば、図１９Ａに示されるように、ボリュームをその最大レベルまで上げるユーザ意図に従って、デジタルアシスタントは、ボリュームをその最大レベルに設定する音声構成処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは更に、「ＯＫ、ボリュームをかなり高く設定しました。（OK, I turned the volume all the way up.）」等の発話出力１９７２を提供する。
[０３４３]
図１９Ｂを参照して、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１９３４を表示する。例えば、タスクは、ドキュメントを参照すること、及び編集することを含む。ユーザは、目の保護のためにスクリーンの輝度を下げることを望むことがある。いくつかの実施例では、ユーザは、「スクリーンの輝度を１０％低く設定してください。（Set my screen brightness to 10% lower.）」等の発話入力１９５４を提供する。デジタルアシスタントは、発話入力１９５４及びコンテクスト情報に基づいてユーザ意図を判定する。例えば、コンテクスト情報は、現在の輝度構成が９０％にあることを示す。結果として、デジタルアシスタントは、ユーザ意図が輝度レベルを９０％から８０％に下げることであると判定する。デジタルアシスタントは更に、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定する。例えば、ユーザ意図がスクリーン輝度を８０％に変更することであると判定することに基づいて、デジタルアシスタントは、表示構成が変わり、従って、ユーザ意図がタスクを実行する要求を示すと判定する。
[０３４４]
いくつかの実施形態では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、デジタルアシスタントは、タスクを実行する処理をインスタンス化する。例えば、図１９Ｂに示されるように、輝度レベルを変更するユーザ意図に従って、デジタルアシスタントは、輝度レベルを８０％に下げる表示構成処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは更に、「ＯＫ、あなたのスクリーン輝度を８０％にしました。（OK, I turned your screen brightness to 80%.）」等の発話出力１９７４を提供する。いくつかの実施例では、図１９Ｂに示されるように、デジタルアシスタントは、ユーザがタスクを実行した結果を操作することを可能にするアフォーダンス１９３６を提供する。例えば、アフォーダンス１９３６は、ユーザが輝度レベルを更に変更することを可能にするスライドバーとすることができる。
[０３４５]
図１９Ｃを参照して、ユーザデバイスは、タスクを実行することと関連付けられたユーザインタフェース１９３８を表示する。例えば、タスクは、１つ以上の通知を提供することを含む。通知は、電子メールのアラート、メッセージ、又はリマインダ等を含むことができる。いくつかの実施例では、通知は、ユーザインタフェース１９３８において提供される。通知は、ユーザにリアルタイムで、又はそれがユーザデバイスにおいて利用可能である直後にユーザに表示又は提供されてもよい。例えば、通知は、ユーザデバイスがそれを受信した直後にユーザインタフェース１９３８及び／又はユーザインタフェース１９１０に現れる。時に、ユーザは、重要なタスク（例えば、ドキュメントを編集すること）を実行していることがあり、通知によって邪魔されたくないことがある。いくつかの実施例では、ユーザは、「到着する電子メールについて通知しないでください。（Don’t notify me about incoming emails.）」等の発話入力１９５６を提供する。デジタルアシスタントは、ユーザ意図が電子メールのアラートをターンオフすることであると判定する。ユーザ意図が到着する電子メールのアラートをターンオフすることであると判定することに基づいて、デジタルアシスタントは、通知構成が変わり、従って、ユーザ意図がタスクを実行する要求を示すと判定する。
[０３４６]
いくつかの実施形態では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、デジタルアシスタントは、タスクを実行する処理をインスタンス化する。例えば、図１９Ｃに示されるように、ユーザ意図に従って、デジタルアシスタントは、電子メールのアラートをターンオフする通知構成処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントは更に、「ＯＫ、メールについての通知をターンオフします。（OK, I turned off notifications for mail.）」等の発話出力１９７６を提供する。いくつかの実施例では、図１９Ｃに示されるように、デジタルアシスタントは、ユーザがタスクを実行した結果を操作することを可能にするユーザインタフェース１９４２（例えば、スニペット又はウィンドウ）を提供する。例えば、ユーザインタフェース１９４２は、アフォーダンス１９４３（例えば、中止ボタン）を提供する。ユーザが電子メールの通知を受信することを続けることを望む場合、例えば、ユーザは、電子メールの通知を再度ターンオンするためのアフォーダンス１９４３を選択することができる。いくつかの実施例では、ユーザはまた、電子メールの通知をターンオンするために、「到着する電子メールを通知してください。（Notify me of incoming emails.）」等の別の発話入力を提供することができる。
[０３４７]
図１９Ｄを参照して、いくつかの実施形態では、デジタルアシスタントは、ユーザの発話入力に基づいてタスクを完了することが可能でないことがあり、よって、ユーザがタスクを実行することを可能にするユーザインタフェースを提供することができる。図１９Ｄに示されるように、いくつかの実施例では、ユーザは、「スクリーンセーバ上でカスタムメッセージを見せてください。（Show a custom message on my screen saver.）」等の発話入力１９５８を提供する。デジタルアシスタントは、ユーザ意図がカスタムメッセージを示すためにスクリーンセーバ設定を変更することであると判定する。デジタルアシスタントは更に、ユーザ意図が表示構成を変えることであり、従って、ユーザ意図がタスクを実行する要求を示すと判定する。
[０３４８]
いくつかの実施形態では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、デジタルアシスタントは、タスクを実行するユーザデバイスと関連付けられた処理をインスタンス化する。いくつかの実施例では、デジタルアシスタントがユーザ意図に基づいてタスクを完了することができない場合、それは、ユーザがタスクを実行することを可能にするユーザインタフェースを提供する。例えば、発話入力１９５８に基づいて、デジタルアシスタントは、スクリーンセーバ上に示されるカスタムメッセージの内容を判定することが可能でないことがあり、従って、カスタムメッセージを表示するタスクを完了することができない。図１９Ｄに示されるように、いくつかの実施例では、デジタルアシスタントは、表示構成処理をインスタンス化し、ユーザがスクリーンセーバ設定を手動で変更することを可能にするためのユーザインタフェース１９４６（例えば、スニペット又はウィンドウ）を提供する。別の実施例として、デジタルアシスタントは、ユーザがタスクを実行することを可能にするリンク１９４４（例えば、表示構成へのリンク）を提供する。ユーザは、マウス、指、又はスタイラス等の入力デバイスを使用することによって、リンク１９４４を選択する。ユーザの選択を受信すると、デジタルアシスタントは、表示構成処理をインスタンス化し、ユーザがスクリーンセーバ設定を変更することを可能にするためのユーザインタフェース１９４６を表示する。いくつかの実施例では、デジタルアシスタントは更に、「スクリーンセーバ構成でスクリーンセーバのオプションを利用することができます。（You can explore screen saver options in the screen saver configurations.）」等の発話出力１９７８を提供する。
７．デジタルアシスタントを動作させる処理−インテリジェント検索及びオブジェクト管理
[０３４９]
図２０Ａ〜２０Ｇは、いくつかの実施形態に従った、デジタルアシスタントを動作させる例示的な処理２０００のフローチャートを示す。処理２０００は、１つ以上のデバイス１０４、１０８、２００、４００、又は６００を使用して実行されてもよい（図１、２Ａ、４、又は６Ａ〜Ｂ）。処理２０００における動作は、任意選択的に組み合わされ若しくは分離され、並びに／又はいくつかの動作の順序は任意選択的に変更される。
[０３５０]
図２０Ａを参照して、ブロック２００２において、第１の発話入力を受信する前に、デジタルアシスタントサービスを呼び出すためのアフォーダンスは、ユーザデバイスと関連付けられたディスプレイ上で表示される。ブロック２００３において、デジタルアシスタントは、所定のフレーズを受信したことに応じて呼び出される。ブロック２００４において、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じて呼び出される。
[０３５１]
ブロック２００６において、第１の発話入力は、ユーザから受信される。ブロック２００８において、ユーザデバイスと関連付けられたコンテクスト情報が特定される。ブロック２００９において、コンテクスト情報は、ユーザ特有データ、１つ以上のオブジェクトと関連付けられたメタデータ、センサデータ、及びユーザデバイス構成データのうちの少なくとも１つを含む。
[０３５２]
ブロック２０１０において、ユーザ意図は、第１の発話入力及びコンテクスト情報に基づいて判定される。ブロック２０１２において、ユーザ意図を判定するために、１つ以上の実施可能な意図が判定される。ブロック２０１３において、実施可能な意図と関連付けられた１つ以上のパラメータが判定される。
[０３５３]
図２０Ｂを参照して、ブロック２０１５において、ユーザ意図が、検索処理を使用してタスクを実行することであるか又はオブジェクト管理処理を使用してタスクを実行することであるかが判定される。検索処理は、ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されており、オブジェクト管理処理は、ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている。ブロック２０１６において、発話入力が検索処理又はオブジェクト管理処理を表す１つ以上のキーワードを含むかが判定される。ブロック２０１８において、タスクが検索することと関連付けられるかが判定される。ブロック２０２０において、タスクが検索することと関連付けられるとの判定に従って、タスクを実行することが検索処理を必要とするかが判定される。ブロック２０２１において、タスクを実行することが検索処理を必要としないとの判定に従って、検索処理又はオブジェクト管理処理を選択するための発話要求が出力され、第２の発話入力がユーザから受信される。第２の発話入力は、検索処理又はオブジェクト管理処理の選択を示す。
[０３５４]
ブロック２０２２において、タスクを実行することが検索処理を必要としないとの判定に従って、所定の構成に基づいて、検索処理又はオブジェクト管理処理を使用してタスクが実行されるかが判定される。
[０３５５]
図２０Ｃを参照して、ブロック２０２４において、タスクが検索することと関連付けられていないとの判定に従って、タスクが少なくとも１つのオブジェクトを管理することと関連付けられるかが判定される。ブロック２０２５において、タスクが少なくとも１つのオブジェクトを管理することと関連付けられていないとの判定に従って、ユーザデバイスに利用可能な第４の処理を使用してタスクを実行することができるか否かを判定すること、及びユーザとのダイアログを開始することのうちの少なくとも１つが実行される。
[０３５６]
ブロック２０２６において、ユーザ意図が検索処理を使用してタスクを実行することであるとの判定に従って、検索処理を使用してタスクが実行される。ブロック２０２８において、検索処理を使用して少なくとも１つのオブジェクトが検索される。ブロック２０２９において、少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む。ブロック２０３０において、ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含む。ブロック２０３１において、ファイルは、ユーザデバイスの内部又は外部に記憶されている。ブロック２０３２において、フォルダ又はファイルのうちの少なくとも１つを検索することは、フォルダ又はファイルと関連付けられたメタデータに基づいている。ブロック２０３４において、少なくとも１つのオブジェクトは、通信を含む。ブロック２０３５において、通信は、電子メール、メッセージ、又はボイスメールのうちの少なくとも１つを含む。ブロック２０３６において、通信と関連付けられたメタデータが検索される。
[０３５７]
図２０Ｄを参照して、ブロック２０３７において、少なくとも１つのオブジェクトは、連絡先又はカレンダのうちの少なくとも１つを含む。ブロック２０３８において、少なくとも１つのオブジェクトは、アプリケーションを含む。ブロック２０３９において、少なくとも１つのオブジェクトは、オンライン情報のソースを含む。
[０３５８]
ブロック２０４０において、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、タスクは、オブジェクト管理処理を使用して実行される。ブロック２０４２において、タスクが検索することと関連付けられ、少なくとも１つのオブジェクトは、オブジェクト管理処理を使用して検索される。ブロック２０４３において、少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む。ブロック２０４４において、ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含む。ブロック２０４５において、ファイルは、ユーザデバイスの内部又は外部に記憶されている。ブロック２０４６において、フォルダ又はファイルのうちの少なくとも１つを検索することは、フォルダ又はファイルと関連付けられたメタデータに基づいている。
[０３５９]
ブロック２０４８において、オブジェクト管理処理がインスタンス化される。オブジェクト管理処理をインスタンス化することは、オブジェクト管理処理を呼び出すこと、オブジェクト管理処理の新たなインスタンスを生成すること、又はオブジェクト管理処理の既存のインスタンスを生成することを含む。
[０３６０]
図２０Ｅを参照して、ブロック２０４９において、少なくとも１つのオブジェクトが作成される。ブロック２０５０において、少なくとも１つのオブジェクトが記憶される。ブロック２０５１において、少なくとも１つのオブジェクトが圧縮される。ブロック２０５２において、少なくとも１つのオブジェクトが第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に移動される。ブロック２０５３において、少なくとも１つのオブジェクトが第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に複製される。ブロック２０５４において、物理又は仮想記憶装置に記憶された少なくとも１つのオブジェクトが削除される。ブロック２０５５において、物理又は仮想記憶装置に記憶された少なくとも１つのオブジェクトが復元される。ブロック２０５６において、少なくとも１つのオブジェクトがマーク付けされる。少なくとも１つのオブジェクトをマーク付けすることは、可視的である、又は少なくとも１つのオブジェクトのメタデータと関連付けられていることのうちの少なくとも１つである。ブロック２０５７において、少なくとも１つのオブジェクトは、バックアップのための所定の期間に従ってバックアップされる。ブロック２０５８において、少なくとも１つのオブジェクトは、ユーザデバイスに通信可能に接続された１つ以上の電子デバイスの間で共有される。
[０３６１]
図２０Ｆを参照して、ブロック２０６０において、応答は、検索処理又はオブジェクト管理処理を使用して、タスクを実行した結果に基づいて提供される。ブロック２０６１において、検索処理又はオブジェクト管理処理を使用してタスクを実行した結果を提供する第１のユーザインタフェースが表示される。ブロック２０６２において、検索処理を使用してタスクを実行した結果と関連付けられたリンクが表示される。ブロック２０６３において、検索処理又はオブジェクト管理処理を使用してタスクを実行した結果に従って、発話出力が提供される。
[０３６２]
ブロック２０６４において、ユーザが検索処理又はオブジェクト管理処理を使用してタスクを実行した結果を操作することを可能にするアフォーダンスが提供される。ブロック２０６５において、タスクを実行した結果を使用して動作する第３の処理がインスタンス化される。
[０３６３]
図２０Ｆを参照して、ブロック２０６６において、信用レベルが判定される。ブロック２０６７において、信用レベルは、第１の発話入力及びユーザデバイスと関連付けられたコンテクスト情報に基づいてユーザ意図を判定する精度を表す。ブロック２０６８において、信用レベルは、ユーザ意図が検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定する精度を表す。
[０３６４]
図２０Ｇを参照して、ブロック２０６９において、信用レベルは、検索処理又はオブジェクト管理処理を使用してタスクを実行する精度を表す。
[０３６５]
ブロック２０７０において、信用レベルの判定に従って応答が提供される。ブロック２０７１において、信用レベルが閾値信用レベル以上であるかが判定される。ブロック２０７２において、信用レベルが閾値信用レベル以上であるとの判定に従って、第１の応答が提供される。ブロック２０７３において、信用レベルが閾値信用レベル未満であるとの判定に従って、第２の応答が提供される。
８．デジタルアシスタントを動作させる処理−続き
[０３６６]
図２１Ａ〜２１Ｅは、いくつかの実施形態に従った、デジタルアシスタントを動作させる例示的な処理２１００のフローチャートを示す。処理２１００は、１つ以上のデバイス１０４、１０８、２００、４００、６００、１４００、１５００、１６００、又は１７００を使用して実行されてもよい（図１、２Ａ、４、６Ａ〜６Ｂ、１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、及び１７Ａ〜１７Ｅ）。処理２１００における動作は、任意選択的に組み合わされ若しくは分離され、並びに／又はいくつかの動作の順序が任意選択的に変更される。
[０３６７]
図２１Ａを参照して、ブロック２１０２において、第１の発話入力を受信する前に、デジタルアシスタントサービスを呼び出すためのアフォーダンスは、ユーザデバイスと関連付けられたディスプレイ上で表示される。ブロック２１０３において、デジタルアシスタントは、所定のフレーズを受信したことに応じて呼び出される。ブロック２１０４において、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じて呼び出される。
[０３６８]
ブロック２１０６において、第１の発話入力は、タスクを実行するためにユーザから受信される。ブロック２１０８において、ユーザデバイスと関連付けられたコンテクスト情報が特定される。ブロック２１０９において、ユーザデバイスは、複数のユーザインタフェースを提供するように構成されている。ブロック２１１０において、ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、又はサーバを含む。ブロック２１１２において、コンテクスト情報は、ユーザ特有データ、１つ以上のオブジェクトと関連付けられたメタデータ、センサデータ、及びユーザデバイス構成データのうちの少なくとも１つを含む。
[０３６９]
ブロック２１１４において、発話入力及びコンテクスト情報に基づいてユーザ意図が判定される。ブロック２１１５において、ユーザ意図を判定するために、１つ以上の実施可能な意図が判定される。ブロック２１１６において、実施可能な意図と関連付けられた１つ以上のパラメータが判定される。
[０３７０]
図２１Ｂを参照して、ブロック２１１８において、ユーザ意図に従って、タスクがユーザデバイス、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいてタスクが実行されるかが判定される。ブロック２１２０において、第１の電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、サーバ、スマートフォン、タブレット、セットトップボックス、又は時計を含む。ブロック２１２１において、タスクがユーザデバイスにおいて又は第１の電子デバイスにおいて実行されるかを判定することは、発話入力に含まれる１つ以上のキーワードに基づいている。ブロック２１２２において、ユーザデバイスにおいてタスクを実行することが実行基準を満たすかが判定される。ブロック２１２３において、１つ以上のユーザ優先度に基づいて実行基準が判定される。ブロック２１２４において、デバイス構成データに基づいて実行基準が判定される。ブロック２１２５において、実行基準が動的に更新される。ブロック２１２６において、ユーザデバイスにおいてタスクを実行することが実行基準を満たすとの判定に従って、タスクがユーザデバイスにおいて実行されると判定される。
[０３７１]
図２１Ｃを参照して、ブロック２１２８において、ユーザデバイスにおいてタスクを実行することが実行基準を満たさないとの判定に従って、第１の電子デバイスにおいてタスクを実行することが実行基準を満たすかが判定される。ブロック２１３０において、第１の電子デバイスにおいてタスクを実行することが実行基準を満たすとの判定に従って、タスクが第１の電子デバイスにおいて実行されると判定される。ブロック２１３２において、第１の電子デバイスにおいてタスクを実行することが実行基準を満たさないの判定に従って、第２の電子デバイスにおいてタスクを実行することが実行基準を満たすかが判定される。
[０３７２]
ブロック２１３４において、タスクがユーザデバイスにおいて実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、タスクを実行するためのコンテンツが受信される。ブロック２１３５において、コンテンツの少なくとも一部は、第１の電子デバイスから受信される。コンテンツの少なくとも一部は、第１の電子デバイスに記憶されている。ブロック２１３６において、コンテンツの少なくとも一部は、第３の電子デバイスから受信される。
[０３７３]
図２１Ｄを参照して、ブロック２１３８において、タスクが第１の電子デバイスにおいて実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、タスクを実行するためのコンテンツは、第１の電子デバイスに提供される。ブロック２１３９において、コンテンツの少なくとも一部は、ユーザデバイスから第１の電子デバイスに提供される。コンテンツの少なくとも一部は、ユーザデバイスに記憶されている。ブロック２１４０において、コンテンツの少なくとも一部は、第４の電子デバイスから第１の電子デバイスに提供される。コンテンツの少なくとも一部は、第４の電子デバイスに記憶されている。
[０３７４]
ブロック２１４２において、タスクは、ユーザデバイスにおいて実行される。第１の応答は、受信されたコンテンツを使用してユーザデバイスにおいて提供される。ブロック２１４４において、タスクは、ユーザデバイスにおいて実行される。ブロック２１４５において、ユーザデバイスにおいてタスクを実行することは、ユーザデバイスに対して部分的にリモートに実行されたタスクの続きである。ブロック２１４６において、第１のユーザインタフェースは、ユーザデバイスにおいて実行されるタスク関連付けられて表示される。ブロック２１４８において、タスクと関連付けられたリンクは、ユーザデバイスにおいて実行される。ブロック２１５０において、発話出力は、ユーザデバイスにおいて実行されるタスクに従って提供される。
[０３７５]
図２１Ｅを参照して、ブロック２１５２において、タスクは、第１の電子デバイスにおいて実行され、第２の応答は、ユーザデバイスにおいて提供される。ブロック２１５４において、タスクは、第１の電子デバイスにおいて実行される。ブロック２１５６において、第１の電子デバイスにおいて実行されるタスクは、第１の電子デバイスに対してリモートに実行されたタスクの続きである。ブロック２１５８において、発話出力は、第１の電子デバイスにおいて実行されるタスクに従って提供される。ブロック２１６０において、発話出力は、第１の電子デバイスにおいて実行されるタスクに従って提供される。
９．デジタルアシスタントを動作させる処理−システム構成管理
[０３７６]
図２２Ａ〜２２Ｄは、いくつかの実施形態に従った、デジタルアシスタントを動作させる例示的な処理２２００のフローチャートを示す。処理２２００は、１つ以上のデバイス１０４、１０８、２００、４００、６００、又は１８００を使用して実行されてもよい（図１、２Ａ、４、６Ａ〜６Ｂ、及び１８Ｃ〜１８Ｄ）。処理２２００における動作は、任意選択的に組み合わされ若しくは分離され、及び／又はいくつかの動作の順序は任意選択的に変更される。
[０３７７]
図２２Ａを参照して、ブロック２２０２において、発話入力を受信する前に、デジタルアシスタントサービスを呼び出すためのアフォーダンスは、ユーザデバイスと関連付けられたディスプレイ上で表示される。ブロック２２０３において、デジタルアシスタントは、所定のフレーズを受信したことに応じて呼び出される。ブロック２２０４において、デジタルアシスタントは、アフォーダンスの選択を受信したことに応じて呼び出される。
[０３７８]
ブロック２２０６において、発話入力は、ユーザデバイス１つ以上のシステム構成を管理するためにユーザから受信される。ユーザデバイスは、複数のユーザインタフェースを同時に提供するように構成されている。ブロック２２０７において、ユーザデバイスの１つ以上のシステム構成は、音声構成を含む。ブロック２２０８において、ユーザデバイスの１つ以上のシステム構成は、日付及び時間構成を含む。ブロック２２０９において、ユーザデバイスの１つ以上のシステム構成は、聞き取り構成を含む。ブロック２２１０において、ユーザデバイスの１つ以上のシステム構成は、表示構成を含む。ブロック２２１１において、ユーザデバイスの１つ以上のシステム構成は、入力デバイス構成を含む。ブロック２２１２において、ユーザデバイスの１つ以上のシステム構成は、ネットワーク構成を含む。ブロック２２１３において、ユーザデバイスの１つ以上のシステム構成は、通知構成を含む。
[０３７９]
図２２Ｂを参照して、ブロック２２１４において、ユーザデバイスの１つ以上のシステム構成は、プリンタ構成を含む。ブロック２２１５において、ユーザデバイスの１つ以上のシステム構成は、セキュリティ構成を含む。ブロック２２１６において、ユーザデバイスの１つ以上のシステム構成は、バックアップ構成を含む。ブロック２２１７において、ユーザデバイスの１つ以上のシステム構成は、アプリケーション構成を含む。ブロック２２１８において、ユーザデバイスの１つ以上のシステム構成は、ユーザインタフェース構成を含む。
[０３８０]
ブロック２２２０において、ユーザデバイスと関連付けられたコンテクスト情報が特定される。ブロック２２２３において、コンテクスト情報は、ユーザ特有データ、デバイス構成データ、及びセンサデータのうちの少なくとも１つを含む。ブロック２２２４において、ユーザ意図は、発話入力及びコンテクスト情報に基づいて判定される。ブロック２２２５において、１つ以上の実施可能な意図が判定される。ブロック２２２６において、実施可能な意図と関連付けられた１つ以上のパラメーが判定される。
[０３８１]
図２２Ｃを参照して、ブロック２２２８において、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかが判定される。ブロック２２２９において、ユーザ意図がシステム構成を変えることであるかが判定される。
[０３８２]
ブロック２２３０において、ユーザ意図が情報の要求を示すとの判定に従って、情報の要求への発話応答が提供される。ブロック２２３１において、１つ以上のシステム構成の状況は、情報の要求に従って取得される。ブロック２２３２において、発話応答は、１つ以上のシステム構成の状況に従って提供される。
[０３８３]
ブロック２２３４において、情報の要求への発話応答を提供することに加え、第１のユーザインタフェースは、１つ以上のシステム構成の状況に従って情報を提供するために表示される。ブロック２２３６において、情報の要求への発話応答を提供することに加え、情報の要求と関連付けられたリンクが提供される。
[０３８４]
ブロック２２３８において、ユーザ意図がタスクを実行する要求を示すとの判定に従って、ユーザデバイスと関連付けられた処理は、タスクを実行するためにインスタンス化される。ブロック２２３９において、タスクは、処理を使用して実行される。ブロック２２４０において、第１の発話出力は、タスクを実行した結果に従って提供される。
[０３８５]
図２２Ｄを参照して、ブロック２２４２において、第２のユーザインタフェースは、ユーザがタスクを実行した結果を操作することを可能にするために提供される。ブロック２２４４において、第２のユーザインタフェースは、タスクを実行した結果と関連付けられたリンクを含む。
[０３８６]
ブロック２２４６において、第３のユーザインタフェースは、ユーザがタスク実行することを可能にするために提供される。ブロック２２４８において、第３のユーザインタフェースは、ユーザがタスクを実行することを可能にするリンクを含む。ブロック２２５０において、第３のユーザインタフェースと関連付けられた第２の発話出力が提供される。
１０．電子デバイス−インテリジェント検索及びオブジェクト管理
[０３８７]
図２３は、図８Ａ〜８Ｆ、９Ａ〜９Ｈ、１０Ａ〜１０Ｂ、１１Ａ〜１１Ｆ、１２Ａ〜１２Ｄ、１３Ａ〜１３Ｃ、１４Ａ〜１４Ｄ、１５Ａ〜１５Ｄ、１６Ａ〜１６Ｃ、１７Ａ〜１７Ｅ、１８Ａ〜１８Ｆ、及び１９Ａ〜１９Ｄを参照して説明されるものを含む、様々な説明される実施例の原理に従って構成された電子デバイス２３００の機能的ブロック図を示す。デバイスの機能的ブロックは、任意選択的に、様々な説明される実施例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実装されてもよい。図２３で説明される機能的ブロックは、任意選択的に、様々な説明される実施例の原理を実装するためにサブブロックに組み合わされてもよく、又は分離されてもよいことが当業者によって理解される。従って、本明細書における説明は、任意選択的に、本明細書で説明される機能的ブロックのいずれかの可能な組み合わせ、分離、又は更に定義をサポートする。
[０３８８]
図２３に示されるように、電子デバイス２３００は、マイクロフォン２３０２及びプロセシングユニット２３０８を含むことができる。いくつかの実施例では、プロセシングユニット２３０８は、受信ユニット２３１０、特定ユニット２３１２、判定ユニット２３１４、実行ユニット２３１６、提供ユニット２３１８、インスタンス化ユニット２３２０、表示ユニット２３２２、出力ユニット２３２４、開始ユニット２３２６、検索ユニット２３２８、生成ユニット２３３０、実行ユニット２３３２、作成ユニット２３３４、インスタンス化ユニット２３３５、記憶ユニット２３３６、圧縮ユニット２３３８、複製ユニット２３４０、削除ユニット２３４２、復元ユニット２３４４、マーク付けユニット２３４６、バックアップユニット２３４８、共有ユニット２３５０、使役ユニット２３５２、及び取得ユニット２３５４を含む。
[０３８９]
いくつかの実施例では、プロセシングユニット２３０８は、第１の発話入力をユーザから受信し（例えば、受信ユニット２３１０で）、ユーザデバイスと関連付けられたコンテクスト情報を特定し（例えば、特定ユニット２３１２で）、第１の発話入力及びコンテクスト情報に基づいてユーザ意図を判定するように構成されている（例えば、判定ユニット２３１４で）。
[０３９０]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定するように構成されている（例えば、判定ユニット２３１４で）。検索処理は、ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されており、オブジェクト管理処理は、ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている。
[０３９１]
いくつかの実施例では、ユーザ意図が検索処理を使用してタスクを実行することであるとの判定に従って、プロセシングユニット２３０８は、検索処理を使用してタスクを実行するように構成されている（例えば、実行ユニット２３１６で）。いくつかの実施例では、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、プロセシングユニット２３０８は、オブジェクト管理処理を使用してタスクを実行するように構成されている（例えば、実行ユニット２３１６で）。
[０３９２]
いくつかの実施例では、第１の発話入力を受信する前に、プロセシングユニット２３０８は、ユーザデバイスと関連付けられたディスプレイ上で、デジタルアシスタントサービスを呼び出すためのアフォーダンスを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０３９３]
いくつかの実施例では、プロセシングユニット２３０８は、所定のフレーズを受信したことに応じて、デジタルアシスタントを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０３９４]
いくつかの実施例では、プロセシングユニット２３０８は、アフォーダンスの選択を受信したことに応じて、デジタルアシスタントを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０３９５]
いくつかの実施例では、プロセシングユニット２３０８は、１つ以上の実施可能な意図を判定し（例えば判定ユニット２３１４で）、実施可能な意図と関連付けられた１つ以上のパラメータを判定するように構成されている（例えば判定ユニット２３１４で）。
[０３９６]
いくつかの実施例では、コンテクスト情報は、ユーザ特有データ、１つ以上のオブジェクトと関連付けられたメタデータ、センサデータ、及びユーザデバイス構成データを含む。
[０３９７]
いくつかの実施例では、プロセシングユニット２３０８は、発話入力が検索処理又はオブジェクト管理処理を表す１つ以上のキーワードを含むかを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０３９８]
いくつかの実施例では、プロセシングユニット２３０８は、タスクが検索することと関連付けられているか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。タスクが検索することと関連付けられているとの判定に従って、プロセシングユニット２３０８は、タスクを実行することが検索処理を必要とするか否かを判定し（例えば、判定ユニット２３１４で）、タスクが検索することと関連付けられていないとの判定に従って、タスクが少なくとも１つのオブジェクトを管理することと関連付けられているか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０３９９]
いくつかの実施例では、タスクは検索することと関連付けられ、タスクを実行することが検索処理を必要としないとの判定に従って、プロセシングユニット２３０８は、検索処理又はオブジェクト管理処理を選択するために発話要求を出力し（例えば、出力ユニット２３２４で）、ユーザから、検索処理又はオブジェクト管理処理の選択を示す第２の発話入力を受信するように構成されている（例えば、受信ユニット２３１０で）。
[０４００]
いくつかの実施例では、タスクは検索することと関連付けられ、タスクを実行することが検索処理を必要としないとの判定に従って、プロセシングユニット２３０８は、所定の構成に基づいて、検索処理又はオブジェクト管理処理を使用してタスクが実行されるか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４０１]
いくつかの実施例では、タスクは検索することと関連付けられず、タスクが少なくとも１つのオブジェクトを管理することと関連付けられていないとの判定に従って、プロセシングユニット２３０８は、ユーザデバイスに利用可能な第４の処理を使用してタスクを実行することができるか否かを判定すること（例えば、判定ユニット２３１４で）、及びユーザとのダイアログを開始すること（例えば、開始ユニット２３２６で）のうちの少なくとも１つを実行するように構成されている（例えば、実行ユニット２３１６で）。
[０４０２]
いくつかの実施例では、プロセシングユニット２３０８は、検索処理を使用して少なくとも１つのオブジェクトを検索するように構成されている（例えば、検索ユニット２３２８で）。
[０４０３]
いくつかの実施例では、少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む。ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含む。ファイルは、ユーザデバイスの内部又は外部に記憶されている。
[０４０４]
いくつかの実施例では、フォルダ又はファイルのうちの少なくとも１つを検索することは、フォルダ又はファイルと関連付けられたメタデータに基づいている。
[０４０５]
いくつかの実施例では、少なくとも１つのオブジェクトは、通信を含む。通信は、電子メール、メッセージ、通知、又はボイスメールのうちの少なくとも１つを含む。
[０４０６]
いくつかの実施例では、プロセシングユニット２３０８は、通信と関連付けられたメタデータを検索するように構成されている（例えば、検索ユニット２３２８で）。
[０４０７]
いくつかの実施例では、少なくとも１つのオブジェクトは、連絡先又はカレンダのうちの少なくとも１つを含む。
[０４０８]
いくつかの実施例では、少なくとも１つのオブジェクトは、アプリケーションを含む。
[０４０９]
いくつかの実施例では、少なくとも１つのオブジェクトは、オンライン情報のソースを含む。
[０４１０]
いくつかの実施例では、タスクは検索することと関連付けられ、プロセシングユニット２３０８は、オブジェクト管理処理を使用して少なくとも１つのオブジェクトを検索するように構成されている（例えば、検索ユニット２３２８で）。
[０４１１]
いくつかの実施例では、少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む。ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含む。ファイルは、ユーザデバイスの内部又は外部に記憶されている。
[０４１２]
いくつかの実施例では、フォルダ又はファイルのうちの少なくとも１つを検索することは、フォルダ又はファイルと関連付けられたメタデータに基づいている。
[０４１３]
いくつかの実施例では、プロセシングユニット２３０８は、オブジェクト管理処理をインスタンス化するように構成されている（例えば、インスタンス化ユニット２３３５で）。オブジェクト管理処理をインスタンス化することは、オブジェクト管理処理を呼び出すこと、オブジェクト管理処理の新たなインスタンスを生成すること、又はオブジェクト管理処理の既存のインスタンスを実行することを含む。
[０４１４]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトを作成するように構成されている（例えば、作成ユニット２３３４で）。
[０４１５]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトを記憶するように構成されている（例えば、記憶ユニット２３３６で）。
[０４１６]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトを圧縮するように構成されている（例えば、圧縮ユニット２３３８で）。
[０４１７]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトを第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に移動するように構成されている（例えば、移動ユニット２３３９で）。
[０４１８]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトを第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に複製するように構成されている（例えば、複製ユニット２３４０で）。
[０４１９]
いくつかの実施例では、プロセシングユニット２３０８は、物理又は仮想記憶装置に記憶された少なくとも１つのオブジェクトを削除するように構成されている（例えば、削除ユニット２３４２で）。
[０４２０]
いくつかの実施例では、プロセシングユニット２３０８は、物理又は仮想記憶装置に記憶された少なくとも１つのオブジェクトを復元するように構成されている（例えば、復元ユニット２３４４で）。
[０４２１]
いくつかの実施例では、プロセシングユニット２３０８は、少なくとも１つのオブジェクトをマーク付けするように構成されている（例えば、マーク付けユニット２３４６で）。少なくとも１つのオブジェクトをマーク付けすることは、可視的である、又は少なくとも１つのオブジェクトのメタデータと関連付けられていることのうちの少なくとも１つである。
[０４２２]
いくつかの実施例では、プロセシングユニット２３０８は、バックアップのための所定の期間に従って少なくとも１つのオブジェクトをバックアップユニットするように構成されている（例えば、バックアップユニット２３４８で）。
[０４２３]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスに通信可能に接続された１つ以上の電子デバイスの間で少なくとも１つのオブジェクトを共有するように構成されている（例えば、共有ユニット２３５０で）。
[０４２４]
いくつかの実施例では、プロセシングユニット２３０８は、検索処理又はオブジェクト管理処理を使用して、タスクを実行した結果に基づいて応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４２５]
いくつかの実施例では、プロセシングユニット２３０８は、検索処理又はオブジェクト管理処理を使用して、タスクを実行した結果を提供する第１のユーザインタフェースを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０４２６]
いくつかの実施例では、プロセシングユニット２３０８は、検索処理を使用してタスクを実行した結果と関連付けられたリンクを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４２７]
いくつかの実施例では、プロセシングユニット２３０８は、検索処理又はオブジェクト管理処理を使用して、タスクを実行した結果に従って発話出力を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４２８]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザが検索処理又はオブジェクト管理処理を使用して、タスクを実行した結果を操作することを可能にするアフォーダンスを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４２９]
いくつかの実施例では、プロセシングユニット２３０８は、タスクを実行した結果を使用して動作する第３の処理をインスタンス化するように構成されている（例えば、インスタンス化ユニット２３３５で）。
[０４３０]
いくつかの実施例では、プロセシングユニット２３０８は、信用レベルを判定し（例えば、判定ユニット２３１４で）、信用レベルの判定に従って応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４３１]
いくつかの実施例では、信用レベルは、第１の発話入力及びユーザデバイスと関連付けられたコンテクスト情報に基づいてユーザ意図を判定する精度を表す。
[０４３２]
いくつかの実施例では、信用レベルは、検索処理を使用して又はオブジェクト管理処理を使用してユーザ意図がタスクを実行することであるかを判定する精度を表す。
[０４３３]
いくつかの実施例では、信用レベルは、検索処理又はオブジェクト管理処理を使用してタスクを実行する精度を表す。
[０４３４]
いくつかの実施例では、プロセシングユニット２３０８は、信用レベルが閾値信用レベル以上であるか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。信用レベルが閾値信用レベル以上であるとの判定に従って、プロセシングユニット２３０８は、第１の応答を提供するように構成され（例えば、提供ユニット２３１８で）、信用レベルが閾値信用レベル未満であるとの判定に従って、プロセシングユニット２３０８は、第２の応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
１１．電子デバイス−続き
[０４３５]
いくつかの実施例では、プロセシングユニット２３０８は、タスクを実行するために発話入力を受信し（例えば、受信ユニット２３１０で）、ユーザデバイスと関連付けられたコンテクスト情報を特定し（例えば、特定ユニット２３１２で）、発話入力及びユーザデバイスと関連付けられたコンテクスト情報に基づいてユーザ意図を判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４３６]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザ意図に従って、ユーザデバイスにおいて、又はユーザデバイスに通信可能に接続された第１の電子デバイスにおいてタスクが実行されるかを判定するように構成され（例えば、判定ユニット２３１４で）。
[０４３７]
いくつかの実施例では、ユーザデバイスにおいてタスクが実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、プロセシングユニット２３０８は、タスクを実行するためのコンテンツを受信するように構成されている（例えば、受信ユニット２３１０で）。
[０４３８]
いくつかの実施例では、第１の電子デバイスにおいてタスクが実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、プロセシングユニット２３０８は、タスクを実行するためのコンテンツを第１の電子デバイスに提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４３９]
いくつかの実施例では、ユーザデバイスは、複数のユーザインタフェースを提供するように構成されている。
[０４４０]
いくつかの実施例では、ユーザデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、又はサーバを含む。
[０４４１]
いくつかの実施例では、第１の電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、サーバ、スマートフォン、タブレット、セットトップボックス、又は時計を含む。
[０４４２]
いくつかの実施例では、プロセシングユニット２３０８は、発話入力を受信する前に、ユーザデバイスのディスプレイ上で、デジタルアシスタントを呼び出すためのアフォーダンスを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０４４３]
いくつかの実施例では、プロセシングユニット２３０８は、所定のフレーズを受信したことに応じて、デジタルアシスタントを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０４４４]
いくつかの実施例では、プロセシングユニット２３０８は、アフォーダンスの選択を受信したことに応じて、デジタルアシスタントを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０４４５]
いくつかの実施例では、プロセシングユニット２３０８は、１つ以上の実施可能な意図を判定し（例えば、判定ユニット２３１４で）、実施可能な意図と関連付けられた１つ以上のパラメータを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４４６]
いくつかの実施例では、コンテクスト情報は、ユーザ特有データ、センサデータ、及びユーザデバイス構成データのうちの少なくとも１つを含む。
[０４４７]
いくつかの実施例では、ユーザデバイスにおいて又は第１の電子デバイスにおいてタスクが実行されるかを判定することは、発話入力に含まれる１つ以上のキーワードに基づいている。
[０４４８]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスにおいてタスクを実行することが実行基準を満たすか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４４９]
いくつかの実施例では、ユーザデバイスにおいてタスクを実行することが実行基準を満たすとの判定に従って、プロセシングユニット２３０８は、ユーザデバイスにおいてタスクが実行されると判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４５０]
いくつかの実施例では、ユーザデバイスにおいてタスクを実行することが実行基準を満たさないとの判定に従って、プロセシングユニット２３０８は、第１の電子デバイスにおいてタスクを実行することが実行基準を満たすかを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４５１]
いくつかの実施例では、第１の電子デバイスにおいてタスクを実行することが実行基準を満たすとの判定に従って、プロセシングユニット２３０８は、第１の電子デバイスにおいてタスクが実行されると判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４５２]
いくつかの実施例では、第１の電子デバイスにおいてタスクを実行することが実行基準を満たさないとの判定に従って、プロセシングユニット２３０８は、第２の電子デバイスにおいてタスクを実行することが実行基準を満たすかを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４５３]
いくつかの実施例では、実行基準は、１つ以上のユーザ優先度に基づいて判定される。
[０４５４]
いくつかの実施例では、実行基準は、デバイス構成データに基づいて判定される。
[０４５５]
いくつかの実施例では、実行基準は、動的に更新される。
[０４５６]
いくつかの実施例では、ユーザデバイスにおいてタスクが実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、プロセシングユニット２３０８は、コンテンツの少なくとも一部を第１の電子デバイスから受信するように構成され（例えば、受信ユニット２３１０で）、コンテンツの少なくとも一部は、第１の電子デバイスに記憶されている。
[０４５７]
いくつかの実施例では、ユーザデバイスにおいてタスクが実行され、タスクを実行するためのコンテンツがリモートに位置するとの判定に従って、プロセシングユニット２３０８は、コンテンツの少なくとも一部を第３の電子デバイスから受信するように構成されている（例えば、受信ユニット２３１０で）。
[０４５８]
いくつかの実施例では、第１の電子デバイスにおいてタスクが実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、プロセシングユニット２３０８は、コンテンツの少なくとも一部をユーザデバイスから第１の電子デバイスに提供するように構成され（例えば、提供ユニット２３１８で）、コンテンツの少なくとも一部は、ユーザデバイスに記憶されている。
[０４５９]
いくつかの実施例では、第１の電子デバイスにおいてタスクが実行され、タスクを実行するためのコンテンツが第１の電子デバイスに対してリモートに位置するとの判定に従って、プロセシングユニット２３０８は、コンテンツの少なくとも一部を第４の電子デバイスから第１の電子デバイスに提供させるように構成されている（例えば、使役ユニット２３５２で）。コンテンツの少なくとも一部は、第４の電子デバイスに記憶されている。
[０４６０]
いくつかの実施例では、ユーザデバイスにおいてタスクが実行され、プロセシングユニット２３０８は、受信されたコンテンツを使用して、ユーザデバイスにおいて第１の応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４６１]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスにおいてタスクを実行するように構成されている（例えば、実行ユニット２３１６で）。
[０４６２]
いくつかの実施例では、ユーザデバイスにおいてタスクを実行することは、ユーザデバイスに対して部分的にリモートに実行されたタスクの続きである。
[０４６３]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスにおいて実行されるタスクと関連付けられた第１のユーザインタフェースを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０４６４]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスにおいて実行されるタスクと関連付けられたリンクを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４６５]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスにおいて実行されるタスクに従って発話出力を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４６６]
いくつかの実施例では、第１の電子デバイスにおいてタスクが実行され、プロセシングユニット２３０８は、ユーザデバイスにおいて第２の応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４６７]
いくつかの実施例では、プロセシングユニット２３０８は、第１の電子デバイスにおいてタスクを実行させるように構成されている（例えば、使役ユニット２３５２で）。
[０４６８]
いくつかの実施例では、第１の電子デバイスにおいて実行されるタスクは、第１の電子デバイスに対してリモートに実行されたタスクの続きである。
[０４６９]
いくつかの実施例では、プロセシングユニット２３０８は、第１の電子デバイスにおいて実行されるタスクに従って発話出力を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４７０]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザがタスクの実行のための別の電子デバイスを選択することを可能にするアフォーダンスを提供するように構成されている（例えば、提供ユニット２３１８で）。
１２．電子デバイス−システム構成管理
[０４７１]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスの１つ以上のシステム構成を管理するために、発話入力をユーザから受信するように構成されている（例えば、受信ユニット２３１０で）。ユーザデバイスは、複数のユーザインタフェースを同時に提供するように構成されている。
[０４７２]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザデバイスと関連付けられたコンテクスト情報を特定し（例えば、特定ユニット２３１２で）、発話入力及びコンテクスト情報に基づいてユーザ意図を判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４７３]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザ意図が情報の要求を示すか又はタスクを実行する要求を示すかを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４７４]
いくつかの実施例では、ユーザ意図が情報の要求を示すとの判定に従って、プロセシングユニット２３０８は、情報の要求への発話応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４７５]
いくつかの実施例では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、プロセシングユニット２３０８は、タスクを実行するユーザデバイスと関連付けられた処理をインスタンス化するように構成されている（例えば、インスタンス化ユニット２３３５で）。
[０４７６]
いくつかの実施例では、プロセシングユニット２３０８は、発話入力を受信する前に、ユーザデバイスのディスプレイ上で、デジタルアシスタントを呼び出すためのアフォーダンスを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０４７７]
いくつかの実施例では、プロセシングユニット２３０８は、所定のフレーズを受信したことに応じてデジタルアシスタントサービスを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０４７８]
いくつかの実施例では、プロセシングユニット２３０８は、アフォーダンスの選択を受信したことに応じてデジタルアシスタントサービスを呼び出すように構成されている（例えば、呼出ユニット２３２０で）。
[０４７９]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、音声構成を含む。
[０４８０]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、日付及び時間構成を含む。
[０４８１]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、聞き取り構成を含む。
[０４８２]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、表示構成を含む。
[０４８３]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、入力デバイス構成を含む。
[０４８４]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、ネットワーク構成を含む。
[０４８５]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、通知構成を含む。
[０４８６]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、プリンタ構成を含む。
[０４８７]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、セキュリティ構成を含む。
[０４８８]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、バックアップ構成を含む。
[０４８９]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、アプリケーション構成を含む。
[０４９０]
いくつかの実施例では、ユーザデバイスの１つ以上のシステム構成は、ユーザインタフェース構成を含む。
[０４９１]
いくつかの実施例では、プロセシングユニット２３０８は、１つ以上の実施可能な意図を判定し（例えば、判定ユニット２３１４で）、実施可能な意図と関連付けられた１つ以上のパラメータを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４９２]
いくつかの実施例では、コンテクスト情報は、ユーザ特有データ、デバイス構成データ、及びセンサデータのうちの少なくとも１つを含む。
[０４９３]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザ意図がシステム構成を変えることであるか否かを判定するように構成されている（例えば、判定ユニット２３１４で）。
[０４９４]
いくつかの実施例では、プロセシングユニット２３０８は、情報の要求に従って１つ以上のシステム構成の状況を取得し（例えば、取得ユニット２３５４で）、１つ以上のシステム構成の状況に従って発話応答を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４９５]
いくつかの実施例では、ユーザ意図が情報の要求を示すとの判定に従って、プロセシングユニット２３０８は、情報の要求への発話応答を提供することに加え、１つ以上のシステム構成の状況に従って情報を提供する第１のユーザインタフェースを表示するように構成されている（例えば、表示ユニット２３２２で）。
[０４９６]
いくつかの実施例では、ユーザ意図が情報の要求を示すとの判定に従って、プロセシングユニット２３０８は、情報の要求への発話応答を提供することに加え、情報の要求と関連付けられたリンクを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４９７]
いくつかの実施例では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、プロセシングユニット２３０８は、処理を使用してタスクを実行するように構成されている（例えば、実行ユニット２３１６で）。
[０４９８]
いくつかの実施例では、プロセシングユニット２３０８は、タスクを実行した結果に従って第１の発話出力を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０４９９]
いくつかの実施例では、プロセシングユニット２３０８は、ユーザがタスクを実行した結果を操作することを可能にするために、第２のユーザインタフェースを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０５００]
いくつかの実施例では、第２のユーザインタフェースは、タスクを実行した結果と関連付けられたリンクを含む。
[０５０１]
いくつかの実施例では、ユーザ意図がタスクを実行する要求を示すとの判定に従って、プロセシングユニット２３０８は、ユーザがタスクを実行することを可能にする第３のユーザインタフェースを提供するように構成されている（例えば、提供ユニット２３１８で）。
[０５０２]
いくつかの実施例では、第３のユーザインタフェースは、ユーザがタスクを実行することを可能にするリンクを含む。
[０５０３]
いくつかの実施例では、プロセシングユニット２３０８は、第３のユーザインタフェースと関連付けられた第２の発話出力を提供するように構成されている（例えば、提供ユニット２３１８で）。
[０５０４]
図２３を参照して上記説明された動作は、任意選択的に、図１、２Ａ、４、６Ａ〜Ｂ、又は７Ａ〜７Ｂに記述された構成要素によって実装される。例えば、受信動作２３１０、特定動作２３１２、判定動作２３１４、実行動作２３１６、及び提供動作２３１８は、任意選択的に、プロセッサ（単数又は複数）２２０によって実施される。図１、２Ａ、４、６Ａ〜Ｂ、又は７Ａ〜７Ｂに記述された構成要素に基づいて、他の処理をどのように実施することができるかが当業者にとって明らかとなるであろう。
[０５０５]
図１２で説明された機能的ブロックは、任意選択的に、様々な説明された実施形態の原理を実装するためにサブブロックに組み合わされ、又は分離されることが当業者によって理解される。従って、本明細書における説明は、任意選択的に、本明細書で説明されたいずれかの可能な組み合わせ、分離、又は更に定義をサポートする。例えば、プロセシングユニット２３０８は、動作を可能にするためにプロセシングユニット２３０８と動作可能に結合された関連付けられた「コントローラ」ユニットを有することができる。このコントローラユニットは、図２３で別々に示されていないが、デバイス２３００等のプロセシングユニット２３０８を有するデバイスを設計している当業者の把握の範囲内にあることが理解される。別の実施例として、受信ユニット２３１０等の１つ以上のユニットは、いくつかの実施形態におけるプロセシングユニット２３０８の外側のハードウェアユニットであってもよい。よって、本明細書における説明は、任意選択的に、本明細書で説明された機能的ブロックの組み合わせ、分離、及び／又は更に定義をサポートする。
[０５０６]
上記説明は、説明の目的で、特定の実施形態を参照して説明されてきた。しかしながら。上記例示的な議論は、包括的であることを意図しておらず、又は開示される簡易な形式に本発明を限定することを意図していない。多くの修正及び変更が上記教示を考慮して可能である。技術の原理及びそれらの実用的な適用例を最良に説明するために実施形態が選択及び説明されてきた。他の当業者は、それらによって、考慮される特定の使用に適切なものとして、様々な修正で技術及び様々な実施形態を最良に利用することが可能になる。
[０５０７]
添付図面を参照して開示及び実施例が十分に説明されたが、様々な変更及び修正が当業者にとって明らかとなることに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるものとして、開示及び実施例の範囲内に含まれるものとして理解される。
[書類名]特許請求の範囲
[請求項１]
１つ以上のプロセッサと、
メモリと、
メモリに記憶された１つ以上のプログラムと、を備える電子デバイスであって、前記１つ以上のプログラムが、命令を含み、前記命令は、
第１の音声入力をユーザから受信し、
前記ユーザデバイスと関連付けられたコンテクスト情報を特定し、
前記第１の音声入力及び前記コンテクスト情報に基づいてユーザ意図を判定し、
前記ユーザ意図が、検索処理であって、前記検索処理は、前記ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されている、検索処理を使用してタスクを実行することであるか又はオブジェクト管理処理であって、前記オブジェクト管理処理は、前記ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている、オブジェクト管理処理を使用してタスクを実行することであるかを判定し、
前記ユーザ意図が前記検索処理を使用して前記タスクを実行することであるとの判定に従って、前記検索処理を使用して前記タスクを実行し、
前記ユーザ意図が前記オブジェクト管理処理を使用して前記タスクを実行することであるとの判定に従って、前記オブジェクト管理処理を使用して前記タスクを実行する、電子デバイス。
[請求項２]
前記第１の音声入力を受信する前に、
所定のフレーズを受信したことに応じて前記デジタルアシスタントを呼び出す、又は
アフォーダンスの選択を受信したことに応じて前記デジタルアシスタントを呼び出す、ことを更に備える、請求項１に記載の電子デバイス。
[請求項３]
前記ユーザ意図を判定することは、
１つ以上の実施可能な意図を判定し、
前記実施可能な意図と関連付けられた１つ以上のパラメータを判定する、ことを含む、請求項１に記載の電子デバイス。
[請求項４]
前記コンテクスト情報は、ユーザ特有データ、１つ以上のオブジェクトと関連付けられたメタデータ、センサデータ、及びユーザデバイス構成データのうちの少なくとも１つを含む、請求項１に記載の電子デバイス。
[請求項５]
前記ユーザ意図が、前記検索処理を使用して前記タスクを実行することであるか又は前記オブジェクト管理処理を使用して前記タスクを実行することであるかを判定することは、
前記音声入力が前記検索処理又は前記オブジェクト管理処理を表す１つ以上のキーワードを含むかを判定することを含む、請求項１に記載の電子デバイス。
[請求項６]
前記ユーザ意図が、前記検索処理を使用して前記タスクを実行することであるか又は前記オブジェクト管理処理を使用して前記タスクを実行することであるかを判定することは、
前記タスクが検索することと関連付けられるかを判定し、
前記タスクが検索することと関連付けられるとの判定に従って、前記タスクを実行することが前記検索処理を必要とするかを判定し、
前記タスクが検索することと関連付けられていないとの判定に従って、前記タスクが少なくとも１つのオブジェクトを管理することと関連付けられているかを判定する、ことを含む、請求項１に記載の電子デバイス。
[請求項７]
前記タスクは、検索することと関連付けられ、
前記タスクを実行することが前記検索処理を必要としないとの判定に従って、
前記検索処理又は前記オブジェクト管理処理を選択するために口頭要求を出力し、
前記ユーザから、前記検索処理又は前記オブジェクト管理処理の前記選択を示す第２の音声入力を受信する、ことを更に備える、請求項６に記載の電子デバイス。
[請求項８]
前記タスクは、検索することと関連付けられ、
前記タスクを実行することが前記検索処理を必要としないとの判定に従って、所定の構成に基づいて、前記検索処理又は前記オブジェクト管理処理を使用して前記タスクが実行されるかを判定する、ことを更に備える、請求項６に記載の電子デバイス。
[請求項９]
前記タスクは、検索することと関連付けられず、
前記タスクが前記少なくとも１つのオブジェクトを管理することと関連付けられていないとの判定に従って、
タスクが前記ユーザデバイスに利用可能な第４の処理を使用して実行可能であるかを判定し、及び、
前記ユーザとのダイアログを開始する、ことのうちの少なくとも１つを実行することを更に備える、請求項６に記載の電子デバイス。
[請求項１０]
前記検索処理を使用して前記タスクを実行することは、
前記検索処理を使用して少なくとも１つのオブジェクトを検索する、ことを含む、請求項１に記載の電子デバイス。
[請求項１１]
前記少なくとも１つのオブジェクトは、フォルダ、ファイル、通信、コンタクト、カレンダー、アプリケーション、及びオンライン情報ソースのうちの少なくとも１つを含む、請求項１０に記載の電子デバイス。
[請求項１２]
前記ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含み、前記ファイルは、前記ユーザデバイスの内部又は外部に記憶され、前記フォルダ又は前記ファイルのうちの少なくとも１つを検索することは、前記フォルダ又は前記ファイルと関連付けられたメタデータに基づいている、請求項１１に記載の電子デバイス。
[請求項１３]
前記通信は、電子メール、メッセージ、通知、又はボイスメールのうちの少なくとも１つを含む、請求項１１に記載の電子デバイス。
[請求項１４]
前記通信と関連付けられたメタデータを検索することを更に含む、請求項１１に記載の電子デバイス。
[請求項１５]
前記タスクは、検索することと関連付けられ、前記オブジェクト管理処理を使用して前記タスクを実行することは、
前記オブジェクト管理処理を使用して前記少なくとも１つのオブジェクトを検索することを含む、請求項１に記載の電子デバイス。
[請求項１６]
前記少なくとも１つのオブジェクトは、フォルダ又はファイルのうちの少なくとも１つを含む、請求項１５に記載の電子デバイス。
[請求項１７]
前記ファイルは、写真、音声、又はビデオのうちの少なくとも１つを含み、前記ファイルは、前記ユーザデバイスの内部又は外部に記憶され、前記フォルダ又は前記ファイルのうちの少なくとも１つを検索することは、前記フォルダ又は前記ファイルと関連付けられたメタデータに基づいている、請求項１６に記載の電子デバイス。
[請求項１８]
前記オブジェクト管理処理を使用して前記タスクを実行することは、前記オブジェクト管理処理をインスタンス化することを含み、前記オブジェクト管理処理をインスタンス化することは、前記オブジェクト管理処理を呼び出し、前記オブジェクト管理処理の新たなインスタンスを生成し、又は前記オブジェクト管理処理の既存のインスタンスを実行することを含む、請求項１に記載の電子デバイス。
[請求項１９]
前記オブジェクト管理処理を使用して前記タスクを実行することは、
前記少なくとも１つのオブジェクトを作成し、
前記少なくとも１つのオブジェクトを記憶し、
前記少なくとも１つのオブジェクトを圧縮し、
前記少なくとも１つのオブジェクトを第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に移動し、
前記少なくとも１つのオブジェクトを第１の物理又は仮想記憶装置から第２の物理又は仮想記憶装置に複製し、
物理又は仮想記憶装置に記憶された前記少なくとも１つのオブジェクトを削除し、
物理又は仮想記憶装置に記憶された少なくとも１つのオブジェクトを復元し、
可視的である、又は前記少なくとも１つのオブジェクトのメタデータと関連付けられていることのうちの少なくとも１つである、前記少なくとも１つのオブジェクトをマーク付けし、
バックアップのための所定の期間に従って前記少なくとも１つのオブジェクトをバックアップし、及び、
前記ユーザデバイスに通信可能に接続された１つ以上の電子デバイスの間で前記少なくとも１つのオブジェクトを共有する、ことのうちの少なくとも１つを含む、請求項１に記載の電子デバイス。
[請求項２０]
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した結果に基づいて応答を提供することを更に含む、
請求項１に記載の電子デバイス。
[請求項２１]
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した前記結果に基づいて前記応答を提供することは、
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した前記結果を提供する第１のユーザインタフェースを表示し、
前記検索処理を使用して前記タスクを実行した前記結果と関連付けられたリンクを提供し、
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した前記結果に従って口頭出力を提供し、
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した前記結果を前記ユーザが操作することを可能にするアフォーダンスを提供し、及び、
前記タスクを実行した前記結果を使用して動作する第３の処理をインスタンス化する、ことのうちの少なくとも１つを含む、請求項２０に記載の電子デバイス。
[請求項２２]
検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行した前記結果に基づいて前記応答を提供することは、
信用レベルを判定し、
前記信用レベルの判定に従って前記応答を提供すること、を含む、請求項２０に記載の電子デバイス。
[請求項２３]
前記信用レベルは、
前記第１の音声入力及び前記ユーザデバイスと関連付けられたコンテクスト情報に基づいて前記ユーザ意図を判定する精度、
前記ユーザ意図は前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行するかを判定する精度、及び、
前記検索処理又は前記オブジェクト管理処理を使用して前記タスクを実行する精度、のうちの少なくとも１つを表す、請求項２２に記載の電子デバイス。
[請求項２４]
前記信用レベルの前記判定に従って前記応答を提供することは、
前記信用レベルが閾値信用レベル以上であるかを判定し、
前記信用レベルが前記閾値信用レベル以上であるとの判定に従って、第１の応答を提供し、
前記信用レベルが閾値信用レベル未満であるとの判定に従って、第２の応答を提供する、ことを含む、請求項２２に記載の電子デバイス。
[請求項２５]
１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは命令を含み、前記命令は、電子デバイスの１つ以上のプロセッサによって実行されると、前記電子デバイスに、
第１の音声入力をユーザから受信させ、
前記ユーザデバイスと関連付けられたコンテクスト情報を特定させ、
前記第１の音声入力及び前記コンテクスト情報に基づいてユーザ意図を判定させ、
前記ユーザ意図が、検索処理であって、前記検索処理は、前記ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されている、検索処理を使用してタスクを実行することであるか又はオブジェクト管理処理であって、前記オブジェクト管理処理は、前記ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている、記オブジェクト管理処理を使用してタスクを実行することであるかを判定させ、
前記ユーザ意図が前記検索処理を使用して前記タスクを実行することであるとの判定に従って、前記検索処理を使用して前記タスクを実行させ、
前記ユーザ意図が前記オブジェクト管理処理を使用して前記タスクを実行することであるとの判定に従って、前記オブジェクト管理処理を使用して前記タスクを実行させる、非一時的コンピュータ可読記憶媒体。
[請求項２６]
デジタルアシスタントサービスを提供する方法であって、
第１の音声入力をユーザから受信することと、
前記ユーザデバイスと関連付けられたコンテクスト情報を特定することと、
前記第１の音声入力及び前記コンテクスト情報に基づいてユーザ意図を判定することと、
前記ユーザ意図は、検索処理を使用してタスクを実行することであるか又はオブジェクト管理処理を使用してタスクを実行することであるかを判定することであって、
前記検索処理は、前記ユーザデバイスの内部又は外部に記憶されたデータを検索するように構成されており、前記オブジェクト管理処理は、前記ユーザデバイスと関連付けられたオブジェクトを管理するように構成されている、ことと、
前記ユーザ意図が前記検索処理を使用して前記タスクを実行することであるとの判定に従って、前記検索処理を使用して前記タスクを実行することと、
前記ユーザ意図が前記オブジェクト管理処理を使用して前記タスクを実行することであるとの判定に従って、前記オブジェクト管理処理を使用して前記タスクを実行することと、を含む、方法。
[書類名] 要約書
[要約]
デジタルアシスタントを動作させるためのシステム及び処理が提供される。一実施例では、方法は、第１の発話入力をユーザから受信することを含む。方法は、コンテクスト情報を特定することと、第１の発話入力及びコンテクスト情報に基づいてユーザ意図を判定することとを更に含む。方法は、ユーザ意図が、検索処理を使用して又はオブジェクト管理処理を使用してタスクを実行することであるかを判定することを更に含む。検索処理は、データを検索するように構成されており、オブジェクト管理処理は、オブジェクトを管理するように構成されている。方法は、ユーザ意図が検索処理を使用してタスクを実行することであるとの判定に従って、検索処理を使用してタスクを実行することと、ユーザ意図がオブジェクト管理処理を使用してタスクを実行することであるとの判定に従って、オブジェクト管理処理を使用してタスクを実行することとを更に含む。
[書類名] 図面
[図１]
Claims (30)
- デジタルアシスタントサービスを提供するための方法であって、
１つ以上のプロセッサ及びメモリを有する第１の電子デバイスであって、前記第１の電子デバイスは複数のユーザの識別情報に基づいて音声ベースのサービスを前記複数のユーザに拡張するように構成されており、前記音声ベースのサービスは第２の電子デバイス及び第３の電子デバイスのうちの１つ又は両方で提供される、第１の電子デバイスにおいて、
第１のユーザからユーザ要求を表す第１の音声入力を受信することと、
前記第１の音声入力を受信した後に、前記第１のユーザの識別情報を入手することであって、前記第１のユーザの前記識別情報は、前記第１の電子デバイスの近傍に配置されたクライアント装置である前記第３の電子デバイスとの通信に基づいて入手される、ことと
前記第１のユーザの前記識別情報に従って、前記ユーザ要求の表現を前記第２の電子デバイス又は前記第３の電子デバイスのうちの少なくとも１つに提供することと、
前記第２の電子デバイス又は前記第３の電子デバイス、又はその両方が、前記第１の電子デバイスに応答を提供するかどうかの判定に基づいて、前記第２の電子デバイス又は前記第３の電子デバイスから前記ユーザ要求への前記応答を受信することと、
前記第１のユーザへの前記応答の表現を提供することと、
を含む、方法。 - 前記第２の電子デバイスは、前記第１の電子デバイスからリモートに配置されたサーバである、請求項１に記載の方法。
- 前記ユーザ要求は、
前記第１のユーザに固有の情報に対する要求、
非ユーザ固有情報に対する要求、及び
タスクを実行する要求、
を含む、請求項１又は２に記載の方法。 - 前記ユーザ要求の前記表現を前記第２の電子デバイス又は前記第３の電子デバイスのうちの少なくとも１つに提供することは、
前記第３の電子デバイスが前記第１の電子デバイスに通信可能に結合しているか否かを判定することと、
前記第３の電子デバイスが前記第１の電子デバイスに通信可能に結合しているという判定に従って、前記ユーザ要求の前記表現を前記第２の電子デバイスではなく前記第３の電子デバイスに提供することと、
前記第３の電子デバイスが前記第１の電子デバイスに通信可能に結合していないという判定に従って、前記ユーザ要求の前記表現を前記第２の電子デバイスに提供することと、
を含む、請求項１から３のいずれか一項に記載の方法。 - 前記ユーザ要求の前記表現を前記第２の電子デバイス又は前記第３の電子デバイスのうちの少なくとも１つに提供することは、
前記ユーザ要求の前記表現を前記第３の電子デバイスではなく前記第２の電子デバイスに提供することを含む、請求項１から４のいずれか一項に記載の方法。 - 前記ユーザ要求の前記表現を前記第２の電子デバイス又は前記第３の電子デバイスのうちの少なくとも１つに提供することは、
前記ユーザ要求の前記表現を前記第２の電子デバイス及び前記第３の電子デバイスの両方に提供することを含む、請求項１から５のいずれか一項に記載の方法。 - 前記ユーザ要求の前記表現は、前記第２の電子デバイスではなく前記第３の電子デバイスに提供され、前記ユーザ要求への前記応答を受信することは、
前記第３の電子デバイスに、前記第３の電子デバイスが前記ユーザ要求への前記応答を提供することができるかどうかを判定させることと、
前記第３の電子デバイスが前記ユーザ要求への前記応答を提供することができるという判定に従って、前記第１の電子デバイスにおいて、前記第３の電子デバイスから前記ユーザ要求への前記応答を受信することと、
を含む、請求項１から６のいずれか一項に記載の方法。 - 前記第３の電子デバイスが前記ユーザ要求への前記応答を提供することができないという判定に従って、
前記第３の電子デバイスによって、前記ユーザ要求の前記表現を前記第２の電子デバイスへ転送することと、
前記第１の電子デバイスにおいて、前記第２の電子デバイスから前記ユーザ要求への前記応答を受信することと、
を更に含む、請求項７に記載の方法。 - 前記ユーザ要求の前記表現は、前記第３の電子デバイスではなく前記第２の電子デバイスに提供され、前記ユーザ要求への前記応答を受信することは、
前記第２の電子デバイスに、前記第２の電子デバイスが前記ユーザ要求への前記応答を提供することができるかどうかを判定させることと、
前記第２の電子デバイスが前記ユーザ要求への前記応答を提供することができるという判定に従って、前記第１の電子デバイスにおいて、前記第２の電子デバイスから前記ユーザ要求への前記応答を受信することと、
を含む、請求項１から６のいずれか一項に記載の方法。 - 前記第２の電子デバイスが前記ユーザ要求への前記応答を提供することができないという判定に従って、
前記第２の電子デバイスによって、前記ユーザ要求の前記表現を前記第３の電子デバイスへ転送することと、
前記第１の電子デバイスにおいて、前記ユーザ要求への前記応答を受信することと、
を更に含む、請求項９に記載の方法。 - 前記第１の電子デバイスは、前記第３の電子デバイスから前記ユーザ要求への前記応答を受信する、請求項１０に記載の方法。
- 前記第１の電子デバイスは、前記第３の電子デバイスによって前記第２の電子デバイスへ提供された応答に基づいて、前記第２の電子デバイスから前記ユーザ要求への前記応答を受信する、請求項１０に記載の方法。
- 前記ユーザ要求の前記表現は、前記第１の電子デバイスから前記第２の電子デバイス及び前記第３の電子デバイスの両方に提供され、前記ユーザ要求への前記応答を受信することは、
前記第２の電子デバイスに、前記第２の電子デバイスが前記ユーザ要求への前記応答を提供することができるかどうかを判定させることと、
前記第３の電子デバイスに、前記第３の電子デバイスが前記ユーザ要求への前記応答を提供することができるかどうかを判定させることと、
の少なくとも１つを含む、請求項１から６のいずれか一項に記載の方法。 - 前記第２の電子デバイスが前記ユーザ要求への前記応答を提供することができ、前記第３の電子デバイスが前記ユーザ要求への前記応答を提供することができないという判定に従って、
前記第１の電子デバイスにおいて、前記第２の電子デバイスから前記ユーザ要求への前記応答を受信すること、
を更に含む、請求項１３に記載の方法。 - 前記第３の電子デバイスが前記ユーザ要求への前記応答を提供することができ、前記第２の電子デバイスが前記ユーザ要求への前記応答を提供することができないという判定に従って、
前記第１の電子デバイスにおいて、前記第３の電子デバイスから前記ユーザ要求への前記応答を受信すること、
を更に含む、請求項１３に記載の方法。 - 前記第２の電子デバイス及び前記第３の電子デバイスの両方が前記ユーザ要求への前記応答を提供することができるという判定に従って、
前記第１の電子デバイスにおいて、前記第２の電子デバイス又は前記第３の電子デバイスから所定の条件に基づいて前記ユーザ要求への前記応答を受信すること、
を更に含む、請求項１３に記載の方法。 - 前記第１のユーザへの前記応答の前記表現を提供することは、
前記第１の電子デバイスにおいて、前記ユーザ要求に応じて、情報を含む音声出力を提供することを含む、請求項１から１６のいずれか一項に記載の方法。 - 前記第１のユーザへの前記応答の前記表現を提供することは、
前記第１の電子デバイスにおいて、前記ユーザ要求に従ってタスクを実行することに関連付けられた音声出力を提供することを含む、請求項１から１６のいずれか一項に記載の方法。 - 前記タスクは、
前記第３の電子デバイス、
前記第１の電子デバイス及び前記第３の電子デバイス、又は
前記第１の電子デバイス、前記第３の電子デバイス、及び１つ以上の追加の電子デバイス、
によって実行される請求項１８に記載の方法。 - 前記第１のユーザへの前記応答の前記表現を提供する前に、
前記応答の前記表現が前記第１の電子デバイスによって提供されるべきか否かを判定することと、
前記応答の前記表現が前記第１の電子デバイスによって提供されるべきという判定に従って、前記第１の電子デバイスによって前記第１のユーザへの前記応答の前記表現を提供することと、
前記応答の前記表現が前記第１の電子デバイスによって提供されるべきではないという判定に従って、前記応答を１つ以上の追加の電子デバイスに転送することと、
を含む、請求項１から１９のいずれか一項に記載の方法。 - 前記応答が前記第１の電子デバイスによって提供されるべきか否かの判定は、
前記ユーザ要求、及び
前記ユーザの場所を検出するか又は前記ユーザの動きをトラッキングするかの少なくとも１つ、
のうちの少なくとも１つに基づく、請求項２０に記載の方法。 - 前記ユーザ要求の前記表現を前記第２の電子デバイス又は前記第３の電子デバイスのうちの少なくとも１つに提供する前に、
前記第１の電子デバイスと、前記第２の電子デバイス又は前記第３の電子デバイスのうちの少なくとも１つとの間に接続を確立することを更に含む、請求項１から２１のいずれか一項に記載の方法。 - 前記接続を確立することは、前記第１の電子デバイスから所定の距離内にある前記第３の電子デバイスを検出することに基づく、請求項２２に記載の方法。
- 前記第１の電子デバイスと前記第３の電子デバイスとの間の接続を確立することであって、前記第３の電子デバイスが前記第１のユーザと関連付けられている、ことと、
前記第１の電子デバイスと第４の電子デバイスとの間の接続を確立することであって、前記第４の電子デバイスが第２のユーザと関連付けられている、ことと、
を更に含む、請求項２２から２３のいずれか一項に記載の方法。 - 前記第１の電子デバイスと１つ以上の追加の電子デバイスとの間の１つ以上の接続を確立することであって、前記追加の電子デバイスが前記第１の電子デバイスと同じタイプのデバイスである、ことを更に含む、請求項１から２４のいずれか一項に記載の方法。
- 前記第１の電子デバイスによって前記第１のユーザに前記応答を提供する間に、
前記応答が異なる電子デバイスにおいて継続的に提供されるべきかどうかを判定することと、
前記応答が異なる電子デバイスにおいて継続的に提供されるべきであるという判定に従って、前記第３の電子デバイス又は１つ以上の追加の電子デバイスのうちの少なくとも１つによって継続的に前記応答を提供させることと、
を更に含む、請求項１から２５のいずれか一項に記載の方法。 - 前記応答が異なる電子デバイスにおいて継続的に提供されるべきかどうかの前記判定は、前記第１の電子デバイスに対する前記第１のユーザの場所の変動が所定の条件を満たすかどうかを検出することに基づく、請求項２６に記載の方法。
- 請求項１から２７のいずれか一項に記載の方法の各ステップを実行する命令を備えるコンピュータプログラム。
- 請求項２８に記載のコンピュータプログラムを記憶するメモリと、
前記メモリに格納された命令を実行可能な１つ以上のプロセッサと、
を備える、第１の電子デバイス。 - 請求項１から２７のいずれか一項に記載の方法を実行する手段を備える、第１の電子デバイス。
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762507151P | 2017-05-16 | 2017-05-16 | |
| US62/507,151 | 2017-05-16 | ||
| DKPA201770434 | 2017-06-02 | ||
| DKPA201770435A DK179560B1 (en) | 2017-05-16 | 2017-06-02 | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| DKPA201770434A DK179549B1 (en) | 2017-05-16 | 2017-06-02 | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| DKPA201770435 | 2017-06-02 | ||
| US15/679,108 | 2017-08-16 | ||
| US15/679,108 US11217255B2 (en) | 2017-05-16 | 2017-08-16 | Far-field extension for digital assistant services |
| PCT/US2018/032919 WO2018213415A1 (en) | 2017-05-16 | 2018-05-16 | Far-field extension for digital assistant services |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019001345A Division JP6738445B2 (ja) | 2017-05-16 | 2019-01-08 | デジタルアシスタントサービスの遠距離拡張 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6606301B1 true JP6606301B1 (ja) | 2019-11-13 |
| JP2019535048A JP2019535048A (ja) | 2019-12-05 |
Family
ID=64274809
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018567925A Active JP6606301B1 (ja) | 2017-05-16 | 2018-05-16 | デジタルアシスタントサービスの遠距離拡張 |
| JP2019001345A Active JP6738445B2 (ja) | 2017-05-16 | 2019-01-08 | デジタルアシスタントサービスの遠距離拡張 |
| JP2020123111A Active JP7037602B2 (ja) | 2017-05-16 | 2020-07-17 | デジタルアシスタントサービスの遠距離拡張 |
| JP2022033719A Active JP7379562B2 (ja) | 2017-05-16 | 2022-03-04 | デジタルアシスタントサービスの遠距離拡張 |
| JP2023187807A Pending JP2024020278A (ja) | 2017-05-16 | 2023-11-01 | デジタルアシスタントサービスの遠距離拡張 |
Family Applications After (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019001345A Active JP6738445B2 (ja) | 2017-05-16 | 2019-01-08 | デジタルアシスタントサービスの遠距離拡張 |
| JP2020123111A Active JP7037602B2 (ja) | 2017-05-16 | 2020-07-17 | デジタルアシスタントサービスの遠距離拡張 |
| JP2022033719A Active JP7379562B2 (ja) | 2017-05-16 | 2022-03-04 | デジタルアシスタントサービスの遠距離拡張 |
| JP2023187807A Pending JP2024020278A (ja) | 2017-05-16 | 2023-11-01 | デジタルアシスタントサービスの遠距離拡張 |
Country Status (6)
| Country | Link |
|---|---|
| EP (4) | EP4047600A3 (ja) |
| JP (5) | JP6606301B1 (ja) |
| KR (4) | KR102100742B1 (ja) |
| CN (4) | CN110021300B (ja) |
| AU (5) | AU2018271099B2 (ja) |
| WO (1) | WO2018213415A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220068276A1 (en) * | 2020-09-01 | 2022-03-03 | Sharp Kabushiki Kaisha | Information processor, print system, and control method |
Families Citing this family (122)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US9954996B2 (en) | 2007-06-28 | 2018-04-24 | Apple Inc. | Portable electronic device with conversation management for incoming instant messages |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US10255566B2 (en) | 2011-06-03 | 2019-04-09 | Apple Inc. | Generating and processing task items that represent tasks to perform |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10706096B2 (en) | 2011-08-18 | 2020-07-07 | Apple Inc. | Management of local and remote media items |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| DE112014000709B4 (de) | 2013-02-07 | 2021-12-30 | Apple Inc. | Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| EP3937002A1 (en) | 2013-06-09 | 2022-01-12 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| DE112014003653B4 (de) | 2013-08-06 | 2024-04-18 | Apple Inc. | Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| TWI566107B (zh) | 2014-05-30 | 2017-01-11 | 蘋果公司 | 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置 |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| EP3149554B1 (en) | 2014-05-30 | 2024-05-01 | Apple Inc. | Continuity |
| US9185062B1 (en) | 2014-05-31 | 2015-11-10 | Apple Inc. | Message user interfaces for capture and transmittal of media and location content |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| WO2016036510A1 (en) | 2014-09-02 | 2016-03-10 | Apple Inc. | Music user interface |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
| US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
| US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
| US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
| US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
| DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
| CN111343060B (zh) | 2017-05-16 | 2022-02-11 | 苹果公司 | 用于家庭媒体控制的方法和界面 |
| US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
| US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
| DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US20220279063A1 (en) | 2017-05-16 | 2022-09-01 | Apple Inc. | Methods and interfaces for home media control |
| US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
| EP3769510A1 (en) | 2018-05-07 | 2021-01-27 | Apple Inc. | User interfaces for viewing live video feeds and recorded video |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| DK201870364A1 (en) | 2018-05-07 | 2019-12-03 | Apple Inc. | MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE |
| DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
| DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
| CN109378006B (zh) * | 2018-12-28 | 2022-09-16 | 三星电子（中国）研发中心 | 一种跨设备声纹识别方法及系统 |
| WO2020153736A1 (en) | 2019-01-23 | 2020-07-30 | Samsung Electronics Co., Ltd. | Method and device for speech recognition |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| JP7259446B2 (ja) * | 2019-03-20 | 2023-04-18 | 沖電気工業株式会社 | 音声処理装置、エージェントシステム、プログラム、および、音声処理方法 |
| US11482215B2 (en) | 2019-03-27 | 2022-10-25 | Samsung Electronics Co., Ltd. | Multi-modal interaction with intelligent assistants in voice command devices |
| US11538482B2 (en) | 2019-04-25 | 2022-12-27 | Lg Electronics Inc. | Intelligent voice enable device searching method and apparatus thereof |
| WO2020222988A1 (en) | 2019-04-30 | 2020-11-05 | Apple Inc. | Utilizing context information with an electronic device |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
| US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
| DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
| WO2020231181A1 (en) | 2019-05-16 | 2020-11-19 | Samsung Electronics Co., Ltd. | Method and device for providing voice recognition service |
| US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
| DK201970533A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Methods and user interfaces for sharing audio |
| US11620103B2 (en) | 2019-05-31 | 2023-04-04 | Apple Inc. | User interfaces for audio media control |
| US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
| DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
| US11363071B2 (en) | 2019-05-31 | 2022-06-14 | Apple Inc. | User interfaces for managing a local network |
| US10996917B2 (en) | 2019-05-31 | 2021-05-04 | Apple Inc. | User interfaces for audio media control |
| US10802843B1 (en) | 2019-05-31 | 2020-10-13 | Apple Inc. | Multi-user configuration |
| US11363382B2 (en) * | 2019-05-31 | 2022-06-14 | Apple Inc. | Methods and user interfaces for audio synchronization |
| WO2020242493A1 (en) * | 2019-05-31 | 2020-12-03 | Google Llc | Dynamically assigning multi-modality circumstantial data to assistant action requests for correlating with subsequent requests |
| US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
| US10904029B2 (en) | 2019-05-31 | 2021-01-26 | Apple Inc. | User interfaces for managing controllable external devices |
| DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
| US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
| US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| WO2020251101A1 (ko) * | 2019-06-14 | 2020-12-17 | 엘지전자 주식회사 | 사용자의 동선을 결정하는 인공 지능 장치 및 그 방법 |
| US20210405148A1 (en) * | 2019-06-14 | 2021-12-30 | Lg Electronics Inc. | An artificial intelligence apparatus for providing service based on path of user and method for the same |
| KR20210015428A (ko) | 2019-08-02 | 2021-02-10 | 삼성전자주식회사 | 사용자 인터페이스를 제공하는 전자 장치 및 방법 |
| CN110557741B (zh) * | 2019-08-05 | 2021-08-13 | 华为技术有限公司 | 终端交互的方法及终端 |
| KR20210024861A (ko) * | 2019-08-26 | 2021-03-08 | 삼성전자주식회사 | 대화 서비스를 제공하는 방법 및 전자 디바이스 |
| US20220343909A1 (en) * | 2019-09-06 | 2022-10-27 | Lg Electronics Inc. | Display apparatus |
| US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
| US11550598B2 (en) | 2019-12-13 | 2023-01-10 | Google Llc | Systems and methods for adding digital content during an application opening operation |
| US20210191779A1 (en) * | 2019-12-18 | 2021-06-24 | Google Llc | Operating system level distributed ambient computing |
| JP7508787B2 (ja) * | 2020-02-04 | 2024-07-02 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、命令実行サーバ、命令実行方法、命令実行プログラム、データサーバ、データ処理方法およびデータ処理プログラム |
| CN111444761B (zh) * | 2020-02-21 | 2023-05-30 | 云知声智能科技股份有限公司 | 一种提高叫醒率的方法及装置 |
| CN113409797A (zh) * | 2020-03-16 | 2021-09-17 | 阿里巴巴集团控股有限公司 | 语音处理方法和系统、及语音交互设备和方法 |
| US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
| US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
| US11079913B1 (en) | 2020-05-11 | 2021-08-03 | Apple Inc. | User interface for status indicators |
| US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
| US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
| US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
| US11798546B2 (en) | 2020-08-14 | 2023-10-24 | Google Llc | Transient personalization mode for guest users of an automated assistant |
| US11392291B2 (en) | 2020-09-25 | 2022-07-19 | Apple Inc. | Methods and interfaces for media control with dynamic feedback |
| EP4222613A1 (en) * | 2020-09-30 | 2023-08-09 | Oracle International Corporation | Automatic out of scope transition for chatbot |
| WO2022102893A1 (ko) * | 2020-11-11 | 2022-05-19 | 삼성전자주식회사 | 전자 장치, 시스템 및 그 제어 방법 |
| CN112802475A (zh) * | 2020-12-30 | 2021-05-14 | 厦门市美亚柏科信息股份有限公司 | 基于语音识别的应用自动登录方法及计算机可读存储介质 |
| CN114844732B (zh) * | 2021-01-30 | 2023-06-20 | 华为技术有限公司 | 一种会议接入方法及电子设备 |
| US11431891B2 (en) | 2021-01-31 | 2022-08-30 | Apple Inc. | User interfaces for wide angle video conference |
| WO2022168603A1 (ja) * | 2021-02-05 | 2022-08-11 | 株式会社ワコム | 画像描画方法 |
| EP4057165B1 (de) * | 2021-03-11 | 2024-07-17 | Deutsche Telekom AG | Sprachassistenzsteuerung |
| US11893214B2 (en) | 2021-05-15 | 2024-02-06 | Apple Inc. | Real-time communication user interface |
| US20220368548A1 (en) | 2021-05-15 | 2022-11-17 | Apple Inc. | Shared-content session user interfaces |
| US11907605B2 (en) | 2021-05-15 | 2024-02-20 | Apple Inc. | Shared-content session user interfaces |
| US11960615B2 (en) | 2021-06-06 | 2024-04-16 | Apple Inc. | Methods and user interfaces for voice-based user profile management |
| US12021806B1 (en) | 2021-09-21 | 2024-06-25 | Apple Inc. | Intelligent message delivery |
| US11770600B2 (en) | 2021-09-24 | 2023-09-26 | Apple Inc. | Wide angle video conference |
| US12111875B2 (en) * | 2022-12-14 | 2024-10-08 | Google Llc | Pairing user headphones with a location-based automated assistant |
| WO2024172806A1 (en) * | 2023-02-13 | 2024-08-22 | Cerence Operating Company | Extravehicular speech interface for automotive assistant |
Family Cites Families (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3275840B2 (ja) * | 1998-08-12 | 2002-04-22 | 日本電気株式会社 | 機器操作システム及び方法、並びに記録媒体 |
| JP3724234B2 (ja) * | 1998-12-22 | 2005-12-07 | カシオ計算機株式会社 | 情報配信装置および記録媒体 |
| US7606712B1 (en) * | 2001-06-28 | 2009-10-20 | At&T Intellectual Property Ii, L.P. | Speech recognition interface for voice actuation of legacy systems |
| US8831949B1 (en) * | 2001-06-28 | 2014-09-09 | At&T Intellectual Property I, L.P. | Voice recognition for performing authentication and completing transactions in a systems interface to legacy systems |
| AU2003211970A1 (en) * | 2002-02-13 | 2003-09-04 | Matsushita Electric Industrial Co., Ltd. | Information providing apparatus, provided information presenting apparatus, and information providing method |
| EP1511277A1 (en) * | 2003-08-29 | 2005-03-02 | Swisscom AG | Method for answering an incoming event with a phone device, and adapted phone device |
| CA2618623C (en) * | 2005-08-09 | 2015-01-06 | Mobilevoicecontrol, Inc. | Control center for a voice controlled wireless communication device system |
| US7949529B2 (en) * | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
| US20070156400A1 (en) * | 2006-01-03 | 2007-07-05 | Wheeler Mark R | System and method for wireless dictation and transcription |
| US8015014B2 (en) * | 2006-06-16 | 2011-09-06 | Storz Endoskop Produktions Gmbh | Speech recognition system with user profiles management component |
| US20080071544A1 (en) * | 2006-09-14 | 2008-03-20 | Google Inc. | Integrating Voice-Enabled Local Search and Contact Lists |
| US20090030685A1 (en) * | 2007-03-07 | 2009-01-29 | Cerra Joseph P | Using speech recognition results based on an unstructured language model with a navigation system |
| US8977255B2 (en) * | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| JP4412504B2 (ja) * | 2007-04-17 | 2010-02-10 | 本田技研工業株式会社 | 音声認識装置、音声認識方法、及び音声認識用プログラム |
| US8099289B2 (en) * | 2008-02-13 | 2012-01-17 | Sensory, Inc. | Voice interface and search for electronic devices including bluetooth headsets and remote systems |
| US8370148B2 (en) * | 2008-04-14 | 2013-02-05 | At&T Intellectual Property I, L.P. | System and method for answering a communication notification |
| WO2010105246A2 (en) * | 2009-03-12 | 2010-09-16 | Exbiblio B.V. | Accessing resources based on capturing information from a rendered document |
| US20100263015A1 (en) * | 2009-04-09 | 2010-10-14 | Verizon Patent And Licensing Inc. | Wireless Interface for Set Top Box |
| US20150294377A1 (en) * | 2009-05-30 | 2015-10-15 | Edmond K. Chow | Trust network effect |
| EP2339576B1 (en) * | 2009-12-23 | 2019-08-07 | Google LLC | Multi-modal input on an electronic device |
| US8352576B2 (en) * | 2010-11-15 | 2013-01-08 | Google Inc. | Media file access |
| US9493130B2 (en) * | 2011-04-22 | 2016-11-15 | Angel A. Penilla | Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input |
| US8468022B2 (en) * | 2011-09-30 | 2013-06-18 | Google Inc. | Voice control for asynchronous notifications |
| EP2608610A1 (en) * | 2011-12-22 | 2013-06-26 | France Telecom | Method for notifying a user of a device of the occurrence of an event |
| US10417037B2 (en) * | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| WO2014142702A1 (en) | 2013-03-15 | 2014-09-18 | Obschestvo S Ogranichennoy Otvetstvennostiyu "Speaktoit" | Selective speech recognition for chat and digital personal assistant systems |
| US9190057B2 (en) * | 2012-12-12 | 2015-11-17 | Amazon Technologies, Inc. | Speech model retrieval in distributed speech recognition systems |
| CN103078995A (zh) * | 2012-12-18 | 2013-05-01 | 苏州思必驰信息科技有限公司 | 一种在移动终端使用的可定制的个性化应答方法和系统 |
| US9530409B2 (en) * | 2013-01-23 | 2016-12-27 | Blackberry Limited | Event-triggered hands-free multitasking for media playback |
| EP2760015A1 (en) * | 2013-01-23 | 2014-07-30 | BlackBerry Limited | Event-triggered hands-free multitasking for media playback |
| JP6115152B2 (ja) * | 2013-01-29 | 2017-04-19 | コニカミノルタ株式会社 | 情報処理システム、情報処理装置、情報処理端末及びプログラム |
| US9672822B2 (en) * | 2013-02-22 | 2017-06-06 | Next It Corporation | Interaction with a portion of a content item through a virtual assistant |
| US9472205B2 (en) * | 2013-05-06 | 2016-10-18 | Honeywell International Inc. | Device voice recognition systems and methods |
| KR102369784B1 (ko) * | 2013-06-07 | 2022-03-03 | 애플 인크. | 지능형 자동 어시스턴트 |
| USRE49014E1 (en) | 2013-06-19 | 2022-04-05 | Panasonic Intellectual Property Corporation Of America | Voice interaction method, and device |
| KR101506510B1 (ko) * | 2013-10-10 | 2015-03-30 | 송철호 | 음성인식 홈 네트워크 시스템 |
| US9698999B2 (en) * | 2013-12-02 | 2017-07-04 | Amazon Technologies, Inc. | Natural language control of secondary device |
| US9431021B1 (en) * | 2014-03-27 | 2016-08-30 | Amazon Technologies, Inc. | Device grouping for audio based interactivity |
| US8995972B1 (en) * | 2014-06-05 | 2015-03-31 | Grandios Technologies, Llc | Automatic personal assistance between users devices |
| US9462112B2 (en) * | 2014-06-19 | 2016-10-04 | Microsoft Technology Licensing, Llc | Use of a digital assistant in communications |
| US9632748B2 (en) * | 2014-06-24 | 2017-04-25 | Google Inc. | Device designation for audio input monitoring |
| US20150371529A1 (en) * | 2014-06-24 | 2015-12-24 | Bose Corporation | Audio Systems and Related Methods and Devices |
| WO2016017997A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Wearable glasses and method of providing content using the same |
| JP6555858B2 (ja) * | 2014-08-01 | 2019-08-07 | シャープ株式会社 | 機器、音声出力方法、音声出力プログラム、ネットワークシステム、サーバ、および通信機器 |
| KR20160023089A (ko) * | 2014-08-21 | 2016-03-03 | 엘지전자 주식회사 | 디지털 디바이스 및 그 제어 방법 |
| US10204622B2 (en) * | 2015-09-10 | 2019-02-12 | Crestron Electronics, Inc. | Acoustic sensory network |
| US10789041B2 (en) * | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| CN104202734A (zh) * | 2014-09-23 | 2014-12-10 | 酷派软件技术（深圳）有限公司 | 通知处理方法、通知处理装置和终端 |
| JP6448971B2 (ja) * | 2014-09-30 | 2019-01-09 | シャープ株式会社 | 対話装置 |
| US10235996B2 (en) * | 2014-10-01 | 2019-03-19 | XBrain, Inc. | Voice and connection platform |
| US9812128B2 (en) * | 2014-10-09 | 2017-11-07 | Google Inc. | Device leadership negotiation among voice interface devices |
| US9812126B2 (en) * | 2014-11-28 | 2017-11-07 | Microsoft Technology Licensing, Llc | Device arbitration for listening devices |
| US20170032783A1 (en) * | 2015-04-01 | 2017-02-02 | Elwha Llc | Hierarchical Networked Command Recognition |
| US20160322044A1 (en) * | 2015-04-01 | 2016-11-03 | Elwha Llc | Networked User Command Recognition |
| US20160292603A1 (en) * | 2015-04-03 | 2016-10-06 | Microsoft Technology Licensing, LLP | Capturing Notes From Passive Recording With Task Assignments |
| US20160365101A1 (en) * | 2015-06-15 | 2016-12-15 | Motorola Mobility Llc | Enabling Event Driven Voice Interaction with a Device |
| WO2016205338A1 (en) * | 2015-06-18 | 2016-12-22 | Amgine Technologies (Us), Inc. | Managing interactions between users and applications |
| US10325590B2 (en) * | 2015-06-26 | 2019-06-18 | Intel Corporation | Language model modification for local speech recognition systems using remote sources |
| US11587559B2 (en) * | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US9965247B2 (en) * | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
| US10127926B2 (en) * | 2016-06-10 | 2018-11-13 | Google Llc | Securely executing voice actions with speaker identification and authentication input types |
-
2018
- 2018-05-16 KR KR1020187038134A patent/KR102100742B1/ko active IP Right Grant
- 2018-05-16 KR KR1020227002381A patent/KR102477489B1/ko active IP Right Grant
- 2018-05-16 AU AU2018271099A patent/AU2018271099B2/en active Active
- 2018-05-16 CN CN201910065508.2A patent/CN110021300B/zh active Active
- 2018-05-16 EP EP22167039.1A patent/EP4047600A3/en active Pending
- 2018-05-16 EP EP20179164.7A patent/EP3745395B1/en active Active
- 2018-05-16 CN CN202310874581.0A patent/CN117130574A/zh active Pending
- 2018-05-16 EP EP19150939.7A patent/EP3493202B1/en active Active
- 2018-05-16 CN CN201880002639.XA patent/CN109463004B/zh active Active
- 2018-05-16 WO PCT/US2018/032919 patent/WO2018213415A1/en unknown
- 2018-05-16 EP EP18732187.2A patent/EP3459076B1/en active Active
- 2018-05-16 CN CN201910310783.6A patent/CN110021301B/zh active Active
- 2018-05-16 JP JP2018567925A patent/JP6606301B1/ja active Active
- 2018-05-16 KR KR1020197001796A patent/KR102089487B1/ko active IP Right Grant
- 2018-05-16 KR KR1020217022175A patent/KR102355966B1/ko active IP Right Grant
-
2019
- 2019-01-08 JP JP2019001345A patent/JP6738445B2/ja active Active
- 2019-01-17 AU AU2019200295A patent/AU2019200295B2/en active Active
- 2019-05-14 AU AU2019203392A patent/AU2019203392B2/en active Active
-
2020
- 2020-02-28 AU AU2020201470A patent/AU2020201470B2/en active Active
- 2020-07-17 JP JP2020123111A patent/JP7037602B2/ja active Active
-
2021
- 2021-08-20 AU AU2021218193A patent/AU2021218193B2/en active Active
-
2022
- 2022-03-04 JP JP2022033719A patent/JP7379562B2/ja active Active
-
2023
- 2023-11-01 JP JP2023187807A patent/JP2024020278A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220068276A1 (en) * | 2020-09-01 | 2022-03-03 | Sharp Kabushiki Kaisha | Information processor, print system, and control method |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6606301B1 (ja) | デジタルアシスタントサービスの遠距離拡張 | |
| KR102279647B1 (ko) | 디지털 어시스턴트 서비스의 원거리 확장 | |
| JP6641517B2 (ja) | マルチタスキング環境におけるインテリジェントデジタルアシスタント |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181226 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181226 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20181226 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190607 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190920 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191017 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6606301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |