JP7460801B2 - 身体活動イベントを追跡するためのユーザインタフェース - Google Patents
身体活動イベントを追跡するためのユーザインタフェース Download PDFInfo
- Publication number
- JP7460801B2 JP7460801B2 JP2022573764A JP2022573764A JP7460801B2 JP 7460801 B2 JP7460801 B2 JP 7460801B2 JP 2022573764 A JP2022573764 A JP 2022573764A JP 2022573764 A JP2022573764 A JP 2022573764A JP 7460801 B2 JP7460801 B2 JP 7460801B2
- Authority
- JP
- Japan
- Prior art keywords
- physical activity
- event
- user
- detecting
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000037081 physical activity Effects 0.000 title claims description 188
- 238000000034 method Methods 0.000 claims description 136
- 238000005406 washing Methods 0.000 claims description 109
- 230000033001 locomotion Effects 0.000 claims description 107
- 230000004044 response Effects 0.000 claims description 73
- 230000001953 sensory effect Effects 0.000 claims description 72
- 230000015654 memory Effects 0.000 claims description 62
- 230000036541 health Effects 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 111
- 238000004891 communication Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 51
- 238000001514 detection method Methods 0.000 description 49
- 238000005201 scrubbing Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 33
- 238000013499 data model Methods 0.000 description 32
- 238000003860 storage Methods 0.000 description 30
- 210000004247 hand Anatomy 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 28
- 230000002093 peripheral effect Effects 0.000 description 27
- 230000000007 visual effect Effects 0.000 description 22
- 238000012549 training Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 20
- 230000000977 initiatory effect Effects 0.000 description 20
- 238000007726 management method Methods 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 11
- 230000003993 interaction Effects 0.000 description 11
- 241000699666 Mus <mouse, genus> Species 0.000 description 10
- 230000001976 improved effect Effects 0.000 description 8
- 238000009499 grossing Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 4
- 230000009172 bursting Effects 0.000 description 4
- 230000021317 sensory perception Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0076—Body hygiene; Dressing; Knot tying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Technology (AREA)
- Dentistry (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physical Education & Sports Medicine (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
（関連出願の相互参照）
本出願は、２０２０年６月２日出願の「ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ ＦＯＲ ＴＲＡＣＫＩＮＧ ＯＦ ＰＨＹＳＩＣＡＬ ＡＣＴＩＶＩＴＹ ＥＶＥＮＴＳ」と題された米国仮特許出願第６３／０３３，８１４号に対する優先権を主張するものであり、その内容全体は、参照により本明細書に組み込まれる。
本出願は、２０２０年６月２日出願の「ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ ＦＯＲ ＴＲＡＣＫＩＮＧ ＯＦ ＰＨＹＳＩＣＡＬ ＡＣＴＩＶＩＴＹ ＥＶＥＮＴＳ」と題された米国仮特許出願第６３／０３３，８１４号に対する優先権を主張するものであり、その内容全体は、参照により本明細書に組み込まれる。
本出願は、２０１９年８月２６日出願の「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＩＮＤＩＶＩＤＵＡＬ ＨＥＡＬＴＨ ＲＥＬＡＴＥＤ ＥＶＥＮＴＳ」と題された米国仮特許出願第６２／８９１，９４４号、および２０２０年８月１４日に出願され、２０２１年３月４日に米国特許出願公開第２０２１－００６３４３４（Ａ１）号として公開された「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＩＮＤＩＶＩＤＵＡＬ ＨＥＡＬＴＨ ＲＥＬＡＴＥＤ ＥＶＥＮＴＳ」と題された米国特許出願第１６／９９４，５２４号に関連し、これらの特許出願は、それらの全体があらゆる全ての目的のために参照により本明細書に組み込まれ、図１～図６および付随する開示内容を含むが、これらに限定されない。
本開示は、概して、コンピュータユーザインタフェースに関し、より具体的には、身体活動イベントの実行を追跡するための技術に関する。
コンピュータシステムは、身体活動を追跡するためのアプリケーションを含むことができる。そのようなシステムは、そのような追跡のためのセンサを含み、採用することができる。
電子デバイスを使用して身体活動イベントの実行を追跡するためのいくつかの技術は、概して煩雑かつ非効率的である。例えば、一部の技術では、複数回のキー押下または打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。そのような技術は、必要以上の時間を要し、ユーザの時間およびデバイスのエネルギーを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、本技術は、身体活動イベントの実行を追跡するための、より速く、より効率的な方法およびインタフェースを有する電子デバイスを提供する。そのような方法およびインタフェースは、任意選択的に、身体活動イベントの実行を追跡する他の方法を補完するまたは置き換える。そのような方法およびインタフェースは、ユーザにかかる認識的負担を低減し、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法およびインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。
いくつかの実施形態によれば、１つ以上の知覚出力生成構成要素および１つ以上のセンサと通信するコンピュータシステムにおいて実行される方法が記載される。この方法は、１つ以上のセンサによって、コンピュータシステムのユーザが第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出することと、コンピュータシステムのユーザが第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出したことに応じて、特定の持続時間のタイマーを開始することと、１つ以上の知覚出力生成構成要素を用いて、特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを出力することと、第１のタイマーを開始した後に、第１のタイプの身体活動が進行中であるとの判定に従って、特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを出力し続けることと、１つ以上の終了基準のセットが満たされたことを検出することと、１つ以上の終了基準のセットが満たされたことを検出したことに応じて、第１のタイプの身体活動が少なくとも特定の持続時間にわたって継続したことに基づいて１つ以上の終了基準のセットが満たされたとの判定に従って、１つ以上の知覚出力生成構成要素を用いて、第１のタイプの身体活動が特定の持続時間にわたって検出されたことを示す第２の知覚フィードバックを出力することと、を含む。
いくつかの実施形態によれば、１つ以上の知覚出力生成構成要素および１つ以上のセンサと通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体が記載される。１つ以上のプログラムは、１つ以上のセンサによって、コンピュータシステムのユーザが第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出し、コンピュータシステムのユーザが第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出したことに応じて、特定の持続時間のタイマーを開始し、１つ以上の知覚出力生成構成要素を用いて、特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを出力し、第１のタイマーを開始した後に、第１のタイプの身体活動が進行中であるとの判定に従って、特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを出力し続け、１つ以上の終了基準のセットが満たされたことを検出し、１つ以上の終了基準のセットが満たされたことを検出したことに応じて、第１のタイプの身体活動が少なくとも特定の持続時間にわたって継続したことに基づいて１つ以上の終了基準のセットが満たされたとの判定に従って、１つ以上の知覚出力生成構成要素を用いて、第１のタイプの身体活動が特定の持続時間にわたって検出されたことを示す第２の知覚フィードバックを出力する、命令を含む。
いくつかの実施形態によれば、１つ以上の知覚出力生成構成要素および１つ以上のセンサと通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する一時的コンピュータ可読記憶媒体が記載される。１つ以上のプログラムは、１つ以上のセンサによって、コンピュータシステムのユーザが第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出し、コンピュータシステムのユーザが第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出したことに応じて、特定の持続時間のタイマーを開始し、１つ以上の知覚出力生成構成要素を用いて、特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを出力し、第１のタイマーを開始した後に、第１のタイプの身体活動が進行中であるとの判定に従って、特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを出力し続け、１つ以上の終了基準のセットが満たされたことを検出し、１つ以上の終了基準のセットが満たされたことを検出したことに応じて、第１のタイプの身体活動が少なくとも特定の持続時間にわたって継続したことに基づいて１つ以上の終了基準のセットが満たされたとの判定に従って、１つ以上の知覚出力生成構成要素を用いて、第１のタイプの身体活動が特定の持続時間にわたって検出されたことを示す第２の知覚フィードバックを出力する、命令を含む。
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、１つ以上の知覚出力生成構成要素と、１つ以上のセンサと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含む。１つ以上のプログラムは、１つ以上のセンサによって、コンピュータシステムのユーザが第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出し、コンピュータシステムのユーザが第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出したことに応じて、特定の持続時間のタイマーを開始し、１つ以上の知覚出力生成構成要素を用いて、特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを出力し、第１のタイマーを開始した後に、第１のタイプの身体活動が進行中であるとの判定に従って、特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを出力し続け、１つ以上の終了基準のセットが満たされたことを検出し、１つ以上の終了基準のセットが満たされたことを検出したことに応じて、第１のタイプの身体活動が少なくとも特定の持続時間にわたって継続したことに基づいて１つ以上の終了基準のセットが満たされたとの判定に従って、１つ以上の知覚出力生成構成要素を用いて、第１のタイプの身体活動が特定の持続時間にわたって検出されたことを示す第２の知覚フィードバックを出力する、命令を含む。
いくつかの実施形態によれば、１つ以上の知覚出力生成構成要素および１つ以上のセンサを含むコンピュータシステムが記載される。コンピュータシステムはまた、１つ以上のセンサによって、コンピュータシステムのユーザが第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出する手段と、コンピュータシステムのユーザが第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出したことに応じて、特定の持続時間のタイマーを開始し、１つ以上の知覚出力生成構成要素を用いて、特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを出力する、手段と、第１のタイマーを開始した後に、第１のタイプの身体活動が進行中であるとの判定に従って、特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを出力し続け、１つ以上の終了基準のセットが満たされたことを検出し、１つ以上の終了基準のセットが満たされたことを検出したことに応じて、第１のタイプの身体活動が少なくとも特定の持続時間にわたって継続したことに基づいて１つ以上の終了基準のセットが満たされたとの判定に従って、１つ以上の知覚出力生成構成要素を用いて、第１のタイプの身体活動が特定の持続時間にわたって検出されたことを示す第２の知覚フィードバックを出力する、手段と、を含む。
これらの機能を実行する実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるために構成された非一時的コンピュータ可読記憶媒体または他のコンピュータプログラム製品内に含まれる。これらの機能を実行する実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるために構成された一時的コンピュータ可読記憶媒体または他のコンピュータプログラム製品内に含まれる。
したがって、身体活動イベントの実行を追跡するための、より速く、より効率的な方法およびインタフェースを備えたデバイスが提供され、それにより、そのようなデバイスによる有効性、効率、およびユーザ満足度が増す。そのような方法およびインタフェースは、身体活動イベントの実行を追跡する他の方法を補完するまたは置き換えることができる。
これは、動きセンサおよびオーディオセンサを含む複数のセンサに基づいて個々の健康関連イベント（例えば、手洗いイベント）を検出することに関する。認定手洗いイベントを検出することは、動きデータ（例えば、加速度計データ）に基づいて、認定こすり洗いイベントを検出することと、オーディオデータに基づいて、認定すすぎイベントを検出することと、を含むことができる。いくつかの実施例では、１つ以上の省電力軽減を実装することによって、電力消費を低減することができる。いくつかの実施例では、動きデータの取得および処理を使用して、オーディオデータの取得および／または処理をトリガすることができる。いくつかの実施例では、低電力プロセッサによる動きデータの処理を使用して、別のプロセッサ（例えば、ホストプロセッサ）によるオーディオデータの取得および／または処理をトリガすることができる。いくつかの実施例では、取得されたデータの品質および／または取得されたデータストリームの処理の品質は、１つ以上のトリガに基づいて変更することができる。いくつかの実施例では、本明細書に記載のトリガ（単数または複数）は、デバイスの１つ以上の電力に関連する状態に基づいて、動的に調整することができる（例えば、処理／電力消費を低減するために、高めることができる）。
本明細書で論じられるように、個々の健康関連イベントを検出することは、手洗いイベントを検出すること（例えば、手を洗っているとシステムが見なす入力を検出すること）を含むことができる。手洗いイベントは、こすり洗いイベント（例えば、手を合わせてこすり洗いしているとシステムが見なす入力を検出すること）およびすすぎイベント（例えば、水で手をすすいでいるとシステムが見なす入力を検出すること）を含むことができる。本明細書で使用されるとき、認定イベントとは、システムの１つ以上の基準セットを満たすイベントを指す。例えば、動きデータに基づいて（例えば、それを使用して）認定こすり洗いイベントを検出することは、持続時間基準、振幅基準、速度基準などを含む１つ以上の基準を満たす動きデータを検出することを含むことができる。１つ以上の基準は、手を合わせてこすり洗いすることに関連付けられた動きを他の動き（例えば、手首を持ち上げること、腕を振ること、様々な運動、座ること、タイピングすることなど）と区別するように設定することができる。同様に、オーディオデータに基づいて（例えば、それを使用して）認定すすぎイベントを検出することは、持続時間基準、振幅基準、周波数成分基準などを含む１つ以上の基準を満たすオーディオデータを検出することを含むことができる。１つ以上の基準は、手をすすぐことに関連付けられたオーディオを他のオーディオ（例えば、環境音、交通、風など）と区別するように設定することができる。いくつかの実施例では、認定手洗いイベントを検出することは、１つ以上の基準を満たすことを含むことができる。１つ以上の基準は、認定こすり洗いイベントを検出することの閾値期間内（例えば、３０秒以内、Ｉ分以内など）の認定すすぎイベントを検出することを含むことができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、むしろ例示的な実施形態の説明として提供されることを認識されたい。
手洗いイベントなどの身体活動イベントの実行を追跡し、かつ特定の状況で身体活動イベントを実行するようにユーザにリマインドするための効率的な方法およびインタフェースを提供する電子デバイスが必要である。そのような技術は、身体活動イベントを実行するまたは身体活動イベントの実行を追跡する必要があるユーザの認識的負担を低減し、それによって生産性を高めることができる。さらに、そのような技術は、普通なら冗長なユーザ入力に浪費されるプロセッサおよびバッテリの電力を低減することができる。
以下、図１Ａ～図１Ｂ、図２、図３、図４Ａ～図４Ｂ、および図５Ａ～図５Ｂは、身体活動イベントの実行を追跡するための技術を実行するための例示的なデバイスの説明を提供する。図６Ａ～図６Ｗは、身体活動イベントの実行を追跡するための例示的なユーザインタフェースを示す。図７Ａ～図７Ｃは、いくつかの実施形態に係る、身体活動イベントの実行を追跡する方法を示すフロー図である。図６Ａ～図６Ｗのユーザインタフェースは、図７Ａ～図７Ｄのプロセスを含む、後述するプロセスを例示するために使用される。さらに、図１ＡＺ～図１ＢＺ、図２Ｚ～図６Ｚは、本開示の実施例に係る、１つ以上のセンサに基づいて個々の健康関連イベントを検出するための例示的なシステムおよびプロセスを提供する。
加えて、１つ以上の条件が満たされたことに１つ以上のステップが依存する本明細書に記載の方法では、記載された方法は、複数回繰り返して繰り返すことができ、これにより、繰り返しの過程にわたって、方法のステップが依存する条件の全ては、方法の異なる繰り返しで満たされていることを理解されたい。例えば、方法が、条件が満たされる場合に第１のステップを実行することを必要とし、かつ条件が満たされない場合に第２のステップを実行することを必要とする場合、当業者は、特定の順序ではなく、条件が満たされるまで、および満たされなくなるまでの両方で、特許請求されるステップが繰り返されることを理解するであろう。したがって、１つ以上の条件が満たされたことに依存する１つ以上のステップで説明される方法は、方法に記載された条件のそれぞれが満たされるまで繰り返される方法として書き換えることができる。しかしながら、これは、システムまたはコンピュータ可読媒体が対応する１つ以上の条件の満足に基づいて依存する動作を実行する命令を含み、したがって、方法のステップが依存する条件の全てが満たされるまで方法のステップを明示的に繰り返すことなく、状況依存性が満たされたかどうかを判定することができる、システムまたはコンピュータ可読媒体の請求項には必要とされない。当業者はまた、条件付きステップを有する方法と同様に、システムまたはコンピュータ可読記憶媒体が、条件付きステップの全てが実行されたことを保証するために方法のステップを必要な限り何度も繰り返すことができることを理解するであろう。
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと呼ぶこともでき、同様に第２のタッチを第１のタッチと呼ぶこともできる。第１のタッチおよび第２のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明および添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、および「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「および／または」は、関連する列挙された項目のうちの１つ以上のいずれかおよび全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、および／または「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を除外しないことがさらに理解されるであろう。
「～の場合（ｉｆ）」という用語は、任意選択的に、文脈に応じて、「～とき（ｗｈｅｎ）」若しくは「～とき（ｕｐｏｎ）」、または「～と判定したことに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ）」若しくは「～を検出したことに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ）」を意味すると解釈される。同様に、「～と判定された場合（ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ）」または「［記載の条件またはイベント］が検出された場合（ｉｆ ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］ ｉｓ ｄｅｔｅｃｔｅｄ）」という語句は、任意選択的に、文脈に応じて、「～と判定したとき（ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ）」若しくは「～と判定したことに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ）」、または「［記載の条件またはイベント］を検出したとき（ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］）」若しくは「［記載の条件またはイベント］を検出したことに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］）」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、およびそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能および／または音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、およびｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチセンシティブ面（例えば、タッチスクリーンディスプレイおよび／またはタッチパッド）を有するラップトップコンピュータまたはタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイおよび／またはタッチパッド）を有するデスクトップコンピュータであることも理解されたい。いくつかの実施形態では、電子デバイスは、表示生成構成要素と通信している（例えば、有線通信を介して、無線通信を介して）コンピュータシステムである。表示生成構成要素は、ＣＲＴディスプレイを介した表示、ＬＥＤディスプレイを介した表示、または画像投影を介した表示などの視覚的な出力を提供するように構成されている。いくつかの実施形態では、表示生成構成要素は、コンピュータシステムと一体化される。いくつかの実施形態では、表示生成構成要素は、コンピュータシステムとは別個である。本明細書で使用するとき、「表示する」コンテンツは、コンテンツを視覚的に生成するために、有線または無線接続で、データ（例えば、画像データまたはビデオデータ）を、一体型または外部の表示生成構成要素に送信することによって、コンテンツ（例えば、ディスプレイコントローラ１５６によってレンダリングまたはデコードされたビデオデータ）を表示させることを含む。
以下の論考では、ディスプレイおよびタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、および／またはジョイスティックなどの１つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、通常、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、および／またはデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーション毎に、および／または特定のアプリケーション内で、任意選択的に、調整および／または変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られているまたは呼ばれることがある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力コントロールデバイス１１６、および外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光学センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００上の接触の強度を検出する１つ以上の接触強度センサ１６５（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２またはデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バスまたは信号ライン１０３を介して通信する。
本明細書および特許請求において使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当たりの力）、またはタッチ感知面上の接触の力若しくは圧力に対する代理（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、および様々なセンサまたはセンサの組み合わせを使用して、判定（または測定）される。例えば、タッチ感知面の下またはそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値が、接触の推定される力を決定するために組み合わされる（例えば、加重平均される）。同様に、スタイラスの感圧性先端部が、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズおよび／若しくはその変化、接触に近接するタッチ感知面の電気容量および／若しくはその変化、並びに／または、接触に近接するタッチ感知面の抵抗および／若しくはその変化が、任意選択的に、タッチ感知面上の接触の力または圧力の代替物として使用される。一部の実装形態では、接触の力または圧力の代替測定値が、強度閾値を上回っているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装形態では、接触力または圧力の代理測定値は、力または圧力の推定値に変換され、力または圧力の推定値が、強度閾値を上回っているかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定される圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを表示する実装面積が限られている低減されたサイズのデバイス上で、ユーザが他の方法ではアクセス不可能であり得る追加のデバイス機能にユーザがアクセスすること（例えば、タッチ感知ディスプレイ上で）、および／または、ユーザ入力を受け取ること（例えば、タッチ感知ディスプレイ、タッチ感知面、または、ノブ若しくはボタンなどの物理的／機械的コントロールを介して）が可能となる。
本明細書および特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、または、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイスまたはデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、または他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイスまたはデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイまたはトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」または「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押圧された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」または「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈または感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（または、平均的な）ユーザの記述された感覚認知を生成するデバイス、またはデバイスの構成要素の物理的変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素または少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、または、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路および／または特定用途向け集積回路を含む、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの両方の組み合わせで実装される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
周辺機器インタフェース１１８は、デバイスの入力周辺機器および出力周辺機器をＣＰＵ１２０およびメモリ１０２に結合するために使用することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム（（例えば、命令を含む）コンピュータプログラムなど）および／または命令セットを動作させるまたは実行して、デバイス１００の様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、およびメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一のチップ上に実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ、無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号にまたは電磁信号を電気信号に変換し、電磁信号を介して通信ネットワークおよび他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／またはセルラー電話ネットワーク、無線ローカルエリアネットワーク（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＬＡＮ）および／若しくはメトロポリタンエリアネットワーク（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。ＲＦ回路１０８は、任意選択的に、短距離通信無線機などによって近距離通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、モバイル通信用グローバルシステム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、ＧＳＭ）、拡張データＧＳＭ環境（Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｖｉｒｏｎｍｅｎｔ、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（ｈｉｇｈ－ｓｐｅｅｄ ｄｏｗｎｌｉｎｋ ｐａｃｋｅｔ ａｃｃｅｓｓ、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（ｈｉｇｈ－ｓｐｅｅｄ ｕｐｌｉｎｋ ｐａｃｋｅｔ ａｃｃｅｓｓ、ＨＳＵＰＡ）、エボリューションデータオンリ（Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ－Ｏｎｌｙ、ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Ｄｕａｌ－Ｃｅｌｌ ＨＳＰＡ、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、近距離通信（ＮＦＣ）、広帯域符号分割多元接続（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、Ｗ－ＣＤＭＡ）、符号分割多元接続（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＣＤＭＡ）、時分割多元接続（ｔｉｍｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈローエネルギー（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ、ＢＴＬＥ）、ワイヤレスフィデリティ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、Ｗｉ－Ｆｉ）（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、および／若しくはＩＥＥＥ８０２．１１ａｃ）、ボイスオーバインターネットプロトコル（ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メール用プロトコル（例えば、インターネットメッセージアクセスプロトコル（Ｉｎｔｅｒｎｅｔ ｍｅｓｓａｇｅ ａｃｃｅｓｓ ｐｒｏｔｏｃｏｌ、ＩＭＡＰ）および／若しくはポストオフィスプロトコル（ｐｏｓｔ ｏｆｆｉｃｅ ｐｒｏｔｏｃｏｌ、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能なメッセージングおよびプレゼンスプロトコル（ｅｘｔｅｎｓｉｂｌｅ ｍｅｓｓａｇｉｎｇ ａｎｄ ｐｒｅｓｅｎｃｅ ｐｒｏｔｏｃｏｌ、ＸＭＰＰ）、インスタントメッセージングおよびプレゼンスレベレイジングエクステンション用のセッション開始プロトコル（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｌｅｖｅｒａｇｉｎｇ Ｅｘｔｅｎｓｉｏｎｓ、ＳＩＭＰＬＥ）、インスタントメッセージングおよびプレゼンスサービス（Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｓｅｒｖｉｃｅ、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ、ＳＭＳ）、または本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含む、複数の通信規格、プロトコル、および技術のうちのいずれかを使用する。
オーディオ回路１１０、スピーカ１１１、およびマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２および／若しくはＲＦ回路１０８から取得され、かつ／またはメモリ１０２および／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０はまた、ヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホンまたは出力（例えば片耳または両耳用のヘッドホン）および入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２および他の入力コントロールデバイス１１６などのデバイス１００上の入出力周辺機器を、周辺機器インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光学センサコントローラ１５８、深度カメラコントローラ１６９、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、および、他の入力デバイス若しくはコントロールデバイス用の１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力コントロールデバイス１１６からの電気信号の受信／他の入力コントロールデバイス１１６への電気信号の送信を行う。他の入力コントロールデバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの実施形態では、入力コントローラ（単数または複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、およびマウスなどのポインタデバイスのうちのいずれかに結合される（またはいずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１および／またはマイクロフォン１１３の音量制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。いくつかの実施形態では、電子デバイスは、１つ以上の入力デバイスと通信する（例えば、有線通信を介して、無線通信を介して）コンピュータシステムである。いくつかの実施形態では、１つ以上の入力デバイスは、タッチ感知面（例えば、タッチ感知ディスプレイの一部としてのトラックパッド）を含む。いくつかの実施形態では、１つ以上の入力デバイスは、入力としてユーザのジェスチャ（例えば、ハンドジェスチャ）を追跡するためなど、１つ以上のカメラセンサ（例えば、１つ以上の光学センサ１６４および／または１つ以上の深度カメラセンサ１７５）を含む。いくつかの実施形態では、１つ以上の入力デバイスは、コンピュータシステムと一体化される。いくつかの実施形態では、１つ以上の入力デバイスは、コンピュータシステムとは別個である。
全体が参照により本明細書に組み込まれる、２００５年１２月２３日出願の米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」、米国特許第７，６５７，８４９号に記載されているように、プッシュボタンの素早い押圧は、任意選択的に、タッチスクリーン１１２のロックを解放し、または任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをロック解除するプロセスを開始する。プッシュボタン（例えば、２０６）のより長い押圧は、任意選択的に、デバイス１００への電力をオンまたはオフにする。ボタンのうちの１つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想またはソフトボタンおよび１つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェースおよび出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２からの電気信号の受信、および／またはタッチスクリーン１１２への電気信号の送信を行う。タッチスクリーン１１２は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、動画、およびそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部または全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン１１２は、触覚および／または触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、またはセンサのセットを有する。タッチスクリーン１１２およびディスプレイコントローラ１５６は、（メモリ１０２内の任意の関連モジュールおよび／または命令セットと共に）、タッチスクリーン１１２上の接触（および任意の接触の移動または中断）を検出し、検出された接触をタッチスクリーン１１２に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、または画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２は、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、またはＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン１１２およびディスプレイコントローラ１５６は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、および表面音波の技術、並びにタッチスクリーン１１２との１つ以上の接触点を判定する他の近接センサアレイまたは他の要素を含む、現在知られているまたは今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触およびそのあらゆる移動または中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）およびｉＰｏｄ Ｔｏｕｃｈ（登録商標）に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体が参照により本明細書に組み込まれる、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、同第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、および／若しくは同第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／または米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン１１２はデバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願、（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の米国特許出願第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の米国特許出願第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の米国特許出願第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の米国特許出願第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の米国特許出願第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の米国特許出願第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の米国特許出願第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、および（９）２００６年３月３日出願の米国特許出願第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」で説明されている。これらの出願は全て、全体が参照により本明細書に組み込まれる。
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超える動画解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉの動画解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体または付属物を使用して、タッチスクリーン１１２に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触およびジェスチャを主に使用して動作するように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど正確でない可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置またはコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化または非アクティブ化するためのタッチパッドを含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面またはタッチスクリーンによって形成されるタッチ感知面の拡張部である。
デバイス１００は、様々な構成要素に電力を供給する電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータまたはインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、および分配に関連付けられた任意の他の構成要素を含む。
また、デバイス１００は、任意選択的に、１つ以上の光学センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光学センサコントローラ１５８に結合された光学センサを示す。光学センサ１６４は、任意選択的に、電荷結合デバイス（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ、ＣＣＤ）または相補的金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）フォトトランジスタを含む。光学センサ１６４は、１つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光学センサ１６４は、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、任意選択的に、静止画像または動画をキャプチャする。いくつかの実施形態では、光学センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対側のデバイス１００の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像および／または動画の取得のためのビューファインダとして使用することが可能である。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、ユーザの画像が、任意選択的に、テレビ会議のために入手されるように、光学センサはデバイスの前面に配置される。いくつかの実施形態では、光学センサ１６４の位置は、ユーザによって（例えば、デバイス筐体内でレンズおよびセンサを回転させることによって）変更することができ、したがって単一の光学センサ１６４が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像および／または動画の取得にも使用される。
デバイス１００は、任意選択的に、１つ以上の深度カメラセンサ１７５もまた含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の深度カメラコントローラ１６９に結合された深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内のオブジェクト（例えば、顔面）の３次元モデルを作成する。いくつかの実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、深度カメラセンサ１７５は、任意選択的に、撮像モジュール１４３によってキャプチャされた画像の異なる部分の深度マップを決定するために使用される。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見る間に、任意選択的に、深度情報を有するユーザの画像をテレビ会議のために取得し、また、深度マップデータを有する自撮り画像をキャプチャするために、デバイス１００の前面に深度カメラセンサが配置されている。いくつかの実施形態では、深度カメラセンサ１７５は、デバイスの背面に、またはデバイス１００の背面および前面に配置される。いくつかの実施形態では、深度カメラセンサ１７５の位置は、ユーザによって（例えば、デバイス筐体内でレンズおよびセンサを回転させることによって）変更することができ、したがって深度カメラセンサ１７５が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像および／または動画の取得にも使用される。
デバイス１００はまた、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示す。接触強度センサ１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、または他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を含む。接触強度センサ１６５は、接触強度情報（例えば、圧力情報、または圧力情報に対するプロキシ）を環境から受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、またはそれに近接される。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、全体が参照により本明細書に組み込まれる、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、および同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で記載されているように機能する。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに置かれた場合（例えば、ユーザが電話をかけている場合）、近接センサは、タッチスクリーン１１２をオフにして無効化する。
デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示す。触知出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、および／またはモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などのエネルギーを直線の動きに変換する電気機械デバイスを含む。接触強度センサ１６５は、触知フィードバック生成命令を触覚フィードバックモジュール１３３から受信し、デバイス１００のユーザが感知することが可能な触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と並置される、またはそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、または水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。加速度計１６８は、任意選択的に、どちらも全体が参照により本明細書に組み込まれる、米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、および米国特許出願公開第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」に記載されているように機能する。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦長表示または横長表示でタッチスクリーンディスプレイに表示される。デバイス１００は、加速度計（単数または複数）１６８に加えて、磁気計並びにデバイス１００の位置および向き（例えば、縦方向または横方向）に関する情報を取得するためのＧＰＳ（またはＧＬＯＮＡＳＳまたは他のグローバルナビゲーションシステム）受信機を任意選択的に含む。
いくつかの実施形態では、メモリ１０２内に記憶されているソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（または命令セット）１２８、接触／動きモジュール（または命令セット）１３０、グラフィックモジュール（または命令セット）１３２、テキスト入力モジュール（または命令セット）１３４、全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳ）モジュール（または命令セット）１３５、およびアプリケーション（または命令セット）１３６を含む。さらに、いくつかの実施形態では、メモリ１０２（図１Ａ）または３７０（図３）は、図１Ａおよび図３に示すように、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、または他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサおよび入力コントロールデバイス１１６から取得した情報を含むセンサ状態、並びにデバイスの位置、および／または姿勢に関する位置情報のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ（登録商標）、ＯＳ Ｘ、ｉＯＳ、ＷＩＮＤＯＷＳ（登録商標）、またはＶｘＷｏｒｋｓなどの組込み型オペレーティングシステム）は、全般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御および管理する様々なソフトウェア構成要素および／またはドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８および／または外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、またはネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じ若しくは同様であり、かつ／またはそれに適合しているマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、任意選択的に、タッチスクリーン１１２および他のタッチ感知デバイス（例えば、タッチパッドまたは物理クリックホイール）との接触を（ディスプレイコントローラ１５６と連携して）検出する。接触／動きモジュール１３０は、接触が生じたかどうかを判定すること（例えば、指ダウンイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、または接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するかどうかを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、および接触が中止したかどうかを判定すること（例えば、指アップイベントまたは接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさおよび方向）、および／または加速度（大きさおよび／または方向の変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）または複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０およびディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたかどうかを判定するために（例えば、ユーザがアイコン上で「クリック」したかどうかを判定するために）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくとも１つのサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されるのではなく、デバイス１００の物理ハードウェアを変更することなく調整することができる）。例えば、トラックパッドまたはタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッドまたはタッチスクリーンディスプレイハードウェアを変更することなく、広範囲の既定閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザに、（例えば、個々の強度閾値を調整すること、および／または複数の強度閾値をシステムレベルのクリック「強度」パラメータによって一度に調整することによって）強度閾値のセットのうちの１つ以上を調整するソフトウェア設定が提供される。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、および／または強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置（または実質的に同じ位置）（例えば、アイコンの位置）で指アップ（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて１つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ（リフトオフ）イベントを検出することを含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的な影響（例えば、輝度、透明度、彩度、コントラスト、または他の視覚的特性）を変化させる構成要素を含む、タッチスクリーン１１２または他のディスプレイ上にグラフィックをレンダリングおよび表示する様々な既知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、動画、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データおよび他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力するスクリーンの画像データを生成する。
触覚フィードバックモジュール１３３は、触知出力生成器１６７によって使用される命令を生成するための様々なソフトウェア構成要素を含み、ユーザのデバイス１００とのに応じて、デバイス１００上の１つ以上の位置での触知出力を生成する。
テキスト入力モジュール１３４は、任意選択で、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、およびテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの場所を判定し、様々なアプリケーション内で使用するためにこの情報を提供する（例えば、場所ベースのダイアリングで使用するために電話１３８へ、ピクチャ／ビデオメタデータとしてカメラ１４３へ、および気象ウィジェット、ローカルイエローページウィジェット、および地図／ナビゲーションウィジェットなどの場所ベースのサービスを提供するアプリケーションへ）。
アプリケーション１３６は、任意選択的に、以下のモジュール（または命令セット）またはそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳または連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Ｉｎｓｔａｎｔ ｍｅｓｓａｇｉｎｇ、ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像および／または動画用のカメラモジュール１４３、
●画像管理モジュール１４４、
●動画プレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダーモジュール１４８、
●任意選択的に、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、およびユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●動画プレーヤモジュールおよび音楽プレーヤモジュールを一体化した動画および音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／または、
●オンライン動画モジュール１５５。
●連絡先モジュール１３７（アドレス帳または連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Ｉｎｓｔａｎｔ ｍｅｓｓａｇｉｎｇ、ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像および／または動画用のカメラモジュール１４３、
●画像管理モジュール１４４、
●動画プレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダーモジュール１４８、
●任意選択的に、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、およびユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●動画プレーヤモジュールおよび音楽プレーヤモジュールを一体化した動画および音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／または、
●オンライン動画モジュール１５５。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、および音声複製が挙げられる。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連動して、連絡先モジュール１３７は、任意選択的に、アドレス帳に名前（単数または複数）を追加すること、アドレス帳から名前（単数または複数）を削除すること、電話番号（単数または複数）、電子メールアドレス（単数または複数）、住所（単数または複数）、または他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号または電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、またはＩＭ１４１による通信を開始および／または促進することなどを含めて、アドレス帳または連絡先リスト（例えば、メモリ１０２またはメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２内に記憶される）を管理するために使用される。
電話モジュール１３８は、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連携して、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール１３７内の１つ以上の電話番号へのアクセス、入力された電話番号の修正、特定の電話番号のダイヤル、通話の実行、並びに通話終了時の接続解除および通話停止のために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、および技術のうちのいずれかを使用する。
テレビ会議モジュール１３９は、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光学センサ１６４、光学センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、および電話モジュール１３８と連携して、ユーザの指示に従ってユーザと１人以上の他の参加者との間のテレビ会議を開始、実行、および終了するための実行可能な命令を含む。
電子メールクライアントモジュール１４０は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連携して、ユーザの指示に応じて電子メールを作成、送信、受信、および管理するための実行可能な命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像または動画画像を有する電子メールの作成および送信を非常に容易にする。
インスタントメッセージングモジュール１４１は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連携して、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、（例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ、ＳＭＳ）若しくはマルチメディアメッセージサービス（Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ、ＭＭＳ）プロトコル、またはインターネットベースのインスタントメッセージ向けのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用する）特定のインスタントメッセージの送信、インスタントメッセージの受信、および受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信されるおよび／または受信されるインスタントメッセージは、任意選択的に、ＭＭＳおよび／または拡張メッセージングサービス（Ｅｎｈａｎｃｅｄ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ、ＥＭＳ）でサポートされるようなグラフィック、写真、オーディオファイル、動画ファイル、および／または他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ（例えば、ＳＭＳまたはＭＭＳを使用して送信されるメッセージ）と、インターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、またはＩＭＰＳを使用して送信されるメッセージ）との両方を指す。
トレーニングサポートモジュール１４２は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、および音楽プレーヤモジュールと連携して、トレーニング（例えば、時間、距離、および／またはカロリー燃焼の目標を有する）を作成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択および再生し、並びに、トレーニングデータを表示、記憶、および送信するための実行可能な命令を含む。
カメラモジュール１４３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、光学センサ１６４、光学センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、および画像管理モジュール１４４と連携して、静止画像若しくは（動画ストリームを含む）動画のキャプチャおよびメモリ１０２内への記憶、静止画像若しくは動画の特性の修正、またはメモリ１０２からの静止画像若しくは動画の削除のための実行可能な命令を含む。
画像管理モジュール１４４は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、およびカメラモジュール１４３と連携して、静止画像および／若しくは動画の配置、修正（例えば、編集）、またはその他の操作、ラベル付け、削除、（例えば、デジタルスライドショー若しくはアルバムにおける）提示、および記憶のための実行可能な命令を含む。
ブラウザモジュール１４７は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連携して、ウェブページまたはその一部分、並びにウェブページにリンクされた添付ファイルおよび他のファイルの検索、リンク、受信、および表示を含む、ユーザの指示に従ってインターネットをブラウジングするための実行可能な命令を含む。
カレンダーモジュール１４８は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、およびブラウザモジュール１４７と連携して、ユーザの指示に従って、カレンダーおよびカレンダーに関連付けられたデータ（例えば、カレンダーアイテム、ｔｏ－ｄｏリストなど）を作成、表示、修正、および記憶するための実行可能な命令を含む。
ウィジェットモジュール１４９は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、およびブラウザモジュール１４７と連携して、任意選択的に、ユーザによってダウンロードおよび使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、および辞書ウィジェット１４９－５）、またはユーザによって作成されたミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ、カスケーディングスタイルシート）ファイル、およびＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、拡張可能マークアップ言語）ファイルおよびＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ウィジェットクリエータモジュール１５０は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、およびブラウザモジュール１４７と連携して、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットにする）ために、ユーザによって使用される。
検索モジュール１５１は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連携して、ユーザの指示に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定検索語）と一致するメモリ１０２内の文字、音楽、サウンド、画像、動画、および／または他のファイルを検索するための実行可能な命令を含む。
動画および音楽プレーヤモジュール１５２は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、およびブラウザモジュール１４７と連携して、ＭＰ３またはＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽および他のサウンドファイルをユーザがダウンロードおよび再生できるようにする実行可能な命令、並びに動画を（例えば、タッチスクリーン１１２上または外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示、または別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を含む。
メモモジュール１５３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連携して、ユーザの指示に従ってメモ、ｔｏ－ｄｏリストなどを作成および管理するための実行可能な命令を含む。
地図モジュール１５４は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、およびブラウザモジュール１４７と連携して、任意選択的に、ユーザの命令に従って、地図および地図に関連付けられたデータ（例えば、運転の道順、特定の場所またはその付近の店舗および他の見どころに関するデータ、並びに他の位置ベースのデータ）を受信、表示、修正、および記憶するために使用される。
オンライン動画モジュール１５５は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、およびブラウザモジュール１４７と連携して、ユーザが特定のオンライン動画へのアクセス、特定のオンライン動画のブラウジング、（例えば、ストリーミングおよび／またはダウンロードによる）受信、（例えば、タッチスクリーン上または外部ポート１２４を介して接続された外部ディスプレイ上の）再生、特定のオンライン動画へのリンクを有する電子メールの送信、並びにＨ．２６４などの１つ以上のファイル形式のオンライン動画の他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンライン動画へのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンライン動画アプリケーションについての追加の説明は、その内容の全体が参照により本明細書に組み込まれる、２００７年６月２０日出願の米国仮特許出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、および２００７年１２月３１日出願の米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」を参照されたい。
上記で特定したモジュールおよびアプリケーションはそれぞれ、前述した１つ以上の機能および本出願に記載した方法（例えば、本明細書に記載したコンピュータにより実装される方法および他の情報処理方法）を実行する実行可能な命令のセットに対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラムコンピュータプログラム（（例えば、命令を含む）など）、手順、またはモジュールとして実装される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、または別の方法で再構成される。例えば、動画プレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール（例えば、図１Ａの動画および音楽プレーヤモジュール１５２）にされる。いくつかの実施形態では、メモリ１０２は、任意選択で、上記で特定されたモジュールおよびデータ構造のサブセットを記憶する。さらに、メモリ１０２は、上記で説明されていない追加のモジュールおよびデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーンおよび／またはタッチパッドのみを介して実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーンおよび／またはタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーンおよび／またはタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、またはルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタンまたはその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）または３７０（図３）は、イベントソート部１７０（例えば、オペレーティングシステム１２６内）と、特定のアプリケーション１３６－１（例えば、前述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれか）とを含む。
イベントソート部１７０は、イベント情報を受信し、イベント情報を配信するアプリケーション１３６－１、およびアプリケーション１３６－１のアプリケーションビュー１９１を判定する。イベントソート部１７０は、イベントモニタ１７１およびイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブまたは実行中であるときにタッチ感知ディスプレイ１１２に表示される現在のアプリケーションビューを示すアプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数または複数）が現在アクティブであるかを判定するためにイベントソート部１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を判定するためにイベントソート部１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用すべき再開情報、アプリケーション１３６－１によって表示されている情報を示すまたは表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション１３６－１の前の状態またはビューに戻ることを可能にする状態キュー、およびユーザによって行われた前のアクションのリドゥ／アンドゥキューのうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、タッチ感知ディスプレイ１１２でのマルチタッチジェスチャの一部としてのユーザタッチ）に関する情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、または近接センサ１６６、加速度計（単数または複数）１６８、および／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２またはタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回るおよび／または所定の持続時間を超える入力の受信）があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソート部１７０はまた、ヒットビュー判定モジュール１７２および／またはアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示しているときに、サブイベントが１つ以上のビュー内のどこで起きたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置および他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビューまたはユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（特定のアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層またはビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（例えば、イベントまたは潜在的イベントを形成するサブイベントシーケンスにおける第１のサブイベント）が発生する最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、ヒットビューは、通常、ヒットビューとして特定されたタッチまたは入力ソースと同じタッチまたは入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数または複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、特定のイベント受信部１８２によって取得されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソート部１７０を含む。あるいは、アプリケーション１３６－１がイベントソート部１７０を含む。さらに他の実施形態では、イベントソート部１７０は、独立型のモジュールであり、または接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインタフェースの特定のビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部１９０および１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、特定のアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット、または、アプリケーション１３６－１がメソッドおよび他のプロパティを継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、特定のイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、および／またはイベントソート部１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、任意選択的に、データ更新部１７６、オブジェクト更新部１７７、またはＧＵＩ更新部１７８を利用しまたは呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上が、１つ以上の特定のイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、およびＧＵＩ更新部１７８のうちの１つ以上は、特定のアプリケーションビュー１９１に含まれる。
特定のイベント認識部１８０は、イベントソート部１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２およびイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３およびイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソート部１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチまたはタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さおよび方向を含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、またはその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベントまたはサブイベントの定義と比較し、その比較に基づいて、イベントまたはサブイベントを判定するか、あるいはイベントまたはサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）およびイベント２（１８７－２）などのイベント（例えば、既定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント（１８７）内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの取り消し、および複数のタッチを含む。一実施例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第１のタッチ（タッチ開始）、所定の段階に対する第１のリフトオフ（タッチ終了）、所定の段階に対する表示オブジェクト上の第２のタッチ（タッチ開始）、および所定の段階に対する第２のリフトオフ（タッチ終了）を含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ（または接触）、タッチ感知ディスプレイ１１２にわたるタッチの移動、およびタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
いくつかの実施形態では、イベント定義１８７は、特定のユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ１１２に３つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、ヒットテストを実行して、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定する。表示された各オブジェクトが、特定のイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベントおよびオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、特定のイベント１８７の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するかどうかが判定されるまで、イベント情報の伝送を遅らせる遅延アクションも含む。
一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと特定のイベント認識部１８０が判断した場合、特定のイベント認識部１８０は、イベント不可能、イベント失敗、またはイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡および処理を続行する。
いくつかの実施形態では、特定のイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、および／またはリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、またはイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、および／またはリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層またはプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、および／またはリストを含む。
いくつかの実施形態では、特定のイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、特定のイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、特定のヒットビューにサブイベントを送信する（および、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、またはアクティブに関与しているビューにイベント情報を配信する。一連のサブイベントまたはアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定のプロセスを実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６－１で使用されるデータを作成および更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新し、または動画プレーヤモジュールで使用される動画ファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成および更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成し、またはユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部（単数または複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、およびＧＵＩ更新部１７８を含むまたはそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、およびＧＵＩ更新部１７８は、特定のアプリケーション１３６－１またはアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、それらの全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一または複数の押圧若しくは保持と任意選択的に連携される、マウスの移動およびマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された目の動き、バイオメトリック入力、並びに／またはそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図２は、いくつかの実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ、ＵＩ）２００内に１つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）または１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの１つ以上を選択することが可能となる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、デバイス１００と接触した指の、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上向きにおよび／若しくは下向きに）、並びに／または、ローリング（右から左へ、左から右へ、上向きにおよび／若しくは下向きに）を、任意選択的に含む。一部の実装形態または状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００はまた、任意選択的に、「ホーム」ボタンまたはメニューボタン２０４などの１つ以上の物理ボタンを含む。前述したように、メニューボタン２０４は、任意選択的にデバイス１００上で実行される１組のアプリケーション内の任意のアプリケーション１３６にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２に表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフにしてデバイスをロックするプッシュボタン２０６、音量調整ボタン２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、およびドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、既定の時間間隔にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間間隔が経過する前にボタンを解放することによってデバイスをロックするため、および／またはデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替の実施形態では、デバイス１００は、マイクロフォン１１３を介して、いくつかの機能をアクティブ化または非アクティブ化するための口頭入力もまた受け入れる。デバイス１００は、任意選択的に、タッチスクリーン１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、および／またはデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６７もまた含む。
図３は、いくつかの実施形態に係る、ディスプレイおよびタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、または制御デバイス（例えば、家庭用または業務用コントローラ）である。デバイス３００は、通常、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワークまたは他の通信インタフェース３６０、メモリ３７０、およびこれらの構成要素を相互接続する１つ以上の通信バス３２０を含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続および制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、ディスプレイ３４０を含む入出力（Ｉ／Ｏ）インタフェース３３０を含み、ディスプレイ３４０は、通常、タッチスクリーンディスプレイである。Ｉ／Ｏインタフェース３３０はまた、任意選択的に、キーボードおよび／またはマウス（若しくは他のポインティングデバイス）３５０並びにタッチパッド３５５と、デバイス３００上に触知出力を生成する（例えば、図１Ａを参照して前述した触知出力生成器１６７に類似している）触知出力生成器３５７と、センサ３５９（例えば、光、加速度、近接、タッチ感知、および／または図１Ａを参照して前述した、接触強度センサ１６５に類似している接触強度センサ）とを含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、または他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択で、ＣＰＵ（単数または複数）３１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２内に記憶されているプログラム、モジュール、およびデータ構造に類似したプログラム、モジュール、およびデータ構造、またはそのサブセットを記憶する。さらに、メモリ３７０は、任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、およびデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、任意選択的に、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、および／またはスプレッドシートモジュール３９０を記憶するのに対して、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択的に、これらのモジュールを記憶しない。
図３の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの１つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する命令セットに対応する。上記で特定したモジュールまたはコンピュータプログラム（例えば、命令セット、または命令を含む）は、別個のソフトウェアプログラム（（例えば、命令を含む）コンピュータプログラムなど）、手順、またはモジュールとして実装される必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットが、任意選択的に組み合わされ、または他の方法で再構成される。いくつかの実施形態では、メモリ３７０は、任意選択的に、上記で特定されたモジュールおよびデータ構造のサブセットを記憶する。さらに、メモリ３７０は、上記で説明されていない追加のモジュールおよびデータ構造を任意選択的に記憶する。
次に、任意選択的に、例えばポータブル多機能デバイス１００に実装されるユーザインタフェースの実施形態に注意を向ける。
図４Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、またはそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号およびＷｉ－Ｆｉ信号などの無線通信（単数または複数）用の信号強度インジケータ（単数または複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８
○不在着信またはボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、および
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称される動画および音楽プレーヤモジュール１５２用のアイコン４２２、および
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダー」とラベル付けされた、カレンダーモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンライン動画」とラベル付けされた、オンライン動画モジュール１５５のアイコン４３２、
〇「株価」とラベル付けされた、株価ウィジェット１４９－２のアイコン４３４、
○「マップ」とラベル付けされた、地図モジュール１５４のアイコン４３６、
〇「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
〇「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、および
○デバイス１００およびその様々なアプリケーション１３６の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーションまたはモジュールのアイコン４４６。
●セルラー信号およびＷｉ－Ｆｉ信号などの無線通信（単数または複数）用の信号強度インジケータ（単数または複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８
○不在着信またはボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、および
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称される動画および音楽プレーヤモジュール１５２用のアイコン４２２、および
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダー」とラベル付けされた、カレンダーモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンライン動画」とラベル付けされた、オンライン動画モジュール１５５のアイコン４３２、
〇「株価」とラベル付けされた、株価ウィジェット１４９－２のアイコン４３４、
○「マップ」とラベル付けされた、地図モジュール１５４のアイコン４３６、
〇「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
〇「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、および
○デバイス１００およびその様々なアプリケーション１３６の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーションまたはモジュールのアイコン４４６。
図４Ａに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、動画および音楽プレーヤモジュール１５２のアイコン４２２は、「音楽」または「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、特定のアプリケーションアイコンに関するラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレットまたはタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。デバイス３００はまた、任意選択的に、タッチ感知面４５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、および／またはデバイス３００のユーザに対して触知出力を生成する１つ以上の触知出力生成器３５７を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ１１２（タッチ感知面およびディスプレイが組み合わされている）上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の一次軸（例えば、図４Ｂの４５３）に対応する一次軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）で、タッチ感知面４５１との接触（例えば、図４Ｂの４６０および４６２）を検出する。このようにして、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０および４６２、並びにこれらの移動）は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して与えられる一方、いくつかの実施形態では、指入力のうちの１つ以上が別の入力デバイスからの入力（例えば、マウスベースの入力またはスタイラス入力）に置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、（例えば、接触の代わりに、）マウスクリックであって、その後に（例えば、接触の移動の代わりに）スワイプの経路に沿ったカーソルの移動を伴うマウスクリックによって置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置上に位置する間は、（例えば、接触を検出して、それに続いて接触の検出を中止する代わりに）マウスクリックによって置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、またはマウスおよび指の接触が、任意選択的に、同時に使用されることを理解されたい。
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。いくつかの実施形態では、デバイス５００は、デバイス１００および３００（例えば、図１Ａ～図４Ｂ）に関して説明された特徴のうちのいくつかまたは全てを含むことができる。いくつかの実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以下ではタッチスクリーン５０４を有する。あるいは、またはタッチスクリーン５０４に加えて、デバイス５００は、ディスプレイおよびタッチ感知面を有する。デバイス１００および３００と同様に、いくつかの実施形態では、タッチスクリーン５０４（またはタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチスクリーン５０４（またはタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチ（複数）に、その強度に基づいて応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出し処理する例示的な技術は、例えば、それぞれ全体が参照により本明細書に組み込まれる関連出願である、国際公開第ＷＯ／２０１３／１６９８４９号として公開された、２０１３年５月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」、および国際公開第ＷＯ／２０１４／１０５２７６号として公開された、２０１３年１１月１１日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」を参照されたい。
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６および５０８を有する。入力機構５０６および５０８は、含まれる場合、物理的であり得る。物理的入力機構の例としては、プッシュボタンおよび回転可能機構が挙げられる。いくつかの実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、眼鏡類、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、ウォッチのストラップ、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス５００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス５００を着用することを可能にする。
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ、および図３に関して説明した構成要素のうちのいくつかまたは全てを含むことができる。デバイス５００は、Ｉ／Ｏセクション５１４を１つ以上のコンピュータプロセッサ５１６およびメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択で強度センサ５２４（例えば、接触強度センサ）とを有することができる。加えて、Ｉ／Ｏセクション５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）、セルラー、および／または他の無線通信技術を使用してアプリケーションおよびオペレーティングシステムデータを受信する通信ユニット５３０と接続することができる。デバイス５００は、入力機構５０６および／または５０８を含むことができる。入力機構５０６は、任意選択的に、例えば、回転可能入力デバイスまたは押下可能かつ回転可能入力デバイスである。いくつかの実施例では、入力機構５０８は、任意選択的にボタンである。
いくつかの実施例では、入力機構５０８は、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、および／またはそれらの組み合わせなどの様々なセンサを含み、それらは全て、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶する、１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されたときに、例えば、コンピュータプロセッサに、プロセス７００（図７Ａ～図７Ｃ）を含む、後述される技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、または命令実行システム、装置、若しくはデバイスに関連して、使用されるコンピュータ実行可能命令を、有形に含みまたは記憶することができる任意の媒体であり得る。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それらに限定されるものではないが、磁気記憶装置、光学記憶装置、および／または半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、またはＢｌｕ－ｒａｙ（登録商標）技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの永続性ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素および構成に限定されるものではなく、他のまたは追加の構成要素を複数の構成で含むことができる。
本明細書で使用されるとき、「アフォーダンス」という用語は、任意選択的にデバイス１００、３００、および／または５００（図１Ａ、図３、および図５Ａ～図５Ｂ）のディスプレイスクリーンに表示される、ユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、および文字（例えば、ハイパーリンク）はそれぞれ、任意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソルまたは他の位置マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、または他のユーザインタフェース要素）の上に位置する間に、入力（例えば、押圧入力）がタッチ感知面（例えば、図３のタッチパッド３５５または図４Ｂのタッチ感知面４５１）上で検出されたとき、特定のユーザインタフェース要素は、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を可能にするタッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２または図４Ａのタッチスクリーン１１２）を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、または他のユーザインタフェース要素）の位置で入力（例えば、接触による押圧入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、（例えば、フォーカスを１つのボタンから別のボタンへ動かすためにタブキーまたは矢印キーを使用することによって）タッチスクリーンディスプレイ上の対応するカーソルの移動または接触の移動なしに、フォーカスがユーザインタフェースの１つの領域からユーザインタフェースの別の領域に動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる具体的な形態に関わらず、フォーカスセレクタは、一般に、ユーザが意図するユーザインタフェースとの対話について（例えば、ユーザがそれを通じて対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって）伝えるためにユーザによって制御されるユーザインタフェース要素（またはタッチスクリーンディスプレイ上の接触）である。例えば、タッチ感知面（例えば、タッチパッドまたはタッチスクリーン）上で押圧入力が検出されている間の、特定のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、または選択ボックス）の位置は、その特定のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。
本明細書および特許請求の範囲において使用されるとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、および／または、接触の強度の減少を検出する前若しくは後の）に関連する所定の期間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均（ｍｅａｎ）値、接触の強度の平均（ａｖｅｒａｇｅ）値、接触の強度の上位１０パーセンタイル値、接触の強度の最大の２分の１の値、接触の強度の最大の９０パーセントの値などのうちの１つ以上に基づいている。いくつかの実施形態では、特性強度を判定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続時間が使用される。いくつかの実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値および第２の強度閾値を含む。この例では、第１の閾値を超えない特性強度を有する接触は第１の動作をもたらし、第１の強度閾値を上回るが第２の強度閾値を超えない特性強度を有する接触は第２の動作をもたらし、第２の閾値を超える特性強度を有する接触は第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するべきか、それとも第２の動作を実行するべきかを判定するために使用されるのではなく、１つ以上の動作を実行するべきか否か（例えば、特定の動作を実行するべきか、それとも特定の動作を実行するのを取り止めるべきか）を判定するために使用される。
いくつかの実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始位置から遷移して終了位置に到達し、その位置で接触の強度が増大している、連続するスワイプ接触を受信する。この例では、終了位置での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ（例えば、スワイプ接触のうち終了位置の部分のみ）に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、および／または指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触強度の幅の狭いスパイクまたは下落を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、および／または１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押圧強度閾値は、通常、物理マウスのボタンまたはトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、通常、物理マウスのボタンまたはトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、かつそれを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る）特性強度を有する接触が検出されたとき、デバイスは、タッチ感知面上の接触の移動に従い、軽い押圧強度閾値または深い押圧強度閾値に関連付けられた動作を実行することなく、フォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェースの値の様々なセットの間で一貫している。
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への、接触の特性強度の増大は、「軽い押圧」の入力と呼ばれることがある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への、接触の特性強度の増大は、「深い押圧」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロより大きい。
本明細書に記載するいくつかの実施形態では、特定の押圧入力を含むジェスチャを検出したことに応じて、または特定の接触（若しくは複数の接触）によって実行された特定の押圧入力を検出したことに応じて、１つ以上の動作が実行され、特定の押圧入力は、押圧入力強度閾値を上回る接触（または複数の接触）の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、特定の動作は、押圧入力強度閾値を上回る特定の接触の強度の増大（例えば、特定の押圧入力の「ダウンストローク」）を検出したことに応じて実行される。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回る特定の接触の強度の増大、およびそれに続く押圧入力強度閾値を下回る接触の強度の減少を含み、特定の動作は、それに続く押圧入力閾値を下回る特定の接触の強度の減少（例えば、特定の押圧入力の「アップストローク」）を検出したことに応じて実行される。
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義または選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもＸ強度単位低い、またはヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくはなんらかの妥当な割合である）。したがって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回る特定の接触の強度の増大、およびそれに続く押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、特定の動作は、それに続くヒステリシス強度閾値を下回る特定の接触の強度の減少（例えば、特定の押圧入力の「アップストローク」）を検出したことに応じて実行される。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、および任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、特定の動作は、押圧入力（例えば、状況に応じて、接触の強度の増大または接触の強度の減少）を検出したことに応じて実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力、または押圧入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、および／または押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。さらに、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
本明細書では、「インストール済みアプリケーション」は、電子デバイス（例えば、デバイス１００、３００、および／または５００）上へダウンロードされ、デバイス上で起動する準備ができた（例えば、開かれた）ソフトウェアアプリケーションを指す。いくつかの実施形態では、ダウンロードされたアプリケーションは、ダウンロードされたパッケージからプログラム部分を抽出し、抽出された部分をコンピュータシステムのオペレーティングシステムと統合するインストールプログラムによって、インストール済みアプリケーションになる。
本明細書では、「開いているアプリケーション」または「実行中のアプリケーション」という用語は、保持された状態情報（例えば、デバイス／グローバル内部状態１５７および／またはアプリケーション内部状態１９２の一部として）を有するソフトウェアアプリケーションを指す。開いているまたは実行中のアプリケーションは、任意選択的に、以下のタイプのアプリケーションのうちのいずれか１つである。
●アプリケーションが使用されているデバイスのディスプレイスクリーンに現在表示されているアクティブなアプリケーション、
●現在表示されていないが、アプリケーションに対する１つ以上のプロセスが１つ以上のプロセッサによって処理されている背景アプリケーション（または背景プロセス）、並びに
●稼働していないが、（それぞれ、揮発性および不揮発性の）メモリに記憶されており、かつアプリケーションの実行を再開するために使用することができる状態情報を有する、中断または休止状態のアプリケーション。
●アプリケーションが使用されているデバイスのディスプレイスクリーンに現在表示されているアクティブなアプリケーション、
●現在表示されていないが、アプリケーションに対する１つ以上のプロセスが１つ以上のプロセッサによって処理されている背景アプリケーション（または背景プロセス）、並びに
●稼働していないが、（それぞれ、揮発性および不揮発性の）メモリに記憶されており、かつアプリケーションの実行を再開するために使用することができる状態情報を有する、中断または休止状態のアプリケーション。
本明細書では、「閉じているアプリケーション」という用語は、保持された状態情報を有していないソフトウェアアプリケーションを指す（例えば、閉じているアプリケーションに対する状態情報は、デバイスのメモリ内に記憶されていない）。したがって、アプリケーションを閉じることは、アプリケーションに対するアプリケーションプロセスを停止および／または除去し、アプリケーションに対する状態情報をデバイスのメモリから除去することを含む。概して、第１のアプリケーション中に第２のアプリケーションを開いても、第１のアプリケーションは閉じない。第２のアプリケーションが表示されており、かつ第１のアプリケーションが表示を中止されたとき、第１のアプリケーションは背景アプリケーションになる。
次に、ポータブル多機能デバイス１００、デバイス３００、またはデバイス５００などの電子デバイス上で実施されるユーザインタフェース（「ＵＩ」）および関連プロセスの実施形態に注意を向ける。
図６Ａ～図６Ｗは、いくつかの実施形態に係る、身体活動イベントの実行を追跡および提案するための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図７Ａ～図７Ｃにおける処理を含む、以下で説明する処理を例示するために使用される。
図６Ａは、所与の時点でのデバイス６００の２つの図を示し、デバイス６００は、ユーザの左手首に着用されているスマートウォッチである。図６Ａの左側は、デバイス６００のタッチスクリーンディスプレイ６０４のビューを含む拡大図６０２ａでデバイス６００を示す。図６Ａの右側は、ユーザの腕６０６ａ（左）および６０６ｂ（右）の描写も含む着用状態図６０２ｂでデバイス６００を示す。デバイス６００は、ストラップ６０８ａおよび６０８ｂによってユーザの腕６０６ａの手首に固定されている。いくつかの実施形態では、デバイス６００は、図１Ａに示すような、マイクロフォン１１３および加速度計１６８を含む、デバイス１００、３００、および５００の１つ以上の特徴または要素を含む。
図６Ａの拡大図６０２ａに示すように、デバイス６００のタッチスクリーンディスプレイ６０４は、現在、コンテンツを表示していない。いくつかの実施形態では、タッチスクリーンディスプレイ６０４は、コンテンツを表示しているが、インタフェースロック状態および／または低電力状態である。
図６Ａの着用状態図６０２ｂに示すように、ユーザは、移動矢印６１２ａおよび６１２ｂによって示されるように、シンク６１０でユーザの手を洗う身体活動をちょうど完了するところである。図６Ａでは、デバイス６００は、手洗いの身体活動（例えば、手洗いイベント）の開始および進行中の実行に対応するものとしてデバイス６００が特定する、センサデータを（例えば、マイクロフォン１１３および加速度計１６８を用いて）以前に検出している。いくつかの実施形態では、デバイス６００は、付属書類Ａに記載された１つ以上の技術に基づいて、センサデータが手洗いに対応することを特定する。さらに図６Ａでは、デバイス６００は、ユーザが手洗いの身体活動を完了したことを示すセンサデータを検出する（例えば、デバイス６００は、一定期間にわたってそのようなデータを検出した後に、手洗いを示すセンサデータの中止を検出する）。ユーザが手洗いの身体活動を完了したことを検出したことに応じて、デバイス６００は、触知出力６１４を出力する。
図６Ｂでは、触知出力６１４を出力した後に、デバイス６００は、デバイスが閲覧位置の向きに置かれたことを検出する（例えば、ユーザは、タッチスクリーンディスプレイ６０４がユーザに見えるように、ユーザの左腕６０６ａを持ち上げた（例えば、デバイス６００は、手首を上げるジェスチャを検出した））。デバイスが閲覧位置の向き（例えば、所定の向き）に置かれたことを検出したことに応じて、デバイス６００は、グラフィック６１６ａおよびテキスト６１６ｂ（「手洗い」）並びに（（例えば、午前）８：４５の現在時刻を示す）時間インジケーション６１６ｃを含む紹介通知ユーザインタフェース６１６を表示する。デバイス６００は、図６Ｃのセットアップユーザインタフェース６１８の表示に遷移する前に、所定の期間（例えば、５秒）にわたって紹介通知ユーザインタフェース６１６を表示する。いくつかの実施形態では、紹介通知ユーザインタフェース６１６は、手洗いイベントの監視に関連する、まだ有効にされていない機能の紹介をユーザに提供する。いくつかの実施形態では、デバイス６００は、初期デバイスセットアップ時に紹介通知ユーザインタフェース６１６を表示する。いくつかの実施形態では、デバイス６００は、ソフトウェアアップグレード後に紹介通知ユーザインタフェース６１６を表示する。
図６Ｃでは、デバイス６００は、拡大図６０２ａに示すように、タッチスクリーンディスプレイ６０４上にセットアップユーザインタフェース６１８を表示する。セットアップユーザインタフェース６１８は、紹介テキスト６１８ａと、機能有効化アフォーダンス６１８ｂ（「手洗いをオンにする」）と、学習アフォーダンス６１８ｃ（「さらに詳しく」）と、却下アフォーダンス６１８ｄ（「却下」）と、情報テキスト６１８ｅと、を含む。紹介テキスト６１８ａは、デバイス６００が所定の期間（例えば、２０秒）にわたる手洗いの身体活動の開始および進行中の実行を検出したという情報と、追跡されたユーザの手洗いデータがコンパニオンアプリケーション（例えば、電話機などの、デバイス６００と通信するデバイスのアプリケーション）で利用可能であるというインジケーションと、を含む。
図６Ｃの着用状態図６０２ｂに示すように、ユーザは、デバイス６００上でジェスチャを実行する。拡大図６０２ａに戻ると、セットアップユーザインタフェース６１８を表示している間に、デバイス６００は、機能有効化アフォーダンス６１８ｂの選択に対応する入力６２０ａ（例えば、タップ）、却下アフォーダンス６１８ｄの選択に対応する入力６２０ｂ、または学習アフォーダンス６１８ｃの選択に対応する入力６２０ｃを択一的に受け取る（例えば、検出する）。デバイスは、後述するように、これらの択一的入力に応答する。
入力６２０ａを受け取ったことに応じて、デバイス６００は、手洗い検出および追跡機能を有効化する（例えば、オンにする）。いくつかの実装形態では、手洗いを有効化することにより、例えば、ユーザの位置、時刻、または検出されたユーザ活動に基づいて、様々な時間にユーザに表示される自動的な手洗いのリマインダまたは提案も可能になる。この手洗い機能の動作は、以下で図６Ｅ～図６Ｗを参照してより詳細に論じられる。入力６２０ｂを受け取ったことに応じて、デバイス６００は、手洗い検出および追跡機能を有効化することなく、セットアップユーザインタフェース６１８を却下する（例えば、表示することを中止する）。いくつかの実施形態では、入力６２０ｂを受け取ったことに応じて、デバイス６００は、手洗い検出、リマインダ、および追跡機能を有効化するための更なるプロンプトを抑制する。いくつかの実施形態では、入力６２０ｂを受け取ったことに応じて、デバイス６００は、一定期間（例えば、１日、１週間、１ヶ月）にわたって手洗い検出および追跡機能を有効化するためのプロンプトを表示することを中止する。入力６２０ｃを受け取ったことに応じて、デバイス６００は、図６Ｄに示すように、情報ユーザインタフェース６２２を表示する。
図６Ｄでは、拡大図６０２ａで、デバイス６００は、手洗いに関する追加情報を含む情報ユーザインタフェース６２２を表示する。いくつかの実施形態では、情報ユーザインタフェース６２２は、手洗いの検出、リマインダ、および追跡機能に関する情報をさらに含む。デバイス６００は、着用状態図６０２ｂでユーザがデバイス６００上でジェスチャを実行することに対応する、完了アフォーダンス６２４での入力６２６を受け取る。入力６２６を受け取ったことに応じて、デバイス６００は、図６Ｃのセットアップユーザインタフェース６１８を表示する（例えば、それに戻る）。
図６Ｅでは、デバイス６００は、図６Ｃに示すようにデバイス６００が手洗い検出および追跡機能を有効化するための入力６２０ａを受け取った後に、タッチスクリーンディスプレイ６０４上に（現在時刻（例えば、午前）１０：０９を示す）時間インジケーション６２８によって示される時間に手洗いリマインダ通知６３０を表示する。手洗いリマインダ通知６３０は、有効化された手洗い検出および追跡機能の機能であり、かつテキスト６３０ａによって示されるように、ユーザの位置（例えば、ユーザが自宅に到着したこと）に基づいて任意選択的に生成される、自動的な通知である。
いくつかの実施形態では、様々な基準は、手洗いリマインダ通知の表示を促す。いくつかの実施形態では、デバイス６００は、ユーザの位置（例えば、ユーザが特定の目的地（例えば、自宅、職場、空港、またはレストラン）に到着すること）に基づいて手洗いリマインダ通知を表示する。いくつかの実施形態では、デバイス６００は、時刻に基づいて手洗いリマインダ通知を表示する。いくつかの実施形態では、デバイス６００は、以前の手洗いイベント以後の持続時間（例えば最後にユーザがユーザの手を洗った時から２時間）に基づいて手洗いリマインダ通知を表示する。いくつかの実施形態では、デバイス６００は、他の検出されたユーザ活動、例えば、ユーザがトレーニングをちょうど終了したことに基づいて手洗いリマインダ通知を表示する。いくつかの実施形態では、デバイス６００は、プロンプト基準の検出から所定の時間内に手洗いイベントが検出された場合、手洗いリマインダ通知を表示しない。
図６Ｅの拡大図６０２ａに示すように、手洗いリマインダ通知６３０はまた、選択されると、１時間または当日の間、手洗いリマインダ通知をそれぞれの抑制する、ミュートアフォーダンス６３０ｂおよび６３０ｃを含む。手洗いリマインダ通知６３０は、選択されると、現在の手洗いリマインダ通知６３０を却下する、却下アフォーダンス６３０ｄをさらに含む。デバイス６００は、却下アフォーダンス６３０ｄの選択に対応する入力６３２を受け取る。入力６３２を受け取ったことに応じて、デバイス６００は、手洗いリマインダ通知６３０を表示することを中止し、図６Ｆで時計文字盤ユーザインタフェース６３４を表示する。
図６Ｆでは、拡大図６０２ａで、デバイス６００は、タッチスクリーンディスプレイ６０４上に（現在時刻（例えば、午前）１０：０９を示す）時間インジケーション６３４ａを有する時計文字盤ユーザインタフェース６３４を表示する。着用状態図６０２ｂでは、ユーザは、ユーザの腕６０６ａおよび６０６ｂによって示されるように、中立位置にある。
ここで図６Ｇを参照すると、デバイス６００は、手洗いイベントの開始に対応するものとしてデバイス６００が特定するセンサデータを（例えば、マイクロフォン１１３および加速度計１６８を用いて）検出する。着用状態図６０２ｂに示すように、ユーザは、移動矢印６３６ａおよび６３６ｂによって示されるように、シンク６１０でユーザの手を洗う身体活動を開始している。いくつかの実施形態では、センサデータは、オーディオデータ（例えば、シンク６１０に流れている水）である。いくつかの実施形態では、センサデータは、手の移動、または手の移動とオーディオデータを含む。センサデータを検出すると（例えば、センサデータの検出に応じて）、デバイス６００は、タッチスクリーンディスプレイ６０４上に手洗いユーザインタフェース６４０を自動的に（例えば、明確なユーザ要求入力を必要とすることなく）表示し、オーディオフィードバック６４２ａ（例えば、複数の小さな泡が破裂する音）および触知フィードバック６４４ａ（例えば、軽い触覚振動）を出力する。いくつかの実施形態では、デバイス６００は、オーディオフィードバック６４２ａを出力しない（例えば、デバイスは、サイレントモードにある）。いくつかの実施形態では、デバイス６００は、触知フィードバック６４４ａを出力しない。いくつかの実施形態では、デバイス６００は、図６Ｆの時計文字盤ユーザインタフェース６３４を表示している間に、または図６Ａのようになどタッチスクリーンディスプレイ６０４がコンテンツを表示していない間に、監視のアクティブ化を要求するユーザ入力を受信する必要なしに、手洗いイベントに対応するセンサデータを連続的に監視し、センサデータを検出した後に、ユーザインタフェース６４０を表示する。
図６Ｇの拡大図６０２ａに示すように、手洗いユーザインタフェース６４０は、図６Ｅからの手洗いリマインダ通知６３０を却下した６分後に、（例えば、午前）１０：１５を現在表示する時間インジケーション６３８を含む。さらに、手洗いユーザインタフェース６４０は、ある数（例えば、２０秒を表す「２０」）で開始するカウントダウンタイマー６４０ａおよび進度インジケータ６４０ｂ（例えば、泡の完全な円）を含む。いくつかの実施形態では、カウントダウンタイマー６４０ａは、予め定められた持続時間（例えば、１０秒、２０秒、３０秒）にわたってカウントする。いくつかの実施形態では、カウントダウンタイマー６４０ａの予め定められた持続時間が、ユーザによって選択される。いくつかの実施形態では、カウントダウンタイマー６４０ａは、（例えば、０または１で開始して）カウントアップする。いくつかの実施形態では、進度インジケータ６４０ｂは、手洗いイベントが進行するにつれて、円を作成する（例えば、描く）。手洗いユーザインタフェース６４０はまた、取消アフォーダンス６４０ｃを含む。いくつかの実施形態では、取消アフォーダンス６４０ｃの選択により、ユーザインタフェース６４０を却下し、図６Ｆに示すように時計文字盤ユーザインタフェース６３４を再表示し、同時にまた、この特定の手洗いイベントの追跡を終了する。いくつかの実施形態では、取消アフォーダンスの選択またはデバイス６００の上のカバージェスチャの検出により、手洗いユーザインタフェース６４０を却下する（例えば、かつ図６Ｆの時計文字盤ユーザインタフェース６３４を再表示する）。
図６Ｈでは、着用状態図６０２ｂに示すように、ユーザは、移動矢印６３６ａおよび６３６ｂによって示されるように、シンク６１０でユーザの手を洗う身体活動を継続する（例えば、身体活動（例えば、手洗い）が進行中である）。拡大図６０２ａに示すように、手洗いユーザインタフェース６４０のカウントダウンタイマー６４０ａは、図６Ｇの「２０」から図６Ｈの「１９」に変化しており、センサデータを検出して１秒が経過した（例えば、手洗いイベントが１秒間進行している）ことを示す。図６Ｇから図６Ｈまで、進度インジケータ６４０ｂは、円に示された泡の一部分（例えば、１／２０）が反時計回り方向にはじけることをアニメーション化する。円に示された泡が時計回り方向にはじけること、または異なるカウントするアニメーションを含む、手洗いの進度を表示する様々な他の方法が想到される。デバイス６００は、オーディオフィードバック６４２ａおよび触知フィードバック６４４ａを出力し続ける。いくつかの実施形態では、デバイス６００は、１秒間隔でオーディオフィードバックを出力する（例えば、１秒ごとに１つの泡が破裂する）。いくつかの実施形態では、デバイス６００は、１秒間隔ごとに異なるオーディオフィードバック（例えば、異なる泡がはじけるトーン）を出力する。いくつかの実施形態では、デバイス６００は、途切れないオーディオフィードバックを出力する。いくつかの実施形態では、デバイス６００は、１秒間隔で触知フィードバックを出力する。いくつかの実施形態では、デバイス６００は、途切れない触知フィードバックを出力する。ユーザがユーザの手を洗う身体活動を継続する（例えば、手洗いイベントが継続する（例えば、進行する））と、手洗いユーザインタフェース６４０のカウントダウンタイマー６４０ａは、センサデータを検出する秒をカウントダウンし続ける。進度インジケータ６４０ｂは、はじける泡をアニメーション化し続ける。
図６Ｉでは、着用状態図６０２ｂは、ユーザの腕６０６ａおよび６０６ｂの位置によって示されるように、ユーザがシンク６１０でユーザの手を洗う身体活動を一時停止（例えば、停止）しており、シンク６１０がオフであることを示す。拡大図に示すように、手洗いの身体活動の一時停止に対応するものとしてデバイス６００が特定するセンサデータを検出する（例えば、デバイス６００がそのようなデータを一定期間にわたって検出した後に手洗いを示すセンサデータの中止を検出する）と、デバイス６００は、カウントダウンタイマー６４０ａが「１４」で停止した状態の手洗いユーザインタフェース６４０を表示することによって、現在の手洗いイベントを一時停止し、デバイス６００が現在の手洗いイベントに対応するセンサデータを６秒間検出した（例えば、手洗いイベントが６秒間進行した）ことを示している。いくつかの実施形態では、デバイス６００は、ユーザがユーザの手を洗っていないことに対応するセンサデータに基づいて、現在の手洗いイベントを一時停止する。いくつかの実施形態では、デバイス６００は、オーディオデータの変化（例えば、水がシンク６１０でもはや流れていないこと）に対応するセンサデータに基づいて、現在の手洗いイベントを一時停止する。
図６Ｉでは、デバイス６００は、進度インジケータ６４０ｂをアニメーション化することを中止し、オーディオフィードバックおよび触知フィードバックを出力する。いくつかの実施形態では、デバイス６００は、異なるオーディオフィードバックおよび／または触知フィードバックを出力する。手洗いイベントの一時停止に対応するセンサデータを検出した所定の時間（例えば、２秒）後に、デバイス６００は、手洗いユーザインタフェース６４０上に手洗いの身体活動の継続を促すプロンプト６４６（「洗い続けてください」）を表示する。いくつかの実施形態では、デバイス６００は、プロンプトの表示と共にオーディオフィードバックおよび／または触知フィードバックを出力する。
デバイス６００がプロンプト６４６を表示した後に、所定の時間（例えば、５秒、８秒、１０秒）内に手洗いの身体活動（例えば、手洗いイベント）を再び開始する（例えば、継続する、再開する）ことに対応するものとしてデバイス６００が特定するセンサデータをデバイス６００が検出した場合、デバイス６００は、図６Ｊに示すように、カウントダウンタイマー６４０ａおよび進度インジケータ６４０ｂのアニメーションを再開する。いくつかの実施形態では、デバイス６００が（例えば、一時停止後の所定の時間内に）手洗いイベントを再び開始することに対応するセンサデータを検出しない場合、デバイス６００は、手洗いユーザインタフェース６４０を表示することを中止し、以下でより詳細に論じられる、図６Ｍに示すような完了未遂ユーザインタフェース６５２を表示する。
図６Ｊでは、着用状態図６０２ｂに示すように、ユーザは、腕６０６ａおよび６０６ｂ並びに移動矢印６４８ａおよび６４８ｂによって示されるように、シンク６１０でユーザの手を洗う身体活動を再開する。デバイス６００は、手洗いの身体活動を再び開始する（例えば、再開する）ことに対応するものとしてデバイス６００が特定するセンサデータを検出する。拡大図６０２ａに示すように、センサデータを検出したことに応じて、デバイス６００は、手洗いユーザインタフェース６４０上に「１３」を表示することによって、カウントダウンタイマー６４０ａを再開する。デバイス６００はまた、進度インジケータ６４０ｂをアニメーション化することを再開し、オーディオフィードバック６４２ａおよび触知フィードバック６４４ａを出力する。したがって、タイマーは、デバイス６００によって検出された身体活動の持続時間のタイマーであり、単なる時間の経過のタイマーではない。例えば、ユーザは、タイマーを進めることなく、繰り返し、停止および一時停止することができる。デバイス６００が現在の手洗いイベントに対応するセンサデータを検出し続けると、デバイス６００は、図６Ｋに示すようにカウントダウンタイマー６４０ａおよび進度インジケータ６４０ｂが「１」に進行する間に、手洗いユーザインタフェース６４０の表示を維持する。
図６Ｋでは、拡大図６０２ａで、デバイス６００は、カウントダウンタイマー６４０ａが「１」であり、かつ進度インジケータ６４０ｂがほぼ完了（例えば、はじけた泡の円の１９／２０）している状態の手洗いユーザインタフェース６４０を表示し、デバイス６００がセンサデータを合計１９秒間検出したことを示している。デバイス６００はまた、図６Ｈに関して前述したように、オーディオフィードバック６４２ａおよび触知フィードバック６４４ａを出力する。着用状態図６０２ｂでは、ユーザは、図６Ｌまで、シンク６１０で、移動矢印６４８ａおよび６４８ｂによって示されるように、ユーザの手を洗う身体活動を継続する。
図６Ｌでは、拡大図６０２ａで、センサデータを合計２０秒間にわたって検出すると、デバイス６００は、タッチスクリーンディスプレイ６０４上に正常完了ユーザインタフェース６５０（「よくやりました！」）を表示する。デバイス６００は、完了オーディオフィードバック６４２ｂ（例えば、より大きな泡が破裂する音、より音量が大きな泡が破裂する音）および完了触知フィードバック６４４ｂ（例えば、強い触覚振動）を同時に出力する。いくつかの実施形態では、完了オーディオフィードバック６４２ｂは、オーディオフィードバック６４２ａと同じである。いくつかの実施形態では、完了触知フィードバック６４４ｂは、触知フィードバック６４４ａと同じである。オーディオフィードバック６４２ｂおよび触知フィードバック６４４ｂは、少なくとも正常に完了した手洗いイベントに必要な閾値時間にわたって現在の手洗いイベントに対応するセンサデータをデバイス６００が検出したことをユーザに示す。着用状態図６０２ｂに示すように、ユーザは、手洗いの身体活動を中止し、シンク６１０は、オフである（例えば、水は、流れていない）。いくつかの実施形態では、ユーザが少なくとも閾値時間（例えば、２０秒）にわたって手を洗う場合に正常完了ユーザインタフェース６５０が表示されるため、正常完了ユーザインタフェース６５０は、ユーザが手洗い活動を継続している場合でも表示される。いくつかの実施形態では、正常完了ユーザインタフェース６５０は、ユーザがインタフェースに通知する確率を改善するために、ユーザが手洗いを完了したことをデバイス６００が検出するまで表示されない。
手洗いイベントは、別個の電子デバイス（例えば、ペアリングされた電話機）上の対応するアプリケーションで追跡（例えば、ログ記録）され、この追跡機能の動作は、以下で図６Ｖ～図６Ｗを参照してより詳細に論じられる。対応するアプリケーションで追跡された手洗いイベントは、正常に完了した手洗いイベントと未遂の手洗いイベントに分離される。図６Ｌに関して説明したように、正常に完了した手洗いイベントは、少なくとも閾値時間（例えば、２０秒）にわたって発生する手洗いイベントである。いくつかの実施形態では、未遂の手洗いイベントは、所定の時間（例えば、３秒）よりも長いが、閾値時間（例えば、２０秒）未満にわたって発生する手洗いイベントである。いくつかの実施形態では、３秒未満にわたって発生する手洗いイベントは、対応するアプリケーションでは追跡されない。
図６Ｉに戻ると、デバイス６００が所定の期間（例えば、５秒、８秒、１０秒）内に手洗いイベントを再び開始する（例えば、再開する）ことに対応するセンサデータを検出しない場合、デバイス６００は、手洗いユーザインタフェース６４０を表示することを中止し、図６Ｍの拡大図６０２ａに示すように、完了未遂ユーザインタフェース６５２を表示する。完了未遂ユーザインタフェース６５２は、どれくらい長くデバイス６００が現在の手洗いイベントのセンサデータを検出したか（例えば、６秒）を詳述する教育テキスト６５２ａと、手洗いイベントが正常に完了した手洗いイベントと見なされるためのセンサデータを検出する閾値（例えば、推奨されるまたはユーザが選択した閾値）持続時間（例えば、２０秒）と、を含む。いくつかの実施形態では、教育テキスト６５２ａは、現在の手洗いイベントが正常に完了した手洗いイベントと見なされるために、どれくらいより長い間センサデータの検出を行う必要があったか（例えば、１４秒）を含む。いくつかの実施形態では、教育テキスト６５２ａは、過去の手洗いイベント持続時間との比較（例えば、ユーザが最後の手洗いイベントよりも長くユーザの手を洗った、「あなたは前回より５秒長く洗いました」）を含む。
図６Ｍの拡大図６０２ａでは、完了未遂ユーザインタフェース６５２は、フィードバックアフォーダンス６５２ｂ（「フィードバックを残す」）および完了アフォーダンス６５２ｃをさらに含む。完了アフォーダンス６５２ｃの選択に対応する入力（例えば、タップ）を検出した（例えば、受け取った）ことに応じて、デバイス６００は、完了未遂ユーザインタフェース６５２を表示することを中止し、図６Ｆに関して説明したように、時計文字盤ユーザインタフェース６３４を表示する。図６Ｍに示すように、デバイス６００は、フィードバックアフォーダンス６５２ｂでの入力６５４（例えば、タップ）を検出する（例えば、受け取る）。入力６５４を検出したことに応じて、デバイス６００は、図６Ｎに示すように、フィードバックユーザインタフェース６５６を表示する。
図６Ｎでは、デバイス６００は、タッチスクリーンディスプレイ６０４上にフィードバックユーザインタフェース６５６を表示する。フィードバックユーザインタフェース６５６は、アフォーダンス６５６ａ～６５６ｅを含む。図６Ｎの着用状態図６０２ｂに示すように、ユーザは、デバイス６００上でジェスチャを実行する。拡大図６０２ａに戻ると、フィードバックユーザインタフェース６５６を表示している間に、デバイス６００は、却下アフォーダンス６５６ｅの選択に対応する入力６５８（例えば、タップ）を受け取る（例えば、検出する）。入力６５８を検出したことに応じて、デバイス６００は、フィードバックユーザインタフェース６５６を表示することを中止し、図６Ｆに関して説明したように、時計文字盤ユーザインタフェース６３４を表示する。
いくつかの実施形態では、デバイス６００は、アフォーダンス６５６ａ～６５６ｄの選択に対応する入力を受け取る。デバイスは、以下のように、これらの択一的入力に応答する。アフォーダンス６５６ａ（「私は手を洗っていませんでした」）上の入力を受け取ったことに応じて、デバイス６００は、ユーザがユーザの手を洗う身体活動に関与していなかったという確認を受け取る。いくつかの実施形態では、そのようにマークされたイベントは、以下で図６Ｗを参照して論じられるログ記録（例えば、追跡）から除外される。アフォーダンス６５６ｂ（「私は既に終了しました」）上の入力を受け取ったことに応じて、デバイス６００は、ユーザがユーザの手を洗う身体活動を完了したという確認を受け取る。いくつかの実施形態では、そのようにマークされたイベントは、以下で図６Ｗを参照して論じられるログ記録について完了した手洗いイベントとして追跡される。アフォーダンス６５６ｃ（「１時間ミュート」）上の入力を受け取ったことに応じて、デバイス６００は、手洗い検出および追跡機能を１時間にわたって抑制する。アフォーダンス６５６ｄ（「今日はミュート」）上の入力を受け取ったことに応じて、デバイス６００は、当日の残りにわたって手洗い検出および追跡機能を抑制する。いくつかの実施形態では、手洗い検出および追跡機能を抑制することにより、バックグラウンドでの手洗いイベントの追跡を維持しながら、図６Ｇに関して説明したように、手洗いユーザインタフェース６４０の表示が無効化される。いくつかの実施形態では、手洗い検出および追跡機能を抑制することにより、手洗いユーザインタフェース６４０の表示およびバックグラウンドでの手洗いイベントの追跡が無効化される。
ここで図６Ｏを参照すると、拡大図６０２ａで、デバイス６００は、タッチスクリーンディスプレイ６０４上にトレーニングユーザインタフェース６６０を表示することによって示されるように、現在、トレーニングアプリケーションを実行している。いくつかの実施形態では、デバイス６００は、様々なウォッチアプリケーション（例えば、トレーニング、音楽、電話通話、または音声記録）のうちの１つを実行している。着用状態図６０２ｂでは、ユーザの腕６０６ａおよび６０６ｂは、非手洗い位置（例えば、トレーニングのための自然な位置）にある。トレーニングユーザインタフェース６６０を表示している間に、デバイス６００は、図６Ｐに示すように、手洗いイベントの開始に対応するものとしてデバイス６００が特定するセンサデータを（例えば、マイクロフォン１１３および加速度計１６８を用いて）検出する。
図６Ｐでは、着用状態図６０２ｂは、移動矢印６６２ａおよび６６２ｂによって示されるように、ユーザがシンク６１０でユーザの手を洗う身体活動を開始していることを示す。拡大図６０２ａに示すように、図６Ｇと同様に、センサデータを検出すると（例えば、センサデータの検出に応じて）、デバイス６００は、手洗いユーザインタフェース６４０を表示し、オーディオフィードバック６４２ａ（例えば、複数の小さな泡が破裂する音）および触知フィードバック６４４ａ（例えば、軽い触覚振動）を出力する。加えて、デバイス６００は、進度インジケータ６４０ｂの上にトレーニングインジケータ６６４を表示する。トレーニングインジケータ６６４は、表示された手洗いユーザインタフェース６４０と同時に、トレーニングアプリケーションがデバイス６００上で実行していることを示す。いくつかの実施形態では、デバイス６００は、トレーニングインジケータ６６４の位置に、様々なウォッチアプリケーション（例えば、トレーニング、音楽、電話通話、または音声記録）から実行される１つのアプリケーションに固有のインジケータを表示する。
図６Ｐでは、拡大図６０２ａで、デバイス６００は、ジェーン・アップルシードからのテキストメッセージ６６６に対応するデータを受信する。手洗いユーザインタフェース６４０を表示している間に、デバイス６００は、配信矢印６６６ａの上のブロック記号６６６ｂによって示されるように、テキストメッセージ６６６に対応する通知を抑制する（例えば、表示しない）ことによって、一時的集中状態をアクティブにする。いくつかの実施形態では、テキストメッセージ６６６は、サイレントで（例えば、通知を表示することなく）配信される。いくつかの実施形態では、テキストメッセージ６６６は、現在の手洗いイベントの完了後の配信のためにキューに入れられる。いくつかの実施形態では、重要な通知（例えば、緊急警告、電話通話、優先連絡先からの通信）は、一時的集中状態にオーバーライドし、デバイス６００は、対応する通知を表示する。いくつかの実施形態では、デバイス６００は、重要な通知を表示し、バックグラウンドでの手洗いイベントに対応するセンサデータの追跡を維持する。いくつかの実施形態では、デバイス６００は、重要な通知を表示し、手洗いイベントに対応するセンサデータの追跡を中止する。
図６Ｑに示すように、拡大図６０２ａで、現在の手洗いイベントに対応するセンサデータを合計２０秒間にわたって検出すると、デバイス６００は、タッチスクリーンディスプレイ６０４上に正常完了ユーザインタフェース６５０（「よくやりました！」）を表示する。デバイス６００は、完了オーディオフィードバック６４２ｂ（例えば、より大きな泡が破裂する音、より音量が大きな泡が破裂する音）および完了触知フィードバック６４４ｂ（例えば、強い触覚振動）を同時に出力する。デバイス６００は、正常完了ユーザインタフェース６５０と共にトレーニングインジケータ６６４を表示し続ける。デバイス６００は、図６Ｒでテキストメッセージ通知ユーザインタフェース６６８を表示することによって、テキストメッセージ６６６に対応する通知を配信する。いくつかの実施形態では、テキストメッセージ６６６は、サイレントで配信され（例えば、メッセージングアプリケーションを用いて確認することができる）、デバイス６００は、手洗いイベントの完了時にテキストメッセージ通知ユーザインタフェース６６８を表示しない。
ここで図６Ｓを参照すると、拡大図６０２ａで、デバイス６００は、タッチスクリーンディスプレイ６０４上に電話ユーザインタフェース６７０を表示することによって示されるように、現在、電話通話に対応する電話アプリケーションを実行している。着用状態図６０２ｂは、移動矢印６７２ａおよび６７２ｂによって示されるように、ユーザがシンク６１０でユーザの手を洗う身体活動を開始していることを示す。電話アプリケーションを実行している間に、かつセンサデータを検出すると（例えば、センサデータの検出に応じて）、デバイス６００は、電話ユーザインタフェース６７０の表示を維持する。いくつかの実施形態では、デバイス６００は、電話通話アプリケーションの実行を維持し、同時に、バックグラウンドでの手洗いイベントに対応するセンサデータの追跡を開始する。いくつかの実施形態では、デバイス６００は、電話アプリケーションを実行している間に、手洗いイベントに対応するセンサデータを追跡することを取り止める。電話通話が終了したことを検出すると、デバイス６００は、図６Ｔに示すように、時計文字盤ユーザインタフェース６３４を表示する。
図６Ｔでは、デバイス６００は、電話通話が終了した後、拡大図６０２ａの時計文字盤ユーザインタフェース６３４を表示している。着用状態図６０２ｂに示すように、ユーザは、移動矢印６７２ａおよび６７２ｂによって示されるように、シンク６１０でユーザの手を洗う身体活動を継続する（例えば、維持する）。いくつかの実施形態では、デバイス６００は、バックグラウンドでの手洗いイベントに対応するセンサデータの追跡を維持しながら、時計文字盤ユーザインタフェース６３４の表示を維持する。いくつかの実施形態では、デバイス６００は、手洗いイベントが正常に完了したと見なされるための最小閾値持続時間を満たすための、現在の手洗いイベントに対応するセンサデータの検出の残りの持続時間を表示するカウントダウンタイマー６４０ａを含む、図６Ｇに示すような手洗いユーザインタフェース６４０を表示する。そのような実施形態では、デバイス６００はまた、対応する部分的な泡の円を進度インジケータ６４０ｂが表示している状態で手洗いユーザインタフェース６４０を表示し、オーディオおよび触知フィードバックを出力する。いくつかの実施形態では、デバイス６００は、手洗いイベントに対応するセンサデータを追跡することなく、時計文字盤ユーザインタフェース６３４の表示を維持する。
図６Ｕは、左側にデバイス６０１を示し、右側にデバイス６００を示している。デバイス６０１は、スマートウォッチであるデバイス６００とぺアリングされた（例えば、通信する）スマートフォンである。いくつかの実施形態では、デバイス６０１は、デバイス１００、３００、および５００の１つ以上の特徴または要素を含む。デバイス６０１は、タッチスクリーンディスプレイ６０３上に、手洗い設定ユーザインタフェース６７４を表示する。手洗い設定ユーザインタフェース６７４は、手洗い検出および追跡機能に関する記述テキストと、手洗い検出アフォーダンス６７４ａと、手洗いリマインダアフォーダンス６７４ｂと、を含む。手洗い検出アフォーダンス６７４ａは、オン位置に設定されたトグルを含み、これにより、図６Ｆ～図６Ｌに関して説明したように、手洗いイベントの開始に対応するものとしてデバイス６００が特定するセンサデータをデバイス６００が検出することが可能になる。手洗い検出アフォーダンス６７４ａのトグルの選択は、トグルをオフ位置に更新し、デバイス６００が手洗いイベントに対応するセンサデータを検出することを無効化する。手洗いリマインダアフォーダンス６７４ｂは、オン位置に設定されたトグルを含み、これにより、デバイス６００が図６Ｅに関して説明したものと同様の手洗いリマインダ通知を表示することを可能にする。手洗いリマインダアフォーダンス６７４ｂのトグルの選択は、トグルをオフ位置に更新し、デバイス６００が手洗いリマインダ通知を表示することを無効化する。いくつかの実施形態では、手洗い検出アフォーダンス６７４ａおよび手洗いリマインダアフォーダンス６７４ｂは、独立して動作する。いくつかの実施形態では、手洗い検出アフォーダンス６７４ａのトグルのオフ位置はまた、手洗いリマインダアフォーダンス６７４ｂおよび手洗いリマインダ通知を無効化する。
さらに、図６Ｕは、タッチスクリーンディスプレイ６０４上に、手洗い設定ユーザインタフェース６７６を表示するデバイス６００を示す。手洗い設定ユーザインタフェース６７６は、手洗い検出および追跡機能の手洗いに関する記述テキストと、手洗い検出アフォーダンス６７６ａと、手洗いリマインダアフォーダンス６７６ｂと、を含む。手洗い検出アフォーダンス６７６ａは、オン位置に設定されたトグルを含み、これにより、図６Ｆ～図６Ｌに関して説明したように、手洗いイベントの開始に対応するものとしてデバイス６００が特定するセンサデータをデバイス６００が検出することが可能になる。手洗い検出アフォーダンス６７６ａのトグルの選択は、トグルをオフ位置に更新し、デバイス６００が手洗いイベントに対応するセンサデータを検出することを無効化する。手洗いリマインダアフォーダンス６７６ｂは、オン位置に設定されたトグルを含み、これにより、デバイス６００が図６Ｅに関して説明したものと同様の手洗いリマインダ通知を表示することが可能になる。手洗いリマインダアフォーダンス６７６ｂのトグルの選択は、トグルをオフ位置に更新し、デバイス６００が手洗いリマインダ通知を表示することを無効化する。デバイス６０１とデバイス６００はペアリングされているため、デバイス６０１の手洗い設定ユーザインタフェース６７４とデバイス６００の手洗い設定ユーザインタフェース６７６とは、同期され、設定は、どちらのデバイスからも更新することができる。
ここで図６Ｖを参照すると、デバイス６０１は、タッチスクリーンディスプレイ６０３上に、健康ユーザインタフェース６７８を表示する。健康ユーザインタフェース６７８は、追跡されたユーザの手洗いデータを含むコンパニオンアプリケーション（例えば、デバイス６００と通信するデバイスのアプリケーション（例えば、健康アプリ）の一部である。健康ユーザインタフェース６７８は、様々な追跡されたユーザデータに対応する複数の健康関連アフォーダンスを含む。具体的には、手洗いアフォーダンス６７８ａは、図６Ａ～図６Ｔで論じられた手洗い検出および追跡機能に対応する。手洗いアフォーダンス６７８ａは、完了した手洗いイベントおよび未遂の（例えば、開始されたが、完了していない）手洗いイベントの数のメトリック（例えば、「５回のうちの４回完了」）を含む。いくつかの実施形態では、デバイス６００は、バックグラウンドで手洗いイベントを追跡し（例えば、手洗いユーザインタフェース６４０を表示せず）、コンパニオンアプリケーションで手洗いイベントをログ記録（例えば、追跡）する。デバイス６０１は、手洗いアフォーダンス６７８ａの選択に対応する入力６８０（例えば、タップ）を検出する（例えば、受け取る）。入力６８０を検出したことに応じて、デバイス６０１は、図６Ｗに示すように、タッチスクリーンディスプレイ６０３上に、手洗いデータユーザインタフェース６８２を表示する。
図６Ｗでは、デバイス６００は、タッチスクリーンディスプレイ６０３上に、グラフ領域６８２ａおよび期間選択アフォーダンス６８２ｂ（例えば、日、週、月、年）を含む手洗いデータユーザインタフェース６８２を表示する。期間選択アフォーダンス６８２ｂは、現在、ｘ軸に沿った１日の期間でグラフ領域６８２ａを表示するために選択された「Ｄ」を示す。グラフ領域６８２ａのｙ軸は、手洗いイベントの数を示す。グラフ領域６８２ａは、ｘ軸に沿った午前６時での黒色バーによって示されるように、午前６時の後、かつ午後１２時の前に、２つの完了した手洗いイベントを示す。さらに、グラフ領域６８２ａは、午後１２時の後、かつ午後６時の前に、ｘ軸に沿った午後１２時でのバーの黒色部分によって示されるように、２つの完了した手洗いイベントと、バーの白色部分によって示されるように、１つの未遂の手洗いイベントと、を示す。
図７Ａ～図７Ｃは、いくつかの実施形態に係る、電子デバイスを使用して身体活動イベントの実行を追跡する方法を示すフロー図である。方法７００は、１つ以上の知覚出力生成構成要素（例えば、６０４、１１０、１６１）（例えば、ディスプレイ（例えば、タッチスクリーンディスプレイ）、スピーカ、触知出力生成器）および１つ以上のセンサ（例えば、１１３、１６８）（例えば、ジャイロスコープ、加速度計、マイクロフォン、タッチ感知面）と通信する、コンピュータシステム（例えば、６００、６０１）（例えば、スマートウォッチ、スマートフォン）において実行される。方法７００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
いくつかの実施形態では、電子デバイス（例えば、６００、６０１）は、コンピュータシステムである。コンピュータシステムは、任意選択的に、１つ以上の知覚出力生成構成要素および１つ以上のセンサと通信（例えば、有線通信、無線通信）する。知覚出力生成構成要素は、オーディオ出力、触覚出力、またはＣＲＴディスプレイを介した表示、ＬＥＤディスプレイを介した表示、若しくは画像投影を介した表示などの視覚出力のうちの１つ以上を提供するように構成されている。いくつかの実施形態では、知覚出力生成構成要素は、コンピュータシステムと一体化されている。いくつかの実施形態では、知覚出力生成構成要素は、コンピュータシステムとは別個である。したがって、コンピュータシステムは、（例えば、表示デバイスを使用して）コンテンツを知覚的に生成するために、有線または無線接続を介して、データ（例えば、オーディオデータ、触覚データ、画像データ、またはビデオデータ）を一体型または外部の知覚出力生成構成要素に送信することができる。
後述するように、方法７００は、身体活動イベントの実行を追跡する直感的な方法を提供する。この方法は、身体活動イベントの実行を追跡する際のユーザの認識的負担を低減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ駆動式コンピューティングデバイスの場合、ユーザがより迅速かつ効率的に身体活動イベントの実行を追跡できるようにすることにより、電力を節約し、バッテリ充電の間隔が増す。
方法７００では、コンピュータシステムは、１つ以上のセンサによって、コンピュータシステムのユーザが第１のタイプの身体活動（例えば、図６Ｇの手洗い）を開始することに対応するセンサデータの第１のセット（例えば、図６Ｇのデバイス６００によって（例えば、１１３および／または１６８から）検出されたデータ）（例えば、ユーザの手がパターンで移動すること示す加速度計および／またはジャイロスコープのデータ、特定の周囲音（例えば、水が流れていること）を示すオーディオデータ）を検出する（７０２）。いくつかの実施形態では、センサデータの第１のセットは、活動基準の第１のセット（例えば、満たされたときに、既定のパラメータと一致する活動イベント（例えば、手洗いイベント）としてユーザ活動（例えば、移動）が認定されることを示す基準のセット）を満たす。いくつかの実施形態では、活動基準の第１のセットは、（例えば、付属書類Ａに開示された技術のうちの１つ以上に基づく）手洗いイベント基準のセットである。
コンピュータシステムのユーザ（例えば、腕が６０６ａおよび６０６ｂとして示されるユーザ）が第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出したことに応じて（７０４）、コンピュータシステムは、特定の（例えば、所定の）持続時間のタイマー（例えば、カウントダウンタイマー６４０ａに対応するタイマー（例えば、２０秒））を開始する（例えば、自動的に開始する）（７０６）。
コンピュータシステムのユーザ（例えば、腕が６０６ａおよび６０６ｂとして示されるユーザ）が第１のタイプの身体活動を開始することに対応するセンサデータの第１のセットを検出したことに応じて（７０４）、コンピュータシステムは、１つ以上の知覚出力生成構成要素を用いて、特定の持続時間のタイマーが動作している（例えば、アクティブに時間を測定している、一時停止されていない、実行されている）ことを示す第１の知覚フィードバック（例えば、６４０、６４２ａ、６４４ａ）を出力する（７０８）。いくつかの実施形態では、知覚インジケーションは、第１のタイプの身体活動が検出され続けている間に継続する、視覚カウントまたはオーディオカウント（カウントアップまたはカウントダウン）である。
第１のタイマーを開始した後に（７１０）、かつ第１のタイプの身体活動が進行中であるとの判定に従って（例えば、第１のタイプの身体活動に対応するセンサデータを検出し続けることに従って）、コンピュータシステムは、特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを出力し続ける（７１２）。
第１のタイマーを開始した後に（７１０）、コンピュータシステムは、１つ以上の終了基準のセット（例えば、手洗いの中止に対応する図６Ｉで論じた基準、手洗いの完了に対応する図６Ｌで論じた基準）を検出する（７１４）。いくつかの実施形態では、１つ以上の終了基準のセットは、満たされた複数の基準である（そのそれぞれが、満たされると、タイマーの終了となる）（例えば、タイマーの終了基準）。
第１のタイマーを開始した後に（７１０）、かつ１つ以上の終了基準のセットが満たされたことを検出したことに応じて（７１６）、かつ第１のタイプの身体活動が少なくとも特定の持続時間（例えば、図６Ｇに関して論じたように２０秒）にわたって継続したことに基づいて１つ以上の終了基準のセットが満たされたとの判定に従って、コンピュータシステムは、１つ以上の知覚出力生成構成要素を介して、第１のタイプの身体活動が特定の持続時間にわたって検出されたことを示す第２の知覚フィードバック（６２８、６２４Ｂ、６２６Ｂ）（例えば、オーディオフィードバック、視覚フィードバック、触覚フィードバック）を出力する（７１８）。いくつかの実施形態では、１つ以上の終了基準のセットが満たされたことを検出したことに応じて、タイマーの動作を中止する（例えば、タイマーを一時停止する、タイマーを終了する）。第１のタイプの身体活動が特定の持続時間にわたって検出されたことを示す知覚フィードバックを提供することにより、システムによって検出されているセンサデータに関するフィードバックをユーザに提供する。改善されたフィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。特定の持続時間のタイマーが動作していることを示す第１の知覚フィードバックを提供することにより、ユーザがコンピュータシステムを適切に動作させる（例えば、システムによって検出可能な様式で身体活動を適切に実行し続ける）ことが可能になる。例えば、コンピュータシステム内で実施されている内部状態は、動的に変化し、異なる知覚フィードバックが結果として出力される。動的知覚フィードバックのそのような提示により、コンピュータシステムと対話するようにユーザに促し、コンピュータシステムの操作性を向上させる。
いくつかの実施形態では、１つ以上の終了基準のセット（例えば、手洗いの中止に対応する図６Ｉで論じた基準、手洗いの完了に対応する図６Ｌで論じた基準）が満たされたことを検出したことに応じて、かつタイマーが特定の持続時間（例えば、図６Ｇに関して論じたように２０秒）に達する前に第１のタイプの身体活動（例えば、図６Ｇの手洗い）が停止したために終了基準が満たされたとの判定に従って、コンピュータシステムは、第１のタイプの身体活動がもはや検出されていない（例えば、１つ以上のセンサによってもはや検出されていない、タイマーが実行されている間に少なくとも所定の長さの時間（例えば、５秒、１秒、８秒）にわたって活動が検出されなかった）ことを示す第３の知覚フィードバック（例えば、６４６）（例えば、オーディオフィードバック、視覚フィードバック、触覚フィードバック）を提供する（７２０）。いくつかの実施形態では、タイマーは、１つ以上の終了基準のセットが満たされたことを検出したことに応じて、かつタイマーが特定の持続時間に達する前に身体活動が停止したために終了基準が満たされたとの判定に従って、一時停止される（が、直ちに取り消されない）。第１のタイプの身体活動がもはや検出されていないことを示す知覚フィードバックを提供することにより、システムによって検出されているセンサデータに関するフィードバックをユーザに提供する。改善されたフィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第３の知覚フィードバック（例えば、６４６）を提供した後に、かつ第３の知覚フィードバックを提供した後に第２の特定の持続時間（例えば、手洗いの中止に対応する図６Ｉで論じた持続時間、手洗いの再開に対応する図６Ｊで論じた持続時間）（例えば、所定の期間、５秒、８秒、１０秒）内に１つ以上のセンサによって第１のタイプの身体活動（例えば、図６Ｇの手洗い）が検出されない（例えば、再び検出されない、再開されない）との判定に従って、コンピュータシステムは、第１のタイプの身体がタイマーの特定の持続時間にわたって実行されなかったことを示す第４の知覚フィードバック（例えば、６５２）（例えば、「あなたは５秒間活動を実行しましたが、推奨時間は２０秒です」）を提供する。第１のタイプの身体がタイマーの特定の持続時間にわたって実行されなかったことを示す知覚フィードバックを提供することにより、システムによって検出されているセンサデータに関するフィードバックをユーザに提供する。改善されたフィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプの身体活動（例えば、図６Ｇの手洗い）がタイマーの特定の持続時間にわたって実行されなかったことを示す第４の知覚フィードバック（例えば、６５２）を提供した後に、コンピュータシステムは、選択されると、第１のタイプの身体活動がコンピュータシステムのユーザによって実行されていなかったことをログ記録する（例えば、記録する、それを示す情報を記憶する）（例えば、センサデータの第１のセットがコンピュータシステムのユーザによる第１のタイプの身体活動の実際の実行に対応しなかったことをログ記録する）、第１の選択可能なユーザインタフェースオブジェクト（例えば、６５６ａ）を表示する。いくつかの実施形態では、ユーザは、ユーザが第１のタイプの身体活動を実行していなかったことを報告するためのアフォーダンスを提示される。選択されると、第１のタイプの身体活動がコンピュータシステムのユーザによって実行されていなかったことをログ記録する、第１の選択可能なユーザインタフェースオブジェクトを表示することにより、システムによって収集されたセンサデータに関する追加情報を提供する能力をユーザに提供し、マシン－ヒューマン対話を改善する。追加の機能を提供し、マシン－ヒューマン対話を改善することにより、コンピュータシステムの操作性を向上させ、マシン－ユーザインタフェースをより効率的かつ効果的（例えば、コンピュータ動作および機能をユーザに提供するのに効果的）にする。
いくつかの実施形態では、第１のタイプの身体活動（例えば、図６Ｇの手洗い）がタイマーの特定の持続時間にわたって実行されなかったことを示す第４の知覚フィードバック（例えば、６５２）を出力した後に、かつログ記録基準のセットが満たされたとの判定に従って、コンピュータシステムは、複数の健康関連機能（例えば、６７８ａ、図６Ｖの６７８のアフォーダンス）のデータを収集および提示する第１のアプリケーション（例えば、６７８）（例えば、健康データ集約アプリケーション）において、第１のタイプの身体活動の発生（例えば、６７８ａのテキスト「５回のうちの４回完了」、６８２ａのバーの白色部分）が検出されたが、タイマーの特定の持続時間にわたって実行されなかった（例えば、検出されなかった）ことをログ記録する（例えば、記録する）（例えば、第１のタイプの身体活動の不完全な発生をログ記録する）。第１のタイプの身体活動の発生が検出されたが、タイマーの特定の持続時間にわたって実行されなかったことをログ記録することにより、コンピュータシステムによって収集されたセンサデータに関するフィードバックを得るために、ユーザがアクセスすることができる第１のアプリケーションで記録を生成する。センサデータログにアクセスするオプションを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、ユーザがデータにアクセスするのを支援することによって）ユーザ－デバイスインタフェースをより効率的にし、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにする。
いくつかの実施形態では、ログ記録基準のセットは、第１のタイプの身体活動の第１の発生が少なくとも第３の特定の持続時間（例えば、未遂の手洗いイベントに対応する図６Ｌで論じた持続時間）（例えば、第１の特定の持続時間未満の持続時間、３秒、５秒、１０秒）にわたって検出されたときに満たされる基準を含む。いくつかの実施形態では、閾値時間未満にわたって検出される活動発生は、ログ記録されない。
いくつかの実施形態では、第３の知覚フィードバック（７２４）は、第１のタイプの身体活動（例えば、図６Ｇの手洗い）の継続（例えば、再開）を促すプロンプト（例えば、６４６）（例えば、オーディオプロンプト、視覚プロンプト）である。身体活動の継続を促すプロンプトを提供することにより、ユーザがコンピュータシステムを適切に動作させる（例えば、システムによって検出可能な様式で身体活動を適切に実行し続ける）ことを可能にし、システムがもはや身体活動を検出していないというフィードバックをユーザに提供する。例えば、コンピュータシステム内で実施されている内部状態は、動的に変化し、異なる知覚フィードバックが結果として出力される。動的知覚フィードバックのそのような提示により、コンピュータシステムとさらに対話するようにユーザに促し、コンピュータシステムの操作性を向上させる。
いくつかの実施形態では、１つ以上の終了基準のセット（例えば、手洗いの中止に対応する図６Ｉで論じた基準、手洗いの完了に対応する図６Ｌで論じた基準）が満たされたことを検出したことに応じて、かつタイマーが特定の持続時間（例えば、図６Ｇに関して論じたように２０秒）に達する前に第１のタイプの身体活動が停止したために終了基準が満たされたとの判定に従って、コンピュータシステムは、タイマー（例えば、カウントダウンタイマー６４０ａに対応するタイマー（例えば、１４秒））の動作を一時停止する（例えば、タイマーの進行を停止する）。
いくつかの実施形態では、第３の知覚フィードバック（例えば、６４６）を提供した後に、かつタイマーの動作を一時停止した後に、かつ第１のタイプの身体活動（例えば、図６Ｇの手洗い）が１つ以上のセンサによって検出される（例えば、再び検出される）との判定に従って、コンピュータシステムは、タイマーの動作を再開する（例えば、タイマーが一時停止された同じ点で再開する）。身体活動を再び検出することに基づいてタイマーを再開することにより、タイマーが検出されたセンサデータと同期されることを保証し、タイマーの精度を改善する。検出されたセンサデータに対してタイマーの精度を改善することにより、コンピュータシステムの動作を向上させる。
いくつかの実施形態では、特定の持続時間は、予め定められた持続時間（例えば、図６Ｇに関して論じたように２０秒）（例えば、１０秒、２０秒、３０秒）である。
いくつかの実施形態では、第１のタイプの身体活動が特定の持続時間（例えば、図６Ｇに関して論じたように２０秒）にわたって検出されたことを示す第２の知覚フィードバック（例えば、６４０、６４２ａ、６４２ｂ、６４４ａ、６４４ｂ、６５０）を出力した後に、コンピュータシステムは、複数の健康関連機能のデータを収集および提示する第２のアプリケーション（例えば、６７８）（例えば、健康データ集約アプリケーション、第１のアプリケーションと同じアプリケーション）において、第１のタイプの身体活動の発生（例えば、６７８ａのテキスト「５回のうちの４回完了」、６８２ａのバーの黒色部分）が特定の持続時間にわたって検出されたことをログ記録する（例えば、記録する）（例えば、完了した身体活動の１つのインスタンスが検出されたことを記録する）。第１のタイプの身体活動の発生が特定の持続時間にわたって検出されたことをログ記録することにより、コンピュータシステムによって収集されたセンサデータに関するフィードバックを得るために、ユーザがアクセスすることができる第１のアプリケーションで記録を生成する。センサデータログにアクセスするオプションを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、ユーザがデータにアクセスするのを支援することによって）ユーザ－デバイスインタフェースをより効率的にし、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにする。
いくつかの実施形態では、センサデータの第１のセットを検出する前に、コンピュータシステムは、第１のタイプの第１の動作（例えば、６６０、６７０）（例えば、電話通話、メディア再生、運動活動追跡、音声記録）の実行を開始する。
いくつかの実施形態では、コンピュータシステムは、特定の持続時間（例えば、図６Ｇに関して論じたように２０秒）のタイマーを開始した後に、第１のタイプの第１の動作を実行し続ける（例えば、第１のタイプの第１の動作の実行は、センサデータの第１のセットを検出することまたはタイマーを開始することによって影響を受けない）。いくつかの実施形態では、実行されている、第１のタイプとは異なる第２のタイプの動作は、センサデータの第１のセットを検出したことに応じて、終了／停止される。
いくつかの実施形態では、特定の持続時間のタイマーが時間を測定している（例えば、アクティブに時間を測定している、一時停止されていない）間に、コンピュータシステムは、第１のタイプの第１の動作（例えば、６６０）に対応するインジケーション（例えば、６６４）（例えば、グラフィックインジケーション、テキストインジケーション）を表示する。いくつかの実施形態では、アプリケーションのアクティブなセッションがバックグラウンドで実行されていることを示すアイコンが表示される。タイマーが時間を測定している間に第１のタイプの第１の動作に対応するインジケーションを表示することにより、第１の動作の状態に関するフィードバックをユーザに提供する。改善された視覚フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプの身体活動（例えば、図６Ｇの手洗い）は、コンピュータシステムのユーザによる手洗い（例えば、水（例えば、流水）を使用した１つ以上の手の洗浄）である（例えば、６０２ｂ）。いくつかの実施形態では、手洗いは、付属書類Ａに開示される技術のうちの１つ以上に基づいて検出される。
いくつかの実施形態では、コンピュータシステムは、（例えば、６３０ａのテキストによって示されるように）コンピュータシステムの位置が既定の位置（例えば、ユーザの自宅、ユーザの職場）に対応するときに満たされる基準を含むプロンプト基準のセット（例えば、図６Ｅに関して論じた基準）が満たされたことを検出する（７２６）。
いくつかの実施形態では、プロンプト基準のセットが満たされたことを検出したことに応じて、コンピュータシステムは、コンピュータシステムのユーザが第１のタイプの身体活動（例えば、図６Ｇの手洗い）を実行するための第１のプロンプト（例えば、６３０）（例えば、オーディオプロンプト、視覚プロンプト）（例えば、ユーザの手を洗うためのリマインダ）を出力する（７２８）。
いくつかの実施形態では、プロンプト基準は、コンピュータシステムの位置が既定の位置に対応するときに満たされる基準を含まない。そのような実施形態では、プロンプト基準は、現在時刻が所定の時刻に一致すること、第１のタイプの身体活動（例えば、摂食、運動）を検出すること、所定のイベント（例えば、カレンダー項目）の発生、およびユーザが設定したリマインダ（例えば、リマインダがアクティブ化された所定の時間後に発生するリマインダ（例えば、２時間のリマインダ）、再発時刻（例えば、毎日午後５時）に発生するリマインダ）からなる群から選択される１つ以上の基準を含む。コンピュータシステムのユーザに第１のタイプの身体活動を実行するように促すプロンプトを提供することにより、システムによって検出された条件に関するフィードバックをユーザに提供し、更なるシステム－ユーザ対話を促進する。改善された視覚フィードバックをユーザに提供し、システム－ユーザ対話を促進することにより、コンピュータシステムの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、プロンプト基準のセットは、ユーザが位置に到着した後の所定の時間にわたって位置に留まったときに満たされる基準を含む。いくつかの実施形態では、プロンプト基準のセットは、位置に到着した後の所定の時間（例えば、５分、１０分）の間に第１のタイプの身体活動が検出されなかったときに満たされる基準を含む。いくつかの実施形態では、プロンプト基準のセットは、コンピュータシステムが位置に到着した後の所定の時間（例えば、５分、１０分）内に第１のタイプの身体活動を検出した場合に満たされない。
いくつかの実施形態では、コンピュータシステムは、第１のタイプの身体活動（例えば、図６Ｇの手洗い）の実行に対応する記録されたデータが通知基準のセット（例えば、閾値時間に対応する図６Ｌで論じられた基準）を満たすことを検出する。いくつかの実施形態では、通知基準のセットは、身体活動の発生の回数が目標数を上回るとき、または身体活動の最後の発生の持続時間が所定の数（例えば、身体活動の以前の発生の持続時間）を上回るときに満たされる。
いくつかの実施形態では、第１のタイプの身体活動の実行に対応する記録されたデータが通知基準のセットを満たしたことを検出したことに応じて、コンピュータシステムは、情報（例えば、身体活動の発生のカウント）、身体活動が検出された長さのインジケーション、身体活動の１回以上の発生が検出された時間の長さ、記録されたデータに基づく（例えば、それから導出された、それから導出された、そのサブセットである）身体活動の異なる発生の時間の長さの比較（例えば、持続時間が最後の発生から増加したというインジケーション）を含む第１の通知（例えば、６４２ｂ、６４４ｂ、６５０）（例えば、オーディオ通知、視覚通知）を出力する。第１のタイプの身体活動の実行に対応する記録されたデータに基づく情報を含む通知を提供することにより、システムによって検出された条件に関するフィードバックをユーザに提供し、更なるシステム－ユーザ対話を促進する。改善された視覚フィードバックをユーザに提供し、システム－ユーザ対話を促進することにより、コンピュータシステムの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
図１ＡＺ～図１ＢＺは、本開示の実施例に係る、１つ以上のセンサに基づいて個々の健康関連イベントを検出するための例示的なシステムを示す。図１ＡＺは、本開示の実施例に係る、一体型タッチスクリーン１５２ｚと、１つ以上のセンサ１６０ｚ（例えば、加速度計、マイクロフォン、光センサなど）と、個々の健康関連イベント（例えば、手洗いイベント）を検出するようにプログラムされた処理回路と、を含むことができる例示的なウェアラブルデバイス１５０ｚ（例えば、ウォッチ）を示す。ウェアラブルデバイス１５０ｚは、例えば、ストラップ１５４ｚを使用してユーザに取り付けることができる。ウェアラブルデバイス１５０ｚは、タッチスクリーンを含むが、本明細書に記載の個々の健康関連イベントの検出は、タッチ感知ディスプレイ若しくは非タッチ感知ディスプレイを有さないまたは有さないデバイスに適用することができることが理解される。図１ＡＺに示されるウェアラブルデバイス１５０ｚは、ウェアラブルデバイスの一実施例であるが、個々の健康関連イベントの検出は、他のウェアラブルデバイス（例えば、リング、スマートバンド、健康バンド、フィンガーカフ、リストカフ、グローブなど）に部分的または全体的に実装することができることが理解される。
図１ＢＺは、本開示の実施例に係る、図１ＡＺの例示的なウェアラブルデバイス１５０ｚを含む、個々の健康関連イベントを検出するためのシステムの例示的なブロック図１００ｚを示す。ブロック図１００ｚは、ウェアラブルデバイス１５０ｚに対応する電子デバイスを含むことができる。ウェアラブルデバイス１５０ｚは、例えば、１つ以上の光エミッタ１０２ｚおよび１つ以上の光センサ１０４ｚを含む光感知システムを含むことができる。ウェアラブルデバイス１５０ｚは、例えば、１つ以上の加速度計１０６ｚを含む動き感知システムを含むことができる。ウェアラブルデバイス１５０ｚは、例えば、マイクロフォン１２２ｚを含むオーディオ感知システムを含むことができる。ウェアラブルデバイス１５０ｚはまた、タッチスクリーン１５２ｚを含むことができる。任意選択的にホストプロセッサ１０８ｚおよび低電力プロセッサ１０９ｚを含むウェアラブルデバイス１５０ｚの処理回路は、光感知システム、動き感知システム、オーディオ感知システム、およびタッチスクリーン１５２ｚからのデータを操作および／または処理するようにプログラムすることができる。いくつかの実施例では、光感知システム、動き感知システム、オーディオ感知システム、および／またはタッチスクリーンは、入出力（Ｉ／Ｏ）デバイス１１０ｚを介して処理回路に結合することができる。Ｉ／Ｏデバイス１１０ｚは、いくつかの実施例では、光感知システム、動き感知システム、および／またはオーディオ感知システムからのアナログ信号を、処理回路によって処理するためにデジタル信号に変換するための１つ以上のアナログ－デジタルコンバータ（ａｎａｌｏｇ－ｔｏ－ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ、ＡＤＣ）を含むことができる。
ブロック図１００ｚのこれらの上述した構成要素は、ウェアラブルデバイス１５０ｚ内に組み込むことができ、ウェアラブルデバイス１５０ｚは、ストラップ１５４ｚによってユーザに取り付けることができる、または他の方法でユーザの皮膚（例えば、ユーザの手首）に固定することができる、または他の方法でユーザが着用する衣類（例えば、ユーザのシャツの袖）に取り付けることができる。光エミッタ（単数または複数）１０２ｚおよび光センサ（単数または複数）１０４ｚは、１つ以上の光エミッタ１０２ｚ（例えば、１つ以上の発光ダイオード）からの光の一部分を他の可能性の中でも皮膚１１４ｚ、血管系、および／または血液によって吸収することができ、かつ一部分を１つ以上の光センサ１０４ｚ（例えば、フォトダイオード）へと反射させて戻すことができるように、ユーザの皮膚に近接して配置することができる。例えば、光センサ（単数または複数）１０４ｚは、この光を反射光の強度を示す電気信号に変換することができる。光センサ（単数または複数）１０４ｚは、いくつかの実施例では、光エミッタ（単数または複数）１０２ｚと同じ場所に（例えば、ウェアラブルデバイス１５０ｚの背面上に）配置することができる。光センサ（単数または複数）１０４ｚからの信号は、心拍数、心電図、血中酸素濃度などを含む生理学的状態のインジケーションを含むことができる光電式指尖容積脈波（ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｍ、ＰＰＧ）信号であってもよい。
加速度計１０６ｚによって図１ＢＺに表される動き感知システムは、ユーザの移動による加速度を示す加速度出力信号（「加速度データ」またはより一般的には「動きデータ」）を提供することができる。例えば、ウェアラブルデバイス１５０ｚは、ユーザの手首に着用することができ、加速度計出力信号は、手を洗っている間のこすり洗いの動きを示すことができる。他の例では、加速度計出力信号は、ユーザの他の腕若しくは手の移動（例えば、腕の振り）または歩行（例えば、足部接地速度）を示すことができる。いくつかの実施例では、加速度計は、３次元加速度出力（例えば、加速度出力の３つのチャネル）を提供する３軸加速度計であってもよい。本明細書では加速度計および加速度データとして主に説明されているが、他のセンサ（例えば、ジャイロスコープ、慣性測定ユニット（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ、ＩＭＵ）、位置センサなど）を使用して、動きデータを取得または推測することができることを理解されたい。加速度計（および／または他のセンサ）からの動きデータは、認定こすり洗いイベントの検出のために処理することができる。
マイクロフォン（単数または複数）１２２ｚによって図１ＢＺに表されるオーディオ感知システムは、オーディオ出力信号（「オーディオデータ」）を提供することができる。例えば、ウェアラブルデバイス１５０ｚは、ユーザの手首に着用することができ、オーディオ信号は、手を洗っている間のすすぎを示すことができる。
光感知システムの（光センサ（単数または複数）１０４ｚからの）アナログ出力、動き感知システムの（加速度計（単数または複数）１０６ｚからの）アナログ出力、および／またはオーディオ感知システムの（マイクロフォン（単数または複数）１２２ｚからの）アナログ出力は、（例えば、Ｉ／Ｏデバイス１１０ｚの）ＡＤＣを使用してデジタル形式に変換することができる。いくつかの実施例では、デジタル化したデータは、ウェアラブルデバイス１５０ｚのメモリ１３０ｚに記憶することができる。ホストプロセッサ１０８ｚおよび／または低電力プロセッサ１０９ｚを含む処理回路は、これらのセンサのうちの１つ以上からの（またはメモリ１３０ｚからの）デジタル化したデータを受信することができ、このデータを処理することができる。いくつかの実施例では、本明細書に記載するように、（例えば、加速度計１０６ｚからの）動きデータおよび（例えば、マイクロフォン１２２ｚからの）オーディオデータは、処理回路によって処理して、個々の健康関連イベントを識別することができる。個々の健康関連イベントは、手洗いイベントを含むことができる。
Ｉ／Ｏデバイス１１０ｚは、有線または無線通信リンク１２４ｚを介してリモートデバイス１１８ｚに結合することができる。リモートデバイス１１８ｚは、携帯電話、タブレットコンピュータ、パーソナルコンピュータ、ポータブルメディアプレーヤ、データサーバなどを含む任意のウェアラブルデバイスまたは非ウェアラブルデバイスであってもよい。いくつかの実施例では、リモートデバイス１１８ｚは、ウェアラブルデバイス１５０ｚの処理回路による個々の健康イベントの検出に関する情報を受信することができる。
加えて、いくつかの実施例では、センサのうちの１つ以上および個々の健康関連イベントを検出するための処理の一部または全ては、ウェアラブルデバイスまたは非ウェアラブルデバイスを含む１つ以上のリモートデバイスに実装することができる。例えば、センサのうちの１つ以上は、第２のウェアラブルデバイスまたは第２の非ウェアラブルデバイスに実装することができる。いくつかの実施例では、ウェアラブルデバイス１５０ｚの加速度計１０６ｚを使用して、動きデータを収集することができ、ウェアラブルデバイス１５０ｚと通信する携帯電話（リモートデバイス１１８ｚ）のマイクロフォンを使用して、オーディオデータを収集することができる。ウェアラブルデバイス（単数または複数）からの、および／または非ウェアラブルデバイス（単数または複数）からの１つ以上のセンサからのデータストリームは、ウェアラブルデバイス（単数または複数）および／または非ウェアラブルデバイス（単数または複数）の処理回路によって処理することができる。例えば、１つ以上のデータストリーム（動きデータ、オーディオデータ）は、有線または無線チャネルを介して、ウェアラブルデバイスまたは非ウェアラブルデバイスの処理回路に通信することができる。例えば、動きデータおよび／またはオーディオデータは、ウェアラブルデバイス１５０ｚからリモートデバイス１１８ｚに通信することができ、リモートデバイス１１８ｚの処理回路を使用して、個々の健康関連イベントを検出するためにデータストリームを処理することができる。いくつかの実施例では、本明細書に記載の処理の一部は、ウェアラブルデバイスの処理回路によって実行することができ、および／または処理の一部は、非ウェアラブルデバイスの処理回路によって実行することができる。
図２Ｚは、本開示の実施例に係る、個々の健康関連イベントを検出するために使用することができる例示的なコンピューティングシステム２００ｚのブロック図を示す。コンピューティングシステム２００ｚは、本明細書に記載のウェアラブルデバイスおよび非ウェアラブルデバイスの回路に対応することができる。ブロック図は、概して、コンピュータ可読媒体２０１ｚ（例えば、キャッシュ、メインメモリ、および二次メモリを含むがこれらに限定されないメモリ階層を含む）と、処理回路２０４ｚと、Ｉ／Ｏサブシステム２０６ｚと、無線周波数（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ、ＲＦ）回路２０８ｚと、オーディオ回路２１０ｚと、センサ回路２１１ｚと、を含むことができる。これらの構成要素は、１つ以上の通信バスまたは信号ライン２０３ｚによって結合することができる。
ＲＦ回路２０８ｚを使用して、（例えば、デバイス間でオーディオデータおよび／または動きデータを通信するために）無線リンクまたはネットワークを介して１つ以上の他のデバイスに情報を送信および受信することができ、ＲＦ回路２０８ｚは、この機能を実行するための周知の回路を含む。ＲＦ回路２０８ｚおよびオーディオ回路２１０ｚは、（例えば、図１ＢＺのＩ／Ｏデバイス１１０ｚに対応する）周辺機器インタフェース２１６ｚを介して処理回路２０４ｚに結合することができる。周辺機器インタフェース２１６ｚは、周辺機器と処理回路２０４ｚとの間の通信を確立および維持するための、様々な既知の構成要素を含むことができる。
オーディオ回路２１０ｚは、オーディオスピーカ２５０ｚおよび（例えば、図１ＢＺのマイクロフォン１２２ｚに対応する）マイクロフォン２５２ｚに結合することができ、周辺機器インタフェース２１６ｚから受信された音声信号を処理して、ユーザが他のユーザとリアルタイムで通信することを可能にするための既知の回路を含むことができる。いくつかの実施例では、オーディオ回路２１０ｚは、ヘッドホンジャック（図示せず）を含むことができる。センサ回路２１１ｚは、（例えば、図１ＢＺの光エミッタ（単数または複数）１０２ｚに対応する）１つ以上の発光ダイオード（ＬＥＤ）または他の光エミッタ、（例えば、図１ＢＺの光センサ（単数または複数）１０４ｚに対応する）１つ以上のフォトダイオードまたは他の光センサ、１つ以上の光熱センサ、１つ以上の磁気計、（例えば、図１ＢＺの加速度計（単数または複数）１０６ｚに対応する）１つ以上の加速度計、１つ以上のジャイロスコープ、１つ以上の慣性測定ユニット（ＩＭＵ）または１つ以上のＩＭＵサブ構成要素、１つ以上の気圧計、１つ以上のコンパス、１つ以上の近接センサ（例えば、赤外線センサ）、１つ以上のカメラ、１つ以上の周辺光センサ、１つ以上の温度計、１つ以上の全地球測位システム（ＧＰＳ）センサ、および残りのバッテリ寿命、電力消費、プロセッサ速度、ＣＰＵ負荷などを感知することができる様々なシステムセンサを含むがこれらに限定されない、様々なセンサに結合することができる。
周辺機器インタフェース２１６ｚは、コンピューティングシステム２００ｚの入力周辺機器および出力周辺機器を（例えば、図１ＢＺのホストプロセッサ１０８ｚおよび／または低電力プロセッサ１０９ｚに対応する）１つ以上のプロセッサ２１８ｚに、かつコントローラ２２０ｚを介して１つ以上のコンピュータ可読媒体２０１ｚに結合することができる。１つ以上のプロセッサ２１８ｚは、コントローラ２２０ｚを介して１つ以上のコンピュータ可読媒体２０１ｚと通信する。もう１つのコンピュータ可読媒体２０１ｚは、１つ以上のプロセッサ２１８ｚによって使用するためのコードおよび／またはデータを記憶することができる任意のデバイスまたは媒体であってもよい。
個々の健康関連イベントを検出することを含む、本明細書に記載の機能のうちの１つ以上は、メモリまたはプログラム記憶装置（例えば、媒体２０１ｚ）に記憶され、かつ１つ以上のプロセッサ（例えば、低電力プロセッサ１０９ｚおよび／またはホストプロセッサ１０８ｚ）によって実行される、ファームウェアによって実行することができることに留意されたい。ファームウェアは、コンピュータベースのシステム、プロセッサを含むシステムなどの命令を実行するシステム、装置、若しくはデバイス、または、命令を実行するシステム、装置、若しくはデバイスから命令をフェッチして、命令を実行することができる他のシステムによって、またはこれらに関連して使用するための任意の非一時的コンピュータ可読記憶媒体（例えば、コンピュータ可読媒体）内にもまた、記憶および／または送信することができる。本文書のコンテキストでは、「非一時的コンピュータ可読記憶媒体」は、命令を実行するシステム、装置、若しくはデバイスによって、またはこれらに関連して使用するためのプログラムを含むまたは記憶することができる任意の媒体（信号を除く）とすることができる。コンピュータ可読媒体記憶媒体としては、電子、磁気、光学、電磁、赤外線、若しくは半導体システム、装置、若しくはデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）（磁気）、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）（磁気）、消去可能なプログラマブル読出し専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＥＰＲＯＭ）（磁気）、ポータブル光ディスク（ＣＤ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ、ＤＶＤ－Ｒ、またはＤＶＤ－ＲＷなど）、またはコンパクトフラッシュ（登録商標）カード、セキュアデジタルカード、ＵＳＢメモリデバイス、メモリースティックなどのフラッシュメモリ等を挙げることができるが、これらに限定されない。
このファームウェアは、コンピュータベースのシステム、プロセッサを含むシステムなどの命令を実行するシステム、装置、若しくはデバイス、または、命令を実行するシステム、装置、若しくはデバイスから命令をフェッチし、実行することができる他のシステム、によって使用されるか、またはこれらに接続した任意の送信媒体内でもまた、伝搬することができる。本明細書の文脈では、「伝送媒体」は、命令実行システム、装置、またはデバイスによって使用されるかまたはこれらに接続したプログラムを通信し、伝搬し、または伝送することができる任意の媒体とすることができる。伝送媒体としては、限定はされないが、電子、磁気、光学、電磁または赤外線の有線または無線の伝播媒体を挙げることができるが、これらに限定はされない。伝送媒体は、通信ネットワークを含むことができ、この通信ネットワークとしては、インターネット（ワールドワイドウェブとも呼ばれる）、イントラネット（単数または複数）、ローカルエリアネットワーク（ＬＡＮ）、ワイドローカルエリアネットワーク（Ｗｉｄｅ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＬＡＮ）、ストレージエリアネットワーク（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＳＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）などが挙げられるが、これらに限定されない。
１つ以上のプロセッサ２１８ｚは、媒体２０１ｚに記憶された様々なソフトウェア構成要素を実行して、コンピューティングシステム２００ｚの様々な機能を実行する。いくつかの実施例では、ソフトウェア構成要素は、オペレーティングシステム２２２ｚ、通信モジュール（または命令セット）２２４ｚ、タッチ処理モジュール（または命令セット）２２６ｚ、グラフィックモジュール（または命令セット）２２８ｚ、および１つ以上のアプリケーション（または命令セット）２２３ｚを含むことができる。これらのモジュールおよび上述のアプリケーションのそれぞれは、上述した１つ以上の機能および本出願で説明される方法（例えば、コンピュータにより実施される方法、および本明細書で説明される他の情報処理方法）を実行する命令セットに対応することができる。これらのモジュール（すなわち、命令セット）は、別個のソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、したがって、様々な実施例において、これらのモジュールの様々なサブセットを組み合わせる、または別の方法で再配置してもよい。いくつかの実施例では、媒体２０１ｚは、上記で特定されるモジュールおよびデータ構造のサブセットを記憶することができる。さらに、媒体２０１ｚは、上述されていない追加のモジュールおよびデータ構造を記憶することができる。
オペレーティングシステム２２２ｚは、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御および管理するための、様々な手順、命令セット、ソフトウェア構成要素、および／またはドライバを含むことができ、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。通信モジュール２２４ｚは、１つ以上の外部ポート２３６ｚを介した、またはＲＦ回路２０８ｚを介した、他のデバイスとの通信を容易にすることができ、ＲＦ回路２０８ｚおよび／または外部ポート２３６ｚから受信したデータを取り扱うための、様々なソフトウェア構成要素を含むことができる。グラフィックモジュール２２８ｚは、ディスプレイ表面上にグラフィックオブジェクトをレンダリングし、アニメーション化し、表示するための、様々な既知のソフトウェア構成要素を含むことができる。タッチＩ／Ｏデバイス２１２ｚがタッチ感知ディスプレイ（例えば、図１ＢＺのタッチスクリーン１５２ｚに対応するタッチスクリーン）である実施例では、グラフィックモジュール２２８ｚは、タッチ感知ディスプレイ上にオブジェクトをレンダリング、表示、およびアニメーション化するための構成要素を含むことができる。
コンピューティングシステム２００ｚはまた、（例えば、タッチスクリーン１５２ｚに対応する）タッチＩ／Ｏデバイス２１２ｚおよび／または（例えば、光感知システムに対応する）他のＩ／Ｏデバイス２１４ｚを含むことができる。タッチＩ／Ｏデバイス２１２ｚはまた、タッチＩ／Ｏデバイスが図１ＢＺのウェアラブルデバイス１５０ｚに組み込まれている場合、個々の健康イベントデータを表示する（例えば、手洗い実行を表示する、手洗い実行に関する通知または他のフィードバックを表示する、など）プログラミングモードの中で選択する使用を可能にするＵＩインタフェースを組み込むことができる。
１つ以上のアプリケーション２２３ｚは、コンピューティングシステム２００ｚ上にインストールされる任意のアプリケーションを含むことができ、これらのアプリケーションとしては、ブラウザ、アドレス帳、連絡先リスト、電子メール、インスタントメッセージング、ワードプロセッシング、キーボードエミュレーション、ウィジェット、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、音声複製、位置判定能力（ＧＰＳによって提供されるものなど）、音楽プレーヤなどが挙げられるが、これらに限定されない。
タッチ処理モジュール２２６ｚは、タッチＩ／Ｏデバイス２１２ｚに関連付けられた様々なタスクを実行するための、様々なソフトウェア構成要素を含むことができ、これらのタスクとしては、タッチＩ／Ｏデバイスコントローラ２３２ｚを介してタッチＩ／Ｏデバイス２１２ｚから受信されるタッチ入力を受信および処理することが挙げられるが、これらに限定されない。タッチ入力は、カーソルまたはポインタなどのオブジェクトの移動、スクロールまたはパニング、制御設定の調整、ファイルまたは文書を開くこと、メニューの閲覧、選択の実行、命令の実行、ホストデバイスに接続された周辺デバイスの操作、電話通話への応答、電話通話の発信、電話通話の終了、音量またはオーディオ設定の変更、アドレス、頻繁に発信される番号、着信、不在着信などの電話通信に関する情報の保存、コンピュータまたはコンピュータネットワークへのログイン、許可された個人にコンピュータまたはコンピュータネットワークの制限された領域へのアクセスを許可すること、コンピュータデスクトップのユーザの好ましい配置に関連付けられたユーザプロファイルのロード、ウェブコンテンツへのアクセスの許可、特定のプログラムの起動、メッセージの暗号化または復号などを含むことができるがこれらに限定されないアクションを実行するために、プログラム記憶装置２０１ｚに記憶されたコンピュータプログラムによって使用することができる。プログラム記憶装置２０１ｚに記憶されたコンピュータプログラムはまた、処理回路に、本明細書に記載の個々の健康関連イベント検出を実行させることができる。
Ｉ／Ｏサブシステム２０６ｚ（図１ＢＺのＩ／Ｏデバイス１１０ｚに対応する）は、タッチＩ／Ｏデバイス２１２ｚおよび様々な機能を制御または実行するための１つ以上の他のＩ／Ｏデバイス２１４ｚに結合することができる。タッチＩ／Ｏデバイス２１２ｚは、タッチＩ／Ｏデバイスコントローラ２３２ｚを介して処理システム２０４ｚと通信することができ、ユーザのタッチ入力を処理する（例えば、ハードウェアを走査する）ための様々な構成要素を含むことができる。１つ以上の他の入力コントローラ２３４ｚは、他のＩ／Ｏデバイス２１４ｚとの間で、電気信号を受信／送信することができる。他のＩ／Ｏデバイス２１４ｚとしては、物理ボタン、ダイヤル、スライダスイッチ、スティック、キーボード、タッチパッド、追加のディスプレイスクリーン、またはこれらの任意の組み合わせを挙げることができる。タッチスクリーンとして実装される場合、タッチＩ／Ｏデバイス２１２ｚは、ＧＵＩ内に、ユーザに対する視覚出力を表示することができる。この視覚出力は、テキスト、グラフィック、ビデオ、およびこれらの任意の組み合わせを含むことができる。
視覚出力の一部または全ては、グラフィカルユーザインタフェースオブジェクトに対応することができる。タッチＩ／Ｏデバイス２１２ｚは、ユーザからのタッチ入力を受け入れるタッチ感知面を含むことができる。タッチＩ／Ｏデバイス２１２ｚおよびタッチスクリーンコントローラ２３２ｚは（媒体２０１ｚの任意の関連するモジュールおよび／または命令セットと共に）、タッチＩ／Ｏデバイス２１２ｚ上のタッチまたは近接入力（およびタッチの任意の移動または解放）を検出および追跡することができ、検出されたタッチ入力を１つ以上のユーザインタフェースオブジェクトなどのグラフィックオブジェクトとの対話に変換することができる。タッチＩ／Ｏデバイス２１２ｚがタッチスクリーンとして実装される実施例では、ユーザは、タッチスクリーン上に表示することができるグラフィカルユーザインタフェースオブジェクトと直接対話することができる。あるいは、タッチＩ／Ｏデバイス２１２ｚがタッチスクリーン以外のタッチデバイス（例えば、タッチパッド）として実装される場合、ユーザは、Ｉ／Ｏデバイス２１４ｚとして実装された別個のディスプレイスクリーン上に表示することができるグラフィカルユーザインタフェースオブジェクトと間接的に対話することができる。
タッチＩ／Ｏデバイス２１２ｚは、以下の米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、米国特許第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、および／若しくは米国特許第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／または米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知面と類似していてもよく、これらの特許文献のそれぞれは、あらゆる目的のために参照により本明細書に組み込まれる。タッチＩ／Ｏデバイス２１２ｚがタッチスクリーンである実施例では、タッチスクリーンは、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）技術、発光ポリマーディスプレイ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｐｏｌｙｍｅｒ ｄｉｓｐｌａｙ、ＬＰＤ）技術、有機ＬＥＤ（ｏｒｇａｎｉｃ ＬＥＤ、ＯＬＥＤ）、または有機エレクトロルミネセンス（ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏ ｌｕｍｉｎｅｓｃｅｎｃｅ、ＯＥＬ）を使用することができるが、他の実施例では、他のディスプレイ技術を使用することができる。
フィードバックは、ユーザのタッチ入力、並びに表示されているものおよび／またはコンピューティングシステムの状態（単数または複数）に基づいて、タッチＩ／Ｏデバイス２１２ｚ（および／または他のＩ／Ｏデバイス２１４ｚ）によって提供することができる。フィードバックは、光学的に（例えば、光信号または表示画像）、機械的に（例えば、触覚フィードバック、タッチフィードバック、力フィードバックなど）、電気的に（例えば、電気的刺激）、嗅覚的に、聴覚的に（例えば、ビープ音など）など、またはそれらの任意の組み合わせで、可変方式若しくは非可変方式で、送信することができる。
コンピューティングシステム２００ｚはまた、様々なハードウェア構成要素に給電するための電力システム２４４ｚも含むことができ、また、電力管理システム、１つ以上の電源、再充電システム、停電検出回路、電力コンバータまたはインバータ、電力状態インジケータ、並びに、典型的にはポータブルデバイス内での電力の生成、管理、および分配に関連付けられた任意の他の構成要素を含むことができる。いくつかの実施例では、電力管理システムは、本明細書でより詳細に説明されるように、データの取得、データの処理、および個々の健康関連イベントの検出の１つ以上の態様を調整することができる。
いくつかの実施例では、周辺機器インタフェース２１６ｚ、１つ以上のプロセッサ２１８ｚ、および処理回路２０４ｚのメモリコントローラ２２０ｚは、単一のチップ（特定用途向け集積回路）上にまたは単一のプリント回路基板上に実装することができる。いくつかの他の実施例では、それらは、別個のチップ上に、かつ／または複数のプリント回路基板にわたって実装することができる。
図２Ｚに示すブロック図は、図示されているよりも多い若しくは少ない構成要素、または構成要素の異なる構成を有することができることを理解されたい。図２Ｚに示す様々な構成要素は、１つ以上の信号処理回路および／または特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装することができる。
本明細書で論じられるように、個々の健康関連イベントを検出することは、手洗いイベントを検出することを含むことができる。認定手洗いイベントを検出することは、認定こすり洗いイベントおよび認定すすぎイベントを検出することを含むことができる。いくつかの実施例では、手洗いイベントは、１つ以上のセンサデータストリームを使用して検出することができる。いくつかの実施例では、センサデータストリームは、（例えば、加速度計から取得された）動きデータおよび（例えば、マイクロフォンから取得された）オーディオデータを含むことができる。動きデータを使用して、認定こすり洗いイベントを検出することができ、オーディオデータを使用して、認定すすぎイベントを検出することができる。いくつかの実施例では、動きデータおよびオーディオデータを使用して、認定こすり洗いイベントおよび／または認定すすぎイベントを検出することができる。本明細書で使用されるとき、認定イベントとは、１つ以上の基準を満たすイベントを指す。例えば、動きデータに基づいて認定こすり洗いイベントを検出することは、持続時間基準、振幅基準、速度基準などを任意選択的に含む１つ以上の基準を満たす動きデータを検出することを含むことができる。１つ以上の基準は、手を合わせてこすり洗いすることに関連付けられた動きを他の動き（例えば、手首を持ち上げること、腕を振ること、様々な運動、座ること、タイピングすることなど）と区別するように設定することができる。同様に、オーディオデータに基づいて認定すすぎイベントを検出することは、持続時間基準、振幅基準、周波数成分基準などを任意選択的に含む１つ以上の基準を満たすオーディオデータを検出することを含むことができる。１つ以上の基準は、手をすすぐことに関連付けられたオーディオを他のオーディオ（例えば、環境音、交通、風など）と区別するように設定することができる。いくつかの実施例では、認定手洗いイベントを検出することは、１つ以上の基準を満たすことを含むことができる。１つ以上の基準は、認定こすり洗いイベントを検出することの閾値期間内（例えば、３０秒以内、１分以内など）の認定すすぎイベントを検出することを含むことができる。そのような基準を使用して、典型的な手洗いイベントを示さない場合がある偽認定こすり洗いイベントおよび／または偽すすぎイベントを除外することができる。
図３Ｚは、本開示の実施例に係る、手洗いイベントを検出する例示的なプロセスを示す。プロセス３００ｚは、複数のセンサからデータを取得することを含むことができる。例えば、動きデータ（例えば、加速度計データ）およびオーディオデータは、３０５ｚおよび３１０ｚでそれぞれ取得することができる。例えば、加速度計データは、加速度計１０６ｚによって取得することができ、オーディオデータは、マイクロフォン１２２ｚによって取得することができる。加速度計データおよびオーディオデータを処理することができる。例えば、処理は、低電力プロセッサ１０８ｚおよび／またはホストプロセッサ１０９ｚによって実行することができる。処理は、（例えば、認定こすり洗いイベント基準を満たす）認定こすり洗いイベントを検出するための加速度計データの分析および（例えば、認定すすぎイベント基準を満たす）認定すすぎイベントを検出するためのオーディオデータの分析を含むことができる。処理はまた、例えば、３２０ｚで認定手洗いイベントが検出されるかどうかを判定することを含むことができる。認定手洗いイベントが検出されない場合、加速度計データおよびオーディオデータの処理は、３１５ｚで、その後の加速度計データおよびオーディオデータについて（任意選択的に、その後の加速度計データおよび／またはオーディオデータを取得および／または処理する前になんらかの持続時間にわたってなんらかのスリープ状態またはアイドル状態を伴って）継続することができる。認定手洗いイベントが検出される場合、手洗いイベントを報告することができる。認定手洗いイベントが報告されると、加速度計データおよびオーディオデータの取得および／または処理は、いくつかの実施例では、その後の加速度計データおよびオーディオデータについて３１５ｚで継続することができる。報告された手洗いイベントを使用して、ユーザの手洗い実行を追跡および／またはログ記録することができる。ユーザの手洗い実行を使用して、フィードバックをトリガすることもできる。いくつかの実施例では、手洗いイベントの検出により、カウントダウンタイマーを開始して、ユーザが手洗いの有効性を改善するのを支援することができる。
いくつかの実施例では、データの取得および／または処理を順序付けることによって、電力消費を低減することができる。いくつかの実施例では、センサおよび／または処理回路による電力消費を軽減するために、動きデータの処理を使用して、オーディオデータの取得および／または処理をトリガすることができる（またはトリガしなくてもよい）。図４Ｚは、本開示の実施例に係る、手洗いイベントを検出する別の例示的なプロセスを示す。プロセス４００ｚは、複数のセンサからデータを取得することを含むことができる。例えば、動きデータ（例えば、加速度計データ）およびオーディオデータを取得することができる。しかしながら、プロセス３００ｚとは異なり、プロセス４００ｚでは、トリガの前にオーディオデータを同時に取得することなく、４０５ｚで加速度計データを（加速度計１０６ｚを用いて）取得することができる。４１０ｚで、加速度計データを処理することができる。例えば、処理は、低電力プロセッサ１０８ｚおよび／またはホストプロセッサ１０９ｚによって実行することができる。処理は、（例えば、認定こすり洗いイベント基準を満たす）認定こすり洗いイベントを検出するための加速度計データの分析を含むことができる。処理はまた、例えば、４１５ｚで認定こすり洗いイベントが検出されるかどうかを判定することを含むことができる。認定こすり洗いイベントが検出されない場合、加速度計データの取得および／または処理は、４１０ｚで、その後の加速度計データについて（任意選択的に、その後の加速度計データを取得および／または処理する前になんらかの持続時間にわたってなんらかのスリープ状態またはアイドル状態を伴って）継続することができる。認定こすり洗いイベントが検出される場合、４２５ｚでオーディオデータを（マイクロフォン１２２ｚを用いて）取得することができる。４２５ｚで、オーディオデータを処理することができる。例えば、処理は、低電力プロセッサ１０８ｚおよび／またはホストプロセッサ１０９ｚによって実行することができる。処理は、（例えば、認定すすぎイベント基準を満たす）認定すすぎイベントを検出するためのオーディオデータの分析を含むことができる。処理はまた、例えば、４３０ｚで認定すすぎイベントが検出されるかどうかを判定することを含むことができる。認定すすぎイベントが検出されない場合、システムは、４４０ｚで、オーディオデータを取得することを中止することができ、加速度計データの取得および／または処理は、４１０ｚで、その後の加速度計データについて（任意選択的に、その後の加速度計データを取得および／または処理する前になんらかの持続時間にわたってなんらかのスリープ状態またはアイドル状態を伴って）継続することができる。認定すすぎイベントが検出される場合、４３５ｚで手洗いイベントを報告することができる。認定手洗いイベントが報告される場合、加速度計データの取得および／または処理は、いくつかの実施例では、その後の加速度計データについて（任意選択的に、その後の加速度計データを取得および／または処理する前になんらかの持続時間にわたってなんらかのスリープ状態またはアイドル状態を伴って）４１０ｚで継続することができる。
プロセス４００ｚに示すように、オーディオデータの取得および処理は、認定こすり洗いイベントの検出によってトリガすることができる。結果として、不必要な場合にはオーディオデータを取得しないことによって（例えば、オーディオセンサおよび／またはＡＤＣなどの関連付けられた回路の電源を切ることによって））、および／または前の認定こすり洗いイベントがない場合にはオーディオデータを処理しないことによって、電力を節約することができる。いくつかの実施例では、オーディオデータは、（例えば、プロセス３００ｚのように）加速度計データと同時に取得することができるが、オーディオデータの処理は、（例えば、プロセス４００ｚのように）認定こすり洗いイベントの検出に基づいてトリガすることができる。いくつかの実施例では、オーディオデータを取得するためのトリガとオーディオデータを処理するためのトリガとは、異なるトリガであってもよい。例えば、オーディオデータの取得は、認定こすり洗いイベント未満を検出すること（例えば、振幅基準を満たすが、閾値持続時間未満にわたるこすり洗いの動きを検出することなど、認定こすり洗いイベント基準の一部を満たすが全てを満たさない動きを検出すること）によってトリガすることができ、オーディオデータの処理は、認定こすり洗いイベントを検出すること（例えば、認定こすり洗いイベント基準の全てを満たす動きの検出）によってトリガすることができる。
いくつかの実施例では、プロセス３００ｚおよび４００ｚは、低電力プロセッサ（例えば、低電力プロセッサ１０９ｚ）に実装することができる。いくつかの実施例では、プロセス３００ｚおよび４００ｚは、低電力プロセッサよりも多くの電力を消費するプロセッサ（例えば、ホストプロセッサ１０８ｚ）に実装することができる。本明細書に記載の「低電力」プロセッサは、別のプロセッサ（例えば、ホストプロセッサ）に対してより低い電力であることが理解される。いくつかの実施例では、低電力プロセッサは、プロセス３００ｚまたは４００ｚの全てを実装するために十分なリソース（例えば、メモリ、処理電力など）を含まなくてもよい。いくつかの実施例では、２つのプロセッサ間で（例えば、低電力プロセッサ１０９ｚとホストプロセッサ１０８ｚとの間で）処理を分割することによって、電力消費を改善することができる。いくつかの実施例では、電力消費を軽減し、かつ／または処理要件を低減するために、低電力プロセッサによる動きデータの処理を使用して、ホストプロセッサによるオーディオデータの取得および／または処理をトリガすることができる（またはトリガしなくてもよい）。
図５Ｚは、本開示の実施例に係る、手洗いイベントを検出するための別の例示的なプロセス５００ｚを示す。５０５ｚで、加速度計データを（加速度計１０６ｚを用いて）取得することができる。５１０ｚで、加速度計データは、低電力プロセッサ（例えば、低電力プロセッサ１０９ｚ）によって処理して、認定こすり洗いイベント（またはより一般的には、認定動きイベント）を検出することができる。認定こすり洗いイベントが検出されない場合、加速度計データの取得および／または処理は、５０５ｚで、その後の加速度計データについて継続することができる。認定こすり洗いイベントが検出される場合（例えば、認定こすり洗いイベントを検出したことに応じて）、５１５ｚで別のプロセッサ（例えば、ホストプロセッサ１０８ｚ）をウェイクアップ（アクティブ化）することができる。いくつかの実施例では、認定こすり洗いイベントの検出（または別のトリガ）を使用して、５２０ｚでオーディオデータを（マイクロフォン１２２ｚを用いて）取得することができる。いくつかの実施例では、オーディオデータの取得は、（例えば、プロセス３００ｚに示すように）加速度計ベースのトリガを伴わずに取得することができる。
５２５ｚで、ホストプロセッサは、オーディオデータを処理することができ、任意選択的に、ホストプロセッサはまた、加速度計データを処理することができる（５３０ｚ）。処理は、５３５ｚで、認定すすぎイベント（またはより一般的には、認定オーディオイベント）を検出することを含むことができる。認定すすぎイベントが検出されない場合、システムは、５４５ｚで、ホストプロセッサの電源を切る（非アクティブ化する）ことができ、低電力プロセッサによる加速度計データの取得および／または処理は、５０５ｚで、その後の加速度計データについて継続することができる。いくつかの実施例では、システムは、５３５ｚで認定すすぎイベントが検出されない場合に、５５０ｚでオーディオデータを取得することを中止する（かつ任意選択的に、オーディオセンサの電源を切る）ことができる。認定すすぎイベントが検出される場合、５４０ｚで手洗いイベントを報告することができる。いくつかの実施例では、ホストプロセッサはまた、認定手洗いイベントを報告する前に、５３５ｚで、認定手洗いイベントを検出することができる。例えば、認定手洗いイベントは、認定こすり洗いイベントおよび認定すすぎイベントの両方を検出することに基づいて、並びに任意選択的に他の基準（例えば、２つのイベントが閾値期間内に発生する、または少なくとも部分的に同時に発生すること）に基づいて、検出することができる。いくつかの実施例では、システムは、認定すすぎイベントが検出されない場合に、認定手洗いイベントを検出するための処理を取り止めることができる。
認定すすぎイベントおよび認定手洗いイベントが報告される場合、システムは、５４５ｚで、ホストプロセッサの電源を切る（非アクティブ化する）（かつ／または５５０ｚで、オーディオデータを取得することを中止する）ことができ、加速度計データの取得および／または処理は、いくつかの実施例では、５０５ｚで、その後の加速度計データについて低電力プロセッサで継続することができる。
上述のように、加速度計データは、低電力プロセッサによって（５１０ｚで）処理して、認定こすり洗いイベント（またはより一般的には、認定動きイベント）を検出し、次いで、５１５ｚで別のプロセッサ（例えば、ホストプロセッサ）をウェイクすることができる。加速度計データは、ホストプロセッサによって処理することもできる。いくつかの実施例では、５１０ｚでの処理は、加速度計データに第１の加速度計データモデル（例えば、機械学習モデル）を適用することを含むことができ、５３０ｚでの処理は、第２の加速度計データモデル（例えば、機械学習モデル）を適用することを含むことができる。いくつかの実施例では、第１の加速度計データモデルは、第２の加速度計データモデルよりも（メモリリソースの観点では）より小さく、かつ／または（処理精度の観点では）より低い品質であってもよい。いくつかの実施例では、第１の加速度計データモデルを使用して、認定動き／こすり洗いイベントの第１の判定を行うことができる。第２の加速度計データモデルを使用して、認定動き／こすり洗いイベントの判定を精緻化することができる。例えば、より高品質の第２の加速度計データモデルは、そのより高い品質、並びに洗い／すすぎの持続時間についての加速度計データおよび第２のプロセッサのウェイクアップをトリガする前の加速度計データへのその潜在的なアクセスに起因して、第１の加速度計モデルと比較して、より良好な精度を提供することができる。いくつかの実施例では、５１０ｚでの認定動き／こすり洗いイベントを検出するための閾値は、５３０ｚでの認定こすり洗いイベントを検出するための閾値と比較して低減することができる。例えば、プロセッサをウェイクアップするための低いバーのトリガを設定することは、潜在的な手洗いイベントを見逃すことを回避するため（例えば、高いエスカレーション率、より高精度のより高電力モデルをトリガする低電力モデル）に有用であり得る。いくつかの実施例では、第１の加速度計データモデルの出力を、第２の加速度計データモデルの入力として使用して、第２の加速度計データモデルを精緻化することができる。いくつかの実施例では、第２の加速度計データモデルの出力を使用して、第１の加速度計データモデルを精緻化することができる。例えば、認定こすり洗いイベントを検出する際の第１の加速度計データモデルの性能を改善することために、第１の加速度計データモデルからのデータの一部を使用した第２の加速度計データモデルによるこすり洗いイベントのその後のラベル付けの結果を使用するができる。
いくつかの実施例では、取得されたデータストリームの品質を変化させることによって、および／または様々なトリガに基づいて取得されたデータストリームの処理の品質を変化させることによって、（電力消費を軽減し、かつ／または処理要件を低減するために）電力消費を改善することができる。図６Ｚは、本開示の実施例に係る、手洗いイベントを検出するための別の例示的なプロセス６００ｚを示す。６０５ｚおよび６１０ｚそれぞれで、加速度計データを（加速度計１０６ｚを用いて）取得することができ、オーディオデータを（オーディオセンサ６１０ｚを用いて）取得することができる。６１５ｚで、加速度計データおよびオーディオデータは、低電力プロセッサ（例えば、低電力プロセッサ１０９ｚ）によって処理することができる。加速度計データの処理は、第１の加速度計データ処理を使用することを含むことができ、オーディオデータの処理は、第１のオーディオデータ処理を使用することを含むことができる。いくつかの実施例では、第１の加速度計データ処理は、加速度計データに第１の加速度計データモデル（例えば、機械学習モデル）を適用することを含むことができる（６２０ｚ）。いくつかの実施例では、第１のオーディオデータ処理は、オーディオデータに第１のオーディオデータモデル（例えば、機械学習モデル）を適用することを含むことができる（６２０ｚ）。
処理は、６２５ｚで、（例えば、加速度計データに基づいて認定こすり洗いイベントを検出することと、オーディオデータに基づいて認定すすぎイベントを検出することと、を含む）認定手洗いイベントを検出することを含むことができる。認定手洗いイベントが検出されない場合、加速度計データの取得および／または処理は、６１５ｚで、その後の加速度計データおよび／またはオーディオデータについて継続することができる。認定手洗いイベントが検出される場合、６３０ｚで別のプロセッサ（例えば、ホストプロセッサ１０８ｚ）をウェイクアップ（アクティブ化）することができる。６２５ｚでの処理は、認定手洗いイベントを検出することを参照して説明されているが、加速度計データを最初に処理して認定こすり洗いイベントを検出することができるように処理を順序付けることができることを理解されたい。認定こすり洗いイベントが検出されない場合、システムは、手洗いイベントを検出せずに、オーディオデータのその後の処理をバイパスすることができる。同様に、認定こすり洗いイベントに応じてオーディオデータを処理することができるように、処理を順序付けることができる。認定すすぎイベントが検出されない場合、システムは、手洗いイベントを検出せずに、その後の処理をバイパスして、認定こすり洗いイベントおよび認定すすぎイベントに基づいて、手洗いイベントの発生を検出することができる。
６３５ｚで、ホストプロセッサは、オーディオデータおよび／または加速度計データを処理することができる。処理は、６４０ｚで、認定手洗いイベントを検出することを含むことができる。加速度計データの処理は、第２の加速度計データ処理を使用することを含むことができ、オーディオデータの処理は、第２のオーディオデータ処理を使用することを含むことができる。いくつかの実施例では、加速度計データおよび／またはオーディオデータの第１および第２の処理は、同じであってもよい。いくつかの実施例では、加速度計データおよび／またはオーディオデータの第１および第２の処理は、異なってもよい。いくつかの実施例では、第２の加速度計データ処理は、加速度計データに第２の加速度計データモデル（例えば、機械学習モデル）を適用することを含むことができる（６４０ｚ）。いくつかの実施例では、第２の加速度計データモデルは、第１の加速度計データモデルとは異なってもよい。いくつかの実施例では、第１の加速度計データモデルは、第２の加速度計データモデルよりも（メモリリソースの観点では）より小さく、かつ（処理精度の観点では）より低い品質であってもよい。いくつかの実施例では、第２の加速度計モデルは、第１の加速度計モデルを生成するために使用されるよりも多くの訓練データを使用して生成することができる。いくつかの実施例では、第２のオーディオデータ処理は、オーディオデータに第２のオーディオデータモデル（例えば、機械学習モデル）を適用することを含むことができる（６４０ｚ）。いくつかの実施例では、第２のオーディオデータモデルは、第１のオーディオデータモデルとは異なってもよい。いくつかの実施例では、第１のオーディオデータモデルは、第２のオーディオデータモデルよりも（メモリリソースの観点では）より小さく、かつ（処理精度の観点では）より低い品質であってもよい。いくつかの実施例では、第２のオーディオモデルは、第１のオーディオモデルを生成するために使用されるよりも多くの訓練データを使用して生成することができる。いくつかの実施例では、第１および／または第２のオーディオデータモデルは、時間ドメインオーディオデータに基づくことができる。いくつかの実施例では、オーディオデータモデルは、オーディオデータの周波数ドメイン表現を使用する（例えば、高速フーリエ変換などのフーリエ変換、または別の変換を使用する）ことによって、サイズ／複雑さを低減することができる。いくつかの実施例では、オーディオデータモデルは、オーディオデータの二乗平均平方根（ｒｏｏｔ ｍｅａｎ ｓｑｕａｒｅ、ＲＭＳ）表現を使用することによって、サイズ／複雑さを低減することができる。いくつかの実施例では、オーディオデータモデルは、オーディオデータのメル周波数ケプストラム（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ、ＭＦＣ）表現を使用する（例えば、ＭＦＣ係数を使用する）ことによって、サイズ／複雑さを低減することができる。
処理は、６４５ｚで、（例えば、加速度計データに基づいて認定こすり洗いイベントを検出することと、オーディオデータに基づいて認定すすぎイベントを検出することと、を含む）認定手洗いイベントを検出することを含むことができる。ホストプロセッサによる認定手洗いイベントを検出する処理は、低電力プロセスによる処理について上述したように順序付けることができる。認定すすぎイベントが検出されなかった場合、システムは、６５５ｚで、ホストプロセッサの電源を切る（非アクティブ化する）ことができ、加速度計データの取得および／または処理は、６１５ｚで、その後の加速度計データおよび／またはオーディオデータについて継続することができる。認定手洗いイベントが検出された場合、６５０ｚで、手洗いイベントを報告することができる。認定手洗いイベントが報告されると、システムは、６５５ｚで、ホストプロセッサの電源を切る（非アクティブ化する）ことができ、加速度計データおよびオーディオデータの取得および／または処理は、いくつかの実施例では、６１５ｚで、その後の加速度計データおよび／またはオーディオデータについて継続することができる。
図６Ｚは、６０５ｚおよび６１０ｚで、少なくとも部分的に同時に取得されたオーディオデータおよび加速度データを示しているが、いくつかの実施例では、オーディオデータの取得は、図５Ｚに関して上述したのと同様の方法で（例えば、加速度ベースのトリガを使用して）トリガすることができることを理解されたい。加えて、いくつかの実施例では、データストリームの品質は、トリガ条件に基づいて調整することができることを理解されたい。例えば、６１０ｚで、オーディオデータの取得は、オーディオデータが第１の品質を有するように実行することができ、加速度データに基づいて認定こすり洗いイベントを検出したことに応じて、オーディオデータの取得は、オーディオデータが第１の品質よりも高い第２の品質を有するように実行することができる。例えば、オーディオセンサ（または対応するＡＤＣ）のサンプリングレートは、トリガイベントに応じて増加させることができる。そのような場合、オーディオデータを連続的に取得することができ、その後の認定すすぎイベントを検出するために最も有意義な場合に、高品質のオーディオが取得される。いくつかの実施例では、６０５ｚで、加速度計データの取得は、加速度計データが第１の品質を有するように実行することができ、加速度データに基づいてトリガイベント（例えば、認定こすり洗いイベントの基準の一部を満たすが全てを満たさない動き）を検出したことに応じて、加速度データの取得は、加速度データが第１の品質よりも高い第２の品質を有するように実行することができる。例えば、加速度計センサ（または対応するＡＤＣ）のサンプリングレートは、トリガイベントに応じて増加させることができる。いくつかの実施例では、トリガイベントに応じて、追加の加速度計チャネルを使用する（例えば、単軸加速度計データではなく３軸加速度計データを使用する）ことができる。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、または開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正および変形が可能である。本技術の原理、およびそれらの実際の用途を最もよく説明するために、実施形態が選択および記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術および様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示および例を十分に説明してきたが、様々な変更および修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更および修正は、特許請求の範囲によって定義されるような、本開示および例の範囲内に含まれるものとして理解されたい。
上述したように、本技術の一態様は、様々なソースから入手可能なデータを収集および使用して、身体活動イベントの実行を検出および追跡することである。本開示は、いくつかの場合には、この収集されたデータが、特定の人を一意に特定する個人情報データ、または特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録（例えば、バイタルサイン測定値、投薬情報、運動情報）、誕生日、または任意の他の識別情報若しくは個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、ユーザをターゲットとしたリマインダを配信するために、個人情報データが使用されてもよい。したがって、そのような個人情報データの使用により、ユーザが身体活動イベントの頻度および持続時間を監視することが可能になる。さらに、ユーザに利益をもたらす個人情報データに関する他の使用も本開示によって意図されている。例えば、健康データおよびフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、または、ウェルネスの目標を追求する技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶、または他の使用に関与するエンティティが、確固たるプライバシーポリシーおよび／またはプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界または政府の要件を満たしているかまたは上回るものとして一般に認識されている、プライバシーのポリシーおよび慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集および／または使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有または販売されるべきではない。さらには、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。その上、そのようなエンティティは、そのような個人情報データへのアクセスを保護および安全化し、個人情報データへのアクセス権を有する他者が、それらのプライバシーポリシーおよび手順を忠実に守ることを保証するための、あらゆる必要な措置を講じることを考慮するべきである。さらに、そのようなエンティティは、広く受け入れられているプライバシーポリシーおよび慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。加えて、ポリシーおよび慣行は、収集および／またはアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令および規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集またはそれへのアクセスは、医療保険の相互運用性と説明責任に関する法律（ＨＩＰＡＡ）等の、連邦法および／または州法によって管理されてもよく、その一方で、他国における健康データは、他の規制およびポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用または個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止または阻止するために、ハードウェア要素および／またはソフトウェア要素が提供され得ることを意図している。例えば、身体活動イベントの実行を追跡する場合、本技術は、ユーザが、サービスの登録中またはその後のいつでも、個人情報データの収集への参加の「オプトイン」または「オプトアウト」を選択することを可能にするように構成することができる。別の例では、ユーザは、身体活動イベントの実行を追跡するためのセンサおよび位置データを提供しないことを選択することができる。さらに別の例では、ユーザは、身体活動イベントの実行を追跡するために使用されるセンサデータを制限する、または身体活動イベントの実行を追跡することを完全に禁止することを選択することができる。「オプトイン」および「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセスまたは使用に関する通知を提供することを意図している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
さらには、本開示の意図は、個人情報データを、非意図的若しくは無許可アクセスまたは使用の危険性を最小限に抑える方法で、管理および処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなると削除することにより、リスクを最小化することができる。加えて、かつ、特定の健康関連アプリケーションにおいて適用可能な場合、ユーザのプライバシーを保護するために、データの匿名化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量または特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって集約すること）および／または他の方法によって、容易にすることができる。
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全てまたは一部分が欠如することにより、動作不可能にされるものではない。例えば、身体活動イベントの実行を追跡することは、ユーザに関連付けられたデバイスにより要求されたコンテンツ、ユーザに関連付けられたデバイスで利用可能な他の非個人情報、若しくは公的に利用可能な情報などの、非個人情報データまたは個人情報の最小限の量のみに基づく。
Claims (16)
- １つ以上の知覚出力生成構成要素および、第１のタイプの身体活動を検出するための複数のセンサであって、前記第１のタイプの前記身体活動に対応する動きを検出するための第１のセンサと、前記第１のタイプの前記身体活動に対応する音声を検出するための第２のセンサとを含む、複数のセンサとを有する電子機器において、 前記電子機器が１つ以上のアタッチメント機構によって前記電子機器のユーザに着用されている状態で、前記第１のセンサおよび／または前記第２のセンサによって、前記電子機器の前記ユーザが前記第１のタイプの前記身体活動を開始することに対応するセンサデータの第１のセットを検出することと、
前記電子機器の前記ユーザが前記第１のタイプの前記身体活動を開始することに対応するセンサデータの前記第１のセットを検出したことに応じて、
特定の持続時間のタイマーを開始することと、
前記１つ以上の知覚出力生成構成要素を介して、前記特定の持続時間の前記タイマーが動作していることを示す第１の知覚フィードバックを提供することと、
前記タイマーを開始した後に、
前記第１のタイプの前記身体活動が進行中であるとの判定に従って、前記特定の持続時間の前記タイマーが動作していることを示す前記第１の知覚フィードバックを提供し続けることと、
１つ以上の終了基準のセットが満たされたことを検出することと、
前記１つ以上の終了基準のセットが満たされたことを検出したことに応じて、
前記第１のタイプの前記身体活動が少なくとも前記特定の持続時間にわたって継続したことに基づいて前記１つ以上の終了基準のセットが満たされたとの判定に従って、前記１つ以上の知覚出力生成構成要素を介して、前記第１のタイプの前記身体活動が前記特定の持続時間にわたって検出されたことを示す第２の知覚フィードバックを提供することと、
前記タイマーが前記特定の持続時間に達する前に前記第１のタイプの前記身体活動が停止したために前記１つ以上の終了基準のセットが満たされたとの判定に従って、
前記第１のタイプの前記身体活動がもはや検出されていないことを示す第３の知覚フィードバックを提供することと、
前記タイマーの動作を一時停止することと、
前記第３の知覚フィードバックを提供した後に、かつ前記タイマーの動作を一時停止した後に、
前記第３の知覚フィードバックを提供した後の第２の特定の持続時間内に前記第１のタイプの前記身体活動が前記第１のセンサおよび／または前記第２のセンサによって検出されたとの判定に従って、前記タイマーの動作を再開することと、
前記第３の知覚フィードバックを提供した後の前記第２の特定の持続時間内に前記第１のタイプの前記身体活動が前記第１のセンサおよび／または前記第２のセンサによって検出されていないとの判定に従って、前記タイマーの動作を中止することと、
を含む、方法。 - 前記第３の知覚フィードバックを提供した後に、
前記第１のタイプの前記身体活動が前記第３の知覚フィードバックを提供した後に前記第２の特定の持続時間内に前記第１のセンサおよび／または前記第２のセンサによって検出されないとの判定に従って、前記第１のタイプの前記身体活動が前記タイマーの前記特定の持続時間にわたって実行されなかったことを示す第４の知覚フィードバックを提供すること、
をさらに含む、請求項１に記載の方法。 - 前記第１のタイプの前記身体活動が前記タイマーの前記特定の持続時間にわたって実行されなかったことを示す前記第４の知覚フィードバックを提供した後に、選択されると、前記第１のタイプの前記身体活動が前記電子機器の前記ユーザによって実行されていなかったことをログ記録する、第１の選択可能なユーザインタフェースオブジェクトを表示すること、
をさらに含む、請求項２に記載の方法。 - 前記第１のタイプの前記身体活動が前記タイマーの前記特定の持続時間にわたって実行されなかったことを示す前記第４の知覚フィードバックを提供した後に、
ログ記録基準のセットが満たされたとの判定に従って、複数の健康関連機能のためのデータを収集および提示する第１のアプリケーションにおいて、前記第１のタイプの前記身体活動の発生が検出されたが、前記タイマーの前記特定の持続時間にわたって実行されなかったことをログ記録すること、
をさらに含む、請求項２または３に記載の方法。 - 前記ログ記録基準のセットが、前記第１のタイプの前記身体活動の前記発生が少なくとも第３の特定の持続時間にわたって検出されたときに満たされる基準を含む、請求項４に記載の方法。
- 前記第３の知覚フィードバックが、前記第１のタイプの前記身体活動の継続を促すプロンプトである、請求項１から５のいずれか一項に記載の方法。
- 前記特定の持続時間が、予め定められた持続時間である、請求項１から６のいずれか一項に記載の方法。
- 前記第１のタイプの前記身体活動が前記特定の持続時間にわたって検出されたことを示す前記第２の知覚フィードバックを提供した後に、複数の健康関連機能のためのデータを収集および提示する第２のアプリケーションにおいて、前記第１のタイプの前記身体活動の発生が前記特定の持続時間にわたって検出されたことをログ記録すること、
をさらに含む、請求項１から７のいずれか一項に記載の方法。 - センサデータの前記第１のセットを検出する前に、第１のタイプの第１の動作の実行を開始することと、
前記特定の持続時間の前記タイマーを開始した後に、前記第１のタイプの前記第１の動作を実行し続けることと、
をさらに含む、請求項１から８のいずれか一項に記載の方法。 - 前記特定の持続時間の前記タイマーが時間を測定している間に、前記第１のタイプの前記第１の動作に対応するインジケーションを表示すること、
をさらに含む、請求項９に記載の方法。 - 前記第１のタイプの前記身体活動が、前記電子機器の前記ユーザによる手洗いである、請求項１から１０のいずれか一項に記載の方法。
- 前記電子機器の位置が既定の位置に対応するときに満たされる基準を含むプロンプト基準のセットが満たされたことを検出することと、
前記プロンプト基準のセットが満たされたことを検出したことに応じて、前記電子機器の前記ユーザに前記第１のタイプの前記身体活動の実行を促す第１のプロンプトを出力することと、
をさらに含む、請求項１から１１のいずれか一項に記載の方法。 - 前記第１のタイプの前記身体活動の実行に対応する記録されたデータが通知基準のセットを満たすことを検出することと、
前記第１のタイプの前記身体活動の実行に対応する前記記録されたデータが前記通知基準のセットを満たしたことを検出したことに応じて、前記記録されたデータに基づく情報を含む第１の通知を出力することと、
をさらに含む、請求項１から１２のいずれか一項に記載の方法。 - 請求項１から１３のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
- 電子機器であって、
請求項１４に記載のコンピュータプログラムを格納するメモリと、
第１のタイプの身体活動を検出するための複数のセンサであって、前記第１のタイプの前記身体活動に対応する動きを検出するための第１のセンサと、前記第１のタイプの前記身体活動に対応する音声を検出するための第２のセンサとを含む、複数のセンサと、
前記メモリに格納された前記コンピュータプログラムを実行可能な１つ以上のプロセッサと、を備える、電子機器。 - １つ以上の知覚出力生成構成要素と、
第１のタイプの身体活動を検出するための複数のセンサであって、前記第１のタイプの前記身体活動に対応する動きを検出するための第１のセンサと、前記第１のタイプの前記身体活動に対応する音声を検出するための第２のセンサとを含む、複数のセンサと、
請求項１から１３のいずれか一項に記載の方法を実行する手段と、
を備える、電子機器。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063033814P | 2020-06-02 | 2020-06-02 | |
| US63/033,814 | 2020-06-02 | ||
| PCT/US2021/035504 WO2021247745A1 (en) | 2020-06-02 | 2021-06-02 | User interfaces for tracking of physical activity events |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023529125A JP2023529125A (ja) | 2023-07-07 |
| JP7460801B2 true JP7460801B2 (ja) | 2024-04-02 |
Family
ID=76708417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022573764A Active JP7460801B2 (ja) | 2020-06-02 | 2021-06-02 | 身体活動イベントを追跡するためのユーザインタフェース |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20210375157A1 (ja) |
| EP (1) | EP4143772A1 (ja) |
| JP (1) | JP7460801B2 (ja) |
| KR (1) | KR20230003157A (ja) |
| CN (1) | CN115769280A (ja) |
| AU (1) | AU2021283914A1 (ja) |
| WO (1) | WO2021247745A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3092630B1 (en) * | 2014-01-06 | 2023-10-25 | Hubble Connected Ltd | Dual mode baby monitoring priority application |
| USD875118S1 (en) * | 2018-02-22 | 2020-02-11 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with transitional graphical user interface |
| DK180241B1 (en) | 2018-03-12 | 2020-09-08 | Apple Inc | User interfaces for health monitoring |
| US11317833B2 (en) | 2018-05-07 | 2022-05-03 | Apple Inc. | Displaying user interfaces associated with physical activities |
| WO2020247283A1 (en) * | 2019-06-01 | 2020-12-10 | Apple Inc. | User interfaces for cycle tracking |
| US11152100B2 (en) | 2019-06-01 | 2021-10-19 | Apple Inc. | Health application user interfaces |
| CN114286975A (zh) | 2019-09-09 | 2022-04-05 | 苹果公司 | 调查研究用户界面 |
| DK181037B1 (en) | 2020-06-02 | 2022-10-10 | Apple Inc | User interfaces for health applications |
| USD942509S1 (en) | 2020-06-19 | 2022-02-01 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| US11698710B2 (en) | 2020-08-31 | 2023-07-11 | Apple Inc. | User interfaces for logging user activities |
| USD987656S1 (en) * | 2021-06-04 | 2023-05-30 | Apple Inc. | Display screen or portion thereof with graphical user interface |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011197992A (ja) | 2010-03-19 | 2011-10-06 | Fujitsu Ltd | モーション判定装置、モーション判定方法、およびコンピュータプログラム |
| JP2012502343A (ja) | 2008-09-03 | 2012-01-26 | ハイジネックス インコーポレイテッド | 衛生習慣を監視するための方法およびシステム |
| JP2013017631A (ja) | 2011-07-11 | 2013-01-31 | Sumitomo Electric Ind Ltd | 手洗いモニタおよび手洗いモニタ方法 |
| JP2017532069A (ja) | 2014-09-02 | 2017-11-02 | アップル インコーポレイテッド | 身体活動及びトレーニングモニタ |
| US20180122214A1 (en) | 2016-10-27 | 2018-05-03 | Johnson Controls Technology Company | Hand hygiene system |
| WO2019177769A1 (en) | 2018-03-12 | 2019-09-19 | Apple Inc. | User interfaces for health monitoring |
| JP2020000651A (ja) | 2018-06-29 | 2020-01-09 | 日本電信電話株式会社 | 手洗い支援装置、方法およびプログラム |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3859005A (en) | 1973-08-13 | 1975-01-07 | Albert L Huebner | Erosion reduction in wet turbines |
| US4826405A (en) | 1985-10-15 | 1989-05-02 | Aeroquip Corporation | Fan blade fabrication system |
| EP1058924B1 (en) | 1998-01-26 | 2012-06-13 | Apple Inc. | Method and apparatus for integrating manual input |
| US7688306B2 (en) | 2000-10-02 | 2010-03-30 | Apple Inc. | Methods and apparatuses for operating a portable device based on an accelerometer |
| US7218226B2 (en) | 2004-03-01 | 2007-05-15 | Apple Inc. | Acceleration-based theft detection system for portable electronic devices |
| US6677932B1 (en) | 2001-01-28 | 2004-01-13 | Finger Works, Inc. | System and method for recognizing touch typing under limited tactile feedback conditions |
| US6570557B1 (en) | 2001-02-10 | 2003-05-27 | Finger Works, Inc. | Multi-touch system and method for emulating modifier keys via fingertip chords |
| US7657849B2 (en) | 2005-12-23 | 2010-02-02 | Apple Inc. | Unlocking a device by performing gestures on an unlock image |
| US8146613B2 (en) * | 2008-04-29 | 2012-04-03 | Resurgent Health & Medical, Llc | Wash chamber for surgical environment |
| US20100073162A1 (en) * | 2008-09-05 | 2010-03-25 | Michael David Johnson | Hand washing reminder device and method |
| US20110057799A1 (en) * | 2009-09-01 | 2011-03-10 | Yordan Gineff Taneff | Hand washing monitoring system |
| WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| JP6158947B2 (ja) | 2012-12-29 | 2017-07-05 | アップル インコーポレイテッド | タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース |
| WO2015066491A2 (en) * | 2013-11-01 | 2015-05-07 | RIZVI, Avez, Ali | Hand hygiene use and tracking in the clinical setting via wearable computers |
| US9830800B2 (en) * | 2016-03-31 | 2017-11-28 | Intel Corporation | Early warning of non-compliance with an established workflow in a work area |
| US11069220B2 (en) * | 2017-07-10 | 2021-07-20 | Biovigil Hygiene Technologies, Llc | Hand cleanliness monitoring |
| WO2019144054A1 (en) * | 2018-01-19 | 2019-07-25 | Johnson Controls Technology Company | Hand hygiene and surgical scrub system |
| US11639944B2 (en) | 2019-08-26 | 2023-05-02 | Apple Inc. | Methods and apparatus for detecting individual health related events |
-
2021
- 2021-06-02 AU AU2021283914A patent/AU2021283914A1/en active Pending
- 2021-06-02 KR KR1020227041723A patent/KR20230003157A/ko active Search and Examination
- 2021-06-02 US US17/337,147 patent/US20210375157A1/en active Pending
- 2021-06-02 JP JP2022573764A patent/JP7460801B2/ja active Active
- 2021-06-02 CN CN202180039801.7A patent/CN115769280A/zh active Pending
- 2021-06-02 EP EP21736416.5A patent/EP4143772A1/en active Pending
- 2021-06-02 WO PCT/US2021/035504 patent/WO2021247745A1/en unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012502343A (ja) | 2008-09-03 | 2012-01-26 | ハイジネックス インコーポレイテッド | 衛生習慣を監視するための方法およびシステム |
| JP2011197992A (ja) | 2010-03-19 | 2011-10-06 | Fujitsu Ltd | モーション判定装置、モーション判定方法、およびコンピュータプログラム |
| JP2013017631A (ja) | 2011-07-11 | 2013-01-31 | Sumitomo Electric Ind Ltd | 手洗いモニタおよび手洗いモニタ方法 |
| JP2017532069A (ja) | 2014-09-02 | 2017-11-02 | アップル インコーポレイテッド | 身体活動及びトレーニングモニタ |
| US20180122214A1 (en) | 2016-10-27 | 2018-05-03 | Johnson Controls Technology Company | Hand hygiene system |
| WO2019177769A1 (en) | 2018-03-12 | 2019-09-19 | Apple Inc. | User interfaces for health monitoring |
| JP2020000651A (ja) | 2018-06-29 | 2020-01-09 | 日本電信電話株式会社 | 手洗い支援装置、方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2021283914A1 (en) | 2023-01-19 |
| CN115769280A (zh) | 2023-03-07 |
| KR20230003157A (ko) | 2023-01-05 |
| US20210375157A1 (en) | 2021-12-02 |
| JP2023529125A (ja) | 2023-07-07 |
| WO2021247745A1 (en) | 2021-12-09 |
| EP4143772A1 (en) | 2023-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7460801B2 (ja) | 身体活動イベントを追跡するためのユーザインタフェース | |
| JP7198849B2 (ja) | アラートを管理するための小型インターフェース | |
| JP7297940B2 (ja) | マルチモードの活動追跡ユーザインタフェース | |
| US11439324B2 (en) | Workout monitor interface | |
| JP2021525427A (ja) | 電子デバイスにおけるシステムユーザインタフェースへのアクセス | |
| US11875021B2 (en) | Underwater user interface | |
| US20240028429A1 (en) | Multiple notification user interface | |
| US20240077309A1 (en) | Physical activity user interfaces | |
| US20230389806A1 (en) | User interfaces related to physiological measurements | |
| US20220374106A1 (en) | Methods and user interfaces for tracking execution times of certain functions | |
| US11837067B2 (en) | User interfaces for facilitating operations | |
| US20240062640A1 (en) | User interfaces for facilitating operations | |
| WO2024054347A1 (en) | Physical activity user interfaces | |
| WO2023235608A1 (en) | Systems and methods for sleep tracking | |
| WO2023235147A1 (en) | User interfaces related to physiological measurements | |
| WO2023211790A1 (en) | User interfaces for facilitating operations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240321 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7460801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |