JP7240347B2 - 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース - Google Patents

触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース Download PDF

Info

Publication number
JP7240347B2
JP7240347B2 JP2020035108A JP2020035108A JP7240347B2 JP 7240347 B2 JP7240347 B2 JP 7240347B2 JP 2020035108 A JP2020035108 A JP 2020035108A JP 2020035108 A JP2020035108 A JP 2020035108A JP 7240347 B2 JP7240347 B2 JP 7240347B2
Authority
JP
Japan
Prior art keywords
tactile output
output
tactile
touch
incoming communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020035108A
Other languages
English (en)
Other versions
JP2020119575A (ja
Inventor
カミール モウゼッテ,
ダンカン, アール. カー,
ジョシュア, ビー. コピン,
ミアオ ヘ,
ジュール, ケー. フェニス,
フーゴ, ディー. フェルヴァイ,
マシュー, アイ. ブラウン,
ルイズ, マルコス アロンソ,
アフローズ ファミリー,
ミッチェル, アール. ラーナー,
パー ハカン, リーナス ぺルソン,
エー. マリア,ジョセフ,
ジャン-ピエール, エム. ムルゾー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2020119575A publication Critical patent/JP2020119575A/ja
Priority to JP2023033002A priority Critical patent/JP2023078203A/ja
Application granted granted Critical
Publication of JP7240347B2 publication Critical patent/JP7240347B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725Cordless telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M19/00Current supply arrangements for telephone systems
    • H04M19/02Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M19/00Current supply arrangements for telephone systems
    • H04M19/02Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • H04M19/047Vibrating means for incoming calls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

本出願は、一般に、ユーザに触覚フィードバックを提供する触知出力を生成するタッチ感知面を備える電子デバイスを含むが、これに限定はされない、タッチ感知面を備える電子デバイスに関する。
コンピュータ及び他の電子計算デバイス用の入力デバイスとしてのタッチ感知面の使用は、近年では、著しく増大している。例示的なタッチ感知面は、タッチパッド及びタッチスクリーンディスプレイを含む。このような面は、ディスプレイ上のユーザインタフェースオブジェクトを操作するために幅広く使用されている。
例示的な操作は、1つ以上のユーザインタフェースオブジェクトの位置及び/若しくはサイズを調節すること、ボタンをアクティブ化すること、又はユーザインタフェースオブジェクトによって表されるファイル/アプリケーションを開くこと、並びに1つ以上のユーザインタフェースオブジェクトにメタデータを関連付けること、あるいは他の方式でユーザインタフェースを操作することを含む。例示的なユーザインタフェースオブジェクトは、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む。ユーザは、一部の状況では、ファイル管理プログラム(例えば、Cupertino、CaliforniaのApple Inc.からのFinder)、画像管理アプリケーション(例えば、Cupertino、CaliforniaのApple Inc.からのPhotos)、デジタルコンテンツ(例えば、ビデオ及びミュージック)管理アプリケーション(例えば、Cupertino、CaliforniaのApple Inc.からのiTunes)、描画アプリケーション、プレゼンテーションアプリケーション(例えば、Cupertino、CaliforniaのApple Inc.からのKeynote)、ワードプロセッシングアプリケーション(例えば、Cupertino、CaliforniaのApple Inc.からのPages)、又はスプレッドシートアプリケーション(例えば、Cupertino、CaliforniaのApple Inc.からのNumbers)において、ユーザインタフェースオブジェクト上でそのような操作を実行する必要がある。
典型的には視覚フィードバックと組み合わせた触覚フィードバックがしばしば用いられて、ユーザインタフェースオブジェクトの操作をユーザにとってより効率的に、かつ直感的にしようとしている。しかしながら、触覚フィードバックを提供する従来の方法は、それらが可能であるほど有用ではない。
したがって、ユーザインタフェースオブジェクトの操作をユーザにとってより効率的かつ直感的にする、視覚及び/又は触覚フィードバックを提供する方法及びインタフェースを改善した電子デバイスが必要とされている。このような方法及びインタフェースは、任意選択的に、視覚及び/又は触覚フィードバックを提供する従来の方法を補完するか、又は置き換える。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び/又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
タッチ感知面を備える電子デバイス用のユーザインタフェースと関連付けられた上記の欠陥及び他の問題は、開示されるデバイスによって低減又は除去される。一部の実施形態では、デバイスは、デスクトップコンピュータである。一部の実施形態では、デバイスは、ポータブル(例えば、ノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイス)である。一部の実施形態では、デバイスは、パーソナル電子デバイス(例えば、時計などのウェアラブル電子デバイス)である。一部の実施形態では、デバイスは、タッチパッドを有する。一部の実施形態では、デバイスは、タッチ感知ディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる)を有する。一部の実施形態では、デバイスは、グラフィカルユーザインタフェース(GUI)、1つ以上のプロセッサ、メモリ、及び複数の機能を実行するメモリに記憶された1つ以上のモジュール、プログラム、又は命令セットを有する。一部の実施形態では、ユーザは主にタッチ感知面上のスタイラス並びに/又は指の接触及びジェスチャを通じてGUIと対話する。一部の実施形態では、機能は任意選択で、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び/又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
一部の実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び1つ以上の触知出力生成器を備える電子デバイスにおいて実行される。この方法は、ディスプレイ上に、第1の調整可能制御部及び第2の調整可能制御部を含むユーザインタフェースを表示することと、ドラッグジェスチャでタッチ感知面を横切る第1の接触の動きを検出することと、を含む。方法は、フォーカスセレクタが第1の調整可能制御部に対応する位置にある間に、ドラッグジェスチャが実行されたとの判定に従って、ドラッグジェスチャにおける第1の接触の動きに従い第1の調整可能制御部を調整することと、1つ以上の触知出力生成器を用いて第1の複数の触知出力を出力することと、を、更に含む。第1の複数の触知出力のそれぞれの触知出力は、第1の調整可能制御部の進行調整に基づいてトリガされ、第1の複数の触知出力は、第1の調節可能な制御部が調整されるときに、触知出力の第1の分布を有する。方法は、フォーカスセレクタが第2の調整可能制御部に対応する位置にある間に、ドラッグジェスチャが実行されたとの判定に従って、ドラッグジェスチャにおける第1の接触の動きに従い第2の調整可能制御部を調整することと、1つ以上の触知出力生成器を用いて第2の複数の触知出力を出力することと、を、更に含む。第2の複数の触知出力のそれぞれの触知出力は、第2の調整可能制御部の進行調整に基づいてトリガされ、第2の複数の触知出力は、第2の調節可能な制御部が調整されるときに、触知出力の第1の分布とは異なる触知出力の第2の分布を有する。
一部の実施形態では、ディスプレイ、タッチ感知面、タッチ感知面との接触の強度を検出するように構成された1つ以上のセンサ、及び1つ以上の触知出力生成器を備える電子デバイスにおいて、方法が実行される。方法は、ディスプレイ上に第1のユーザインタフェースを表示している間に、タッチ感知面上の接触を検出することと、タッチ感知面上の接触の特性強度の第1の増大を検出することと、タッチ感知面上の接触の特性強度の第1の増大を検出することに応じて、1つ以上の触知出力生成器を用いて、第1の触知出力プロファイルを有する第1の触知出力を生成することであって、第1の触知出力プロファイルが、第1の強度基準を満たすことへの接触の特性強度の近接度に従って変化する出力パラメータを含む、ことと、第1の触知出力プロファイルを有する触知出力を生成しながら、タッチ感知面上の接触の特性強度の第2の増大を検出することと、を含む。方法は、タッチ感知面上の接触の特性強度の第2の増大を検出することに応じて、タッチ感知面上の接触の特性強度が第1の強度基準を満たすとの判定に従って、第1の触知出力プロファイルとは異なる第2の触知出力プロファイルを有する第2の触知出力を生成することと、タッチ感知面上の接触の特性強度が第1の強度基準を満たさないとの判定に従って、第1の触知出力プロファイルを有する第1の触知出力を生成し続け、第1の強度基準を満たすことへの接触の特性強度の近接度に基づく接触の特性強度の第2の増大に従って、出力パラメータを変化させることと、を更に含む。
一部の実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び1つ以上の触知出力生成器を備える電子デバイスにおいて実行される。方法は、ディスプレイ上に、複数のユーザインタフェースオブジェクトを含むユーザインタフェースを表示することと、複数のユーザインタフェースオブジェクトのうちの第1のユーザインタフェースオブジェクトからディスプレイ上の第1の方向にフォーカスセレクタを移動させる接触によるタッチ入力を、タッチ感知面上で検出することと、を含む。方法は、タッチ入力を検出することに応じて、フォーカスセレクタが第1の方向に移動するときに第1のユーザインタフェースオブジェクトが選択されたとの判定に従って、1つ以上の触知出力生成器によって、第1の方向のフォーカスセレクタの動きに対応する触知出力のシーケンスを生成することと、フォーカスセレクタが第1の方向に移動するときに第1のユーザインタフェースオブジェクトが選択されていないとの判定に従って、第1の方向のフォーカスセレクタの動きに対応する触知出力のシーケンスを生成することを取り止めることと、を更に含む。
一部の実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び1つ以上の触知出力生成器を備える電子デバイスにおいて実行される。方法は、ディスプレイ上に、第1のタイプの複数のアイコンと、第1のタイプとは異なる第2のタイプの少なくとも1つのアイコンとを含む第1のユーザインタフェースを表示することと、フォーカスセレクタが第1のタイプの第1のアイコン上にある間に、ドラッグジェスチャでタッチ感知面を横切る接触の動きを検出することと、を含む。方法は、フォーカスセレクタが第1のアイコン上にある間にドラッグジェスチャのタッチ感知面を横切る接触の動きを検出することに応じて、ドラッグジェスチャの第1の接触の動きに従って第1のアイコンをディスプレイを横切って移動させることと、ドラッグジェスチャの間に、第1のアイコンが第1のタイプの1つ以上の他のアイコンの上を移動したとの判定に従って、1つ以上の触知出力生成器を用いて、第1のタイプの1つ以上の触知出力を出力することと、を更に含み、第1のタイプのそれぞれの触知出力は、第1の触知出力プロファイルを有する。方法は、フォーカスセレクタが第1のアイコン上にある間にドラッグジェスチャのタッチ感知面を横切る接触の動きを検出することに応じて、ドラッグジェスチャの終了時に、ドラッグジェスチャが第2のタイプのアイコンの上に第1のアイコンを移動させたとの判定に従って、第2のタイプのアイコンに対応する第2のユーザインタフェースを表示することと、1つ以上の触知出力生成器を用いて、第1の触知出力プロファイルとは異なる第2の触知出力プロファイルを有する第2のタイプの触知出力を出力することと、を更に含む。
一部の実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び1つ以上の触知出力生成器を備える電子デバイスにおいて実行される。方法は、複数のアイコンを含む第1のユーザインタフェースをディスプレイ上に表示することと、フォーカスセレクタが複数のアイコン内の、第1のサイズを有する第1のアイコン上にある間に、タッチ感知面上の接触による第1の入力を検出することと、を含む。方法は、タッチ感知面上の接触による第1の入力を検出することに応じて、第1の入力がプレビュー表示基準を満たすとの判定に従って、第1のアイコンに対応するオブジェクトのプレビューを表示することであって、プレビューは、第1のサイズよりも大きい第2のサイズを有する、ことと、1つ以上の触知出力生成器を用いて、第1の触知出力プロファイルを有する第1のタイプの触知出力を出力することと、を更に含む。方法は、タッチ感知面上の接触による第1の入力を検出することに応じて、第1の入力がプレビュー表示基準とは異なるスクロール基準を満たすとの判定に従って、第1のアイコンに対応するオブジェクトのプレビューの表示を取り止めることと、1つ以上の触知出力生成器を用いて、第1のタイプの触知出力の出力を取り止めることと、複数のアイコンをスクロールさせることと、を更に含む。
一部の実施形態によれば、方法は、ディスプレイ、タッチ感知面、1つ以上のデバイス向きセンサ、及び1つ以上の触知出力生成器を備える電子デバイスにおいて実行される。方法は、いくつかの通信を受信することと、いくつかの通信回数を受信した後に、1つ以上のデバイス向きセンサを使用して、電子デバイスの位置及び/又は向きの変化を検出することと、デバイスの位置及び/又は向きの変化を検出することに応じて、1つ以上の触知出力生成器を用いて、受信した通信の数が増大するにつれて増大する出力パラメータを含む触知出力プロファイルを有する触知出力を生成することと、を含む。
一部の実施形態によれば、方法は、ディスプレイ、タッチ感知面、1つ以上のセンサ、オーディオシステム、及び1つ以上の触知出力生成器を備える電子デバイスにおいて実行される。方法は、着信通信を受信することと、1つ以上のセンサを使用して、電子デバイスが第1の使用コンテキストにあることを判定することと、着信通信を受信することに応じて、着信通信を示す第1のフィードバックを提供することであって、着信通信を示す第1のフィードバックを提供することは、オーディオシステムを用いて、着信通信に対する第1の進行中の音声出力を提供することであって、第1の進行中の音声出力が第1の使用コンテキストに対応する、ことと、1つ以上の触知出力生成器を用いて、着信通信に対する第1の進行中の触知出力を提供することであって、第1の進行中の触知出力が、第1の使用コンテキストに対応する第1の触知出力プロファイルを有する、ことと、を含む、ことと、を含む。方法は、着信通信に対して第1の進行中の音声出力及び第1の進行中の触知出力を提供している間に、1つ以上のセンサを使用して、電子デバイスが第1の使用コンテキストとは異なる第2の使用コンテキストにあることを検出することと、電子デバイスが第2の使用コンテキストにあることを検出することに応じて、第1のフィードバックとは異なる、着信通信を示す第2のフィードバックを提供することであって、着信通信を示す第2のフィードバックを提供することは、1つ以上の触知出力生成器を用いて、着信通信に対する第2の進行中の触知出力を提供することであって、第2の進行中の触知出力が、第2の使用コンテキストに対応する第2の触知出力プロファイルを有する、ことを含む、ことと、を更に含む。
一部の実施形態によれば、方法は、ディスプレイ、タッチ感知面、1つ以上のセンサ、並びにオーディオシステム及び/又は1つ以上の触知出力生成器を備える電子デバイスにおいて実行される。方法は、アラートイベントを検出することを含む。方法はまた、アラートイベントを受信することに応じて、電子デバイスが第1の使用コンテキストにあるか、又は第1の使用コンテキストとは別個の第2の使用コンテキストにあるかを判定するまで、アラートイベントを示すフィードバックの提供を遅延させることと、電子デバイスが第1の使用コンテキスト又は第2の使用コンテキストにあるかどうかを判定することに応じて、電子デバイスが第1の使用コンテキストにあるとの判定に従って、アラートイベントを示す第1のフィードバックを提供することであって、第1のフィードバックが、第1の音声出力及び/又は第1の触知出力を含む、ことと、電子デバイスが第1の使用コンテキストとは別個の第2の使用コンテキストにあるとの判定に従って、アラートイベントを示す第2のフィードバックを提供することであって、第2のフィードバックが、第1の音声出力とは別個の第2の音声出力、及び/又は第1の触知出力とは別個の第2の触知出力を含む、ことと、を含む。
一部の実施形態によれば、電子デバイスは、ディスプレイ、タッチ感知面、任意選択でタッチ感知面との接触の強度を検出する1つ以上のセンサ、1つ以上の触知出力生成器、任意選択で1つ以上のデバイス向きセンサ、任意選択でオーディオシステム、1つ以上のプロセッサ、メモリ、及び1つ以上のプログラムを含み、1つ以上のプログラムはメモリ内に記憶され、1つ以上のプロセッサによって実行されるように構成されており、1つ以上のプログラムは、命令を含み、命令は本明細書に記載の方法のいずれかの動作を実行するか又は実行させる。一部の実施形態によれば、コンピュータ可読記憶媒体は、内部に記憶された命令を有し、命令は、ディスプレイ、タッチ感知面、任意選択でタッチ感知面との接触の強度を検出する1つ以上のセンサ、1つ以上の触知出力生成器、任意選択で1つ以上のデバイス向きセンサ、任意選択でオーディオシステム、を備える電子デバイスによって実行されると、本明細書で説明される方法のいずれかの動作をデバイスに実行させ、又は動作の実行を行わせる。一部の実施形態によれば、ディスプレイ、タッチ感知面、任意選択で、タッチ感知面との接触の強度を検出する1つ以上のセンサ、1つ以上の触知出力生成器、任意選択で、1つ以上のデバイス向きセンサ、任意選択で、オーディオシステム、メモリ、及びメモリに記憶された1つ以上のプログラムを実行する1つ以上のプロセッサを備える電子デバイス上のグラフィカルユーザインタフェースは、本明細書で説明される方法のいずれかにおいて表示される要素のうちの1つ以上を含み、要素は、本明細書で説明される方法のいずれかにおいて説明されるように、入力に応じて更新される。一部の実施形態によれば、電子デバイスは、ディスプレイ、タッチ感知面、任意選択で、タッチ感知面との接触の強度を検出する1つ以上のセンサ、1つ以上の触知出力生成器、任意選択で、1つ以上のデバイス向きセンサ、任意選択で、オーディオシステム、及び本明細書で説明される方法のいずれかの動作を実行し、又は実行させる手段を含む。一部の実施形態によれば、ディスプレイ、タッチ感知面、任意選択で、タッチ感知面との接触の強度を検出する1つ以上のセンサ、1つ以上の触知出力生成器、任意選択で、1つ以上のデバイス向きセンサ、及び任意選択で、オーディオシステム、を備える電子デバイスで使用する情報処理装置は、本明細書で説明される方法のいずれかの動作を実行し、又は実行させる手段を含む。
このように、ディスプレイ、タッチ感知面、任意選択で、タッチ感知面との接触の強度を検出する1つ以上のセンサ、1つ以上の触知出力生成器、任意選択で、1つ以上のデバイス向きセンサ、任意選択で、オーディオシステムを備える電子デバイスは、ユーザに触覚フィードバックを提供する改善された方法及びインタフェースを提供し、それによって、そのようなデバイスの有効性、効率性、及びユーザ満足度を高める。このような方法及びインタフェースは、ユーザに触覚フィードバックを提供する従来の方法を補完し、又は置き換えることができる。
説明される様々な実施形態を良好に理解するため、以下の図面と併せて、以下の「発明を実施する形態」が参照されるべきである。ここで、類似の参照番号は、それらの図全体を通じて、対応する部分を指す。
一部の実施形態に係る、タッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。
一部の実施形態に係る、イベントハンドリングのための例示的な構成要素を示すブロック図である。
一部の実施形態に係る、触知出力モジュールを示すブロック図である。
一部の実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す。
一部の実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
一部の実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューのための例示的なユーザインタフェースを示す。
一部の実施形態に係る、ディスプレイと分離したタッチ感知面を有する多機能デバイスのための例示的なユーザインタフェースを示す。
一部の実施形態に係る、動的強度閾値の例を示す。 一部の実施形態に係る、動的強度閾値の例を示す。 一部の実施形態に係る、動的強度閾値の例を示す。
一部の実施形態に係る、サンプル触知出力パターンのセットを示す。 一部の実施形態に係る、サンプル触知出力パターンのセットを示す。 一部の実施形態に係る、サンプル触知出力パターンのセットを示す。 一部の実施形態に係る、サンプル触知出力パターンのセットを示す。 一部の実施形態に係る、サンプル触知出力パターンのセットを示す。 一部の実施形態に係る、サンプル触知出力パターンのセットを示す。
一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。 一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。
一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。 一部の実施形態に係る、電子デバイスの例示的な動作を示す。
一部の実施形態に係る、調整可能制御部の進行調整に基づいて触知出力を出力する方法を示すフロー図である。 一部の実施形態に係る、調整可能制御部の進行調整に基づいて触知出力を出力する方法を示すフロー図である。 一部の実施形態に係る、調整可能制御部の進行調整に基づいて触知出力を出力する方法を示すフロー図である。
一部の実施形態に係る、接触の特性強度の検出された増大に応じて触知出力を提供する方法を示すフロー図である。 一部の実施形態に係る、接触の特性強度の検出された増大に応じて触知出力を提供する方法を示すフロー図である。 一部の実施形態に係る、接触の特性強度の検出された増大に応じて触知出力を提供する方法を示すフロー図である。 一部の実施形態に係る、接触の特性強度の検出された増大に応じて触知出力を提供する方法を示すフロー図である。
一部の実施形態に係る、フォーカスセレクタの移動に対応する触知出力のシーケンスを生成する方法を示すフロー図である。 一部の実施形態に係る、フォーカスセレクタの移動に対応する触知出力のシーケンスを生成する方法を示すフロー図である。 一部の実施形態に係る、フォーカスセレクタの移動に対応する触知出力のシーケンスを生成する方法を示すフロー図である。
一部の実施形態に係る、接触の動きを検出することに応じて触知出力を出力する方法を示すフロー図である。
一部の実施形態に係る、複数のアイコンを含むユーザインタフェースにおいて、接触によって検出された入力に従って出力を提供する方法を示すフロー図である。
一部の実施形態に係る、受信したいくつかの通信が増大するにつれて増大する出力パラメータを含む触知出力を生成する方法のフロー図の方法を示すフロー図である。 一部の実施形態に係る、受信したいくつかの通信が増大するにつれて増大する出力パラメータを含む触知出力を生成する方法のフロー図の方法を示すフロー図である。
一部の実施形態に係る、デバイスコンテキストに応じて、着信通信を示す異なるフィードバックを提供する方法を示すフロー図である。 一部の実施形態に係る、デバイスコンテキストに応じて、着信通信を示す異なるフィードバックを提供する方法を示すフロー図である。 一部の実施形態に係る、デバイスコンテキストに応じて、着信通信を示す異なるフィードバックを提供する方法を示すフロー図である。 一部の実施形態に係る、デバイスコンテキストに応じて、着信通信を示す異なるフィードバックを提供する方法を示すフロー図である。
一部の実施形態に係る、デバイスコンテキストに応じて、アラートイベントを示す異なるフィードバックを提供する方法を示すフロー図である。 一部の実施形態に係る、デバイスコンテキストに応じて、アラートイベントを示す異なるフィードバックを提供する方法を示すフロー図である。 一部の実施形態に係る、デバイスコンテキストに応じて、アラートイベントを示す異なるフィードバックを提供する方法を示すフロー図である。 一部の実施形態に係る、デバイスコンテキストに応じて、アラートイベントを示す異なるフィードバックを提供する方法を示すフロー図である。
発明を実施する形態
多くの電子デバイスは、グラフィカルユーザインタフェースにおいて入力を検出するとフィードバックを提供し、入力がデバイス動作に及ぼす効果のインジケーションを提供する。電子デバイスはまた、着信通信及び受信通信に関してユーザに通知するフィードバックを提供する。本明細書で説明する方法は、ユーザがデバイス動作上で検出された入力の効果を理解し、デバイスの状態についてユーザに情報を提供するのに役立つ触覚フィードバックを提供する。
以下では、図1A~1B、2、及び3は、例示的なデバイスの説明を提供する。図4A~図4B及び図5A~図5BBは、触覚フィードバックを提供する例示的なユーザインタフェースを示す。図5CC~図5OOは、オーディオ及び/又は触知フィードバックを提供する電子デバイスの例示的な動作を示す。図6A~図6Cは、調整可能制御部の進行調整に基づいて触知出力を出力する方法のフロー図を示す。図7A~図7Dは、接触の特性強度の検出された増大に応じて、触知出力を生成する方法のフロー図を示す。図8A~図8Cは、フォーカスセレクタの移動に対応する触知出力のシーケンスを生成する方法のフロー図を示す。図9は、接触の動きを検出することに応じて、触知出力を出力する方法のフロー図を示す。図10は、複数のアイコンを含むユーザインタフェースにおいて、接触によって検出された入力に従って出力を提供する方法のフロー図を示す。図11A~図11Bは、受信したいくつかの通信が増大するにつれて増大する出力パラメータを含む触知出力を生成する方法のフロー図を示す。図12A~図12Dは、デバイスコンテキストに応じて、着信通信を示す異なるフィードバックを提供する方法のフロー図を示す。図13A~図13Dは、デバイスコンテキストに応じて、アラートイベントを示す異なるフィードバックを提供する方法のフロー図を示す。図5A~図5BBのユーザインタフェース、及び図5CC~5OOに示す動作例は、図6A~図6C、図7A~図7D、図8A~図8C、図9、図10、図11A~図11B、図12A~図12D、及び図13A~図13Dの処理を説明するために使用される。
例示的なデバイス
ここで、添付図面に実施例が示される実施形態への詳細な参照が行われる。以下の詳細な説明では、説明される様々な実施形態の完全な理解を提供するために数多くの具体的な詳細が記載されている。しかしながら、説明されている様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭にしないよう詳細には説明されていない。
本明細書では、第1、第2などの用語は、一部の実施例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、1つの要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第1の接触は、第2の接触と称することができ、同様に、第2の接触は、第1の接触と称し得る。第1の接触及び第2の接触は両方接触であるが、文脈がそうではないことを明確に示さない限り、それらは同じ接触ではない。
本明細書で説明される様々な実施形態の説明で使用される用語は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるように、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用されるように、用語「and/or(及び/又は)」は、関連する列挙された項目のうちの1つ以上の任意の全ての可能な組合せを指し、かつこれを含むことをもまた理解されたい。用語「includes(含む)、「including(含む)」、「comprises(含む)」、及び/又は「comprising(含む)」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
本明細書で使用されるように、用語「if(~の場合)」は、任意選択で、文脈に依存して「when(~のとき)」、「upon(~すると)」、「in response to determining(~と判定したことに応じて)」、又は「in response to detecting(~を検出したことに応じて)」を意味するものと解釈される。同様に、語句「if it is determined(~と判定される場合)」又は「if(a stated condition or event)is detected((述べられる条件又はイベント)が検出される場合)」は、任意選択的に、文脈に依存して「upon determining(~と判定すると)」、「in response to determining(~と判定したことに応じて)」、「upon detecting(the stated condition or event)((述べられる条件又はイベント)を検出すると)」、又は「in response to detecting(the stated condition or event)((述べられる条件又はイベント)を検出したことに応じて)」を意味するものと解釈される。
電子デバイス、そのようなデバイスについてのユーザインタフェース、及びそのようなデバイスを使用する関連する処理の実施形態が説明される。一部の実施形態では、デバイスは、PDA機能及び/又は音楽プレーヤ機能などの他の機能も含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、Cupertino、CaliforniaのApple Inc.からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイスを含むが、これらに限定されない。タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスが任意選択で使用される。また、一部の実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するデスクトップコンピュータであることも理解されたい。
以下の議論では、ディスプレイ及びタッチ感知面を含む電子デバイスが説明される。しかしながら、電子デバイスは任意選択で、物理キーボード、マウス、及び/又はジョイスティックなどの、1つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、一般的に、メモ取りアプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション及び/又はデジタルビデオプレーヤアプリケーションのうちの1つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び/又はそれぞれのアプリケーション内で、任意選択的に、調節及び/又は変更される。このように、デバイスの共通の(タッチ感知面などの)物理アーキテクチャは、ユーザにとって直感的かつ透過的なユーザインタフェースを備える様々なアプリケーションを、任意選択的にサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、一部の実施形態に係る、タッチ感知ディスプレイシステム112を有するポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイシステム112は、便宜上「タッチスクリーン」と呼ばれる場合があり、単にタッチ感知ディスプレイと呼ばれる場合もある。デバイス100は、メモリ102(任意選択で、1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(CPU)120、周辺機器インタフェース118、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、その他の入力又は制御デバイス116、及び外部ポート124を含む。デバイス100は、1つ以上の光センサ164を任意選択的に含む。デバイス100は任意選択で、デバイス100(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)上の接触の強度を検出する1つ以上の強度センサ165を含む。デバイス100は、デバイス100上に触知出力を生成する(例えば、デバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などの、タッチ感知面上に触知出力を生成する)ための、1つ以上の触知出力生成器167を、任意選択的に含む。これらの構成要素は、1つ以上の通信バス又は信号ライン103を介して任意選択的に通信する。
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの接触の感知でユーザによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、デバイスの別の構成要素(例えば、筐体)に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの手の指、手のひら、又は他の部分)に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触知感として、ユーザによって解釈される。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として任意選択的に解釈される。場合によっては、ユーザの移動により物理的に押圧された(例えば、変位した)タッチ感知面と関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触知感を感じるであろう。別の実施例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるものではあるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」「ダウンクリック」、「粗さ」)に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な(又は、平均的な)ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。触覚フィードバックをユーザに提供するために触知出力を使用することは、デバイスの操作性を高め、ユーザ-デバイスインタフェースを更に効率的にし(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、触知出力パターンは、触知出力の振幅、触知出力の移動波形の形状、触知出力の周波数、及び/又は触知出力の期間などの触知出力の特性を指定する。
異なる触知出力パターンを有する触知出力がデバイスによって生成されると(例えば、触知出力を生成するために可動質量を移動させる1つ以上の触知出力生成器を介して)、触知出力は、ユーザがデバイスを保持又はタッチする際に異なる触覚感覚を引き起こし得る。ユーザの感覚がユーザの触知出力の知覚に基づいている間、ほとんどのユーザは、デバイスによって生成された触知主力の波形、周波数、及び振幅における変化を識別することが可能である。よって、ユーザに異なる操作が実行されたことを示すために波形、周波数及び振幅を調節することができる。そのようにして、所与の環境(例えば、グラフィカルな特徴及びオブジェクトを含むユーザインタフェース、仮想境界及び仮想オブジェクトを有するシミュレートされた物理的環境、物理的境界及び物理的オブジェクトを有する現実の物理的環境、並びに/又は上記のいずれかの組み合わせ)におけるオブジェクトの特性(例えば、サイズ、材質、重量、剛性、平滑度など)、振る舞い(例えば、振動、変位、加速、回転、拡大など)、及び/又は、対話(例えば、衝突、付着、反発、引き付け、摩擦など)をシミュレートするように設計、選択、及び/又は立案された触知出力パターンを有する触知出力は、一部の状況で、デバイスのユーザの操作の入力誤りを削減し、効率性を増大させる有益なフィードバックをユーザに提供する。加えて、触知出力は任意選択で、入力閾値又はオブジェクトの選択などのシミュレートされた物理特性に関連しないフィードバックに対応するように生成される。そのような触知出力は、一部の状況では、デバイスのユーザの操作の入力誤りを削減し、効率性を増大させる有益なフィードバックをユーザに提供する。
一部の実施形態では、適切な触知出力パターンを有する触知出力は、ユーザインタフェース内又はデバイス内のシーンの後方で対象となるイベントの発生へのキュー(cue)としての役割を果たす。対象となるイベントの例は、デバイス上又はユーザインタフェース内で提供されるアフォーダンス(例えば、実ボタン、仮想ボタン、又はトグルスイッチ)のアクティブ化、要求された動作の成功又は失敗、ユーザインタフェース内の境界に到達すること又は超えること、新たな状態に入ること、オブジェクト間の入力の焦点を切り替えること、新たなモードのアクティブ化、入力閾値に到達すること又は超えること、入力又はジェスチャのタイプの検出又は認識などを含む。一部の実施形態では、触知出力は、リダイレクション又は中断入力が時宜を得て検出されない限り発生する、近いうち起こるイベント又は結果に対する警告又はアラートしての役割を果たすように提供される。触知出力はまた、他のコンテキストでは、ユーザ経験を強化し、視覚若しくは運動困難なユーザへのデバイスのアクセシビリティ若しくは他のアクセシビリティの必要性を改善し、並びに/又はユーザインタフェース及び/若しくはデバイスの効率性及び機能性を改善するために使用される。触知出力は任意選択で、音声出力及び/又は視認可能なユーザインタフェースの変更を伴い、それは、ユーザがユーザインタフェース及び/又はデバイスと対話するときのユーザの経験を更に高め、ユーザインタフェース及び/又はデバイスの状態に関する情報の搬送を更に促進し、並びにデバイスのユーザの操作の入力誤りを削減し、効率性を増大させる。
デバイス100は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス100は任意選択的に、示されているものよりも多くの構成要素若しくは少ない構成要素を有し、任意選択的に、2つ以上の構成要素を組合せ、又は任意選択的に、構成要素の異なる構成若しくは配置を有することを理解されたい。図1Aに示す様々な構成要素は、1つ以上の信号処理回路及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせで実装される。
メモリ102は、任意選択的に高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの、不揮発性メモリも含む。CPU(単数又は複数)120及び周辺機器インタフェース118などのデバイス100の他の構成要素によるメモリ102へのアクセスは任意選択で、メモリコントローラ122により制御される。
周辺機器インタフェース118が使用され、デバイスの入力及び出力周辺機器を、CPU(単数又は複数)120及びメモリ102と結合することができる。1つ以上のプロセッサ120は、デバイス100についての様々な機能を実行し、データを処理するために、メモリ102に記憶された様々なソフトウェアプログラム及び/又は命令セットを動作させ、又は実行する。
一部の実施形態では、周辺機器インタフェース118、CPU(単数又は複数)120、及びメモリコントローラ122は任意選択で、チップ104などの単一チップ上で実装される。一部の他の実施形態では、これらは、個別のチップ上に、任意選択的に実装される。
RF(radio frequency)(無線周波数)回路108は、電磁信号とも呼ばれるRF信号を送受信する。RF回路108は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(subscriber identity module)(SIM)カード、メモリなどを含むがこれらに限定されない、これらの機能を実行する周知の回路を、任意選択的に含んでいる。RF回路108は、任意選択的に、インターネット(ワールドワイドウェブ(World Wide Web)(WWW)とも呼ばれる)、イントラネット及び/又は無線ネットワーク(セルラー電話ネットワーク、無線ローカルエリアネットワーク(local area network)(LAN)及び/又は、メトロポリタンエリアネットワーク(metropolitan area network)(MAN)など)などのネットワーク並びに他のデバイスと、無線通信によって通信する。無線通信は任意選択で、移動通信のためのグローバルシステム(GSM)、拡張データGSM環境(EDGE)、高速ダウンリンクパケット接続(HSDPA)、高速アップリンクパケット接続(HSUPA)、Evolution,Data-Only(EV-DO)、HSPA、HSPA+、デュアルセルHSPA(DC-HSPDA)、ロングタームエボリューション(LTE)、近距離無線通信(NFC)、広帯域符号分割多元接続(W-CDMA)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、Bluetooth、Wireless Fidelity(Wi-Fi)(例えば、IEEE 802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g、及び/若しくはIEEE 802.11n)、ボイスオーバーインターネットプロトコル(VoIP)、Wi-MAX、電子メールのためのプロトコル(例えば、インターネットメッセージアクセスプロトコル(IMAP)及び/若しくはポストオフィスプロトコル(POP))、インスタントメッセージング(例えば、拡張可能メッセージング及びプレゼンスプロトコル(XMPP)、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル(SIMPLE)、インスタントメッセージング及びプレゼンスサービス(IMPS))、並びに/又はショートメッセージサービス(SMS)、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含むが、それらに限定されない、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを使用する。
オーディオ回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間のオーディオインタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118から音声データを受信し、この音声データを電気信号に変換し、電気信号をスピーカ111に送信する。スピーカ111は、電気信号を人間の可聴音波に変換する。オーディオ回路110はまた、マイクロフォン113により音波から変換された電気信号を受信する。オーディオ回路110は、電気信号を音声データに変換し、音声データを処理のために周辺機器インタフェース118に送信する。音声データは、周辺機器インタフェース118によって任意選択的に、メモリ102及び/若しくはRF回路108から取得され、並びに/又はメモリ102及び/若しくはRF回路108へ送信される。一部の実施形態では、オーディオ回路110は、更にヘッドセットジャック(例えば、212、図2)も含む。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホン又は出力(例えば、片耳又は両耳用のヘッドホン)及び入力(例えば、マイクロフォン)の双方を有するヘッドセットなどの取り外し可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム106は、タッチ感知ディスプレイシステム112及びその他の入力又は制御デバイス116などのデバイス100上の入出力周辺機器を周辺機器インタフェース118と結合する。I/Oサブシステム106は、任意選択的に、ディスプレイコントローラ156、光センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、及び他の入力若しくは制御デバイスのための1つ以上の入力コントローラ160を含む。1つ以上の入力コントローラ160は、その他の入力又は制御デバイス116から電気信号を受信し、それらへ電気信号を送信する。その他の入力又は制御デバイス116は任意選択で、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。一部の代替的実施形態では、入力コントローラ(単数又は複数)160は任意選択で、キーボード、赤外線ポート、USBポート、スタイラス、及び/又はマウスなどのポインタデバイスのうちのいずれかと結合される(又は、いずれにも結合されない)。1つ以上のボタン(例えば、208、図2)は任意選択で、スピーカ111及び/又はマイクロフォン113の音量制御のためのアップ/ダウンボタンを含む。1つ以上のボタンは任意選択で、プッシュボタン(例えば、206、図2)を含む。
タッチ感知ディスプレイシステム112は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチ感知ディスプレイシステム112から電気信号を受信し、及び/又はタッチ感知ディスプレイシステム112へ電気信号を送信する。タッチ感知ディスプレイシステム112は、ユーザに視覚出力を表示する。視覚出力は、任意選択的に、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組合せ(総称して「グラフィック」と称する)を含む。一部の実施形態では、視覚出力の一部又は全ては、ユーザインタフェースオブジェクトに対応する。本明細書で使用されるように、用語「アフォーダンス」は、ユーザ-対話形式のグラフィカルユーザインタフェースオブジェクト(例えば、グラフィカルユーザインタフェースオブジェクトに向かって方向付けられた入力に応答するように構成されたグラフィカルユーザインタフェースオブジェクト)を指す。ユーザ-対話形式のグラフィカルユーザインタフェースオブジェクトの例は、ボタン、スライダ、アイコン、選択可能メニュー項目、スイッチ、ハイパーリンク、又はその他のユーザインタフェース制御を含むが、それらに限定されない。
タッチ感知ディスプレイシステム112は、触覚及び/又は触知の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有する。(メモリ102内の任意の関連するモジュール及び/又は命令セットとともに)タッチ感知ディスプレイシステム112及びディスプレイコントローラ156は、タッチ感知ディスプレイシステム112上の接触(及び、接触の任意の移動又は中断)を検出し、検出された接触をタッチ感知ディスプレイシステム112上で表示されるユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)との相互作用に変換する。一部の実施形態では、タッチ感知ディスプレイシステム112とユーザとの間の接触点は、ユーザの指又はスタイラスに対応する。
タッチ感知ディスプレイシステム112は任意選択で、LCD(liquid crystal display)(液晶ディスプレイ)技術、LPD(light emitting polymer display)(発光ポリマーディスプレイ)技術、又はLED(light emitting diode)(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチ感知ディスプレイシステム112及びディスプレイコントローラ156は任意選択で、容量技術、抵抗性技術、赤外線技術、及び表面音響波技術、並びに、タッチ感知ディスプレイシステム112との1つ以上の接触点を判定するその他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在既知の又は後に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びその任意の移動又は中断を検出する。一部の実施形態では、Cupertino、CaliforniaのApple Inc.からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)などにおいて見られるような、投影型相互キャパシタンス検知技術が使用される。
タッチ感知ディスプレイシステム112は任意選択で、100dpiを超えるビデオ解像度を有する。一部の実施形態では、タッチスクリーンのビデオ解像度は、400dpiを超える(例えば、500dpi、800dpi、又はそれより高い)。ユーザは任意選択で、スタイラス、指などの任意の適切な物体又は付属物を使用して、タッチ感知ディスプレイシステム112と接触する。一部の実施形態では、ユーザインタフェースは、指に基づく接触及びジェスチャで機能するように設計されるが、これらは、指の接触がタッチスクリーン上での面積がより広いことに起因して、スタイラスに基づく入力よりも精度が低い場合がある。一部の実施形態では、デバイスは、指に基づく粗い入力を正確なポインタ/カーソル位置又はユーザの望むアクションを実行するコマンドに変換する。
一部の実施形態では、タッチスクリーンに加えて、デバイス100は任意選択的に、特定の機能をアクティブ化又は非アクティブ化するタッチパッド(図示せず)を含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しないデバイスのタッチ感知領域である。タッチパッドは任意選択で、タッチ感知ディスプレイシステム112と分離したタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長である。
デバイス100はまた、様々な構成要素に電力を供給する電力システム162を含む。電力システム162は任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理、及び分配と関連付けられた任意の他の構成要素を含む。
デバイス100はまた任意選択的に、1つ以上の光センサ164を含む。図1Aは、I/Oサブシステム106内の光センサコントローラ158と結合された光センサを示す。光センサ(単数又は複数)164は任意選択で、電荷結合デバイス(CCD)又は相補的金属酸化物半導体(CMOS)フォトトランジスタを含む。光センサ(単数又は複数)164は、1つ以上のレンズを通じて投影された、環境からの光を受光し、画像を表すデータに光を変換する。撮像モジュール143(カメラモジュールとも呼ばれる)と連携して、光センサ(単数又は複数)164は任意選択で、静止画像及び/又はビデオをキャプチャする。一部の実施形態では、タッチスクリーンを静止画像及び/又はビデオ画像取得のためのビューファインダとして使用することができるように、光センサは、デバイスの前面上のタッチ感知ディスプレイシステム112の反対である、デバイス100の背面上に位置する。一部の実施形態では、ユーザの画像が取得されるように(例えば、自撮りのため、ユーザがタッチスクリーン上でその他のビデオ会議参加者を見ている間のビデオ会議のためなど)、別の光センサがデバイスの前面上に位置する。
デバイス100はまた任意選択的に、1つ以上の接触強度センサ165を含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159と結合された接触強度センサを示す。接触強度センサ(単数又は複数)165は、1つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(若しくは圧力)を測定するために使用されるセンサ)を任意選択で含む。接触強度センサ(単数又は複数)165は、環境から接触強度情報(例えば、圧力情報又は圧力情報のためのプロキシ)を受信する。一部の実施形態において、少なくとも1つの接触強度センサが、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に配置されている、又は、それに近接している。一部の実施形態では、少なくとも1つの接触強度センサは、デバイス100の前面上に位置するタッチスクリーンディスプレイシステム112の反対である、デバイス100の背面上に位置する。
デバイス100はまた任意選択的に、1つ以上の近接センサ166を含む。図1Aは、周辺機器インタフェース118と結合された近接センサ166を示す。代わりに、近接センサ166は、I/Oサブシステム106内の入力コントローラ160と結合される。一部の実施形態では、多機能デバイスがユーザの耳の近くに配置されるとき(例えば、ユーザが電話通話を行っているとき)、近接センサは、タッチ感知ディスプレイシステム112をターンオフ及び無効にする。
デバイス100はまた、任意選択的に、1つ以上の触知出力生成器167を含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161と結合された触知出力生成器を示す。一部の実施形態では、触知出力生成器(単数又は複数)167は、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)など、エネルギーを線形の動きに変換する電気機械デバイスを含む。触知出力生成器(単数又は複数)167は、触覚フィードバックモジュール133から触知フィードバック生成命令を受信し、デバイス100のユーザが感知できる触知出力をデバイス100上に生成する。一部の実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に配置されて又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、デバイス100の表面の内/外)に、又は横方向(例えば、デバイス100の表面と同じ平面内の前後)に動かすことによって、触知出力を生成する。一部の実施形態では、少なくとも1つの触知出力生成器センサは、デバイス100の前面上に位置するタッチ感知ディスプレイシステム112の反対である、デバイス100の背面上に位置する。
デバイス100はまた任意選択的に、1つ以上の加速度計168を含む。図1Aは、周辺機器インタフェース118と結合された加速度計168を示す。代わりに、加速度計168は任意選択で、I/Oサブシステム106内の入力コントローラ160と結合される。一部の実施形態では、情報は、1つ以上の加速度計から受信されたデータの分析に基づいて、縦方向ビュー又は横方向ビュー内でタッチスクリーンディスプレイ上で表示される。デバイス100は、加速度計(単数又は複数)168に加えて、磁気計(図示せず)並びにデバイス100の位置及び向き(例えば、縦長又は横長)に関する情報を取得するGPS(又はGLONASS又は他のグローバルナビゲーションシステム)受信部(図示せず)を任意選択的に含む。
一部の実施形態では、メモリ102に記憶されたソフトウェア構成要素は、オペレーティングシステム126、通信モジュール(又は、命令セット)128、接触/動きモジュール(又は、命令セット)130、グラフィックモジュール(又は、命令セット)132、触覚フィードバックモジュール(又は、命令セット)133、テキスト入力モジュール(又は、命令セット)134、全地球測位システム(Global Positioning System)(GPS)モジュール(又は、命令セット)135、及びアプリケーション(又は、命令セット)136を含む。更に、一部の実施形態では、図1A及び図3に示されるように、メモリ102は、デバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチ感知ディスプレイシステム112の様々な領域を占有しているかを示す表示状態、デバイスの様々なセンサ及びその他の入力又は制御デバイス116から取得される情報を含むセンサ状態、並びにデバイスの場所及び/又は姿勢に関する場所及び/若しくは位置情報、のうちの1つ以上を含む。
オペレーティングシステム126(例えば、iOS、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、又はVxWorksなどの組み込みオペレーティングシステム)は、全体的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理する様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を促進する。
通信モジュール128は、1つ以上の外部ポート124を介して他のデバイスとの通信を容易にし、RF回路108及び/又は外部ポート124が受信したデータを処理する様々なソフトウェア構成要素も含む。外部ポート124(例えば、ユニバーサルシリアルバス(Universal Serial Bus、USB)、FIREWIREなど)は、直接的に、又はネットワーク(例えば、インターネット、無線LANなど)を介して間接的に、他のデバイスに結合するように適応される。一部の実施形態では、外部ポートは、Cupertino、CaliforniaのApple Inc.からのいくつかのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイス内で使用される30ピンコネクタと同一若しくは類似した、及び/又は互換性のあるマルチピン(例えば、30ピン)コネクタである。一部の実施形態では、外部ポートは、Cupertino、CaliforniaのApple Inc.からのいくつかのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイス内で使用されるLightningコネクタと同一若しくは類似した、及び/又は互換性のあるLightningコネクタである。
接触/動きモジュール130は任意選択で、タッチ感知ディスプレイシステム112との接触(ディスプレイコントローラ156と連携して)、及び他のタッチ感知デバイスとの接触(例えば、タッチパッド又は物理クリックホイール)を検出する。接触/動きモジュール130は、接触が発生したかを判定すること(例えば、指が下がるイベントを検出する)、接触の強度を判定すること(例えば、接触の力若しくは圧力、又は接触の力若しくは圧力に代替するもの)、接触の動きがあるかを判定すること及びタッチ感知面を横切る動きを追跡すること(例えば、1つ以上の指のドラッグイベントを検出する)、及び接触が停止したかを判定すること(例えば、指が上がるイベント又は接触の中断を検出する)などの、接触の検出(例えば、指又はスタイラスによる)に関連する様々な操作を実行するソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データにより表現される接触点の移動を判定することは、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを任意選択的に含む。それらの操作は任意選択で、単一の接触(例えば、1本の指の接触又はスタイラスの接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。一部の実施形態では、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
接触/動きモジュール130は任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン(例えば、検出される接触の異なる動き、タイミング、及び/又は強度)を有する。したがって、ジェスチャは、特定の接触パターンを検出することによって、任意選択的に検出される。例えば、フィンガタップジェスチャを検出することは、フィンガダウンイベントを検出し、続いて(例えば、アイコンの位置での)そのフィンガダウンイベントと同一の位置(又は、実質的に同一の位置)でフィンガアップ(リフトオフ)イベントを検出することを含む。別の実施例として、タッチ感知面上のフィンガスワイプジェスチャの検出は、フィンガダウンイベントを検出し、続いて1つ以上のフィンガドラッグイベントを検出し、その後、フィンガアップ(リフトオフ)イベントを検出することを含む。同様に、タップ、スワイプ、ドラッグ、及びその他のジェスチャは任意選択で、スタイラスに対して、スタイラスに対する特定の接触パターンを検出することにより、検出される。
一部の実施形態では、(例えば、タッチ感知ディスプレイシステム112上の)指のタップジェスチャを検出することは、指が下がるイベントを検出することと指が上がるイベントを検出することとの間の時間の長さに依存するが、指が下がるイベントを検出することと指が上がるイベントを検出することとの間の指の接触の強度とは関連しない。一部の実施形態では、タップジェスチャは、タップの間の指の接触の強度が、軽押圧又は深押圧強度閾値などの所与の強度閾値を満たす(名目上の接触検出強度閾値よりも大きい)かに関わらず、指が下がるイベントと指が上がるイベントとの間の時間の長さが予め定められた値よりも短い(例えば、0.1、0.2、0.3、0.4又は0.5秒よりも短い)との判定に従って検出される。よって、指のタップジェスチャは、特定の入力基準が満たされるために、接触の特性強度が所与の強度閾値を満たすことを必要としない特定の入力基準を満たすことができる。明確にするために、タップジェスチャにおける指の接触は一般的に、指が下がるイベントが検出されるために、それを下回ると接触が検出されない名目上の接触検出強度閾値を満たす必要がある。同様の分析は、スタイラスによるタップジェスチャ又は他の接触を検出することに適用される。デバイスがタッチ感知面上をホバリングする指又はスタイラスの接触を検出することが可能なケースでは、名目上の接触検出強度閾値は任意選択で、指又はスタイラスとタッチ感知面との間の物理的接触に対応しない。
同様の方式で、同一の概念が他のタイプのジェスチャに適用される。例えば、(例えば、タッチ感知ディスプレイシステム112上の)スワイプジェスチャ、ピンチジェスチャ、デピンチジェスチャ、及び/又は長い押圧ジェスチャは任意選択で、ジェスチャに含まれる接触の強度と関係しない、又はジェスチャを実行する接触(単数又は複数)が認識されるために強度閾値に到達することを必要としない、のいずれかである基準を満たすことに基づいて検出される。例えば、スワイプジェスチャは、1つ以上の接触の移動量に基づいて検出され、ピンチジェスチャは、相互に向かう2つ以上の接触の移動に基づいて検出され、デピンチジェスチャは、相互に離れる2つ以上の接触の移動に基づいて検出され、長い押圧ジェスチャは、閾値移動量よりも小さいタッチ感知面上の接触の期間に基づいて検出される。そのようにして、特定のジェスチャ認識基準が満たされるために、接触(単数又は複数)の強度がそれぞれの強度閾値を満たすことを特定のジェスチャ認識基準が必要としないとの記述は、ジェスチャにおける接触(単数又は複数)がそれぞれの強度閾値に到達しない場合に特定のジェスチャ認識基準が満たされることが可能であること、及びジェスチャにおける接触のうちの1つ以上がそれぞれの強度閾値に到達せず、又は強度閾値を超えない状況で満たされることも可能であることを意味する。一部の実施形態では、タップジェスチャは、接触が所定時間期間の間にそれぞれの強度閾値を上回り又は下回るかに関わらず、指が下がるイベント及び指が上がるイベントが所定時間期間内で検出されたとの判定に基づいて検出され、スワイプジェスチャは、接触が接触の移動の終わりにそれぞれの強度閾値を上回る場合でさえ、接触の移動が予め定義された大きさよりも大きいとの判定に基づいて検出される。ジェスチャの検出がジェスチャを実行する接触の強度によって影響される実施態様でさえ(例えば、接触の強度が強度閾値を上回るときにデバイスが長い押圧をより素早く検出し、又は接触の強度がより高いときにデバイスがタップ入力の検出に遅れる)、接触が特定の強度閾値に到達しない状況でジェスチャを認識する基準を満たすことができる限り(例えば、ジェスチャを認識するために要する時間量が変化する場合でさえ)、それらのジェスチャの検出は、接触が特定の強度閾値に到達することを必要としない。
接触強度閾値、期間閾値、及び移動閾値は、一部の状況では、同一の入力要素又は領域に方向付けられる2つ以上の異なるジェスチャを区別するヒューリスティックを作成するために、様々な異なる組み合わせで組み合わされ、それによって、同一の入力要素との複数の異なる対話がより豊かなセットのユーザ対話及び応答を提供するように有効とされる。特定のジェスチャ認識基準が満たされるために、接触(単数又は複数)の強度がそれぞれの強度閾値を満たすことをジェスチャ認識基準の特定のセットが必要としない記述は、ジェスチャがそれぞれの強度閾値を上回る強度を有する接触を含むときに満たされる基準を有する他のジェスチャを識別する他の強度依存ジェスチャ認識基準の同時評価を排除しない。例えば、一部の状況では、第1のジェスチャ認識基準が満たされるために、接触(単数又は複数)の強度がそれぞれの強度閾値を満たすことを必要としない第1のジェスチャのための第1のジェスチャ認識基準は、それぞれの強度閾値に到達する接触(単数又は複数)に依存する第2のジェスチャのための第2のジェスチャ認識基準との競争関係にある。そのような競争では、ジェスチャは任意選択で、第2のジェスチャのための第2のジェスチャ認識基準が最初に満たされる場合に、第1のジェスチャのための第1のジェスチャ認識基準を満たすものとして認識されない。例えば、接触が予め定義された移動量を移動する前に接触がそれぞれの強度閾値に到達する場合、スワイプジェスチャではなく深い押圧ジェスチャが検出される。逆に、接触がそれぞれの強度閾値に到達する前に接触が予め定義された移動量を移動する場合、深い押圧ジェスチャではなくスワイプジェスチャが検出される。そのような状況でさえ、第1のジェスチャのための第1のジェスチャ認識基準は、第1のジェスチャ認識基準が満たされるために、接触(単数又は複数)の強度がそれぞれの強度閾値を満たすことをなおも必要とせず、なぜならば、ジェスチャの終わりまで接触がそれぞれの強度閾値を下回ったままであった場合(例えば、それぞれの強度閾値を上回る強度まで増大しない接触を有するスワイプジェスチャ)、ジェスチャは、スワイプジェスチャとして第1のジェスチャ認識基準によって認識されているからである。そのようにして、特定のジェスチャ認識基準が満たされるために、接触(単数又は複数)の強度がそれぞれの強度閾値を満たすことを必要としない特定のジェスチャ認識基準は、(A)一部の状況では、強度閾値(例えば、タップジェスチャのための)に関して接触の強度を無視し、及び/又は(B)一部の状況では、特定のジェスチャ認識基準が入力に対応するジェスチャ(例えば、認識のための深い押圧ジェスチャと競争する長い押圧ジェスチャのための)を認識する前に、強度依存ジェスチャ認識基準の競争するセット(例えば、深い押圧ジェスチャのための)が強度依存ジェスチャに対応するものとして入力を認識する場合、特定のジェスチャ認識基準(例えば、長い押圧ジェスチャのための)が機能しないという意味で、強度閾値に関して接触の強度になおも依存している。
グラフィックモジュール132は、表示されるグラフィックの視覚的影響(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)を変更する構成要素を含む、タッチ感知ディスプレイシステム112又は他のディスプレイ上でグラフィックをレンダリング及び表示する様々な既知のソフトウェア構成要素を含む。本明細書で使用されるように、用語「グラフィック」は、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、及びアニメーションなどを含むがこれらに限定されない、ユーザに対して表示することができるいずれかのオブジェクトを含む。
一部の実施形態では、グラフィックモジュール132は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックは任意選択的に、対応するコードが割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する1つ以上のコードを受信し、次にディスプレイコントローラ156に出力する画面の画像データを生成する。
触覚フィードバックモジュール133は、デバイス100とのユーザ対話に応じて、触知出力生成器(単数又は複数)167を使用してデバイス100上の1つ以上の位置において触知出力を作成する命令(例えば、触覚フィードバックコントローラ161によって使用される命令)を生成する様々なソフトウェア構成要素を含む。
テキスト入力モジュール134は任意選択的に、グラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するソフトキーボードを提供する。
GPSモジュール135は、デバイスの位置を判定し、この情報を、様々なアプリケーションで使用するために(例えば、位置に基づくダイヤル発呼で使用するために電話138へ、写真/ビデオのメタデータとしてカメラ143へ、並びに、気象ウィジェット、地域のイエローページウィジェット、及び地図/ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ)提供する。
アプリケーション136は任意選択的に、以下のモジュール(若しくは命令セット)、又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール137(アドレス帳若しくは連絡先リストと呼ばれる場合もある)、
●電話モジュール138、
●ビデオ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像及び/又はビデオ画像のためのカメラモジュール143、
●画像管理モジュール144、
●ブラウザモジュール147、
●カレンダーモジュール148、
●任意選択で天気ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、辞書ウィジェット149-5、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット149-6のうちの1つ以上を含むウィジェットモジュール149、
●ユーザ作成ウィジェット149-6を作成するウィジェット作成モジュール150、
●検索モジュール151、
●任意選択でビデオプレーヤモジュールと音楽プレーヤモジュールで構成された、ビデオ及び音楽プレーヤモジュール152、
●メモモジュール153、
●地図モジュール154、並びに/又は
●オンラインビデオモジュール155。
任意選択的にメモリ102内に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、連絡先モジュール137は、(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192に記憶される)アドレス帳又は連絡先リストを管理する実行可能命令を含み、それには、アドレス帳に名前(単数又は複数)を加えること、アドレス帳から名前(単数又は複数)を削除すること、電話番号(単数又は複数)、メールアドレス(単数又は複数)、住所(単数又は複数)、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類して並べ替えること、電話番号及び/又は電子メールアドレスを提供して、電話138、ビデオ会議139、電子メール140、又はIM141による通信を開始及び/若しくは促進すること、などを含む。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、電話モジュール138は、電話番号に対応する一連の文字を入力し、アドレス帳137内の1つ以上の電話番号にアクセスし、入力されている電話番号を修正し、それぞれの電話番号をダイヤルし、会話を実行し、会話が完了したときに切断し又は電話を切る実行可能命令を含む。上述したように、無線通信は任意選択で、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、光センサ(単数又は複数)164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先リスト137、及び電話モジュール138と連携して、ビデオ会議モジュール139は、ユーザの指示に従って、ユーザと1人以上の他の参加者との間のビデオ会議を開始し、行い、終了する実行可能命令を含む。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、電子メールクライアントモジュール140は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理する実行可能命令を含む。画像管理モジュール144と連携して、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、インスタントメッセージモジュール141は、インスタントメッセージに対応する一連の文字を入力し、前に入力された文字を修正し、それぞれのインスタントメッセージを送信し(例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス(SMS)若しくはマルチメディアメッセージサービス(Multimedia Message Service、MMS)プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのXMPP、SIMPLE、Apple Push Notification Service(APNs)、若しくはIMPSを使用して)、インスタントメッセージを受信し、受信したインスタントメッセージを見る実行可能命令を含む。一部の実施形態では、送信及び/又は受信されたインスタントメッセージは任意選択で、MMS及び/又は拡張メッセージングサービス(Enhanced Messaging Service、EMS)でサポートされるような、グラフィック、写真、オーディオファイル、ビデオファイル、及び/又は他の添付ファイルを含む。本明細書で使用されるように、「インスタントメッセージ」は、電話ベースのメッセージ(例えば、SMS又はMMSを使用して送信されたメッセージ)及びインターネットベースのメッセージ(例えば、XMPP、SIMPLE、APNs、又はIMPSを使用して送信されたメッセージ)の両方を指す。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽プレーヤモジュール152と連携して、トレーニングサポートモジュール142は、トレーニングを作成し(例えば、時間、距離、及び/又はカロリー消費目標を有する)、(スポーツデバイス及びスマートウォッチ内の)トレーニングセンサと通信する、トレーニングセンサデータを受信することと、トレーニングをモニタするために使用されるセンサを較正することと、トレーニングのための音楽を選択して再生する、並びに、トレーニングデータを表示し、記憶し、送信する、実行可能命令を含んでいる。
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、光センサ(単数又は複数)164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、及び画像管理モジュール144と併せて、カメラモジュール143は、静止画像又はビデオ(ビデオストリームを含む)をキャプチャしてメモリ102にそれらを記憶する、静止画像又はビデオの特性を修正する、及び/又はメモリ102から静止画像若しくはビデオを削除する、実行可能命令を含む。
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143と併せて、画像管理モジュール144は、静止画像及び/又はビデオ画像を配置し、修正し(例えば、編集し)、又はその他の方式で操作し、ラベルを付け、削除し、提示し(例えば、デジタルスライドショー又はアルバム内で)、並びに記憶する、実行可能命令を含む。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、ブラウザモジュール147は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付ファイル及び他のファイルの、検索、リンク付け、受信、及び表示を含め、ユーザの指示に従いインターネットをブラウズする、実行可能命令を含む。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と併せて、カレンダーモジュール148は、ユーザの指示に従い、カレンダー及びカレンダーに関連付けられたデータ(例えば、カレンダー項目、すべきことのリストなど)を作成、表示、修正、及び記憶する、実行可能命令を含む。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と併せて、ウィジェットモジュール149は、任意選択的に、ユーザによってダウンロードされ使用されるミニアプリケーション(例えば、天気ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、及び辞書ウィジェット149-5)、又はユーザによって作成されるミニアプリケーション(例えば、ユーザ作成ウィジェット149-6)である。一部の実施形態では、ウィジェットは、HTML(Hypertext Markup Language)(ハイパーテキストマークアップ言語)ファイル、CSS(Cascading Style Sheets)(カスケーディングスタイルシート)ファイル、及びJavaScriptファイルを含む。一部の実施形態では、ウィジェットは、XML(拡張可能マークアップ言語)ファイル及びJavaScriptファイル(例えば、Yahoo!ウィジェット)を含む。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連携して、ウィジェット作成モジュール150は、ウィジェットを作成する(例えば、ウェブページのユーザ指定部分をウィジェットに変える)実行可能命令を含む。
タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、検索モジュール151は、ユーザの指示に従って、1つ以上の検索基準(例えば、1つ以上のユーザ指定の検索語句)と一致する、メモリ102内のテキスト、音楽、サウンド、画像、ビデオ、及び/又は他のファイルを検索する実行可能命令を含む。
タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147と連携して、ビデオ及び音楽プレーヤモジュール152は、MP3又はAACファイルなどの1つ以上のファイル形式で記憶された記録された音楽又は他のサウンドファイルをユーザがダウンロード及び再生することを可能にする実行可能命令、並びにビデオを表示し、提示し、又はその他の方式で再生する(例えば、タッチ感知ディスプレイシステム112上で、又は無線で若しくは外部ポート124を介して接続された外部のディスプレイ上で)実行可能命令を含む。一部の実施形態では、デバイス100は、任意選択的に、iPod(Apple Inc.の商標)などのMP3プレーヤの機能を備える。
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、メモモジュール153は、ユーザの指示に従って、メモ、するべきことのリストなどを作成及び管理する実行可能命令を含む。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と連携して、地図モジュール154は、ユーザの指示に従って、地図及び地図と関連付けられたデータ(例えば、運転方向、特定の位置における又はその近くの店舗及び対象となる他の地点についてのデータ、並びに位置に基づく他のデータ)を受信し、表示し、修正し、記憶する実行可能命令を含む。
タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連携して、オンラインビデオモジュール155は、ユーザがH.264などの1つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、受信し(例えば、ストリーミング及び/又はダウンロードにより)、再生し(例えば、タッチスクリーン112上で、又は無線で若しくは外部ポート124を介して接続された外部のディスプレイ上で)、特定のオンラインビデオへのリンクを有する電子メールを送信し、別の方法で管理することを可能にする実行可能命令を含む。一部の実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が使用される。
上記特定されたモジュール及びアプリケーションの各々は、上記説明された1つ以上の機能、並びに本出願で説明される方法(例えば、コンピュータにより実行される方法、及び本明細書で説明される他の情報処理方法)を実行する実行可能な命令セットに対応する。それらのモジュール(すなわち、命令セット)は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは任意選択で、様々な実施形態において、組み合わされ、又はその他の方式で再配置される。一部の実施形態では、メモリ102は任意選択的に、上記特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ102は任意選択的に、上記説明されていない追加のモジュール及びデータ構造を記憶する。
一部の実施形態では、デバイス100は、デバイス上の機能の予め定義されたセットの動作がタッチスクリーン及び/又はタッチパッドを通じて排他的に実行されるデバイスである。デバイス100の動作のための主要な入力制御デバイスとしてタッチスクリーン及び/又はタッチパッドを使用することによって、デバイス100上の物理的な入力制御デバイス(プッシュボタン、ダイアルなど)の数が任意選択的に削減される。
タッチスクリーン及び/又はタッチパッドのみを介して実行される、既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。一部の実施形態では、タッチパッドは、ユーザによってタッチされるとき、デバイス100上で表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス100をナビゲートする。そのような実施形態では、「メニューボタン」はタッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理プッシュボタン又は他の物理入力制御デバイスである。
図1Bは、一部の実施形態に係る、イベントハンドリングのための例示的な構成要素を示すブロック図である。一部の実施形態では、メモリ102(図1Aにおける)又は370(図3)は、イベントソータ170(例えば、オペレーティングシステム126内)及びそれぞれのアプリケーション136-1(例えば、上述したアプリケーション136、137~155、380~390のいずれか)を含む。
イベントソータ170は、イベント情報を受信し、イベント情報が配信されるアプリケーション136-1及びアプリケーション136-1のアプリケーションビュー191を判定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。一部の実施形態では、アプリケーション136-1は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイシステム112上で表示される現在のアプリケーションビュー(単数又は複数)を示す、アプリケーション内部状態192を含む。一部の実施形態では、デバイス/グローバル内部状態157は、いずれのアプリケーション(単数又は複数)が現在アクティブであるかを判定するために、イベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報が配信されるアプリケーションビュー191を判定するために、イベントソータ170によって使用される。
一部の実施形態では、アプリケーション内部状態192は、アプリケーション136-1が実行を再開するときに使用される再開情報、アプリケーション136-1によって表示されているか又は表示の準備がされている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション136-1の前の状態又はビューに戻ることを可能にする状態待ち行列、及びユーザが行った前のアクションのリドゥ/アンドゥ待ち行列、のうちの1つ以上などの追加の情報を含む。
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイシステム112上のユーザのタッチ)についての情報を含む。周辺機器インタフェース118は、I/Oサブシステム106、又は近接センサ166、加速度計(単数又は複数)168、及び/若しくは(オーディオ回路110を介する)マイクロフォン113などのセンサから受信する情報を送信する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイシステム112又はタッチ感知面からの情報を含む。
一部の実施形態では、イベントモニタ171は、所定の間隔で周辺機器インタフェース118に要求を送信する。それに応じて、周辺機器インタフェース118はイベント情報を送信する。他の実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、予め定められたノイズ閾値を上回り、及び/又は予め定められた期間よりも長い入力を受信すること)が存在するときのみ、イベント情報を送信する。
一部の実施形態では、イベントソータ170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173も含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイシステム112が2つ以上のビューを表示するとき、1つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するソフトウェア手順を提供する。ビューは、制御部及びユーザがディスプレイ上で見ることが可能な他の要素で構成されている。
アプリケーションと関連付けられたユーザインタフェースの別の態様は、本明細書でアプリケーションビュー又はユーザインタフェースウインドウと呼ばれる場合があるビューの組であり、それらの中で情報が表示され、タッチに基づくジェスチャが発生する。タッチが検出されるアプリケーションビュー(それぞれのアプリケーションの)は任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルのビューは任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントの組は任意選択的に、タッチに基づくジェスチャを開始する初期のタッチのヒットビューに少なくとも部分的に基づいて判定される。
ヒットビュー判定モジュール172は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層において編成された複数のビューを有するとき、ヒットビュー判定モジュール172は、サブイベントを処理するべき階層内の最下位のビューとしてヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始するサブイベント(すなわち、イベント又は潜在的なイベントを形成する一連のサブイベントにおける最初のサブイベント)が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、ヒットビューは典型的には、それがヒットビューとして特定された同一のタッチ又は入力元に関連する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内のどのビュー(単数又は複数)がサブイベントの特定のシーケンスを受信すべきかを判定する。一部の実施形態では、アクティブイベント認識部判定モジュール173は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理位置を含む全てのビューはアクティブに関わっているビューであると判定し、したがって、全てのアクティブに関わっているビューは、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューは、依然としてアクティブに関わっているビューであり続ける。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えば、イベント認識部180)に発送する。アクティブイベント認識部判定モジュール173を含む実施形態において、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。一部の実施形態では、イベントディスパッチャモジュール174は、それぞれのイベント受信部モジュール182によって取得されたイベント情報をイベント待ち行列に記憶する。
一部の実施形態では、オペレーティングシステム126は、イベントソータ170を含む。あるいは、アプリケーション136-1が、イベントソータ170を含む。更に他の実施形態では、イベントソータ170は、独立型のモジュール、又は接触/動きモジュール130などの、メモリ102に記憶された別のモジュールの一部である。
一部の実施形態では、アプリケーション136-1は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部190及び1つ以上のアプリケーションビュー191を含む。アプリケーション136-1の各アプリケーションビュー191は、1つ以上のイベント認識部180を含む。典型的には、それぞれのアプリケーションビュー191は、複数のイベント認識部180を含む。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインタフェースキット(図示せず)、又はアプリケーション136-1がメソッド及び他の性質をそれから継承する上位レベルのオブジェクトなどの、別々のモジュールの一部である。一部の実施形態では、各イベント処理部190は、データ更新部176、オブジェクト更新部177、GUI更新部178、及び/又はイベントソータ170から受信したイベントデータ179、のうちの1つ以上を含む。イベント処理部190は任意選択で、アプリケーション内部状態192を更新するために、データ更新部176、オブジェクト更新部177、又はGUI更新部178を利用し、又は呼び出す。代わりに、アプリケーションビュー191のうちの1つ以上は、1つ以上のそれぞれのイベント処理部190を含む。また、一部の実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178のうちの1つ以上は、それぞれのアプリケーションビュー191に含まれる。
それぞれのイベント認識部180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受信し、イベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。一部の実施形態では、イベント認識部180はまた、メタデータ183及びイベント配信命令188(任意選択的にサブイベント配信命令を含む)の少なくともサブセットも含む。
イベント受信部182は、イベントソータ170からイベント情報を受信する。イベント情報は、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに依存して、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、1つの向きから別の向きへの(例えば、縦向きから横向きへの、又はその逆の)デバイスの回転を含み、そのイベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ばれる)についての対応する情報を含む。
イベント比較部184は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定する、あるいはイベント又はサブイベントの状態を判定若しくは更新する。一部の実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えば、イベント1(187-1)、イベント2(187-2)などの、イベントの定義(例えば、サブイベントの既定のシーケンス)を含む。一部の実施形態では、イベント187におけるサブイベントは、例えば、タッチの始め、タッチの終わり、タッチの移動、タッチの中止、及び複数のタッチを含む。一実施例では、イベント1(187-1)についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の予め定められた段階についての第1のタッチ(タッチの始め)、予め定められた段階についての第1のリフトオフ(タッチの終わり)、表示されたオブジェクト上の予め定められた段階についての第2のタッチ(タッチの始め)、及び予め定められた段階についての第2のリフトオフ(タッチの終わり)を含む。別の実施例では、イベント2(187-2)の定義は、表示されたオブジェクト上のドラッグ操作である。ドラッグは、例えば、表示されたオブジェクト上の予め定められた段階についてのタッチ(又は、接触)、タッチ感知ディスプレイシステム112を横切るタッチの移動、及びタッチのリフトオフ(タッチの終わり)を含む。一部の実施形態では、イベントはまた、1つ以上の関連付けられたイベント処理部190に関する情報も含む。
一部の実施形態では、イベント定義187は、それぞれのユーザインタフェースオブジェクトに関するイベントの定義を含む。一部の実施形態では、イベント比較部184は、サブイベントに関連付けられたユーザインタフェースオブジェクトを判定するヒットテストを実行する。例えば、3つのユーザインタフェースオブジェクトがタッチ感知ディスプレイシステム112上で表示されるアプリケーションビューにおいて、タッチ感知ディスプレイシステム112上でタッチが検出されるとき、イベント比較部184は、3つのユーザインタフェースオブジェクトのうちのどれがタッチ(サブイベント)と関連付けられているかを判定するためにヒットテストを実行する。表示された各オブジェクトが、対応するイベント処理部190と関連付けられている場合、イベント比較部は、ヒットテストの結果を使用して、どのイベント処理部190をアクティブ化すべきかを判定する。例えば、イベント比較部184は、サブイベント及びヒットテストのトリガとなるオブジェクトと関連付けられたイベント処理部を選択する。
一部の実施形態では、それぞれのイベント187についての定義はまた、一連のサブイベントがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅延させる遅延アクションを含む。
それぞれのイベント認識部180が、一連のサブイベントがイベント定義186のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部180は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチベースジェスチャの次のサブイベントを無視する。この状況では、ヒットビューに対してアクティブのままである他のイベント認識部がある場合、そのイベント認識部は、進行中のタッチに基づくジェスチャのサブイベントを追跡及び処理し続ける。
一部の実施形態では、それぞれのイベント認識部180は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び/又はリストを有するメタデータ183を含む。一部の実施形態では、メタデータ183は、イベント認識部が相互にどのように対話するか又は対話することが可能とされているかについて示す構成可能なプロパティ、フラグ、及び/又はリストを含む。一部の実施形態では、メタデータ183は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び/又はリストを含む。
一部の実施形態では、それぞれのイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識されたときに、イベントに関連付けられたイベント処理部190をアクティブ化する。一部の実施形態では、それぞれのイベント認識部180は、イベントに関連付けられたイベント情報をイベント処理部190に配信する。イベント処理部190をアクティブ化することは、対応するヒットビューにサブイベントを送信する(及び送信を延期する)こととは異なっている。一部の実施形態では、イベント認識部180は、認識されたイベントに関連付けられたフラグをスローし、フラグに関連付けられたイベント処理部190は、フラグをキャッチし、既定の処理を実行する。
一部の実施形態では、イベント配信命令188は、イベント処理部をアクティブ化することなくサブイベントに関するイベント情報を配信するサブイベント配信命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部又はアクティブに関わっているビューに、イベント情報を配信する。一連のサブイベント又はアクティブに関わっているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
一部の実施形態では、データ更新部176は、アプリケーション136-1で使用されるデータを作成及び更新する。例えば、データ更新部176は、連絡先モジュール137で使用される電話番号を更新するか、又はビデオ及び音楽プレーヤモジュール152で使用されるビデオファイルを記憶する。一部の実施形態では、オブジェクト更新部177は、アプリケーション136-1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部177は、新たなユーザインタフェースオブジェクトを作成する、又はユーザインタフェースオブジェクトの位置を更新する。GUI更新部178は、GUIを更新する。例えば、GUI更新部178は、表示情報を準備をし、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール132に送る。
一部の実施形態では、イベント処理部(単数又は複数)190は、データ更新部176、オブジェクト更新部177、及びGUI更新部178を含む、又はそれらへのアクセスを有する。一部の実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178は、それぞれのアプリケーション136-1又はアプリケーションビュー191の単一モジュールに含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の説明はまた、入力デバイスを用いて多機能デバイス100を操作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、単一若しくは複数のキーボードの押圧若しくは保持に任意選択的に合わせたマウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による指示検出された眼球運動、バイオメトリック入力、並びに/又はそれらの任意の組合せは任意選択的に、認識されることになるイベントを定義するサブイベントに対応する入力として利用される。
図1Cは、一部の実施形態に係る、触知出力モジュールを示すブロック図である。一部の実施形態では、I/Oサブシステム106(例えば、触覚フィードバックコントローラ161(図1A)及び/又は他の入力コントローラ(単数又は複数)160(図1A)は、図1Cに示す例たる構成要素の少なくともいくつかを含む。一部の実施形態では、周辺機器インタフェース118は、図1Cに示す例たる構成要素のうちの少なくともいくつかを含む。
一部の実施形態では、触知出力モジュールは、触覚フィードバックモジュール133を含む。一部の実施形態では、触覚フィードバックモジュール133は、電子デバイス上のソフトウェアアプリケーションからのユーザインタフェースフィードバックに対する触知出力(例えば、表示されたユーザインタフェースに対応するユーザ入力に応じたフィードバック、及び、電子デバイスのユーザインタフェースにおける動作の実行又はイベントの発生を示すアラート及び他の通知)を集めて組み合わせる。触覚フィードバックモジュール133は、(触知出力を生成するために使用される波形を提供する)波形モジュール123、(異なるチャネルの波形などの波形を混合する)ミキサ125、(波形のダイナミックレンジを低減又は圧縮する)圧縮器127、(波形中の高周波信号成分をフィルタリングアウトする)ローパスフィルタ129、及び(熱条件に従って波形を調整する)熱コントローラ131、のうちの1つ以上を含む。一部の実施形態では、触覚フィードバックコントローラ161(図1A)には、触覚フィードバックモジュール133が含まれる。一部の実施形態では、触覚フィードバックモジュール133の別々のユニット(又は触覚フィードバックモジュール133の別個の実装)はまた、オーディオコントローラ(例えば、図1Aのオーディオ回路110)に含まれ、音声信号を生成するために使用される。一部の実施形態では、単一の触覚フィードバックモジュール133が、音声信号を生成し、触知出力の波形を生成するために使用される。
一部の実施形態では、触覚フィードバックモジュール133はまた、トリガモジュール121(例えば、ソフトウェアアプリケーション、オペレーティングシステム、又は触知出力を生成することを決定し、対応する触知出力を生成する処理を開始する他のソフトウェアモジュール)を含む。一部の実施形態では、トリガモジュール121は、(例えば、波形モジュール123により)波形の生成を開始するトリガ信号を生成する。例えば、トリガモジュール121は、プリセットされたタイミング基準に基づいてトリガ信号を生成する。一部の実施形態では、トリガモジュール121は、外部の触覚フィードバックモジュール133からトリガ信号を受信し(例えば、一部の実施形態では、触覚フィードバックモジュール133は、触覚フィードバックモジュール133の外部に位置するハードウェア入力処理モジュール146からトリガ信号を受信し)、ユーザインタフェースエレメント(例えば、アプリケーションアイコン又はアプリケーション内のアフォーダンス)又はハードウェア入力デバイス(例えば、ホームボタン、又は強度感知タッチスクリーンなどの強度感知入力面)のアクティブ化に基づいて、トリガ信号を、触覚フィードバックモジュール133(例えば、波形モジュール123)内の他の構成要素、又は(例えば、トリガモジュール121を用いて)動作をトリガするソフトウェアアプリケーションに中継する。一部の実施形態では、トリガモジュール121はまた、触知フィードバック生成命令(例えば、触覚フィードバックモジュール133から、図1A及び3)を受信する。一部の実施形態では、トリガモジュール121は、触知フィードバック命令を(例えば、図1A及び3の触覚フィードバックモジュール133から)受信する触覚フィードバックモジュール133(又は触覚フィードバックモジュール133内のトリガモジュール121)に応じてトリガ信号を生成する。
波形モジュール123は、入力としてトリガ信号を(例えば、トリガモジュール121から)受信し、受信トリガ信号に応じて、1つ以上の触知出力の生成のための波形(例えば、図4F~4Gを参照して以下でより詳細に説明される波形などの、波形モジュール123によって使用するために設計された所定のセットの波形から選択された波形)を提供する。
ミキサ125は、波形(例えば波形モジュール123)を入力として受信し、波形を合成する。例えば、ミキサ125が2つ以上の波形(例えば、第1のチャネルの第1の波形と、第2のチャネルの第1の波形と少なくとも部分的に重なる第2の波形)を受信すると、ミキサ125は、2つ以上の波形の総和に対応する合成波形を出力する。一部の実施形態では、ミキサ125はまた、(例えば、特定の波形(単数又は複数)のスケールを増大させ、及び/又は波形の残部のスケールを減少させることによって)2つ以上の波形のうちの1つ以上の波形を変更して、2つ以上の波形の残部にわたって特定の波形(単数又は複数)を強調する。一部の状況では、ミキサ125は、合成波形から除去する1つ以上の波形を選択する(例えば、触知出力生成器167によって同時に出力するよう要求されている3つを超えるソースからの波形が存在する場合、最も古いソースからの波形を除外する)。
圧縮器127は、波形(例えば、ミキサ125からの合成波形)を入力として受信し、波形を変更する。一部の実施形態では、圧縮器127は、波形に対応する触知出力が減少するように、(例えば、触知出力生成器167(図1A)又は357(図3)の物理的な仕様に従って)波形を低減する。一部の実施形態では、圧縮器127は、波形に対して予め定義された最大振幅を強制するによってなどで、波形を制限する。例えば、圧縮器127は、所定の振幅閾値を超えていない波形部分の振幅を維持しながら、所定の振幅閾値を超える波形部分の振幅を低減する。一部の実施形態では、圧縮器127は、波形のダイナミックレンジを低減する。一部の実施形態では、圧縮機127は、合成波形が触知出力生成器167の性能仕様(例えば、力及び/又は移動可能な質量変位限界)内にとどまるように、波形のダイナミックレンジを動的に低減する。
ローパスフィルタ129は、波形(例えば、圧縮器127からの圧縮波形)を入力として受信し、波形をフィルタリング(例えば、平滑化)する(例えば、波形の高周波信号成分を除去又は低減する。例えば、一部の例では、圧縮器127は、圧縮波形に、圧縮された波形に従って、触知出力の生成を妨害する、及び/又は触知出力が生成されたときに触知出力生成器167の性能仕様を超える、外来信号(例えば、高周波信号成分)を含む。ローパスフィルタ129は、波形内のこのような外来信号を低減又は除去する。
熱制御器131は、入力として波形(例えば、ローパスフィルタ129からのフィルタリングされた波形)を受信し、(例えば、触覚フィードバックコントローラ161の温度、及び/又はデバイス100によって検出された外部温度などの、デバイス100内で検出された内部温度に基づいて)デバイス100の熱条件に従って波形を調整する。例えば、一部の場合では、触覚フィードバックコントローラ161の出力は、温度によって変化する(例えば、触覚フィードバックコントローラ161は、同じ波形を受信したことに応じて、触覚フィードバックコントローラ161が第1の温度にあるときには第1の触知出力を生成し、触覚フィードバックコントローラ161が第1の温度とは別個の第2の温度にあるときには第2の触知出力を生成する)。例えば、触知出力の大きさ(又は振幅)は、温度によって変化してもよい。温度変化の影響を低減するために、波形を変更する(例えば、温度に基づいて波形の振幅を増減する)。
一部の実施形態において、触覚フィードバックモジュール133(例えば、トリガモジュール121)は、ハードウェア入力処理モジュール146に結合される。一部の実施形態では、図1Aの他の入力コントローラ(単数又は複数)160は、ハードウェア入力処理モジュール146を含む。一部の実施形態では、ハードウェア入力処理モジュール146は、ハードウェア入力デバイス145(例えば、ホームボタン、又は強度感知タッチスクリーンなどの強度感知入力面などの、図1Aの他の入力又は制御デバイス116)からの入力を受信する。一部の実施形態では、ハードウェア入力デバイス145は、タッチ感知ディスプレイシステム112(図1A)、キーボード/マウス350(図3)、タッチパッド355(図3)、他の入力又は制御デバイス116(図1A)のうちの1つ、又は強度感知ホームボタンなどの入力デバイスのいずれかである。一部の実施形態では、ハードウェア入力デバイス145は、強度感知ホームボタンからなり、タッチ感知ディスプレイシステム112(図1A)、キーボード/マウス350(図3)、又はタッチパッド355(図3)ではない。一部の実施形態では、ハードウェア入力処理モジュール145(例えば、強度感知ホームボタン又はタッチスクリーン)からの入力に応じて、ハードウェア入力処理モジュール146は、1つ以上のトリガ信号を触覚フィードバックモジュール133に提供して、ホームボタンの「クリック」(例えば、「ダウンクリック」又は「アップクリック」)に対応する入力などの、所定の入力基準を満たすユーザ入力が検出されたことを示す。一部の実施形態では、触覚フィードバックモジュール133は、ホームボタンの「クリック」に対応する入力に応じて、ホームボタンの「クリック」に対応する波形を提供し、物理ホームボタンを押圧する触覚フィードバックをシミュレートする。
一部の実施形態では、触知出力モジュールは、触知出力の生成を制御する触覚フィードバック制御器161(図1Aの触覚フィードバック制御器161)を含む。一部の実施形態では、触覚フィードバックコントローラ161は、複数の触知出力生成器に結合され、複数の触知出力生成器のうちの1つ以上の触知出力生成器を選択し、選択された1つ以上の触知出力生成器に波形を送信して、触知出力を生成する。一部の実施形態では、触覚フィードバック制御器161は、(例えば、特定の波形(単数又は複数)のスケールを増大させ、及び/又は波形の残余のスケールを減少させることによって、例えば、ソフトウェアイベントに対応する触知出力にわたって、ハードウェア入力デバイス145のアクティブ化に対応する触知出力を優先させるために)ハードウェア入力デバイス145のアクティブ化に対応する触知出力要求と、ソフトウェアイベント(例えば、触覚フィードバックモジュール133からの触知出力要求)に対応する触知出力要求とを整合して、2つ以上の波形うちの1つ以上の波形を変更して、2つ以上の波形の残余にわたって特定の波形(単数又は複数)を強調する。
一部の実施形態では、図1Cに示されるように、触覚フィードバックコントローラ161の出力は、デバイス100のオーディオ回路(例えば、オーディオ回路110、図1A)に結合され、音声信号をデバイス100のオーディオ回路に提供する。一部の実施形態では、触覚フィードバックコントローラ161は、触知出力を生成するために使用される波形と、触知出力の生成に関連して音声出力を提供するために使用される音声信号の両方を提供する。一部の実施形態では、触覚フィードバックコントローラ161は、(例えば、音声信号及び/又は波形を遅延させることによって)音声出力及び触知出力が同期するように、(触知出力を生成するために使用される)音声信号及び/又は波形を変更する。一部の実施形態では、触覚フィードバックコントローラ161は、デジタル波形をアナログ信号に変換するために使用されるDAコンバータを含み、アナログ信号は、増幅器163及び/又は触知出力生成器167によって受信される。
一部の実施形態では、触知出力モジュールは、増幅器163を含む。一部の実施形態では、増幅器163は、波形を(例えば、触覚フィードバック制御器161から)受信し、増幅波形を触知出力生成器167(例えば、触知出力生成器167(図1A)又は357(図3)のうちのいずれか)に送信する前に波形を増幅する。例えば、増幅器163は、受信した波形を、触知出力生成器167の物理的仕様(例えば、触知出力生成器167に送信された信号が触覚フィードバックコントローラ161から受信した波形に対応する触知出力を生成するように、触知出力を生成するために触知出力生成器167によって必要とされる電圧及び/又は電流)に従って信号レベルに増幅し、増幅した波形を触知出力生成器167に送信する。これに応じて、触知出力生成器167は、(例えば、可動質量の中立位置に対して1つ以上の距離で移動可能質量を往復移動させることによって)触知出力を生成する。
一部の実施形態では、触知出力モジュールは、触知出力生成器167に結合されたセンサ169を含む。センサ169は、触知出力生成器167又は触知出力生成器167の1つ以上の構成要素(例えば、触知出力を生成するために使用されるメンブレンなどの1つ以上の移動部)の、状態又は状態変化(例えば、機械的位置、物理的変位、及び/又は移動)を検出する。一部の実施形態では、センサ169は、磁界センサ(例えば、ホール効果センサ)又は他の変位及び/又は移動センサである。一部の実施形態では、センサ169は、触覚フィードバックコントローラ161へ情報(例えば、触知出力生成器167における1つ以上の部分の位置、変位、及び/又は移動)を提供し、センサ169によって提供される触知出力生成器167の状態についての情報に従って、触覚フィードバックコントローラ161は、触覚フィードバックコントローラ161から出力された波形(例えば、任意選択的に増幅器163を介した、触知出力生成器167に送信された波形)を調整する。
図2は、一部の実施形態に係る、タッチスクリーン(例えば、タッチ感知ディスプレイシステム112、図1A)を備えるポータブル多機能デバイス100を示す。タッチスクリーンは、ユーザインタフェース(user interface)(UI)200内に1つ以上のグラフィックを、任意選択的に表示する。これらの実施形態、並びに後述する実施形態では、ユーザは、例えば、1本以上の指202(図には、正確な縮尺率では描かれていない)又は1つ以上のスタイラス203(図には、正確な縮尺率では描かれていない)を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの1つ以上を選択することが可能になる。一部の実施形態では、ユーザが1つ以上のグラフィックとの接触を断った際に、その1つ以上のグラフィックの選択が生じる。一部の実施形態では、ジェスチャは、1回以上のタップ、1回以上のスワイプ(左から右へ、右から左へ、上方向へ及び/若しくは下方向へ)、並びに/又は、デバイス100と接触した指のローリング(右から左へ、左から右へ、上方向へ及び/若しくは下方向へ)を、任意選択的に含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、グラフィックを選択しない。例えば、選択に対応するジェスチャがタップであるとき、アプリケーションアイコンの上をスイープするスワイプジェスチャは任意選択的に、対応するアプリケーションを選択しない。
デバイス100はまた任意選択で、「ホーム」又はメニューボタン204などの1つ以上の物理ボタンを含む。前で説明されたように、メニューボタン204は任意選択で、デバイス100上で任意選択で実行される、アプリケーションのセットにおける任意のアプリケーション136にナビゲートするために使用される。代わりに、一部の実施形態では、メニューボタンは、タッチスクリーンディスプレイ上で表示されるGUI内のソフトキーとして実装される。
一部の実施形態では、デバイス100は、タッチスクリーンディスプレイ、メニューボタン204(ホームボタン204と呼ばれる場合がある)、デバイスへの電源供給のオン/オフ及びデバイスのロックのためのプッシュボタン206、音量調節ボタン(単数又は複数)208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、ドッキング/充電用外部ポート124を含む。プッシュボタン206は、ボタンを押し下げて、既定の時間にわたってボタンを押し下げた状態で保持することによってデバイス上の電源をオン/オフし、ボタンを押し下げ、予め定義された時間間隔が経過する前にボタンを解放することによってデバイスをロックし、及び/又はデバイスのロックを解除し、若しくはロック解除処理を開始するために使用されてもよい。一部の実施形態では、デバイス100はまた、マイクロフォン113を通して、一部の機能をアクティブ化又は非アクティブ化する口頭入力を受け付ける。デバイス100はまた任意選択で、タッチ感知ディスプレイシステム112上の接触の強度を検出する1つ以上の接触強度センサ165、及び/又はデバイス100のユーザに対する触知出力を生成する1つ以上の触知出力生成器167を含む。
図3は、一部の実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス300は、ポータブル型である必要はない。一部の実施形態では、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス(子供の学習玩具など)、ゲームシステム、又は制御デバイス(例えば、家庭用又は業務用コントローラ)である。デバイス300は、典型的には、1つ以上の処理ユニット(CPU)310と、1つ以上のネットワーク又は他の通信インタフェース360と、メモリ370と、及びこれらの構成要素を相互接続する1つ以上の通信バス320とを含む。通信バス320は、システム構成要素間の通信を相互接続及び制御する回路(チップセットと呼ばれることがある)を、任意選択的に含む。デバイス300は典型的にはタッチスクリーンディスプレイであるディスプレイ340を含む、入出力(I/O)インタフェース330を含む。I/Oインタフェース330はまた任意選択で、キーボード及び/又はマウス(又は、他のポインティングデバイス)350、並びにタッチパッド355、(例えば、図1Aを参照して上記説明された触知出力生成器(単数又は複数)167と同様の)デバイス300上で触知出力を生成する触知出力生成器357、センサ359(例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び/又は図1Aを参照して上記説明された接触強度センサ(単数又は複数)165と同様の接触強度センサ)を含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、また任意選択で、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ370は任意選択的に、CPU(単数又は複数)310からリモートに位置する1つ以上の記憶デバイスを含む。一部の実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102に記憶されたプログラム、モジュール、及びデータ構造に類似のプログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。更に、メモリ370は任意選択的に、ポータブル多機能デバイス100のメモリ102に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス300のメモリ370は任意選択で、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を記憶するが、ポータブル多機能デバイス100(図1A)のメモリ102は任意選択で、それらのモジュールを記憶しない。
上記特定された図3における要素の各々は任意選択で、前に言及したメモリデバイスのうちの1つ以上に記憶される。上記特定されたモジュールのうちの各々は、上記説明された機能を実行する命令セットに対応する。上記特定されたモジュール又はプログラム(すなわち、命令セット)は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは任意選択で、様々な実施形態において組み合わされ、又はその他の方式で再配置される。一部の実施形態では、メモリ370は任意選択的に、上記特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ370は任意選択的に、上記説明されていない追加のモジュール及びデータ構造を記憶する。
ここで、ポータブル多機能デバイス100上で任意選択で実装されるユーザインタフェース(「UI」)の実施形態に着目する。
図4Aは、一部の実施形態に係る、ポータブル多機能デバイス100上のアプリケーションのメニューのための例示的なユーザインタフェースを示す。同様のユーザインタフェースがデバイス300上に、任意選択的に、実装される。一部の実施形態では、ユーザインタフェース400は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー及びWi-Fi信号などの無線通信(単数又は複数)のための信号強度インジケータ(単数又は複数)402、
●時間404、
●Bluetooth(登録商標)インジケータ、
●バッテリ状態インジケータ406、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレー408、
○不在着信又はボイスメールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされる、電話モジュール138用のアイコン416、
○未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされる、電子メールクライアントモジュール140用のアイコン418、
○「ブラウザ」とラベル付けされる、ブラウザモジュール147用のアイコン420、及び
○「iPod」とラベル付けされる、iPod(Apple Inc.の商標)モジュール152とも称されるビデオ及びミュージックプレーヤモジュール152用のアイコン422、及び
●下記などの、その他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされる、IMモジュール141用のアイコン424、
○「カレンダー」とラベル付けされる、カレンダーモジュール148用のアイコン426、
○「写真」とラベル付けされる、画像管理モジュール144用のアイコン428、
○「カメラ」とラベル付けされる、カメラモジュール143用のアイコン430、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール155用のアイコン432、
○「株価」とラベル付けされる、株式ウィジェット149-2用のアイコン434、
○「マップ」とラベル付けされる、地図モジュール154用のアイコン436、
○「天気」とラベル付けされる、気象ウィジェット149-1用のアイコン438、
○「時計」とラベル付けされる、アラーム時計ウィジェット149-4用のアイコン440、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール142用のアイコン442、
○「メモ」とラベル付けされる、メモモジュール153用のアイコン444、及び
○デバイス100及びその様々なアプリケーション136に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン446。
図4Aに示されたアイコンのラベルは単なる例に過ぎないことに留意されたい。例えば、一部の実施形態では、ビデオ及び音楽プレーヤモジュール152用のアイコン422は、「Music(音楽)」又は「Music Player(音楽プレーヤ)」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450と分離したタッチ感知面451(例えば、タブレット又はタッチパッド355、図3)を有するデバイス(例えば、デバイス300、図3)上の例示的なユーザインタフェースを示す。デバイス300はまた任意選択で、タッチ感知面451上の接触の強度を検出する1つ以上の接触強度センサ(例えば、センサ357のうちの1つ以上)、及び/又はデバイス300のユーザに対して触知出力を生成する1つ以上の触知出力生成器359を含む。
図4Bは、ディスプレイ450と分離したタッチ感知面451(例えば、タブレット又はタッチパッド355、図3)を有するデバイス(例えば、デバイス300、図3)上の例示的なユーザインタフェースを示す。以下の実施例のうちの多くはタッチスクリーンディスプレイ112上の入力(タッチ感知面とディスプレイとが組み合わされている場合)を参照して与えられるが、一部の実施形態では、デバイスは、図4Bに示すように、ディスプレイと分離したタッチ感知面上の入力を検出する。一部の実施形態では、タッチ感知面(例えば、図4Bにおける451)は、ディスプレイ(例えば、450)上の主軸(例えば、図4Bにおける453)に対応する主軸(例えば、図4Bにおける452)を有する。それらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置(例えば、図4Bにおいて、460は468に対応し、462は470に対応する)におけるタッチ感知面451との接触(例えば、図4Bにおける460及び462)を検出する。このように、タッチ感知面がディスプレイと分離しているとき、タッチ感知面(例えば、図4Bにおける451)上でデバイスによって検出されたユーザ入力(例えば、接触460及び462、及びそれらの移動)は、多機能デバイスのディスプレイ(例えば、図4Bにおける450)上でユーザインタフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の実施例は、主に指入力(例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャなど)を参照して与えられるが、一部の実施形態では、それらの指の入力のうちの1つ以上は、別の入力デバイスからの入力(例えば、マウスに基づく入力又はスタイラス入力)と置き換えられることを理解されたい。例えば、スワイプジェスチャは任意選択的に、マウスクリックと置き換えられ(例えば、接触の代わりに)、その後、スワイプの経路に沿ってカーソルの移動が行われる(例えば、接触の移動の代わりに)。別の例として、タップジェスチャは任意選択的に、カーソルがタップジェスチャの位置の上に位置する間のマウスクリックと置き換えられる(例えば、接触の検出、それに続いて接触の検出を停止する代わりに)。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスは任意選択的に同時に使用され、又はマウス及び指の接触が任意選択的に同時に使用されることを理解されたい。
本明細書にて使用されるとき、用語「フォーカスセレクタ」とは、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他のロケーションマーカを含む一部の実装形態では、カーソルは、カーソルが特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の上にある間に、タッチ感知面(例えば、図3におけるタッチパッド355、又は図4Bにおけるタッチ感知面451)上で入力(例えば、押圧入力)が検出されると、特定のユーザインタフェース要素が検出された入力に従って調整されるように、「フォーカスセレクタ」として機能する。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な対話を可能にするタッチスクリーンディスプレイ(例えば、図1Aにおけるタッチ感知ディスプレイシステム112、又は図4Aにおけるタッチスクリーン)を含む一部の実装形態では、タッチスクリーン上で検出された接触は、入力(例えば、接触による押圧入力)がタッチスクリーンディスプレイ上で特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の場所において検出されると、特定のユーザインタフェース要素が検出された入力に従って調節されるように、「フォーカスセレクタ」として機能する。一部の実装では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、(例えば、タブキー又は矢印キーを使ってフォーカスを1つのボタンから別のボタンに移動させることにより)フォーカスが、ユーザインタフェースの1つの領域からユーザインタフェースの別の領域に移動し、これらの実装では、フォーカスセレクタは、ユーザインタフェースの異なる領域間でのフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは一般的に、ユーザインタフェースとのユーザの意図した対話を通信するために(例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって)、ユーザによって制御されるユーザインタフェース要素(又は、タッチスクリーンディスプレイ上の接触)である。例えば、押圧入力がタッチ感知面(例えば、タッチパッド又はタッチスクリーン)上で検出されたときに、対応するボタンの上にあるフォーカスセレクタ(例えば、カーソル、接触又は選択ボックス)の位置は、(デバイスのディスプレイ上に示されている他のユーザインタフェース要素ではなく)対応するボタンをユーザがアクティブ化しようとしていることを示すものである。
本明細書及び特許請求の範囲で使用されるように、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指の接触又はスタイラスの接触)の力若しくは圧力(単位面積当りの力)、又はタッチ感知面上の接触の力若しくは圧力の代替するもの(プロキシ)を指す。接触の強度は、少なくとも4つの異なる値を含み、より典型的には、何百もの(例えば、少なくとも256個の)異なる値を含む、値の範囲を有する。接触の強度は任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して判定(又は、測定)される。例えば、タッチ感知面の下に又はこれに隣接する1つ以上の力センサは任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。一部の実装形態では、複数の力センサからの力測定値は、推定される接触の力を判定するために組み合わされる(例えば、加重平均又は合計)。同様に、スタイラスの感圧性先端部を任意選択的に使用して、タッチ感知面上のスタイラスの圧力を判定する。あるいは、タッチ感知面上で検出される接触領域のサイズ及び/若しくはその変化、接触に近接するタッチ感知面の電気容量及び/若しくはその変化、並びに/又は、接触に近接するタッチ感知面の抵抗及び/若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。一部の実装形態では、接触の力又は圧力の代替的測定値は、強度閾値を超えているか否かを判定するために直接に用いられる(例えば、強度閾値は、代替的測定値に対応する単位で記述される)。一部の実装形態では、接触の力又は圧力の代替する測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかを判定するために使用される(例えば、強度閾値は、圧力の単位で測定された圧力閾値である)。接触の強度をユーザ入力のプロパティとして使用することにより、アフォーダンスを(例えば、タッチ感知ディスプレイ上に)表示するため、及び/又はユーザ入力を(例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的/機械的制御を介して)受信する面積が制限された、低減されたサイズのデバイスにおいて、ユーザによるアクセスが他の場合に容易には不可能であり得る、追加のデバイス機能へのユーザのアクセスを可能にする。
一部の実施形態では、接触/動きモジュール130は、ユーザによって動作が実行されたか否かを判定する(例えば、ユーザがアイコン上で「クリック」したか否かを判定する)、1つ以上の強度閾値のセットを使用する。一部の実施形態では、少なくとも強度閾値のサブセットは、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されず、デバイス100の物理ハードウェアを変更することなく調節されてもよい)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく広範囲の既定の閾値のうちのいずれかに設定し得る。更に、一部の実装では、デバイスのユーザには、(例えば、個々の強度閾値を調整することにより、及び/又は、システムレベルのクリック「強度」パラメータにより、一度に複数の強度閾値を調整することによって)強度閾値のセットのうちの1つ以上を調整するソフトウェア設定が提供される。
本明細書及び特許請求の範囲で使用するとき、接触の「特性強度」という用語は、接触の1つ以上の強度に基づく、その接触の特性を指す。一部の実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、又は所定のイベント(例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び/又は接触の強度の減少を検出する前若しくは後)に対して所定の期間(例えば、0.05、0.1、0.2、0.5、1、2、5、10秒)内に収集された強度サンプルのセットに基づく。接触の特性強度は任意選択で、接触の強度の最大値、接触の強度の平均値(mean value)、接触の強度の平均値(average value)、接触の強度の上位10%値、接触の強度の最大値の半分の値、接触の強度の最大値の90%の値、予め定義された期間にわたって、又は予め定義された時間において開始した接触の強度を低域フィルタリングすることによって生成された値などのうちの1つ以上に基づく。一部の実施形態では、特性強度を判定するために、接触の持続期間が使用される(例えば、特性強度が経時的な接触の強度の平均であるとき)。一部の実施形態では、動作がユーザによって実行されたか否かを判定するために、特性強度を1つ以上の強度閾値のセットと比較する。例えば、1つ以上の強度閾値のセットは、第1の強度閾値及び第2の強度閾値を含むことができる。この実施例では、第1の閾値を上回らない特性強度を有する接触の結果として第1の動作が実行され、第1の強度閾値を上回り第2の強度閾値を上回らない特性強度を有する接触の結果として第2の動作が実行され、第2の強度閾値を上回る特性強度を有する接触の結果として第3の動作が実行される。一部の実施形態では、特性強度と1つ以上の強度閾値との間の比較は、第1の動作又は第2の動作のいずれを実行するかを判定するために使用されるのではなく、1つ以上の操作を実行するか否か(例えば、それぞれのオプションを実行し、又はそれぞれの操作の実行することを取り止めるか)を判定するために使用される。
一部の実施形態では、ジェスチャの一部は、特性強度を判定する目的で特定される。例えば、タッチ感知面は、開始場所から遷移して終了場所まで達する連続的なスワイプ接触(例えば、ドラッグジェスチャ)を受け取る場合があり、この終了場所で接触の強度が増大する。この実施例では、終了場所における接触の特性強度は、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ(例えば、スワイプ接触の終了場所における部分のみ)に基づいてもよい。一部の実施形態では、接触の特性強度を判定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用してもよい。例えば、平滑化アルゴリズムは任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び/又は指数平滑化アルゴリズムのうちの1つ以上を含む。一部の状況では、それらの平滑化アルゴリズムは、特性強度を判定する目的で、スワイプ接触の強度における小幅な上昇又は低下を除去する。
本明細書で説明されるユーザインタフェースの図は、任意選択で、1つ以上の強度閾値(例えば、接触検出強度閾値IT、軽押圧強度閾値IT、深押圧強度閾値IT(例えば、少なくとも最初はITよりも高い)、及び/又は1つ以上の他の強度閾値(例えば、ITよりも低い強度閾値IT)に対する、タッチ感知面上の接触の現在の強度を示す、様々な強度の図表を含む。この強度の図表は典型的には、表示されるユーザインタフェースの一部ではないが、図の解釈を支援するために提供される。一部の実施形態では、軽押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることと典型的に関連付けられた操作をデバイスが実行する強度に対応する。一部の実施形態では、深押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることと典型的に関連付けられた操作とは異なる操作をデバイスが実行する強度に対応する。一部の実施形態では、軽押圧強度閾値を下回る(例えば、かつ、それを下回ると接触がもはや検出されない名目上の接触検出強度閾値ITを上回る)特性強度で接触が検出されると、デバイスは、軽押圧強度閾値又は深押圧強度閾値と関連する操作を実行することなく、タッチ感知面上の接触の移動に従ってフォーカスセレクタを移動させる。全般的には、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の異なるセット間でも一貫している。
一部の実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力の間の接触強度に基づく基準に依存する。例えば、いくつかの「軽い押圧」入力について、入力の間の第1の強度閾値を超える接触の強度は第1の応答をトリガする。一部の実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力の間の接触強度及び時間に基づく基準の両方を含む基準に依存する。例えば、いくつかの「深い押圧」入力について、入力の間の軽い押圧に対する第1の強度閾値より大きい第2の強度閾値を超える接触の強度は、第1の強度閾値を満たすことと第2の強度閾値を満たすこととの間で遅延時間が経過した場合のみ、第2の応答をトリガする。この遅延時間は典型的には、時間が200ms(ミリ秒)よりも短い(例えば、第2の強度閾値の大きさに依存して、40ms、100ms、又は120msであり、遅延時間は第2の強度閾値が増大するにつれて増大する)。この遅延時間は、深い押圧入力の偶発的な認識を回避することを支援する。別の実施例として、いくつかの「深い押圧」について、第1の強度閾値が満たされる時間の後に発生する感度が低下した時間期間が存在する。感度が低下した時間期間の間、第2の強度閾値は増大する。第2の強度閾値におけるこの一時的な増大もまた、偶発的な深い押圧入力を回避することを支援する。他の深い押圧入力について、深い押圧入力の検出に対する応答は、時間に基づく基準に依存しない。
一部の実施形態では、入力強度閾値及び/又は対応する出力のうちの1つ以上は、ユーザ設定、接触の動き、入力タイミング、実行しているアプリケーション、強度が加わる速度、同時に行われる入力の数、ユーザ履歴、環境要因(例えば、周囲ノイズ)、フォーカスセレクタの位置などの1つ以上の要因に基づいて変化する。例示的な要因が、米国特許出願第14/399,606号及び第14/624,296号に記載されており、それらの全体が参照により本明細書に組み込まれている。
例えば、図4Cは、経時的なタッチ入力476の強度に部分的に基づいて経時的に変化する動的強度閾値480を示す。動的強度閾値480は、2つの成分、タッチ入力476が最初に検出されるときから予め定義された遅延時間p1の後に経時的に減衰する第1の成分474、及び経時的にタッチ入力476の強度を追跡する第2の成分478の合計である。第1の成分474の初期の高強度閾値は、「深い押圧」応答を偶発的にトリガすることを削減すると共に、タッチ入力476が十分な強度を提供する場合に即時的な「深い押圧」応答をなおも可能にする。第2の成分478は、タッチ入力における段階的な強度変動によって「深い押圧」応答を意図せずにトリガすることを削減する。一部の実施形態では、タッチ入力476が動的強度閾値480を満たすとき(例えば、図4Cにおけるポイント481において)、「深い押圧」応答がトリガされる。
図4Dは、別の動的強度閾値486(例えば、強度閾値I)を示す。図4Dはまた、2つの他の強度閾値、第1の強度閾値I及び第2の強度閾値Iを示す。図4Dにおいて、タッチ入力484が時間p2の前に第1の強度閾値I及び第2の強度閾値Iを満たすが、時間482において遅延時間p2が経過するまでは応答が提供されない。また、図4Dでは、動的強度閾値486は、予め定義された遅延時間p1が時間482から経過した後(第2の強度閾値Iに関連する応答がトリガされたとき)の時間488に開始する減衰で、経時的に減衰する。このタイプの動的強度閾値は、第1の強度閾値I又は第2の強度閾値Iなどの、より低い強度閾値と関連する応答をトリガした直後、又はそれと同時に、動的強度閾値Iと関連する応答を偶発的にトリガすることを削減する。
図4Eは、更なる別の動的強度閾値492(例えば、強度閾値I)を示す。図4Eにおいて、強度閾値Iと関連付けられた応答は、タッチ入力490が最初に検出されるときから遅延時間p2が経過した後にトリガされる。同時に、動的強度閾値492は、タッチ入力490が最初に検出されるときから予め定義された遅延時間p1が経過した後に減衰する。よって、タッチ入力490を解除することなしに、強度閾値Iに関連する応答をトリガした後の、タッチ入力490の強度の増大がその後に続くタッチ入力490の強度の減少は、タッチ入力490の強度が別の強度閾値、例えば、強度閾値Iを下回るときでさえも、(例えば、時間494において)強度閾値Iに関連する応答をトリガすることができる。
軽押圧強度閾値ITを下回る強度から、軽押圧強度閾値ITと深押圧強度閾値ITとの間の強度への接触の特性強度の増大は、「軽い押圧」入力と称される場合がある。深押圧強度閾値ITを下回る強度から深押圧強度閾値ITを上回る強度への接触の特性強度の増大は、「深い押圧」入力と称される場合がある。接触検出強度閾値ITを下回る強度から接触検出強度閾値ITと軽押圧強度閾値ITとの間の強度への接触の特性強度の増大は、タッチ面上の接触の検出と称される場合がある。接触検出強度閾値ITを上回る強度から接触検出強度閾値ITを下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と称される場合がある。一部の実施形態では、ITはゼロである。一部の実施形態では、ITはゼロよりも大きい。一部の図では、タッチ感知面上の接触の強度を表すために、影付きの円又は楕円が使用される。一部の図では、それぞれの接触の強度を指定することなく、タッチ感知面上のそれぞれの接触を表すために、影なしの円又は楕円が使用される。
本明細書で説明される一部の実施形態では、1つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触(又は、複数の接触)で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触(又は、複数の接触)の強度における増大を検出したことに少なくとも部分的に基づいて検出される。一部の実施形態では、それぞれの操作は、押圧入力強度閾値を上回るそれぞれの接触の強度における増大を検出したことに応じて実行される(例えば、それぞれの操作は、それぞれの押圧入力の「ダウンストローク」上で実行される)。一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度における増大、及び押圧入力強度閾値を下回る接触の強度におけるその後の減少を含み、それぞれの操作は、押圧入力閾値を下回るそれぞれの接触の強度におけるその後の減少を検出したことに応じて実行される(例えば、それぞれの操作は、それぞれの押圧入力の「アップストローク」上で実行される)。
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある不測の入力を回避するために、強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関連性を有するヒステリシス強度閾値を定義又は選択する(例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもX強度単位低い、又は、ヒステリシス強度閾値は、押圧入力強度閾値の75%、90%、若しくは何らかの妥当な比率である)。このように、一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度における増大、及び押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度におけるその後の減少を含み、それぞれの操作は、ヒステリシス強度閾値を下回るそれぞれの接触の強度におけるその後の減少を検出したことに応じて実行される(例えば、それぞれの操作は、それぞれの押圧入力の「アップストローク」上で実行される)。同様に、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、ヒステリシス強度以下の強度への、後続の接触の強度の減少を検出する場合にのみ検出され、対応する動作は、その押圧入力の検出(例えば、状況に応じて、接触の強度の増大、又は接触の強度の減少)に応じて、実行される。
説明を容易にするために、押圧入力強度閾値と関連付けられた押圧入力に応じて、又は押圧入力を含むジェスチャに応じて実行される操作の説明は任意選択で、押圧入力強度閾値を上回る接触の強度における増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度における増大、押圧入力強度閾値を下回る接触の強度における減少、又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度における減少を検出したことに応じてトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて動作が実行されるとして説明される実施例では、その動作は、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る、接触の強度の減少を検出したことに応じて任意選択的に実行される。上記説明されたように、一部の実施形態では、それらの応答のトリガはまた、満たされる時間に基づく基準に依存する(例えば、遅延時間は、第1の強度閾値が満たされることと第2の強度閾値が満たされることとの間で経過している)。
図4F~図4Hは、1つ以上の変換(例えば、変調、増幅、トランケーションなど)のいずれか、又はそれらを介して、個別に又は組み合わせて使用できるサンプル触知出力パターンのセットを提供して、本明細書で論じたユーザインタフェース及び方法に関して上記で言及したもの、又は説明したものなどの、さまざまなシナリオ及びさまざまな目的に対して、好適な触覚フィードバックを作成する。触知出力のパレットのこの例は、3つの波形と8つの周波数のセットをどのように使用して触知出力パターンのアレイを生成するかを示す。この図に示した触知出力パターンに加えて、これらの触知出力パターンのそれぞれは、例えば、図4I~4Kに示すフルタップ80Hz、フルタップ200Hz、ミニタップ80Hz、ミニタップ200Hz、マイクロタップ80Hz、及びマイクロタップ200Hzに対して、それぞれ利得1.0、0.75、0.5及び0.25の変更によって示すように、触知出力パターンに対する利得値を変更することにより、振幅が任意選択的に調整される。図4I~4Kに示すように、触知出力パターンの利得を変更することにより、パターンの周波数を変えたり波形の形状を変えたりすることなく、パターンの振幅を変更する。一部の実施形態では、可動質量にどれだけの力を加えることができるかによって一部の触知出力生成器が制限されるため、触知出力パターンの周波数を変更することで振幅がより小さくもなり、それによって、より高周波数での質量の移動が、振幅をより小さくするように制約されて、波形を作成するのに必要な加速が触知出力生成器の操作力範囲外の力を必要としないよう保証する(例えば230Hz、270Hz、及び300Hzでのフルタップのピーク振幅は、80Hz、100Hz、125Hz、及び200Hzでのフルタップの振幅よりも低い)。
図4F~4Kは、特定の波形を有する触知出力パターンを示す。触知出力パターンの波形は、その触知出力パターンで触知出力を生成するために可動質量が通過する時間に対する中立位置(例えば、xzero)に対する物理的変位のパターンを表す。例えば、図4Fに示す第1のセットの触知出力パターン(例えば「フルタップ」の触知出力パターン)は、完全な2サイクルの振動(例えば、中立位置で開始及び終了し、中立位置を3回横切る振動)を含む波形をそれぞれ有する。図4Gに示す触知出力パターン(例えば、「ミニタップ」の触知出力パターン)の第2のセットは、完全な1サイクルを含む振動(例えば、中立位置で開始及び終了し、中立位置を1回横切る振動)を含む波形をそれぞれ有する。図4Hに示す触知出力パターン(例えば、「マイクロタップ」の触知出力パターン)の第3のセットは、完全な1サイクルの半分を含む振動(例えば、中立位置で開始及び終了し、中立位置を横切らない振動)を含む波形をそれぞれ有する。触知出力パターンの波形はまた、触知出力の開始時及び終了時における可動質量の段階的な速度アップ及び速度低下を表す開始バッファ及び終了バッファを含む。図4F~図4Kに示す例示的な波形は、可動質量の移動の最大限度及び最小限度を表すxmax値及びxmin値を含む。より大きな可動質量を有するより大きな電子デバイスの場合、質量の移動の最小限度及び最大限度が、より大きい、又はより小さいこともある。図4F~4Kに示す例は、1次元におけ質量の移動を説明しているが、同様の原理は2次元又は3次元における可動質量の移動にも適用し得る。
図4F~4Hに示すように、それぞれの触知出力パターンはまた、その特性周波数を有する触知出力からユーザが感じる触覚感覚の「ピッチ」に影響を及ぼす、対応する特性周波数を有する。連続触知出力に対して、特性周波数は、触知出力生成器の可動質量による所与の時間期間内に完了するサイクル(例えば、1秒あたりのサイクル)の数を表す。離散触知出力の場合、離散出力信号(例えば、0.5サイクル、1サイクル、又は2サイクルで)が生成され、特性周波数値は、その特性周波数で触知出力を生成するためには可動質量がどれだけ速く移動する必要があるかを特定する。図4F~4Hに示すように、触知出力のそれぞれのタイプ(例えば、フルタップ、ミニタップ、又はマイクロタップなどのそれぞれの波形により定義される)については、より高い周波数値は、可動質量によるより速い移動(単数又は複数)に対応し、したがって、一般に、触知出力を完了する時間がより短い(例えば、離散触知出力に必要なサイクルの数を完了する時間開始及び終了バッファ時間を含む)。例えば、特性周波数が80Hzのフルタップは、特性周波数が100Hzのフルタップよりも完了までに時間がかかる(例えば、図4Fでは35.4ms対28.3ms)。更に、所与の周波数では、それぞれの周波数におけるその波形のサイクルがより多い触知出力は、同じそれぞれの周波数におけるその波形のサイクルがより少ない触知出力よりも完了するまでに時間がかかる。例えば、150Hzのフルタップは150Hzのミニタップよりも完了に時間がかかり(例えば19.4ms対12.8ms)、150Hzのミニタップは150Hzのマイクロタップよりも完了に時間がかかる(例えば12.8ms対9.4ms)。しかし、異なる周波数の触知出力パターンでは、この規則性があてはまらないことがある(例えば、より多くのサイクルだがより高い周波数を伴う触知出力では、より少ないサイクルだがより低い周波数を伴う触知出力よりもかかる時間が短いことがあり、その逆も起こり得る)。例えば、300Hzでは、フルタップはミニタップと同じ時間がかかる(例えば、9.9ms)。
図4F~4Hに示すように、触知出力パターンはまた、触知信号に含まれるエネルギー量に影響を及ぼす特性振幅、又はその特性振幅を有する触知出力を通じてユーザが感じ得る触覚感覚の「強度」を有する。一部の実施形態では、触知出力パターンの特性振幅は、触知出力を生成する際の中立位置からの可動質量の最大変位を表す絶対値又は正規化値を指す。一部の実施形態では、触知出力パターンの特性振幅は、例えば、(例えば、ユーザインタフェースのコンテキスト及び挙動に基づいてカスタマイズされた)様々な条件、並びに/あるいは予め構成されたメトリック(例えば、入力ベースのメトリック、及び/又はユーザインタフェースベースのメトリック)に従って、固定された又は動的に決定される利得係数(例えば、0~1の値)によって調整可能である。一部の実施形態では、入力ベースのメトリック(例えば、強度変化メトリック又は入力速度メトリック)は、触知出力の生成をトリガする入力中に、入力の特性(例えば、押圧入力における接触の特性強度の変化率、又はタッチ感知面を横切る接触の移動速度)を測定する。一部の実施形態では、ユーザインタフェースベースのメトリック(例えば、境界を横切る速度のメトリック)は、触知出力の生成をトリガするユーザインタフェース変更中にユーザインタフェース要素の特性(例えば、ユーザインタフェースにおける隠れている境界又は見えている境界を横切る要素の移動速度)を測定する。一部の実施形態では、触知出力パターンの特性振幅は「包絡線」によって変調されてもよく、隣接するサイクルのピークは異なる振幅を有してもよく、上記の波形のうちの1つは、触知出力が生成されている間に経時的に触知出力の一部の振幅を徐々に調整するように、経時的に(例えば、0~1まで)変更する包絡線パラメータ乗算することによって更に変調される。
例示的な目的で、図4F~4Hでは、具体的な周波数、振幅、及び波形がサンプル触知出力パターンで表されているが、他の周波数、振幅及び波形を有する触知出力パターンも同様の目的で使用され得る。例えば、0.5~4サイクルの波形を用いることができる。また、60Hz~400Hzの範囲の他の周波数も用いることができる。
一部の実施形態では、着信音及び/又はアラートに対し、振動150Hz、マイクロタップ150Hz、ミニタップ150Hz、及びフルタップ150Hzのうちの1つ以上を含む触知出力が(着信電話又は受信テキストメッセージを示すために)使用される。
例示的な目的で、図4F~4Kでは特定の周波数、振幅、及び波形のみがサンプル触知出力パターンで表されているが、他の周波数、振幅及び波形を有する触知出力パターンも同様の目的で使用され得る。例えば、0.5~4サイクルの波形を用いることができる。また、60Hz~400Hzの範囲の他の周波数も用いることができる。
ユーザインタフェース及び関連する処理
ここで、ディスプレイ、タッチ感知面、任意選択的に、触知出力を生成する1つ以上の触知出力生成器、及び任意選択的に、タッチ感知面との接触の強度を検出する1つ以上のセンサとを備える、ポータブル多機能デバイス100又はデバイス300などの電子デバイス上で実装され得る、ユーザインタフェース(「UI」)及び関連処理の実施形態に注意を向ける。
図5A~図5BBは、一部の実施形態に係る、触覚フィードバックを提供する例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図6A~図6C、図7A~図7D、図8A~図8C、図9、図10、図11A~11B、及び図12A~図12Dにおける処理を含む、以下に説明する処理を例示するために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム112を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点(例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点)、又はタッチ感知ディスプレイシステム112上で検出された2つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ450上の図に示されるユーザインタフェースを表示する間、タッチ感知面451上の接触を検出したことに応じて、ディスプレイ450及び別々のタッチ感知面451を有するデバイス上で実行される。
図5A~図5Eは、一部の実施形態による、調整可能制御部を有する例示的なユーザインタフェースを示す。
図5Aでは、ユーザインタフェース5002は、第1の調整可能制御部5004及び第2の調整可能制御部5006を含む。例えば、ユーザインタフェース5002は音楽プレーヤアプリケーション用のユーザインタフェースであり、第1の調整可能制御部5004は再生位置調整制御部であり、第2の調整可能制御部5006は音量調整制御部である。一部の実施形態では、ユーザインタフェース5002は、(例えば、現在のトラック及び/又は前のトラックの先頭からの再生を開始する)前トラック制御部5008、(例えば、現在のトラックの一時停止及び/又は再生のための)一時停止/再生制御部5010、及び(例えば、次のトラックを再生する)次トラック制御部5012を含む。
図5B-1、図5B-2、図5C-1、図5C-2及び図5C-3は、図5Aにおいて点線で示されたユーザインタフェース5002の部分5014を示す。
図5B-1では、接触は、フォーカスセレクタ5016aによって示される第1の位置から、フォーカスセレクタ5016bによって示される第2の位置に、矢印5018によって示される経路に沿って、第1の調整可能制御部5004を横切るドラッグジェスチャで移動する。例えば、ドラッグジェスチャは、再生位置スライダ5021に沿って再生ヘッド5020を前方に移動させて、メディアファイル(例えば、オーディオトラック)内の再生位置を調整する。
図5B-2は、一部の実施形態に係る、図5B-2に示すドラッグジェスチャが生じるときに生成される触知出力を示す。図5B-1の第1の調整可能制御5004部に対応する行5020に沿って示すそれぞれの線は、離散触知出力(例えば、フォーカスセレクタ5016によって示す位置において、指などの接触によって経験されるタップ感覚を引き起こす触覚イベント)を表す。行5022の線の長さ(例えば、線5023)は、触知出力イベントの振幅を表し、行5022の線間の間隔は、調整可能制御部に沿った触知出力の分布を示す(例えば、フォーカスセレクタが一定の速度で調節可能制御部を横切って移動する場合に、触知出力イベントが生じる頻度に対応する)。接触が矢印5018によって示される経路に沿って行5022を横切ってドラッグされると、第1の調整可能制御部5004(例えば、ブラケット5024内に示される線によって表される触知出力)に対応する一連の触知出力が提供される。第1の調整可能制御部5004に対応する触知出力は、均等に間隔をあけて発生し、一連のそれぞれの触知出力は、同じ振幅を有する。
図5C-1では、接触は、フォーカスセレクタ5026aによって示される第1の位置から、フォーカスセレクタ5026bによって示される第2の位置に、矢印5028によって示される経路に沿って、第2の調整可能制御部5006を横切るドラッグジェスチャで移動する。例えば、ドラッグジェスチャは、音量スライダ5032内の音量制御部5030を前方に移動させて、メディアが再生されるサウンドレベルを増大させる。
図5C-2は、一部の実施形態に係る、図5C-1に示すドラッグジェスチャが生じるときに生成される一連の触知出力を示す。図5C-1の第2の調整可能制御部5006に対応する行5034に沿って示すそれぞれの線は、離散触知出力を表す。行5034の線の長さは、左から右に増大し、フォーカスセレクタが左から右に移動するにつれて触知出力イベントの振幅が増大することを示す。接触が矢印5028によって示される経路に沿って行5034を横切ってドラッグされると、第2の調整可能制御部5006(例えば、ブラケット5036内に示される線によって表される触知出力)に対応する一連の触知出力が提供される。5C-2に示すように、第2の調整可能制御5006に対応する触知出力は、均等に間隔をあけて発生し、振幅が徐々に増大する。
図5C-3は、一部の実施形態に係る、図5C-1に示すドラッグジェスチャが生じるときに生成される一連の触知出力を示す。図5C-1の第2の調整可能制御部5006に対応する行5040に沿って示すそれぞれの線は、離散触知出力を表す。行5040の線間の間隔は、左から右に減少し、フォーカスセレクタが左から右に移動するにつれて、第2の調整可能制御部5006に沿った触知出力イベントの分布(例えば、フォーカスセレクタが調整可能制御部を横切って一定速度で移動する場合に、触知出力イベントが発生する周波数に対応する)が増大していることを示す。接触が矢印5028によって示される経路に沿って行5040を横切ってドラッグされると、第2の調整可能制御部5006(例えば、ブラケット5040内に示される線によって表される触知出力)に対応する一連の触知出力が提供される。5C-3に示すように、第2の調整可能制御部5006に対応する触知出力は、同じ振幅を有し、徐々に減少する時間間隔で発生する。
一部の実施形態では、例えば、5C-2及び5C-3の5042、5044、5046、及び5048に示すように、前のトラック制御5008、一時停止/再生制御5010、及び/又は次のトラック制御5012に対して触知出力が提供される。例えば、一部の実施形態では、前トラック制御部5008において入力が検出されると、5042に示すような単一タップが提供される。一部の実施形態では、次トラック制御部5012において入力が検出されると、5048に示すような単一タップが提供される。一部の実施形態では、制御部によって提供されるいくつかの触知出力は、制御部のいくつかの状態に基づく。例えば、一部の実施形態では、一時停止/再生制御部5010などの2状態制御部は、5044に示すように、制御の状態が一時停止から再生に変化すると、第1の触知出力プロファイル(例えば、第1の強度を含む触知出力)を有する触知出力を提供し、5046に示すように、制御の状態が再生から一時停止に変化すると、第2の触知出力プロファイル(例えば、第1の強度よりも大きい第2の強度、及び/又はバネ振動効果を含む触知出力)を、提供する。
図5D-1及び図5D-2は、調節可能な制御部5004の終点において提供される触知出力を示す。一部の実施形態では、調節可能な制御部の終点に達すると、1つ以上の終点触知出力が提供される。このようにして、ユーザには、メディアファイルの始点又は終点などの、調整可能制御部が到達した最小点又は最大点を示すフィードバックが例えば提供される。例えば、図5D-1に示すフォーカスセレクタ5052によって示されるように、再生ヘッド5020が再生位置スライダ5021の左終点5050にドラッグされると、図5D-2に示すように、触知出力5054が提供される。調節可能制御部5004の他の触知出力(ブラケット5056に示す触知出力など)と比較して、左終点触知出力5058は、より高い振幅などの少なくとも1つの異なる特性を有する。再生ヘッド5020が再生位置スライダ5021の右終点5060にドラッグされると、右終点触知出力5062が提供される。調節可能制御部5004の他の触知出力(ブラケット5056に示す触知出力など)と比較して、右終点触知出力5062は、より高い振幅を有する。
図5E-1及び5E-2は、メディアコンテンツ用のチャプターマーカにおいて提供される触知出力を示す。図5E-1では、接触は、フォーカスセレクタ5072aによって示される第1の位置から、フォーカスセレクタ5072bによって示される第2の位置に、矢印5074によって示される経路に沿って、調整可能制御部5070を横切るドラッグジェスチャで移動する。例えば、ドラッグジェスチャは、再生位置スライダ5078に沿って再生ヘッド5076を前方に移動させて、メディアファイル(例えば、オーディオブック)内の再生位置を調整する。
図5E-2は、一部の実施形態に係る、図5E-1に示すドラッグジェスチャが生じると生成される一連の触知出力を示す。図5E-1の第2の調整可能制御部5070に対応する行5084に沿って示すそれぞれの線は、離散触知出力を表す。チャプターマーカ(例えば、線5080)に対応する行5084の位置の線は、チャプターマーカ(例えば、線5082)に対応しない線よりも長く、触知出力イベントの振幅が、チャプターマーカに対応しない位置よりもチャプターマーカ位置において大きいことを示す。接触が矢印5074で示される経路に沿って行5084を横切ってドラッグされると、5086、5088、5090、及び5092のチャプターマーカに対応する高振幅触知出力を含む、調整可能制御部5070に対応する一連の触知出力が提供される。
図5F~5Kは、接触の特性強度に基づいて変化する触知出力を示す。図5Fでは、フォーカスセレクタ5100によって示される位置において、接触が、タッチ感知ディスプレイシステム112上で検出される。ユーザインタフェース5102内のフォーカスセレクタ5100の位置(例えば、メール受信箱インタフェース)は、コンテンツアイテム(例えば、メールコンテンツのプレビュー)に対応する。接触の特性強度は、強度メータ5104に示されるように、検出閾値強度ITを上回り、ヒント閾値強度ITを下回る。
図5Gでは、フォーカスセレクタ5100によって示される接触の特性強度は、ユーザインタフェース5102a、5102b、5102c、及び5102dにそれぞれ対応する、強度メータ5104a、5104b、5104c及び5104dに示すように、ヒント閾値強度レベルITを下回ってから、過押圧閾値強度レベルITOPを上回るまで増大する。接触の特性強度が増大するにつれて提供される触知出力を、触知出力グラフ5106によって示す。
ユーザインタフェース5102aでは、接触は、コンテンツの表現を含むパネル5108に対応するフォーカスセレクタ5100によって示される位置にある。例えば、コンテンツの表現は、電子メール受信箱内の電子メールの短いプレビューである。フォーカスセレクタ5100によって示される接触の特性強度が、5104aに示すように、ヒント閾値強度レベルITを下回る初期強度レベルから増大し、5104bに示すように、軽押圧強度閾値レベルITに近づくと、第1の触知出力プロファイルを含む触知出力が、ITに対する接触の特性強度の近接度に従って変化する。例えば、5110に示すように、時間tと時間tとの間で接触の特性強度が増大すると、触知出力の特性が増大する(例えば、振動触知出力の触知出力の振幅及び/若しくは分布がゼロから増大するか、又は接触の強度が増大するにつれて離散触知出力のシーケンスのピーク振幅が徐々に増大する)。接触の特性強度がITからITに増大するときに生じるユーザインタフェースの遷移を、図5Hにより詳細に示す。
接触の特性強度が軽押圧強度閾値レベルITを上回って増大すると、離散タップなどの第2の触知出力プロファイルを含む触知出力が生成される。例えば、時間tにおいて、5104bに示すように、接触の特性強度が第1の強度基準(例えば、軽押圧強度閾値レベルITを上回る増大)を満たす場合、5112に示すように、第1の離散タップが生成される。一部の実施形態では、接触の特性強度が軽押圧強度閾値レベルITを上回って増大すると、パネル5108に対応する情報のプレビューが、ユーザインタフェース5102bのプレビュー領域5114に示される。例えば、プレビュー領域5114は、ユーザインタフェース5102b内又はその上に表示されるプレビュープラッタである。この例では、ユーザインタフェース5102bのプレビュー領域5114は、ユーザインタフェース5102aのパネル5108に示された電子メールの短いプレビューに対応する電子メールの長い(例えば、拡張された)プレビューを表示する。一部の実施形態では、5116に示すように、ユーザインタフェース5102bは、プレビューエリア5114を除いてぼやけている。
フォーカスセレクタ5100によって示される接触の特性強度が、5104bに示すように、軽押圧閾値強度レベルITを上回る強度から増大し、5104cに示すように、深押圧強度閾値レベルITに近づくと、第3の触知出力プロファイルを含む触知出力が、ITに対する接触の特性強度の近接度に従って変化する。例えば、5118に示すように、時間tと時間tとの間で接触の特性強度が増大すると、触知出力の特性が増大する(例えば、振動触知出力の振幅及び/若しくは周波数がゼロから増大するか、又は接触の強度が増大するにつれて離散触知出力のシーケンスのピーク振幅が徐々に増大する)。一部の実施形態では、接触の特性強度が強度Iから増大して強度Iに近づくと、プレビュー領域5114は、第1の領域から(例えば、5102bに示すように)第2の領域に(例えば、5102cに示すように、コンテンツの全画面表示に近づきながら)徐々に拡大する。
接点の特性強度が第2の強度基準を満たす(例えば、深押圧強度閾値レベルITを上回って増大する)と、第4の触知出力プロファイルを含む触知出力が生成される。例えば、時間tにおいて、5104cに示すように、接触の特性強度が深押圧強度閾値レベルITを上回って増大すると、5120に示すように、第2の離散タップが生成される。一部の実施形態では、接触の特性強度が深押圧強度閾値レベルITを上回って増大すると、プレビュー領域5114はもはや表示されず、代わりに、以前にプレビューされたコンテンツに対応するユーザインタフェース5102cが表示される(例えば、電子メールは、電子メールを見るためのユーザインタフェースに示される)。
接触の特性強度が過押圧強度閾値レベルITOPを上回って増大すると、第5の触知出力プロファイルを含む触知出力が生成される。例えば、時間tにおいて、5104dに示すように、接触の特性強度が過押圧強度閾値レベルITOPを上回って増大すると、5122に示すように、第3の離散タップが生成される。一部の実施形態では、接触の特性強度が過押圧強度閾値レベルITOPを上回って増大すると、以前に表示されたユーザインタフェースが再表示される。一部の実施形態では、再表示されたユーザインタフェースは、接触の特性強度が最初に検出されたとき(例えば、接触の特性強度が接触検出閾値レベルITを上回って上昇したとき)に表示されたユーザインタフェースである。例えば、ユーザインタフェース5102aに示すように、電子メールの短いプレビューを含む電子メール受信箱が、ユーザインタフェース5102dに再表示される。
図5Hは、(図5G及び図5Hの点線5124によって囲まれた領域に示すように)検出された接触の強度の強度レベルIから強度レベルIへの増大に対応するユーザインタフェース遷移を示す。図5Hでは、フォーカスセレクタ5100によって示される接触の特性強度は、ユーザインタフェース5102a、5102a-2、5102a-3、及び5102bにそれぞれ対応する、強度計5104a、5104a-2、5104a-3及び5104bに示すように、ヒント閾値強度レベルITを下回ってから、軽押圧閾値強度レベルITを上回るまで増大する。
一部の実施形態では、ユーザインタフェース5102a-2及び5102a-3は、フォーカスセレクタ5100によって示される接触の特性強度がヒント閾値強度レベルITを上回り、軽押圧閾値強度レベルITを下回ると生じるヒント状態を示す。ユーザインタフェース5102aでは、フォーカスセレクタ5100は、コンテンツの表現(例えば、電子メール受信箱内の電子メールの短いプレビュー)を含むパネル5108に対応する位置にある。接触の特性強度がITを上回ってから増大し、ITに近づくにつれて、パネル5108を除くユーザインタフェースがぼやけ、パネル5108の面積が増大し、パネル5108におけるコンテンツのサイズが増大し、及び/又はパネル5108の外側のユーザインタフェースにおけるコンテンツのサイズが減少する。ぼけ及びサイズ変更効果は、強度メータ5104a-2及び5104a-3、並びにユーザインタフェース5102a-2及び5102a-3にそれぞれ示すように、時間t0.3と時間t0.6との間で接触の特性強度が増大するにつれて増大する。
図5Iでは、フォーカスセレクタ5100によって示される接触の特性強度は、軽押圧閾値強度レベルITに達した後に減少する。ユーザインタフェース5126aでは、接触は、コンテンツの表現を含むパネル5108に対応するフォーカスセレクタ5100によって示される位置にある。時間tにおいて、フォーカスセレクタ5100によって示される接触の特性強度は、ユーザインタフェース5126a及び強度メータ5128aに示されるように、ヒント閾値強度レベルITを下回る。時間tにおいて、接触の特性強度は、ユーザインタフェース5126b及び強度計5128bに示されるように、ヒント閾値強度レベルITを上回って増大する。時間tにおいて、フォーカスセレクタ5100によって示される接触の特性強度は、ユーザインタフェース5126c及び強度計5128cに示されるように、閾値強度レベルITを上回って増大する。時間tの後に接点の特性強度が増大すると、第1の出力プロファイルを含む触知出力が生成される(例えば、5110に示すように、触知出力の特性が増大する)。接触の特性強度がITを上回ってから増大し、ITに近づくにつれて、パネル5108を除くユーザインタフェース5126bがぼやけ、パネル5108の面積が増大し、パネル5108におけるコンテンツのサイズが増大し、及び/又はパネル5108の外側のユーザインタフェースにおけるコンテンツのサイズが減少する。時間tにおいて、5112に示すように、離散タップが生成される。接触の特性強度が軽押圧強度閾値レベルITを上回って増大すると、時間tにおける強度レベルメータ5128cに示されるように、パネル5108に対応する情報のプレビューが、ユーザインタフェース5126cのプレビュー領域5114に示される。ユーザインタフェース5126d及び強度メータ5128dに示すように、その後(例えば、時間tにおいて)、フォーカスセレクタ5100によって示される接触の特性強度は、閾値強度レベルITを下回って減少する。フォーカスセレクタ5100によって示された接触の特性強度が閾値強度レベルITを上回って増大した後に接触の特性強度の減少が検出されたとの判定に従って、第1の出力プロファイルを含む触知出力は取り止められ、ユーザインタフェース5126dに示すように、プレビュー領域5114がディスプレイ上に維持される。
図5Jでは、フォーカスセレクタ5100によって示される接触の特性強度は、軽押圧閾値強度レベルITに達する前に減少する。ユーザインタフェース5130aでは、接触は、コンテンツの表現を含むパネル5108に対応するフォーカスセレクタ5100によって示される位置にある。時間tにおいて、フォーカスセレクタ5100によって示される接触の特性強度は、ユーザインタフェース5130a及び強度メータ5132aに示されるように、ヒント閾値強度レベルITを下回る。時間tにおいて、接触の特性強度は、ユーザインタフェース5130b及び強度メータ5132bに示されるように、ヒント閾値強度レベルITを上回って増大する。接触の特性強度がITを上回ってから増大し、ITに近づくにつれて、パネル5108を除くユーザインタフェースがぼやけ、パネル5108の面積が増大し、パネル5108におけるコンテンツのサイズが増大し、及び/又はパネル5108の外側のユーザインタフェースにおけるコンテンツのサイズが減少する。時間tにおいて、フォーカスセレクタ5100によって示される接触の特性強度は、ユーザインタフェース5130c及び強度メータ5132cに示されるように、閾値強度レベルITに達することなく、閾値強度レベルITを上回って増大し続ける。時間tの後に接点の特性強度が増大すると、第1の出力プロファイルを含む触知出力が生成される(例えば、5110に示すように、触知出力の特性が増大する)。ユーザインタフェース5130d及び強度メータ5132dに示すように、その後(例えば、時間tにおいて)、フォーカスセレクタ5100によって示される接触の特性強度が減少する。接触の特性強度の減少が、接触の特性強度が強度基準を満たす(例えば、閾値強度レベルITを上回って増大する)前に検出されたとの判定に従って、第1の出力プロファイルを含む触知出力は、接触の特性強度の閾値強度レベルITとの近接度に従って変化し続ける。接触の特性強度が減少すると、例えばユーザインタフェース5130dに示すように、パネル5108の面積が減少し、パネル5108のコンテンツのサイズが減少し、及び/又はパネル5108の外側のユーザインタフェースのコンテンツのサイズが増大する。
一部の実施形態では、図5Kに示す触知出力プロファイルのセットは、タッチ感知ディスプレイシステム112との接触の特性強度が過押圧強度閾値レベルITOPを上回って増大するにつれて生じる。時間t~tにおいて、5134a、5134b、5134c、及び5134dにそれぞれ示すように、接触の特性強度は、ヒント閾値強度レベルITを下回ってから、過押圧強度閾値レベルITOPを上回るまで増大する。時間tとtとの間に、5136に示すように、増大するパラメータ(例えば、触知出力の振幅及び/又は分布)を有する触知出力が提供される。時間tにおいて、5134eに示すように、接触の特性強度が過押圧強度閾値レベルITOPを上回って増大すると、5138に示すように、離散タップが生じる。5134fに示すように、接触の特性強度が強度閾値レベルITOPを超えて増大し続けると、5140に示すように、固定パラメータ(例えば、触知出力の固定振幅及び/又は分布)を有する触知出力が提供される。
図5L~図5Nは、アプリケーションアイコンの選択及び移動、並びに選択されたアプリケーションアイコンの動きに対応する一連の触知出力を示す。図5Lでは、フォーカスセレクタ5150によって示される位置において、接触が、タッチ感知ディスプレイシステム112で検出される。一部の実施形態では、選択基準が満たされたとの判定に従って、アプリケーションアイコン5152が選択される(例えば、フォーカスセレクタ5150は、閾値持続時間、例えば1秒を超える時間量の間、アプリケーションアイコン5152に対応する位置にある)。一部の実施形態では、アプリケーションアイコン5152が選択されると、図5M及び図5Nに示すように、タッチ感知ディスプレイシステム112を横切るフォーカスセレクタ5150の移動により、アプリケーションアイコン5152を移動させる。一部の実施形態では、アプリケーションアイコン5152が選択されない場合、図5Oに示すように、タッチ感知ディスプレイシステム112を横切るフォーカスセレクタ5150の移動により、ユーザインタフェース5154内の複数のアプリケーションアイコンを移動させる。
図5Mでは、選択されたアプリケーションアイコンが別のアプリケーションアイコンの上に移動される。初期時間T=tにおいて、フォーカスセレクタ5150がアプリケーションアイコン5152に対応する位置にあるとき、タッチ感知ディスプレイシステム112上で接触が検出される。後の時間T=tにおいて、フォーカスセレクタ5150は、アプリケーションアイコン5152の選択をもたらす時間量の間、アプリケーションアイコン5152の位置にとどまっている。一部の実施形態では、アプリケーションアイコンが選択されたというインジケーションをユーザに提供するために、アプリケーションアイコンが選択されることとなった時点で触知出力が生成される。例えば、触知出力グラフ5156に示すように、アプリケーションアイコン5152が選択されることとなった時間tに、離散タップ5158が生成される。一部の実施形態では、触知出力グラフ5156の時間t~tに示されるように、アプリケーションアイコン5152が選択されている間に、一連の触知出力(例えば、離散タップ5158の振幅よりも低い振幅を含む一連のタップなどの、一連のタップ5157)が生成される。一部の実施形態では、アプリケーションアイコン5152が選択されている間に、アプリケーションアイコン5152の強調表示すること(例えば、ユーザインタフェース5154b、5154c、及び5154dに示す、陰影のついたアプリケーションアイコン5152)、及びユーザインタフェース1514内の1つ以上のアプリケーションアイコンをアニメーション化すること(例えば、5160に示すような振動するアニメーション)などの、1つ以上の視覚的インジケーションを表示する。
アプリケーションアイコン5152が選択されると、フォーカスセレクタ5150の移動に従ってアプリケーションアイコン5152が移動するように、フォーカスセレクタ5150によってアプリケーションアイコン5152が「ピックアップ」される。時間T=tにおいて、フォーカスセレクタ5150及びアプリケーションアイコン5152は、株式アプリケーションアイコン5160に向かって左に移動している。時間T=tにおいて、アプリケーションアイコン5152は、株式アプリケーションアイコン5160の上を通過する。一部の実施形態では、アプリケーションアイコン5152が株式アプリケーションアイコン5160と(例えば、所定の程度まで)重なり合う場合、離散タップ5164が生成され、アプリケーションアイコン5152が株式アプリケーションアイコン5160の上を通過していることを(例えば、触知出力グラフ5156のtに示すように)ユーザに示す。
時間T=tにおいて、タッチ感知面からの接触のリフトオフが検出される。接触のリフトオフに応じて、アプリケーションアイコン5152は選択されない。一部の実施形態では、アプリケーションアイコンが選択されなくなると、離散タップ5166が生成され、アプリケーションアイコン5152の非選択が発生したことを(例えば、触知出力グラフ5156のtに示すように)ユーザに示す。
図5Nでは、選択されたアプリケーションアイコンがフォルダ内に移動される。初期時間T=tにおいて、フォーカスセレクタ5150がアプリケーションアイコン5153に対応する位置にあるとき、ユーザインタフェース5180aに示すように、タッチ感知ディスプレイシステム112上で接触が検出される。後の時間T=tにおいて、フォーカスセレクタ5150は、ユーザインタフェース5180bに示すように、アプリケーションアイコン5178の選択をもたらす時間量の間、アプリケーションアイコン5178の位置にとどまっている。一部の実施形態では、アプリケーションアイコンが選択されたというインジケーションをユーザに提供するために、アプリケーションアイコンが選択されることとなった時点で触知出力が生成される。例えば、触知出力グラフ5168に示すように、アプリケーションアイコン5178が選択されることとなった時間tに、離散タップ5170が生成される。一部の実施形態では、触知出力グラフ5168の時間tから開始して示すように、アプリケーションアイコン5178が選択されている間に、一連の触知出力(例えば、離散タップ5170の振幅よりも低い振幅を含む一連のタップなどの、一連のタップ5167)が生成される。
時間T=tにおいて、フォーカスセレクタ5150及びアプリケーションアイコン5178は、ユーザインタフェース5180cに示すように、地図アプリケーションアイコン5182の上を通過して、左に移動している。一部の実施形態では、グラフ5168に示すように、離散タップ5172が時間t2に生成されて、アプリケーションアイコン5178が地図アプリケーションアイコン5182の上を通過したことを示す。
時間T=tにおいて、アプリケーションアイコン5178は、ユーザインタフェース5180dに示すように、株式アプリケーションアイコン5186及びニュースアプリケーションアイコン5188を含むフォルダアイコン5184に対応する領域に入る。一部の実施形態では、グラフ5168に示すように、離散タップ5174が時間tに生成されて、アプリケーションアイコン5178がフォルダ5184に対応する領域に入ったことを示す。一部の実施形態では、アプリケーションアイコン5178がアプリケーションアイコンとは異なるユーザインタフェースオブジェクトに遭遇した(例えば、アプリケーションアイコン5178は別のアプリケーションアイコンではなくフォルダ5184に遭遇した)というインジケーションを提供するために、離散タップ5174は、アプリケーションアイコン5178がマップアプリケーションアイコン5182の上を通過したときに発生する離散タップ5172とは異なる(例えば、より大きな振幅を有する)。
時間T=tにおいて、アプリケーションアイコン5178が所定の時間、フォルダ5184の上方で停止した後に、ユーザインタフェース5180eに示すように、フォルダ5184の拡大ビューが表示される。一部の実施形態では、フォルダ5184が表示されると、5180dに表示されたユーザインタフェースは表示されなくなる。一部の実施形態では、グラフ5168の時間tに示すように、アプリケーションアイコン5178がフォルダ5184内に移動したことをユーザに示すために、離散タップ5176が生成される。一部の実施形態では、フォルダ5184にアプリケーションアイコン5178を表示することに関連する離散タップ5176は、アプリケーションアイコン5178が地図アプリケーションアイコン5182の上を通過したときに発生する離散タップ5172とは異なる(例えば、より大きい振幅を有する)。
図5Oでは、ユーザインタフェースオブジェクトが選択されていないので、接触がタッチ感知面を横切って移動するときに、触知出力は生成されない。初期時間T=tにおいて、フォーカスセレクタ5150がアプリケーションアイコン5152に対応する位置にあるとき、ユーザインタフェース5192aに示すように、タッチ感知ディスプレイシステム112上で接触が検出される。後の時間T=t0.5において、フォーカスセレクタ5150は、ユーザインタフェース5192bに示すように、矢印5194によって示される経路に沿って、新しい位置に移動している。フォーカスセレクタ5150は、アプリケーションアイコン5152が選択されることとなった時間量の間、アプリケーションアイコン5152の位置に残っていないので、アプリケーションアイコン5152は選択されない。したがって、矢印5194によって示す経路に沿ったフォーカスセレクタ5150の移動に応じて、アプリケーションアイコン5152を含む複数のアプリケーションアイコンが、矢印5194によって示す経路に沿って移動する。時間T=tにおいて、矢印5196によって示す経路に沿ったフォーカスセレクタ5150の移動に応じて、アプリケーションアイコン5152を含む複数のアプリケーションアイコンが、ユーザインタフェース5192cに示すように左に移動している。触知出力グラフ5198は、アプリケーションアイコンが選択されていない場合、タッチ感知ディスプレイシステム112を横切る接触の動きに応じて触知出力が生じないことを示す。
図5P~図5Rは、接触が画像サムネイルのセットに沿って移動するときに表示される画像プレビュー、及び画像サムネイルのセットに沿った接触の動きに対応する一連の触知出力を示す。図5R-1、5R-2、5R-3、5R-4、5S-1及び5S-2は、図5P及び図5Qで点線で示すように、ユーザインタフェース5002の部分5208を示す。
図5Pでは、接触が、フォーカスセレクタ5204によって示される位置において、タッチ感知ディスプレイシステム112で検出される。一部の実施形態では、プレビュー表示基準が満たされているとの判定(例えば、フォーカスセレクタ5204が、閾値持続時間、例えば1秒を超える時間量の間、画像サムネイル5206aに対応する位置にある)に従って、図5Qに示すように、画像サムネイル5206aに対応する画像のプレビュー5206bが表示される。一部の実施形態では、画像サムネイル5206aに対応する画像のプレビュー5206bは、画像サムネイル5206aよりも大きい画像のビューである。一部の実施形態では、画像サムネイル5206aに対応する画像のプレビュー5206bが、フォーカスセレクタ5204の位置の下及び/又は上方に表示される。一部の実施形態では、プレビュー表示基準が満たされると、触知出力が生成される。
一部の実施形態では、プレビュー表示基準が満たされると、別の画像サムネイルに対応する位置への接触の移動により、図5R-1、5R-2、及び5R-3に示すように、他の画像サムネイルに対応する画像のプレビューを表示させる。
図5R-1では、プレビュー表示基準が満たされ、画像サムネイル5206aに対応する画像のプレビュー5206bが表示される。接触は、フォーカスセレクタセレクタ5204aによって示される第1の位置から、矢印5210によって示される経路に沿って、図5R-2のフォーカスセレクタ5204bによって示される第2の位置に移動する。フォーカスセレクタ5204bによって示される第2の位置は、画像サムネイル5212aの位置に対応する。接触が第2の位置に移動したとの判定に従って、画像サムネイル5212aに対応する画像のプレビュー5212bが表示される。接触は、フォーカスセレクタセレクタ5204bによって示される第2の位置から、矢印5214によって示される経路に沿って、図5R-3のフォーカスセレクタ5204cによって示される第3の位置に移動する。フォーカスセレクタ5204cによって示される第3の位置は、画像サムネイル5214aの位置に対応する。接触が第3の位置に移動したとの判定に従って、画像サムネイル5216aに対応する画像のプレビュー5216bが表示される。
図5R-4は、接触がタッチ感知ディスプレイシステム112を横切って、フォーカスセレクタ5204a、5204b、及び5204cによって示す位置に移動すると提供される触知出力を示す。点5218a、5218b、及び5218cは、接点がフォーカスセレクタ5204a、5204b及び5204cによってそれぞれ示される位置にあるときに発生する離散触知出力を表す。このようにして、接触が一連の画像サムネイルを横切って移動すると、一連の離散触知出力が出力される。一部の実施形態では、接触が異なる画像サムネイル上を移動するたびに、離散触知出力が生じる。
一部の実施形態では、プレビュー表示基準が満たされない場合、いかなる触知出力も生成されない。図5S-1では、プレビュー表示基準が満たされない(接触が、閾値持続時間を超える時間量に対して、フォーカスセレクタ5204aによって示される位置にない)。したがって、いかなるプレビューも表示されない。接触がタッチ感知ディスプレイシステム112を横切って、5204b及び5204cによってそれぞれ示される位置に移動すると、図5S-1に示すようにいかなるプレビューも表示されず、図5S-2に示すようにいかなる触知出力も生じない。
図5T~図5Uは、一部の実施形態に係る、プレビュー基準が満たされ、かつ、フォーカスセレクタ2226aによって示される第1の位置からフォーカスセレクタ2226bによって示される第2の位置まで(例えば、垂直方向に)接触がタッチ感知ディスプレイシステム112を横切って移動するときに表示されるプレビュー5220及び5224を示す。プレビュー表示基準が満たされているとの判定に従って、触知出力が生成される(例えば、接触がフォーカスセレクタ2226aによって示される位置にあるときに離散触知出力が生成され、接触がフォーカスセレクタ2226bによって示される位置にあるときに離散的触知出力が生成される)。一部の実施形態では、プレビュー表示基準とは異なるスクロール基準が満たされると、フォーカスセレクタ2226aによって示される第1の位置からフォーカスセレクタ2226bによって示される第2の位置までの、タッチ感知ディスプレイシステム112を横切って移動する接触の移動(例えば、垂直方向の接触の移動)により、図5V~図5Wに示すように、ユーザインタフェース5202に表示された複数の画像サムネイルをスクロールさせる(例えば、垂直にスクロールさせる)。
図5X-1~図5X-3は、一部の実施形態に係る、デバイス100によって受信された通信を表すために使用されるシミュレートされたオブジェクト5232を示す。一部の実施形態では、シミュレートされたオブジェクト5232は、例えば、デバイス100の表面を横切って「回転する」仮想球である。触知出力は、デバイス100を横切るシミュレートされたオブジェクト5232の動き、及び/又はシミュレートされたオブジェクト5232と、タッチ感知ディスプレイシステム112の1つ以上のエッジに対応する境界などの仮想境界との衝突を示す。シミュレートされたオブジェクト5232の動き、及び/又はシミュレートされたオブジェクト5232と仮想境界との間の衝突は、デバイス100によって受信された通信(例えば、ユーザが最後にデバイスを作動及び/又は起動させてから、デバイス100によって受信された通信)に対するいくつかの通知の印象をユーザに与える。
図5X-1では、デバイス100は、ユーザの手5230内で平坦に保持される。ユーザの手が図5X-1に示す平坦な位置から図5X-2に示す傾斜した位置までデバイス100を傾動させると、最終的には図5X-3に示す直立した位置まで、シミュレートされたオブジェクト5232がデバイスの動きに応じて動く。例えば、図5X-3に示された直立位置へのデバイス100の動きは、シミュレートされたオブジェクト5232a、5232b、5232c、及び5232dを、それぞれ、経路5234a、5234b、5234c及び5234dに沿って移動させる。一部の実施形態では、シミュレートされたオブジェクト5232が経路5234に沿って移動すると、デバイス100は、一連の触知出力を出力して(例えば、図5X-1と図5X-3との間で生じる傾きに応じてデバイス100を横切って回転する仮想球の感覚をユーザが有するように)、オブジェクト5232の動きをシミュレートする。一部の実施形態では、それぞれのシミュレートされたオブジェクト5232がデバイス100のタッチ感知ディスプレイシステムy112のエッジに到達する(例えば、図5X-3に示すように、それぞれのシミュレートされたオブジェクト5232がそのそれぞれの経路5234の終端に到達する)たびに、デバイス100は、それぞれのシミュレートされたオブジェクト5232のタッチ感知ディスプレイシステム112のエッジとの衝突を(例えば、タッチ感知ディスプレイシステム112の下側エッジ5236から跳ね返る仮想球の感覚をユーザが有するように)シミュレートする触知出力を出力する。
一部の実施形態では、それぞれのシミュレートされたオブジェクト5232は、対応する通知の少なくとも1つのプロパティに依存する品質を有する。例えば、シミュレートされたオブジェクト5232a、5232b、及び5232dは、「緊急」とマークされていない受信済み電子メールメッセージに対応し、シミュレートされたオブジェクト5232c(網掛けして示されている)は、「緊急」とマークされた受信済み電子メールメッセージに対応する。非緊急通知に対応するシミュレートされたオブジェクトは第1のプロパティ(例えば、第1のシミュレートされた重み)を有し、緊急通知に対応するシミュレートされたオブジェクトは、第1のプロパティとは異なる第2のプロパティ(例えば、シミュレートされたオブジェクト5232cがエッジ5236と衝突したときに、より大きな触知出力が生成されるように、第1のシミュレートされた重みよりも大きい第2のシミュレートされた重み)を有する。通信タイプに従って変化するシミュレートされたオブジェクトのシミュレートされた品質の例には、例えば、速度、加速度、サイズ、重量、及び/又は粘性が含まれる。通知のプロパティの例には、例えば、通信送信者によって割り当てられた緊急度、ユーザによって通信に割り当てられた優先度、通知のタイプ(例えば、テキストメッセージ、電話、電子メール、カレンダー招待、リマインダ、及び/若しくは第三者アプリケーション通知)、並びに/又はタイプの通知数が含まれる。
図5Yは、一部の実施形態に係る、シミュレートされたオブジェクト5232が相互作用するシミュレートされた表面テクスチャを示す。図5Yでは、シミュレートされた表面特徴5240は、例えば、仮想バンプ、仮想ディボット、又は他のテクスチャ特徴である。一部の実施形態では、表面特徴の数、配置、及び/又は位置は、図5Yの例示的な図とは異なる。
デバイス100は、シミュレートされたオブジェクト5232の表面特徴5240との衝突をシミュレートするために触知出力を出力する。例えば、デバイス100が図5Yに示すように傾けられると、シミュレートされたオブジェクト5232a、5232b、5232c、及び5232dは、それぞれ、経路5246a、5246b、5246c及び5246dに沿って、右端5242から左端5244に移動する。シミュレートされたオブジェクト5232aが経路5246aに沿って移動すると、シミュレートされたオブジェクト5232aは、表面特徴5240a、5240b、5240c、5240dなどに遭遇する。シミュレートされたオブジェクト5232がそれぞれの表面特徴5240に遭遇するたびに、デバイス100は、シミュレートされたオブジェクト5232aとそれぞれの表面特徴5240との間の相互作用の印象をユーザに提供する触知出力を生成する。例えば、触知出力が提供されて、1つ以上の表面特徴(例えば、仮想バンプ)の上を転がる1つ以上のシミュレートされたオブジェクト(例えば、仮想球体)の印象をユーザに与える。
図5Z、図5AA及び図5BBは、一部の実施形態に係る、デバイスの様々な使用コンテキストに対応するタップベース触知出力、振動出力、及び音声出力を示す。
一部の実施形態では、タップベース触知出力は、アクチュエータ(例えば、1、2又は3)に対して移動する質量の第1のサイクル数内でフル振幅及び/又は最大速度に達する離散触知出力パターンのシーケンスであり、(例えば、図4F~図4Kを参照して上述したフルタップ、ミニタップ、及び/又はマイクロタップなどの)静止位置の周りで徐々に振動する代わりに、アクチュエータに対して移動を停止するように、任意選択的に能動的に減衰される。タップベース触知出力は、任意選択的に、振動出力よりも、触知出力のパラメータのより精密かつより正確な制御を可能にするが、振動出力よりも(単位エネルギーあたり)低振幅又はより短い触知出力を提供する。一部の実施形態では、タップベース触知出力の場合、タップベース触知出力が正確な動作パラメータ内にあることを確実にするために、移動質量の位置が積極的に監視されるが、振動出力では、動作パラメータがそれほど正確ではないので、移動質量の位置が能動的に監視されない。一部の実施形態では、振動出力は、アクチュエータ(例えば、5、10、15)に対して移動する質量の第2のサイクル数にわたって振幅が徐々に増大し、次いで、アクチュエータに対して移動する質量の複数のサイクルにわたって振幅が徐々に減少する振動触知出力である。振動出力は、任意選択的に、タップベース触知出力によって提供されるより微細な制御部の代わりに、(例えば、エネルギー入力単位あたり)より長く、かつより高い振幅の触知出力を可能にする。
図5Zでは、デバイス100は、例えば、ユーザの手5230内で、第1の使用コンテキストで動作している。デバイス100は、着信通信(ニールからの電話呼)を受信している。一部の実施形態では、デバイス100は、タップベース触知出力、振動出力、及び/又は音声出力(例えば、着信音)を出力して、通信が着信していることをユーザに知らせる。デバイス100がユーザの手5230にある間に、デバイス100は、第1の進行中の触知出力(例えば、「タップベース触知出力」とラベル付けされたグラフに示すような、一連の離散タップ)、第1の進行中の振動出力(例えば、「振動出力」というラベル付けされたグラフに示すような、周期的間隔で発生する振動)、及び第1の進行中の音声出力(例えば、「音声出力」とラベル付けされたグラフに示すような、オーディオ波形)、を出力する。
図5AAでは、デバイス100は、例えば、ユーザのポケット5250内で、第2の使用コンテキストで動作している。デバイス100がユーザのポケット5250内にある間に着信通信を受信すると、デバイス100は、第2の進行中のタップベース触知出力を出力する。図5AAのタップベース触知出力グラフに示す一連の離散タップは、図5Zに示す一連の離散タップの周波数よりも高い周波数において生じる。デバイス100がユーザのポケット5250内にある間に着信通信を受信すると、デバイス100は、第2の進行中の振動出力を出力する。図5AAの振動出力グラフの振動は、図5Zの振動の間隔よりも短い間隔で生じる。デバイス100がユーザのポケット5250内にある間に着信通信を受信すると、デバイス100は、第2の進行中の音声出力を出力する。図5AAの音声出力グラフのオーディオ波形は、図5Zのオーディオ波形の振幅よりも高い振幅を有する。このようにして、第2のコンテキストによって引き起こされる吸音及び/又は音声伝送の低下(例えば、デバイス100が作動しているポケットによって引き起こされる吸音及び/又は音声伝送の低下)にもかかわらず、ユーザが音声出力を聞くことができるように、音声出力の可聴性が増大する。
図5BBでは、デバイス100は、例えば、テーブル5252上に横たわっていて、第3の使用コンテキストで動作している。デバイス100がテーブル5252上にある間に着信通信を受信すると、デバイス100は、第3の進行中のタップベース触知出力を出力する。図5BBのタップベース触知出力グラフに示す一連の離散タップは、図5Zに示す一連の離散タップの周波数、及び図5AAに示す一連の離散タップの周波数の両方よりも、低い周波数で生じる。デバイス100がテーブル5252上にある間に着信通信を受信すると、デバイス100は、振動出力を生成しない。デバイス100がテーブル5252上にある間に着信通信を受信すると、デバイス100は、第3の進行中の音声出力を出力する。図5BBの音声出力グラフ中のオーディオ波形は、5254に示すように、周期的に減衰する。
一部の実施形態では、デバイス100は、1つ以上のセンサを使用して、使用コンテキストが(例えば、図5AAに示すようにユーザのポケット5250から、図5Zに示すようにユーザの手5230に)変化したことを判定する。デバイス100がユーザのポケット5250内にあるとき、ポケット5250内の収納による消音効果を補償するために、ユーザは、より大きい音声出力、より頻繁な振動バースト、及び/又はより高い周波数タップを望むことができる。デバイス100がユーザの手5230内にあるとき(例えば、ユーザがデバイス100をポケット5250から取り出し、デバイスを戸外で保持しているとき)、ユーザは、過大なノイズを回避するために、より静かな出力、より少ない周波数の振動バースト、及び/又はより低い周波数のタップを望むことができる。デバイス100がテーブル5252上に平坦にある場合、テーブル上のデバイス100の過度のがたつきを回避するために、ユーザは、減衰した音声出力、振動なし、及び/又は非常に低い周波数のタップを望むことができる。
図5CC~図5OOは、一部の実施形態に係る、オーディオ及び/又は触知フィードバックを提供する電子デバイス100の例示的な動作を示す。
図5CCは、電子デバイス100がアラートイベントを検出することを示し(例えば、電子デバイス100は、着信呼、予め選択された時間間隔の経過、又は特定の時間への到達に応じて、アラートを生成する命令を生成及び/又は受信する)、それに応じて、そのディスプレイを更新する(5456)(例えば、電話モジュール138に対応するユーザインタフェースを表示する)。
図5CCはまた、電子デバイス100が電子デバイス100の使用コンテキストを判定する(5458)後まで、音声及び/又は触知フィードバックが提供されないことを示す。例えば、一部の実施形態では、電子デバイス100がその表示を更新すると(5456)、電子デバイス100は、オーディオ及び/又は触知フィードバックを提供することを取り止める(次いで、その後、いったん判定が行われると、オーディオ及び/又は触知フィードバックを提供する)。
アラートイベントを検出した後、電子デバイス100は、電子デバイス100の使用コンテキストを判定する(5458)。一部の実施形態では、電子デバイス100は、電子デバイス100が第1の使用コンテキスト(例えば、電子デバイス100がユーザによって保持され、ユーザ入力を能動的に受信している状況などの、電子デバイス100のユーザが電子デバイス100に注意を払っていると判定されるコンテキスト)、又は第2の使用コンテキスト(例えば、電子デバイス100がポケットに収納されるか、又はユーザから離れた面上に残されるなどの、電子デバイス100のユーザが電子デバイス100に注意を払っていないと判定されるコンテキスト)のいずれかにあるかを判定する。例えば、電子デバイス100は、電子デバイス100が第1の使用コンテキストと第2の使用コンテキストとの間のどの使用コンテキストにあるかを判定する(例えば、電子デバイス100は、第1の使用コンテキスト及び第2の使用コンテキストを含む2つの使用コンテキストのみのうちの1つにある)。一部の実施形態では、電子デバイス100は、第1の使用コンテキスト及び第2の使用コンテキストを含む3つ以上の使用コンテキストのうちの、いずれの使用コンテキストに電子デバイス100があるかを判定する。一部の実施形態では、1つ以上のセンサ入力に基づいて、ユーザがデバイスに注意を払っていると判定される(例えば、ユーザの顔が、デバイスのカメラの視野内にあるとの判定に従って、デバイスのカメラからの画像データに基づき、デバイスのユーザの注視がデバイスのディスプレイに向けられているとの判定に従って、デバイスの加速度計又はジャイロスコープに基づいて、デバイスが持ち上げられた又は持ち上げられているとの判定に従って、又は近接センサ又はカメラに基づいて、デバイスがポケット、バッグ、又は他のエンクロージャから取り外された、又は取り外されているとの判定に従って)。一部の実施形態では、1つ以上のセンサ入力に基づいて、ユーザがデバイスに注意を払っていないと判定される(例えば、ユーザの顔が、デバイスのカメラの視野内にないとの判定に従って、デバイスのカメラからの画像データに基づき、デバイスのユーザの注視がデバイスのディスプレイに向けられていないとの判定に従って、デバイスの加速度計又はジャイロスコープに基づいて、デバイスがユーザによって保持されていないことを示す閾値時間量を超えて静止したままで検出されているとの判定に従って、及び/又はデバイスの近接センサ又はカメラに基づいて、デバイスがポケット、バッグ、又は他のエンクロージャ内にあった、又はあるとの判定に従って)。
電子デバイス100が第1の使用コンテキスト(例えば、電子デバイス100のユーザが電子デバイス100に注意を払っていると判定されたコンテキスト)にあるとの判定に従って、電子デバイス100は、第1のフィードバック(例えば、第1の音声出力及び/又は第1の触知出力)を提供して(5460)、アラートイベントを示す。
電子デバイス100が第2の使用コンテキスト(例えば、電子デバイス100のユーザが電子デバイス100に注意を払っていないと判定されたコンテキスト)にあるとの判定に従って、電子デバイス100は、第2のフィードバック(例えば、第2の音声出力及び/又は第2の触知出力)を提供して(5462)、アラートイベントを示す。
第2のフィードバックは第1のフィードバックとは別個である(例えば、第2の音声出力は第1の音声出力とは別個であり、及び/又は第2の触知出力は第1の触知出力とは別個である)。例えば、電子デバイス100が第2の使用コンテキスト(例えば、電子デバイス100のユーザが電子デバイス100に注意を払っていない)にある間に、電子デバイス100は、ユーザの注意を引くために第2の音声出力及び/又は第2の触知出力を提供し、デバイス100が第1の使用コンテキスト(例えば、電子デバイス100のユーザが電子デバイス100に注意を払っている)にある間に、電子デバイス100は、第2の音声出力の音量及び/又は第2の触知出力の振幅はユーザの注意を引くために必要とされないので、低減されたオーディオ及び/又は触知フィードバック(例えば、第1の音声出力及び/又は第1の触知出力)を提供する。ユーザはすでに電子デバイス100に注意を払っているので、電子デバイス100が第1の使用コンテキストにある間に、第2の音声出力よりも小さい音量を有する第1の音声出力、及び/又は第2の触知出力よりも低い振幅を有する第1の触知出力が提供される。
図5DDは、一部の実施形態では、第2のフィードバックの提供(5462)開始に続いて、電子デバイス100が、電子デバイス100の使用コンテキストを再度判定する(5464)ことを示す。例えば、電子デバイス100が第2のフィードバックを提供している間に、電子デバイス100は、電子デバイス100が第2の使用コンテキストから第1の使用コンテキストに遷移したかどうかを監視し続ける(例えば、電子デバイス100が第2のフィードバックを提供している間に、電子デバイス100は、デバイスに注意を払っていないユーザが、現在デバイスに注意を払っているかどうかの判定を繰り返す)。
図5DDはまた、電子デバイス100が第2の使用コンテキストにとどまっているとの判定に従って、電子デバイス100は、第2のフィードバックを提供し続ける(例えば、電子デバイス100が第2の使用コンテキストにとどまっている間に、電子デバイス100は、所定の回数で又は所定の時間間隔で、着信音を出力することなどの、フィードバック終了基準が満たされるまで、第2のフィードバックを提供し続ける)ことを示す。
図5DDは、電子デバイス100が第2の使用コンテキストから第1の使用コンテキストに遷移したとの判定に従って、電子デバイス100は、第2のフィードバックを提供すること(5462)から第1のフィードバックを提供すること(5460)に遷移する(例えば、電子デバイス100は、第2のフィードバックを提供することを停止し、第1のフィードバックを提供することを開始する)ことを更に示す。
図5EEは、電子デバイス100によって提供される第2のフィードバックを示す。第2のフィードバックは、第2の音声出力及び/又は第2の触知出力(例えば、第2のタップベース触知出力及び/又は第2の振動出力)を含む。第2の音声出力は、(図5FFに示す第1の音声出力の第1のオーディオ振幅よりも大きい)第2のオーディオ振幅を有する。図5EEでは、第2の触知出力は、第2の触知出力振幅(例えば、図4F及び図4Iに示すフルタップ)及び第2の時間間隔を有する複数の離散触知出力成分5470(例えば、タップベース触知出力成分)を含む。図5EEでは、第2の触知出力はまた、振動出力を含む。
図5FFは、電子デバイス100によって提供される第1のフィードバックを示す。第1のフィードバックは、第1の音声出力及び/又は第1の触知出力(例えば、第1のタップベース触知出力及び/又は第2の振動出力)を含む。第1の音声出力は、第2の音声出力の第2のオーディオ振幅よりも小さい第1のオーディオ振幅を有する(図5EEに示すように)。図5FFでは、第1の触知出力は、第2の触知出力振幅よりも小さい第1の触知出力振幅(例えば、図4G~図4H及び図4J~図4Kに示すミニタップ又はマイクロタップ)を有し、第2の時間間隔よりも短い第1の時間間隔(例えば、第1の触知出力が、第2の触知出力よりも離散タップベース触知出力の周波数が高い)を有する、複数の離散触知出力成分5472(例えば、タップベース触知出力)を含む。図5FFでは、第1の触知出力は振動出力を含まない。しかしながら、一部の他の実施形態では、第1の触知出力は振動出力を含む。
図5GGは、一部の実施形態に係る、第2のフィードバックの提供から第1のフィードバックへの電子デバイス100の遷移を示す。図5GGでは、タップベース触知出力は、(第2のタップベース触知出力振幅を有する)第2のタップベース触知出力から、(第2のタップベース触知出力振幅よりも小さい第1のタップベース触知出力振幅を有する)第1のタップベース触知出力に変化する。図5GGはまた、電子デバイス100が、第2の触知出力の一部として振動出力を提供することから、第1の触知出力が振動出力を含まないように、振動出力を提供することを停止することに遷移する。図5GGは、電子デバイス100が、第2の音声振幅を有する第2の音声出力を提供することから、第2の音声振幅よりも小さい第1の音声振幅を有する第1の音声出力を提供することに遷移することを更に示す。図5GGに示すように、音声出力は、第1の期間t1にわたって、第2の振幅から第1の振幅に徐々に(例えば、線形又は非線形に)変化する。触知出力(タップベース触知出力を含む)は、第1の期間t1よりも短い第2の期間t2にわたって、第2の触知出力から第1の触知出力に変化する。一部の実施形態では、図5GGに示すように、電子デバイス100は、電子デバイス100が第2の使用コンテキストから第1の使用コンテキストに遷移したと判定することから、時間t1'の期間にわたって第1の音声出力を提供することに遷移し、電子デバイス100が第2の使用コンテキストから第1の使用コンテキストに遷移したと判定することから、時間t1'の期間よりも短い時間t2'の期間にわたって第1の触知出力を提供することに遷移する。第2の音声出力を提供することから第1の音声出力を提供することに、直ちに遷移する代わりに、電子デバイス100は、第2の音声出力を提供することから、一定期間にわたって第1の音声出力を提供することに徐々に遷移し、それによって、第2の音声出力から第1の音声出力への滑らかなオーディオ遷移を提供し、改善されたユーザエクスペリエンスを提供する。
図5HH~図5KKは、一部の実施形態に係る、第1の使用コンテキスト及び第2の使用コンテキストに対する例示的なタップベース触知出力を示す。
図5HHは、電子デバイス100が第2の使用コンテキスト(例えば、デバイスのユーザがデバイスに注意を払っていないと判定されたコンテキスト)にある間に、タップベース触知出力5502が提供され、電子デバイス100が第1の使用コンテキスト(例えば、デバイスのユーザがデバイスに注意を払っていると判定されたコンテキスト)にある間に、タップベース触知出力5504が提供されることを示す。タップベース触知出力5502は、第2の触知出力振幅(例えば、図4F及び図4Iに示すフルタップ)及び第2の時間間隔を有する複数のタップベース触知出力成分を含む。タップベース触知出力5504は、第2の触知出力振幅よりも小さい第1の触知出力振幅(例えば、図4G~図4H及び図4J~図4Kに示すミニタップ又はマイクロタップ)及び同じ第2の時間間隔を有する複数のタップベース触知出力成分を含む。
図5HHはまた、第2の使用コンテキストから第1の使用コンテキストへの電子デバイス100の遷移と共に、タップベース触知出力5502を提供することから、タップベース触知出力5504を提供することへの遷移を示す。
図5IIは、電子デバイス100が第2の使用コンテキスト(例えば、デバイスのユーザがデバイスに注意を払っていないと判定されたコンテキスト)にある間に、タップベース触知出力5512が提供され、電子デバイス100が第1の使用コンテキスト(例えば、デバイスのユーザがデバイスに注意を払っていると判定されたコンテキスト)にある間に、タップベース触知出力5514が提供されることを示す。タップベース触知出力5512は、第2の触知出力振幅(例えば、図4F及び図4Iに示すフルタップ)及び第2の時間間隔を有する複数のタップベース触知出力成分5516を含む。タップベース触知出力5514は、第2の時間間隔よりも短い第1の時間間隔を有する複数のタップベース触知出力を含む(例えば、タップベース触知出力5514は、タップベース触知出力5512よりも、タップベース触知出力成分の周波数が高い)。具体的には、タップベース触知出力5514は、複数のタップベースの触知出力成分5516を含み、タップベース触知出力成分5516の間に、第2の触知出力振幅よりも小さい第1の触知出力振幅を有する複数のタップベース触知出力成分5518(例えば、図4G~図4H及び図4J~図4Kに示すミニタップ又はマイクロタップ)も含む。
図5IIはまた、第2の使用コンテキストから第1の使用コンテキストへの電子デバイス100の遷移と共に、タップベース触知出力5512を提供することから、タップベース触知出力5514を提供することへの遷移を示す。
図5JJは、電子デバイス100が第2の使用コンテキスト(例えば、デバイスのユーザがデバイスに注意を払っていないと判定されたコンテキスト)にある間に、タップベース触知出力5522が提供され、電子デバイス100が第1の使用コンテキスト(例えば、デバイスのユーザがデバイスに注意を払っていると判定されたコンテキスト)にある間に、タップベース触知出力5524が提供されることを示す。タップベース触知出力5522は、第2の触知出力振幅(例えば、図4F及び図4Iに示すフルタップ)を有する複数のタップベース触知出力成分5526及び5528を含む。タップベース触知出力5524は、複数のタップベースの触知出力成分5526を含み、第2の触知出力振幅よりも小さい第1の触知出力振幅を有する複数のタップベース触知出力成分5530、5532、及び5534(例えば、図4G~図4H及び図4J~図4Kに示すミニタップ又はマイクロタップ)も含む。具体的には、第2の触知出力振幅を有するタップベース触知出力成分5528は、第1の触知出力振幅を有するタップベース触知出力成分5532に置き換えられる(例えば、タップベース触知出力5524は、タップベース触知出力成分5528を含まない)。
図5JJはまた、第2の使用コンテキストから第1の使用コンテキストへの電子デバイス100の遷移と共に、タップベース触知出力5522を提供することから、タップベース触知出力5524を提供することへの遷移を示す。
図5KKは、電子デバイス100が第2の使用コンテキスト(例えば、デバイスのユーザがデバイスに注意を払っていないと判定されたコンテキスト)にある間に、タップベース触知出力5542が提供され、電子デバイス100が第1の使用コンテキスト(例えば、デバイスのユーザがデバイスに注意を払っていると判定されたコンテキスト)にある間に、タップベース触知出力5544が提供されることを示す。タップベース触知出力5542は、第2の触知出力振幅(例えば、図4F及び図4Iに示すフルタップ)を有する複数のタップベース触知出力成分5526及び5528を含む。タップベース触知出力5544は、複数のタップベース触知出力成分5526(例えば、フルタップ)を含む。タップベース触知出力5544では、タップベース触知出力成分5528が除外されている。
図5KKはまた、第2の使用コンテキストから第1の使用コンテキストへの電子デバイス100の遷移と共に、タップベース触知出力5542を提供することから、タップベース触知出力5544を提供することへの遷移を示す。
図5LLは、第2の音声出力から第1の音声出力を得るためにフィルタが使用されることを示す(例えば、第1の音声出力は、フィルタを第2の音声出力に適用することによって得られる出力に対応する)。一部の実施形態では、フィルタは、ローパスフィルタである。一部の実施形態では、フィルタは、ハイパスフィルタ、バンドパスフィルタ、又は任意の他のフィルタ(例えば、デジタルフィルタ)である。
図5LLはまた、第2の音声出力のコンテンツに応じて、異なるフィルタ(例えば、カットオフ周波数f1を有するローパスフィルタ1、カットオフ周波数f1とは異なるカットオフ周波数f2を有するローパスフィルタ2、又はカットオフ周波数f1及びf2とは異なるカットオフ周波数f3を有するローパスフィルタ3)が選択されることを示す。
一部の実施形態では、第2の音声出力のコンテンツは、第2の音声出力の周波数成分に基づいて決定される。例えば、高音成分が支配的な音声出力に対しては(カットオフ周波数が高い)ローパスフィルタ1が選択され、低音成分が支配的なオーディオ成分に対しては(カットオフ周波数が低い)ローパスフィルタ2が選択される。
一部の実施形態では、第2の音声出力のコンテンツは、アラートイベントのタイプ(例えば、アラートイベントが着信呼、アラーム、又はタイマに関連付けられているかどうか)に基づいて決定される。例えば、図5LLに示すように、ローパスフィルタ1は、第2の音声出力が着信呼に関連付けられているときに、第2の音声出力から第1の音声出力を得るために使用され、ローパスフィルタ2は、第2の音声出力がアラームに関連付けられているときに、第2の音声出力から第1の音声出力を得るために使用され、及びローパスフィルタ3は、第2の音声出力がタイマに関連付けられているときに、第2の音声出力から第1の音声出力を得るために使用される。
図5LLは、フィルタを音声出力に適用することを記載しているが、類似の方法で、フィルタを触知出力に適用することができる。簡潔にするために、そのような詳細はここでは省略する。
図5MMは、音声出力(例えば、第2音声出力及び第1音声出力)が複数の音声出力トラック(例えば、音声出力トラック1、音声出力トラック2、及び音声出力トラック3)を含むことを示す。図5MMはまた、電子デバイス100が第2の音声出力を提供することから第1の音声出力を提供することへの遷移中に、特定の音声出力トラック(例えば、音声出力トラック2)が除去されることを示す。例えば、音声出力トラック2の振幅は、音声出力トラック2が完全に聞こえなくされる(例えば、消音される)まで徐々に(例えば、直線的又は非直線的に)低減される。任意選択的に、別の音声出力トラック(例えば、音声出力ラック3)が、同時に、又は続いて、聞こえなくされる(例えば、消音される)。一部の実施形態では、音声出力は、3つを超える音声出力トラックを含む。
図5NNは、電子デバイス100が第2の音声出力を提供することから第1の音声出力を提供することに遷移する間に、特定の音声出力トラック(例えば、音声出力トラック2)の振幅が、特定の音声出力トラックを完全に消音することなく(例えば、特定の音声出力トラックの低減された振幅はゼロよりも大きい)低減されることを示す。図5NNはまた、特定の音声出力トラック(例えば、音声出力トラック2)の振幅を低減させた後に、別の音声出力トラック(例えば、音声出力トラック3)の振幅が低減されることを示す。一部の実施形態では、音声出力は、3つを超える音声出力トラックを含む。一部の実施形態では、更に別の音声出力トラックの振幅が、同時に、又はその後に低減される(例えば、音声出力が4つの音声出力トラックを含む場合、第4の音声出力トラックの振幅は、第3の音声出力トラックの振幅の低減と同時に、又はその後に低減される)。
図5OOは、電子デバイス100が第2の音声出力を提供することから第1の音声出力を提供することへの遷移中に、音声出力トラック1が提供されることを示す。続いて、音声出力トラック1が聞こえなくされ、音声出力トラック2が提供される。その後、音声出力トラック2が聞こえなくされ、音声出力トラック3が提供される。オーディオトラック間のこの漸進的な切り替えは、第2の音声出力(例えば、音声出力トラック1を含む音声出力)と、第1の音声出力(例えば、音声出力トラック3を含む音声出力)との間の滑らかな遷移を提供する。
一部の実施形態では、図5OOに示すように、音声出力トラック1は第1の振幅Aを有し、音声出力トラック2は、第1の振幅Aよりも小さい第2の振幅Aを有し、音声出力トラック3は、第2の振幅Aよりも小さい第3の振幅Aを有する。このように、電子デバイス100が音声出力トラック1から音声出力トラック2に、続いて音声出力トラック3に遷移するにつれて、電子デバイス100によって生成された音声出力の音量は徐々に減少する。
一部の実施形態では、音声出力トラック1は第1の楽器に対応し、音声出力トラック2は第2の楽器に対応し、音声出力トラック3は第3の楽器に対応する。
一部の実施形態では、第2の音声出力は、音声出力トラック1、音声出力トラック2、及び音声出力トラック3を含む。電子デバイス100が第2の音声出力を提供することから第1の音声出力を提供することへの遷移中に、電子デバイス100は、音声出力トラック1及び音声出力トラック2を連続的に聞こえなくする(例えば、電子デバイス100は、音声出力トラック2及び音声出力トラック3を維持しながら、最初に音声出力トラック1を聞こえなくし、その後、音声出力トラック3を維持しながら音声出力トラック2を聞こえなくする)。
図6A~図6Cは、一部の実施形態に係る、調整可能制御部の進行調整に基づいて、触知出力を出力する方法600を示すフロー図である。方法600は、ディスプレイ、タッチ感知面、任意選択で、タッチ感知面との接触の強度を検出する1つ以上のセンサ、及び1つ以上の触知出力生成器を備える電子デバイス(例えば、デバイス300、図3、又はポータブル多機能デバイス100、図1A)において実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法600の一部の動作が任意選択で組み合わされ、及び/又は一部の動作の順序が任意選択で変更される。
後述するように、方法600は、調整可能制御部を使用して、値を調整する直感的な方法を提供する。方法は、調整を実行しながら制御部を操作する効果をユーザがよりよく理解し、それによってより効率的なヒューマンマシンインタフェースを作成するように、ユーザに触知出力を提供する。
デバイスは、ディスプレイ(例えば、タッチ感知ディスプレイシステム112)上に、第1の調整可能制御部(例えば、再生位置調整制御部5004)及び第2の調整可能制御部(例えば、音量調整制御部5006)を含む、ユーザインタフェース(例えば、図5Aに示すユーザインタフェース5002などのメディア再生インタフェース)を表示する(602)。
デバイスは、ドラッグジェスチャの(例えば、図5B-1及び図5B-2に示すように、矢印5018によって示される経路に沿って、図5C-1、図5C-3及び図5C-3に示すように、矢印5028によって示される経路に沿って、又は図5E-1及び5E-2に示すように、矢印5074によって示される経路に沿って)、タッチ感知面を横切る第1の接触の動き(604)を検出する。
フォーカスセレクタ(例えば、図5B-1及び図5B-2の5016a及び5016bに示すようなフォーカスセレクタ5016)が第1の調整可能制御部5004に対応する位置にある間に、ドラッグジェスチャが実行されたとの判定に従って(例えば、ドラッグジェスチャは、接触が第1のスライダ5021に対する第1のドラッグ可能アイコン5020に対応する位置にある間に、タッチ感知ディスプレイ112上のフォーカスタッチセレクタ5016によって示される接触によって実行されるか、又はドラッグジェスチャは、カーソル又は他のポインタが、第1のスライダ5021に対する第1のドラッグ可能アイコン5020に対応する位置にある間に、タッチ感知面上の接触によって実行される)、デバイスは、ドラッグジェスチャにおける第1の接触の動きに従って、第1の調節可能制御部5004を調整し(606)(例えば、再生位置パラメータなどの、第1の調整可能制御部5004に対応するパラメータの値を調整するために、第1のドラッグ可能なアイコン5020をタッチ感知ディスプレイ112を横切って移動させる)、1つ以上の触知出力生成器167を用いて、(例えば、5022に示す線の行によって表すような)第1の複数の触知出力を出力する(606)。第1の複数の触知出力における(例えば、5023に示す線によって表すような)それぞれの触知出力は、第1の調整可能制御部5004の進行調整に基づいて(例えば、フォーカスセレクタ5016がディスプレイ上の第1のスライダ内のそれぞれの所定位置にある場合などに、ディスプレイを横切る第1のドラッグ可能なアイコン5020の進行に基づいて)、トリガされる。第1の複数の触知出力は、第1の調整可能制御部5021が調整されるときに、触知出力の第1の分布(例えば、第1のドラッグ可能なアイコンの経路に沿った触知出力トリガの第1の空間分布)を有する。
フォーカスセレクタ(例えば、図5C-1、図5C-2、及び図5C-3の5026a及び5026bに示すようなフォーカスセレクタ5026)が第2の調整可能制御部5006に対応する位置にある間に、ドラッグジェスチャが実行されたとの判定に従って(例えば、ドラッグジェスチャは、接触が第2のスライダ5032に対する第2のドラッグ可能アイコン5030に対応する位置にある間に、タッチ感知ディスプレイ112上のフォーカスタッチセレクタ5026によって示される接触によって実行されるか、又はドラッグジェスチャは、カーソル又は他のポインタが、第2のスライダ5032に対する第2のドラッグ可能アイコン5030に対応する位置にある間に、タッチ感知面上の接触によって実行される)、デバイスは、ドラッグジェスチャにおける第1の接触の動きに従って、第2の調節可能制御部5006を調整し(608)(例えば、音量レベルなどの、第2の調整可能制御部5006に対応するパラメータの値を調整するために、第2のドラッグ可能なアイコン5030をディスプレイ112を横切って移動させる)、1つ以上の触知出力生成器を用いて、(例えば、5034に示す線の行によって表すような)第2の複数の触知出力を出力する(608)。第2の複数の触知出力におけるそれぞれの触知出力は、第2の調整可能制御部を調整する進行に基づいて(例えば、フォーカスセレクタ5026がディスプレイ上の第2のスライダ内のそれぞれの所定位置にある場合などに、音量スライダ5032に沿った第2のドラッグ可能なアイコン5030の進行に基づいて)、トリガされる。第2の複数の触知出力は、第2の調整可能制御部が調整されるときに、触知出力の第1の分布とは異なる(例えば、より小さい又はより大きい)触知出力の第2の分布を有する。例えば、第2のドラッグ可能アイコン5030の経路に沿った触知出力トリガの密度(例えば、音量スライダ5032に沿った触知出力トリガの密度)は、第1のドラッグ可能アイコン5020の経路に沿った触知出力トリガの密度(例えば、再生位置スライダ5021に沿った触知出力トリガの密度)よりも小さい、又はその逆である。一部の実施形態では、図5B-2及び図5C-3に示すように、触知出力をトリガする音量スライダ5032に沿った位置5038は、触知出力をトリガする進行バー5021に沿った位置5022よりも、広く間隔を空けている。
第2の調整可能制御部が調整されるときに、触知出力の第1の分布とは異なる触知出力の第2の分布を有する第2の複数の触知出力を出力することにより、使用されている制御のタイプ、複数の制御のうちのどの制御が使用されているか、及び/又は行われている調整の程度についてのフィードバックをユーザに提供する。改良されたフィードバックをユーザに提供することにより、(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)デバイスの操作性を高め、ユーザ-デバイスインタフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、第1の調整可能制御部5004は、コンテンツ内の位置を選択する進行制御部5021(例えば、再生中のメディアコンテンツの再生位置を調整するように構成された、ドラッグ可能な進行アイコン5020を有するコンテンツスクラバ制御部)であり、第2の制御部5006は、再生中のコンテンツの音量を制御する音量制御部5032(例えば、メディアコンテンツが再生される音量を調整するように構成された、ドラッグ可能な音量スライダアイコン5030を有する制御部)である(610)。一部の実施形態では、コンテンツは、例えば、オーディオ及び/又はビデオコンテンツを含む。
一部の実施形態では、第1の複数の触知出力5022は、第1の調整可能制御部5020が終点(例えば、図5D-1に示す終点5050)に到達したとの判定に従って提供される、図5D-2に示す終点触知出力5058を含む(612)。一部の実施形態では、ドラッグ可能アイコン5020が進行制御部5021の終端などのスクラバの終端に到達すると、異なるフィードバック(例えば、より大きな振幅、及び/又は第1の複数の触知出力における前の出力とのその触知出力プロファイルにおける他の差異を備える触知出力)が提供される。一部の実施形態では、音量制御部5006などの第2の調整可能制御部5006は、音量スクラバの終端において異なるフィードバックを有しない。
制御部の他の部分で提供される触知出力とは異なる、制御部の終点において触知出力をフィードバックすることにより、制御部から利用可能な調整範囲についてのフィードバックをユーザに提供する。改良されたフィードバックをユーザに提供することにより、(例えば、デバイスを操作/対話するときに、適切な入力を提供するようにユーザを支援し、更なる入力がもはや制御に調整を生成しないときにユーザに通知し、ユーザの誤りを削減することによって)デバイスの操作性を高め、ユーザ-デバイスインタフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによって、デバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、第1の複数の触知出力(例えば、線5022の行によって表される)のそれぞれの触知出力(例えば、5023に示す線によって表される)に対して、フォーカスセレクタ5016がディスプレイ上の対応する所定位置にあるときに、それぞれの触知出力がトリガされる(614)。例えば、第1の複数の触知出力における第1の触知出力は、フォーカスセレクタがディスプレイ上の第1の所定位置にあるときに(例えば、5016aで示すように)トリガされ、第1の複数の触知出力における第2の触知出力は、フォーカスセレクタが、ディスプレイ上の第1の所定位置に隣接する、ディスプレイ上の第2の所定位置にあるときに(例えば、5016bで示すように)トリガされ、第1の複数の触知出力における第3の触知出力は、フォーカスセレクタが、ディスプレイ上の第2の所定位置に隣接する、ディスプレイ上の第3の所定位置にあるときにトリガされる、などである。同様に、一部の実施形態では、第2の複数の触知出力のそれぞれの触知出力に対して(例えば、線5034の行によって表されるように)、フォーカスセレクタがディスプレイ上の対応する所定位置にあるときに、それぞれの触知出力がトリガされる。
一部の実施形態では、第1の調整可能制御部は進行制御部であり、ディスプレイ上の所定位置の少なくとも一部は、再生が進行制御部で調整されているメディアコンテンツ用のチャプターマーカに対応する(616)。例えば、図5E-1は進行制御部5078を示す。図5E-2は、触知出力がトリガされるディスプレイ上の位置を表す線(例えば、5080、5084)のシリーズ5084を示す。シリーズ5084は、チャプターマーカ(例えば、線5080)に対応する触知出力トリガ位置を含む。一部の実施形態では、チャプターマーカに対応する触知出力トリガ位置は、トリガマーカに対応しない触知出力トリガ位置とは、1つ以上の別個の特性を有する。例えば、チャプターマーカに対応する線5080は、チャプターマーカに対応しない線5082よりも長い線であり、例えば、より大きい振幅を有する触知出力が、線5080によって示されるディスプレイ上の位置に出力されることを示す。一部の実施形態では、チャプターマーカは、例えば、オーディオトラック、オーディオブックチャプター、及び/又はビデオチャプター用のチャプターマーカである。
ユーザがコンテンツをスクロールする際に、チャプターマーカに対応する触知出力トリガ位置において別個の特性を含む触知出力を出力することにより、スクロールの進行についてのフィードバック、及びコンテンツの所望の部分へより正確にナビゲートするために利用できる情報を、ユーザに提供する。改良された視覚フィードバックをユーザに提供することにより、(例えば、ユーザがコンテンツ内の所望の目的地上に素早くかつ正確に合わせるのを支援することによって)デバイスの操作性を高め、ユーザ-デバイスインタフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、第1の複数の触知出力及び第2の複数の触知出力におけるそれぞれの触知出力は、対応する触知出力プロファイルを有する(618)。一部の実施形態では、触知出力プロファイルは、出力の振幅、出力における動作波形の形状、出力の持続時間(例えば、離散タップ出力又は連続的な進行中の出力)などの所与の触知出力のうちの1つ以上の特性、出力によってシミュレートされているオブジェクトの特性(例えば、シミュレートされた表面上を回転するシミュレートされたボールなどの、シミュレートされたオブジェクトのサイズ、材料、及び/又は質量)、出力によってシミュレートされているオブジェクトの数、及び/又はシミュレートされたオブジェクトの動きの特性を含む。
一部の実施形態では、第1の複数の触知出力のそれぞれの触知出力は、第1のそれぞれの触知出力プロファイルを有し、第2の複数の触知出力のそれぞれの触知出力は、第1のそれぞれの触知出力プロファイルとは異なる第2のそれぞれの触知出力プロファイルを有する(620)。例えば、図5C-2の5034に示すラインの行によって表される複数の触知出力において、線の増大していく長さは、例えば、増大していく振幅を表す。5034で表される複数の触知出力の第1の触知出力(例えば、フォーカスセレクタが5026aで示す位置にあるときに発生する触知出力)は、第1の触知出力プロファイル(例えば、第1の振幅)を有し、5034で表される複数の触知出力の第2の触知出力(例えば、フォーカスセレクタが5026bで示す位置にあるときに発生する触知出力)は、第2の触知出力プロファイル(例えば、第1の振幅よりも大きい第2の振幅)を有する。
一部の実施形態では、第1の複数の触知出力における触知出力の振幅は一定であり、第2の複数の触知出力における触知出力の振幅は可変である(622)。例えば、第2の複数の触知出力における振幅は、ステップ関数に従って増大し、減少し、振動し、及び/又は可変である。一部の実施形態では、第2の制御は、コンテンツのパラメータの大きさ(例えば、音量)を調節し、触知出力の大きさは、パラメータの大きさが増大するにつれて増大する。一部の実施形態では、図5B-2の触知出力を表す線5022の行は、一定である触知出力の振幅の例であり、図5C-2の線5034の行は、可変である触知出力の振幅の例である。
第1の複数の触知出力(例えば、第1の調節可能制御部に対応する)に対して一定である振幅を有し、及び第2の複数の触知出力(例えば、第2の調節可能制御部に対応する)に対して可変である振幅を有する触知出力を出力することにより、使用されている制御のタイプ、複数の制御の中のいずれの制御が使用されているか、及び/又は行われている調整の程度についてのフィードバックをユーザに提供する。改良されたフィードバックをユーザに提供することにより、(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)デバイスの操作性を高め、ユーザ-デバイスインタフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、第1の複数の触知出力における触知出力の振幅は、第1の態様(例えば、増大、減少、振動、及び/又はステップ関数に従って可変)で変化し、第2の複数の触知出力における触知出力の振幅は、第1の態様とは異なる第2の態様で変化する(624)。
一部の実施形態では、第1の複数の触知出力における触知出力は、対応する音声出力を伴う(626)。
一部の実施形態では、音声出力は、可変である音声パラメータを有する(628)。一部の実施形態では、触知出力パラメータ(例えば、振幅、(触知出力を振動させる)周波数、及び/又は触知出力の分布)が変化すると、音声パラメータ(例えば、振幅及び/又は周波数)が変化する。例えば、触知パラメータが増大すると音声パラメータは増大し、触知パラメータが減少すると音声パラメータは減少する)。
一部の実施形態では、ユーザインタフェースは、再生/一時停止トグル制御部5010(例えば、仮想再生/一時停止ボタン)を含む(630)。デバイスは、フォーカスセレクタが再生/一時停止トグル制御部5010に対応する位置にある(図5B-1の一時停止状態及び図5C-1の再生状態で示される)間に、タッチ感知面上の第2の接点による入力を検出する。例えば、カーソル又は他のポインタが、ディスプレイ上の再生/一時停止ボタンにあるときに、デバイスは、再生/一時停止ボタンにおけるタッチ感知ディスプレイ上の接触によってタップジェスチャを検出するか、又はタッチ感知面上の接触によってタップジェスチャを検出する。一部の実施形態では、第2の接触による入力を検出することに応じて、入力がメディアコンテンツを再生する要求に対応する(例えば、再生/一時停止ボタンが、一時停止から再生に切り替えられている)との判定に従って、デバイスは、メディアコンテンツを再生し、再生/一時停止トグル制御部を再生状態で表示し、1つ以上の触知出力生成器を用いて、第1の触知出力プロファイルを有する少なくとも1つの触知出力(例えば、図5C-2の5044でボックスで表される触知出力)を出力する。入力がメディアコンテンツを一時停止する要求に対応する(例えば、再生/一時停止ボタンが、再生から一時停止に切り替えられている)との判定に従って、デバイスは、メディアコンテンツを一時停止し、再生/一時停止トグル制御部を一時停止状態で表示し、1つ以上の触知出力生成器を用いて、第1の触知出力プロファイルとは異なる第2の触知出力プロファイルを有する少なくとも1つの触知出力(例えば、図5C-3の5046でボックスで表される触知出力)を出力する。例えば、一時停止から再生への切り換えにより、「ボインギー」触知出力(例えば、一部の実施形態では経時的に減衰される、周期的なステップ関数又は正弦波的に変化する振幅を有する触知出力)をもたらすが、再生から一時停止への切り替えは、異なる「非ボインギー」触知出力(例えば、変化しない振幅を有する複数の触知出力)、又はその逆をもたらす。
マルチ状態制御部(再生/一時停止トグル制御など)において第1の状態の変更を行う要求(例えば、メディアコンテンツを再生する)が受信されたときに、第1の触知出力プロファイルを有し、及びマルチ状態制御部において第2の状態の変更を行う要求(例えば、コンテンツを一時停止する)が受信されたときに、第2の触知出力プロファイルを有する触知出力を出力することにより、マルチ制御部の中のどの制御部が操作されているか、及び(例えば、制御部がマルチ状態制御部であるというインジケーションを提供することによって)制御部の性質に関するフィードバックをユーザに提供する。改良されたフィードバックをユーザに提供することにより、(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)デバイスの操作性を高め、ユーザ-デバイスインタフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、改善されたフィードバックにより、ユーザは、デバイスのディスプレイ上で電源を入れることなく、再生/一時停止トグル制御部などの制御部を操作することができる。
図6A~6Cにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法700、800、900、1000、1100、1200、及び1300)に関して本明細書に記載される他の処理の詳細はまた、図6A~図6Cに関して上記した方法600にも、類似の様式で適用可能であることに留意されたい。例えば、方法600に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、触知出力、フォーカスセレクタ、及びアニメーションは、任意選択で、本明細書に記載の他の方法(例えば、方法700、800、900、1000、1100、1200、及び1300)に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、触知出力、フォーカスセレクタ、及びアニメーションのうちの1つ以上の特性を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図7A~図7Dは、一部の実施形態に係る、接触の特性強度の検出された増大に応じて触知出力を提供する方法700を示すフロー図である。方法700は、ディスプレイ、タッチ感知面、タッチ感知面上の接触の強度を検出するように構成された1つ以上のセンサ、及び1つ以上の触知出力生成器を備える電子デバイス(例えば、デバイス300、図3、又はポータブル多機能デバイス100、図1A)において実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法700の一部の動作が任意選択で組み合わされ、及び/又は一部の動作の順序が任意選択で変更される。
以下に説明するように、方法700は、ユーザ入力が受信されるとフィードバックを提供する。フィードバックは、タッチ感知面との接触の強度の直感的な感覚をユーザに与える。方法は、入力と入力に対するデバイス応答との間の接続をユーザが理解するのを助け、それによってより効率的なヒューマンマシンインタフェースを生成する。
ディスプレイ上に第1のユーザインタフェースを表示している間に、デバイスはタッチ感知面上の接触を検出する(702)。例えば、デバイスは、図5Fに示すように、フォーカスセレクタ5100が示す位置の接触を検出する。
デバイスは、タッチ感知面上の接触の特性強度の第1の増大を検出する(704)。例えば、フォーカスセレクタ5100によって示す接触の特性強度は、図5Hに示す強度レベルメータ5104aによって示すように、ヒント強度閾値レベルITを下回ってから、強度レベルメータ5104a-2によって示すように、ヒント強度閾値レベルITを上回るまで増大し、強度レベルメータ5104a-3によって示すように、ヒント強度閾値レベルITを上回って増大し続ける。
タッチ感知面上の接触の特性強度の第1の増大を検出することに応じて、デバイスは、1つ以上の触知出力生成器を用いて、第1の触知出力プロファイルを有する第1の触知出力を生成する(706)。第1の触知出力プロファイルは、例えば、周期的出力を含むプロファイル、並びに/又は、特性強度が増大するにつれて、任意選択的に、(例えば、直線的、指数関数的、対数的、及び/又はステップ関数に従って)単調に増大及び/又は減少する振幅を含む出力(及び/又は触知出力の分布)である。第1の触知出力プロファイルは、第1の強度基準を満たすことへの接触の特性強度の近接度に従って(動的に)変化する(例えば、第1の触知出力プロファイルの振幅は、特性強度が第1の強度閾値に近づくにつれて増大する)出力パラメータを含む。例えば、第1の触知出力は、強度レベルメータ5104aによって示すようにヒント強度閾値レベルITを下回ってから、強度レベルメータ5104a-2によって示すようにヒント強度閾値レベルITを上回るまで、接触の特性強度が増大するにつれて、図5Hの触知出力グラフ5106の5110に示すように、振幅が増大していく出力であり、強度レベルメータ5104a-3によって示すように、ヒント強度閾値レベルITを上回って増大し続ける。
接触の特性強度が増大するにつれて変化する触知出力プロファイルを有する触知出力を生成することにより、ユーザの入力に基づきデバイスによって検出されている強度レベルについてのフィードバックをユーザに提供し、より強く押圧すると、デバイスにユーザインタフェースエレメントに関連付けられた動作を実行させることを示す触知フィードバックをユーザに提供する。改善された触知フィードバックをユーザに提供することにより、(例えば、ユーザが適切な入力を提供するのを助け、デバイスを操作/対話するときにユーザミスを低減することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
第1の触知出力プロファイルを有する触知出力を生成している間に、デバイスは、タッチ感知面上の接触の特性強度の第2の増大を検出する(708)。例えば、フォーカスセレクタ5100によって示す接触の特性強度は、図5Gに示す強度レベルメータ5104aによって示すように、軽押圧強度閾値レベルITを下回ってから、図5Gに示す強度レベルメータ5104bによって示すように、軽押圧強度閾値レベルITを上回るまで増大する。タッチ感知面(710)上の接触の特性強度の第2の増大を検出することに応じて、タッチ感知面上の接触の特性強度が第1の強度基準を満たす(例えば、接触の特性強度が、軽押圧強度閾値ITなどの強度閾値を上回って増大する)との判定に従って、デバイスは、第1の触知出力プロファイルとは異なる第2の触知出力プロファイルを有する第2の触知出力(例えば、短い持続時間の「ミニタップ」などのタップ)を生成する。例えば、第2の触知出力は、図5Gの触知出力グラフ5106のバー5112によって表されるようなタップである。一部の実施形態では、強度基準は、(例えば、図4C~図4Eを参照して上述したような)時間変化成分を含む。タッチ感知面上の接触の特性強度が第1の強度基準を満たさないとの判定に従って、デバイスは、第1の触知出力プロファイルを有する第1の触知出力を生成し続け、接触の特性強度の第2の増大に従って、第1の強度基準を満たすことへの接触の特性強度の近接度に基づいて、出力パラメータを(動的に)変化させる。例えば、図5Hの強度レベルメータ5104a-3に示すように、接触の特性強度が軽押圧強度閾値ITを下回っているとの判定に従って、デバイスは第1の触知出力5110を生成し続ける。
一部の実施形態では、デバイスは、タッチ感知面上の接触の特性強度の第2の増大を検出することに応じて、タッチ感知面上の接触の特性強度が第1の強度基準を満たすかどうかを判定する(712)。
一部の実施形態では、接触の特性強度の第2の増大を検出しながら、少なくとも第1の強度基準が満たされるまで、第1の触知出力を継続する(714)。一部の実施形態では、第1の触知出力は、正弦波出力、ステップ関数パルスの反復ストリーム(例えば、<0.1秒間隔)などの進行中の出力であるか、又は少なくとも第1の強度基準が満たされるまで続く、周期的若しくは反復性のプロパティを有する別の関数である。
一部の実施形態では、第2の触知出力は、離散触知出力(例えば、図5Gの触知出力グラフ5106に示すバー5112によって表されるタップなどの単一タップ)である(716)。一部の実施形態では、第2の触知出力プロファイルは、例えば、第2の触知出力の振幅が、第1の強度基準(例えば、軽押圧強度閾値)が満たされるときに第1の触知出力よりも大きくなるように、第1の触知出力プロファイルの少なくとも一部よりも高い振幅を有する。例えば、図5Gに示すように、触知出力グラフ5106におけるバー5512によって表されるタップの振幅は、5110で示される触知出力の最高振幅よりも高い。
一部の実施形態では、タッチ感知面上の接触の特性強度が第1の強度基準を満たすとの判定に従って、デバイスは、第1の触知出力の出力を停止する(718)(例えば、連続触知出力を停止する)。
一部の実施形態では、接触の特性強度の第2の増大を検出した後、デバイスは、接触の特性強度の減少を検出する(720)。タッチ感知面上の接触の特性強度が第1の強度基準(例えば、軽押圧強度閾値IT)を満たした後に、接触の特性強度の減少が検出されたとの判定に従って、デバイスは、第1の触知出力を生成する(例えば、接触の特性強度が第1の強度基準を既に満たしていることを示すためにフィードバックをユーザに提供する)ことを取り止める。タッチ感知面上の接触の特性強度が第1の強度基準を満たす前に、接触の特性強度の減少が検出されたとの判定に従って、デバイスは、第1の触知出力プロファイルを有する第1の触知出力を生成し続け、第1の強度基準を満たすことへの接触の特性強度の近接度に従って出力パラメータを変化させ続ける(例えば、ユーザにフィードバックを提供して、接触の特性強度が第1の強度基準をまだ満たしていないことを示す)。例えば、図5Jに示すように、接触の特性強度は、強度レベルメータ5132cに示すように、軽押圧強度閾値ITを下回ってから、強度レベルメータ5132dに示すように、より低い強度レベルまで減少する。接触の特性強度が第1の強度基準を満たさなかった(例えば、軽押圧強度閾値ITを上回って増大しなかった)ため、デバイスは、第1の触知出力5110を生成し続け、接触の特性強度が低下するにつれて触知出力5110の振幅を変化させ続ける。
一部の実施形態では、第1の触知出力が生成されている間に、デバイスは、第1の強度基準を満たすことへの接触の特性強度の近接度に従って変化するアニメーションを表示する(722)。一部の実施形態では、アニメーションの変化は、触知出力の変化と平行である(例えば、アニメーションのパラメータは、第1の触知出力プロファイルの出力パラメータが変化すると変化する)。一部の実施形態では、アニメーションは、接触の特性強度に従って動的に調整される連続アニメーションである。一部の実施形態では、アニメーションは「ヒント」アニメーションであり、選択された第1のユーザインタフェースオブジェクトに対応するプレビュー領域を表示する「ピーク」強度閾値に強度が近づくにつれて、選択された第1のインタフェースオブジェクト以外のユーザインタフェースオブジェクトを(例えば、オブジェクトのぼかし半径を増大させることによって)動的に不明瞭にする。例えば、強度レベルメータ5104a、5104a-2及び5104a-3によって示すように、接触5100の特性強度が時間tから時間t0.6まで増大すると、図5Hに示すように、ユーザインタフェースの背景が、(5102aから5102a-2及び5102a-3への遷移によって示すように)次第にぼやけるようにアニメーション化される。
一部の実施形態では、アニメーションは、第1の接触の特性強度に従って背景の画像のシーケンスをアニメーション化することを含む。一部の実施形態では、変化は、背景の1つ以上のオブジェクトの接触、色、コントラスト、又は明るさに対するZ深度、焦点、半径方向の位置を変化させることを含み、第1のユーザインタフェースの背景の外観における動的変化は、(例えば、直接に、線形に、非線形に比例するか、又は接触の特性強度に基づいて決定された比率で)第1の接触の特性強度に少なくとも部分的に基づく。
一部の実施形態では、第1のユーザインタフェースの背景の外観の動的変化は、ディスプレイ上の第1のフォーカスセレクタ5100の位置に少なくとも部分的に基づく(例えば、背景パターンの歪みは、フォーカスセレクタにより近い背景パターンの部分に対してより顕著である)。例えば、仮想メッシュは、タッチスクリーン112のエッジに近い位置よりも、接触に近い位置においてより多く押し戻される。
一部の実施形態では、第1の触知出力の出力パラメータは、第1の強度基準を満たすことへの接触の特性強度の近接度に従って非線形に変化する(724)。例えば、第1の触知出力の出力パラメータは、指数関数的、対数的、及び/又は増大するステップ関数(例えば、一連のタップ)として変化する。
一部の実施形態では、第1の触知出力を生成した後、デバイスは、第1の強度基準に含まれる閾値強度より大きい強度(例えば、接触の特性強度が、軽押圧閾値ITなどの強度閾値を上回って増大する)まで、タッチ感知面上の接触の特性強度の第3の増大を検出する(726)。例えば、接触5100の特性強度は、図5Gの強度レベルメータ5104bに示すように、深押圧強度閾値ITを下回る強度レベルから、強度レベルメータ5104cに示すように、深押圧強度閾値ITを上回る強度レベルまで増大する。タッチ感知面上の接触の特性強度の第3の増大を検出することに応じて、デバイスは、1つ以上の触知出力生成器を用いて、第2の強度基準(例えば、接触の特性強度が深押圧閾値ITなどの強度閾値を上回って増大する基準を含む)を満たすことへの接触の特性強度の近接度に従って変化する第3の触知出力プロファイルを有する(例えば、第3の触知出力プロファイルの振幅が線形的又は非線形的に増大する)第3の触知出力を生成する。一部の実施形態では、第3の触知出力は、(例えば、5112に示すように)第2の触知出力(「ミニタップ」)が生成されたか、又は終了した後に生成される。例えば、デバイスは、図5Gに示すように、接触5100の特性強度が5104bから5014cに増大するにつれて増大する触知出力を含む触知出力5118を生成する。
一部の実施形態では、第3の触知出力が生成される間に、デバイスは、第2の強度基準を満たすことへの接触の特性強度の近接度に従って変化するアニメーションを表示する(728)。一部の実施形態では、接触の特性強度が軽押圧閾値ITと深押圧閾値ITとの間で増大すると、プレビュー領域5100(例えば、選択されたユーザインタフェースオブジェクトに対応するプレビュー領域)を拡大するアニメーションが(例えば、一部の実施形態では、軽押圧閾値ITを下回って生じるように、他のユーザインタフェースオブジェクトを不明瞭にするアニメーションの代わりに)表示される。
一部の実施形態では、タッチ感知面上の接触の特性強度が第2の強度基準を満たすとの判定に従って、デバイスは、第4の触知出力プロファイル(例えば第2の触知出力よりも長い持続時間の、単一タップなど)を有する第4の触知出力を生成する(730)。一部の実施形態では、第2の強度基準は、接触の特性強度が深押圧強度閾値ITを上回って増大するときに満たされる。一部の実施形態では、第3の触知出力は、接触の強度が変化するにつれて動的に変化する連続触知出力であり、第4の触知出力は、接触が第2の強度基準を満たすときに生成される離散触知出力である。例えば、接触5100の特性強度が、強度メータ5104cに示すように、深押圧強度閾値ITを上回って増大したとの判定に従って、第4の触知出力が(例えば、触知出力グラフ5106のバー5120によって表される単一タップとして)生成される。
一部の実施形態では、第3の触知出力プロファイル(例えば、機能)は第1の触知出力プロファイルとは異なる(732)。
一部の実施形態では、タッチ感知面上の接触の特性強度が第3の強度基準を満たすとの判定に従って、デバイスは、第5の触知出力プロファイルを有する第5の触知出力を生成し(734)、第5の触知出力の持続時間は第1の触知出力の持続時間よりも短い(例えば、第5の触知出力はタップ出力である)。一部の実施形態では、図5Gの強度レベルメータ5104dで示すように、深押圧閾値ITよりも大きい過押圧強度閾値ITOPを上回って接触の特性強度が増大すると、第3の強度基準が満たされる。例えば、触知出力グラフ5106のバー5122によって表すようなタップ入力は、5104dで示すように、接触の特性強度が過押圧強度閾値ITOPを上回って増大すると生成される。
一部の実施形態では、第1の強度基準は、接触の特性強度が第1の強度閾値(例えば、軽押圧強度閾値IT)を超える場合に満たされる基準を含み(736)、第2の強度基準は、接触の特性強度が第1の強度閾値よりも大きい第2の強度閾値(例えば深押圧閾値IT)を超える場合に満たされる基準を含み、及び第3の強度基準は、接触の特性強度が第2の強度閾値より大きい第3の強度閾値(例えば、過押圧強度閾値ITOP)を超える場合に満たされる基準を含む。一部の実施形態では、デバイスは、接触の特性強度が第2の強度閾値と第3の強度閾値との間にある間に、連続触知出力を生成する(736)ことを取り止める。例えば、図5Gに示すように、接触5100の特性強度がITとITとの間にあるとき、時間tと時間tとの間では触知出力は生成されない。一部の実施形態では、接触の特性強度が第2の強度閾値と第3の強度閾値との間にある間、いかなる触知出力(及びいかなる対応するアニメーションなし)も生成されない。一部の実施形態では、第1の強度閾値に近づくにつれて生じる可変/動的触知出力(例えば、第1の触知出力5110)、及び第2の強度閾値に近づくにつれて生じる可変/動的触知出力(例えば、第3の触知出力5118)とは対照的に、第3の強度閾値に近づくにつれて可変/動的触知出力は存在しない。一部の実施形態では、第1の強度閾値に近づき、第2の強度閾値として生じる変化するアニメーションに近づくにつれて生じる変化するアニメーションとは対照的に、第3の強度閾値に近づくにつれて変化するアニメーションは存在しない。
一部の実施形態では、第2の強度基準を満たすことへの接触の特性強度の近接度に従って変化するアニメーションを表示している間に、デバイスは、タッチ感知面上の接触の特性強度の第4の増大を検出する(738)。接触の特性強度の第4の増大を検出することに応じて、タッチ感知面上の接触の特性強度が第2の強度基準を満たす(例えば、図5Gに示す、強度レベルメータ5104cに示すように、接触の特性強度が深押圧閾値ITを超える)との判定に従って、デバイスは、第1のユーザインタフェースとは別個の第2のユーザインタフェースを表示し(例えば、デバイスは、ユーザインタフェース5102aとは別個のユーザインタフェース5102cを表示する)、タッチ感知面上の接触の特性強度が第3の強度基準を満たす(例えば、接触の特性強度が、強度レベルメータ5104dに示すように、過押圧閾値ITOPを超える)との判定に従って、デバイスは、第1のユーザインタフェースを再表示する(例えば、デバイスは、ユーザインタフェース5102dに示すように、5102aに示すユーザインタフェースを再表示する)。
図7A~7Dにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法600、800、900、1000、1100、1200、及び1300)に関して本明細書に記載される他の処理の詳細はまた、図7A~図7Dに関して上記した方法700にも、類似の様式で適用可能であることに留意されたい。例えば、方法700に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、触知出力、強度閾値、フォーカスセレクタ、及びアニメーションは、任意選択で、本明細書に記載の他の方法(例えば、方法600、800、900、1000、1100、1200、及び1300)に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、触知出力、強度閾値、フォーカスセレクタ、及びアニメーションのうちの1つ以上の特性を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図8A~図8Cは、一部の実施形態に係る、フォーカスセレクタの移動に対応する触知出力のシーケンスを生成する方法800を示すフロー図である。方法800は、ディスプレイ、タッチ感知面、任意選択で、タッチ感知面との接触の強度を検出する1つ以上のセンサ、及び1つ以上の触知出力生成器を備える電子デバイス(例えば、デバイス300、図3、又はポータブル多機能デバイス100、図1A)において実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法800の一部の動作が任意選択で組み合わされ、及び/又は一部の動作の順序が任意選択で変更される。
以下に説明するように、ユーザインタフェースオブジェクトとのユーザ対話が検出されると、方法800は、フィードバックを提供して、ユーザインタフェースオブジェクトが移動のために選択されたかどうかの直感的な感覚をユーザに与える。方法は、入力と入力に対するデバイス応答との間の接続をユーザが理解するのを助け、それによってより効率的なヒューマンマシンインタフェースを生成する。
デバイスは、複数のユーザインタフェースオブジェクト(例えば、図5Mのユーザインタフェース5154a~5154eに示すユーザインタフェースオブジェクト5152及び5162など)を含むユーザインタフェースを表示する(802)。
デバイスは、ディスプレイ上の第1の方向における複数のユーザインタフェースオブジェクトの第1のユーザインタフェースオブジェクトからフォーカスセレクタ5150を移動させる接触によるタッチ入力を、タッチ感知面上で検出する(804)。例えば、デバイスは、接触が第1のユーザインタフェースオブジェクトにある間に開始するタッチ感知ディスプレイ上の接触によるドラッグジェスチャを検出し(例えば、フォーカスセレクタ5150は、第1のユーザインタフェースオブジェクト5152にある)、又は、デバイスは、カーソル又は他のポインタがディスプレイ上の第1のユーザインタフェースオブジェクトにある間に開始するタッチ感知面上の接触によるドラッグジェスチャを検出する。
タッチ入力(806)の検出に応じて、フォーカスセレクタが第1の方向に移動するときに(例えば、図5Mに示すように)、第1のユーザインタフェースオブジェクトが選択されたとの判定に従って、デバイスは、1つ以上の触知出力生成器によって、第1の方向におけるフォーカスセレクタの動きに対応する触知出力のシーケンス(例えば、図5Mの触知出力グラフ5156に示すような触知出力5157のシーケンス)を生成する。フォーカスセレクタが第1の方向に移動するときに(例えば、図5Oに示すように)、第1のユーザインタフェースオブジェクトが選択されていないとの判定に従って、デバイスは、(例えば、図5Oの触知出力グラフ5198に示すように)第1の方向におけるフォーカスセレクタの動きに対応する触知出力のシーケンスの生成を取り止める。
一部の実施形態では、タッチ入力を検出することに応じて、デバイスは、第1のユーザインタフェースオブジェクトが選択されたか否かに関係なく、フォーカスセレクタの移動に従って第1のユーザインタフェースオブジェクトを移動させる(808)。例えば、第1のユーザインタフェースオブジェクトがマルチページスプリングボード内の第1のアプリケーション起動アイコンであり、かつ、スプリングボードが通常のナビゲーションモードにあるとき、第1のアプリケーション起動アイコン上で開始する接触によるタッチ入力がページを第1の方向(例えば、左方向)にスクロールすると、第1のアプリケーション起動アイコンは、第1のアプリケーション起動アイコンを選択することなく、かつ、触知出力のシーケンスを提供することなく、ページの残余とともに移動する。図5Oに示すように、フォーカスセレクタ5150が矢印5194によって示す経路に沿って移動すると、第1のアプリケーション起動アイコン(ユーザインタフェースオブジェクト5152)が(ユーザインタフェース5192aに示す第1の位置から、ユーザインタフェース5192bに示す第2の位置に、次いでユーザインタフェース5192cに示す第3の位置に)移動するように、(例えば、複数のユーザインタフェースオブジェクトを含む)スプリングボードが移動する。対照的に、スプリングボードがアイコン再構成モードにある場合、第1のアプリケーション起動アイコン上で開始する接触によるタッチ入力は、第1のアプリケーション起動アイコンを選択し、触知出力のシーケンスの提供中に、アイコンを第1の方向に移動させる。例えば、図5Mでは、フォーカスセレクタ5150によって示される位置における接触は、第1のアプリケーション起動アイコン5152を選択し、第1のアプリケーション起動アイコンを(ユーザインタフェース5154a~5154eに示すように)移動させる。
一部の実施形態では、タッチ入力を検出することに応じて、第1のユーザインタフェースオブジェクトが選択されたとの判定に従って(例えば、フォーカスセレクタが第1のユーザインタフェースオブジェクトに対応する位置にある間に、固定入力(例えば、プレスアンドホールド)に応じて)、デバイスは、複数のユーザインタフェースオブジェクト内の少なくとも1つの他のユーザインタフェースオブジェクトに対して(例えば、上及び/又は間に)、第1のユーザインタフェースオブジェクトを移動させる(810)。例えば、図5Mのユーザインタフェース5154a~5154eに示すように、第1ユーザインタフェースオブジェクト5152は、ユーザインタフェースオブジェクト5162の上を移動する。一部の実施形態では、選択されると、第1のユーザインタフェースオブジェクトは、複数のユーザインタフェースオブジェクト内の他のオブジェクトの全てに対して移動する。
一部の実施形態では、タッチ入力を検出することに応じて、第1のユーザインタフェースオブジェクトが選択されたとの判定に従って、デバイスは、第1のユーザインタフェースオブジェクトに対応する別のオブジェクトのプレビュー(例えば、画像のセット(例えば、行及び/又はグリッド)からの画像のサムネイルなどのサムネイル画像)を表示する(812)。例えば、図5Qに示すように、ユーザインタフェースオブジェクト5204が選択されると、サムネイル画像5206bがユーザインタフェースオブジェクト5204のプレビューとして示される。
一部の実施形態では、第1のユーザインタフェースオブジェクトが移動すると、デバイスは、複数のユーザインタフェースオブジェクト内の少なくとも1つの他のユーザインタフェースオブジェクトに対する第1のオブジェクトの移動に対応する離散触知出力を生成する(814)(例えば、アプリケーションアイコンが他のアプリケーションアイコンの上を通過すると、離散触知出力が生成される)。例えば、触知出力グラフ5156に示すように、離散触知出力5164が時間tにおいて生成されて、(ユーザインタフェース5154dに示すように)ユーザインタフェースオブジェクト5152がユーザインタフェースオブジェクト5162の上を移動したことを示す。一部の実施形態では、アイコンが他のアイコンの上を通過すると、離散触知出力(例えば、触知出力5164)が生成され、アイコンの移動に対応する進行中の触知出力のシーケンス(例えば、一連の触知出力5157)も生成されている。
一部の実施形態では、第1のユーザインタフェースオブジェクトが移動すると、デバイスは、第1のユーザインタフェースオブジェクトの動きに応じて、他のユーザインタフェースオブジェクトの動きに対応する離散触知出力を生成する(816)(例えば、第1のオブジェクトがUIの周りを移動すると、他のアプリケーションアイコンが再配置され、及び/又は所定場所にスナップする)。例えば、図5Mのユーザインタフェース5154eでは、ユーザインタフェースオブジェクト5162は、(ユーザインタフェース5154aに示すように)ユーザインタフェースオブジェクト5152が以前に配置された位置内にスナップされている。ユーザインタフェースオブジェクト5162が新たな位置内にスナップされた時間tにおいて、離散触知出力5166が生成される。一部の実施形態では、動きに対応する進行中の触知出力のシーケンス(例えば、5157)が生成されている間に、離散触知出力(例えば、5166)が生成される。
一部の実施形態では、第1のユーザインタフェースオブジェクトの選択に応じて、デバイスは、第1のユーザインタフェースオブジェクトの動きに対応する触知出力のシーケンスとは異なる(例えば、より大きい振幅、より高い周波数、より高い密度、及び/又は他の異なる触知出力プロファイルを有するタップ又は一連のタップ)、第1のユーザインタフェースオブジェクトの選択に対応する触知出力を生成する(818)。
一部の実施形態では、タッチ入力を検出することに応じて、デバイスは、第1のユーザインタフェースオブジェクトが選択されていないとの判定に従って、第1のユーザインタフェースオブジェクトと一緒に、複数のユーザインタフェースオブジェクト内の第2のユーザインタフェースオブジェクトを移動させる(820)(例えば、第1のオブジェクトが選択されていない場合に、触知出力を提供せずにスクロールする)。例えば、図5Oでは、第1のユーザインタフェースオブジェクト5152は、フォーカスセレクタ5150によって示す接触によっては選択されず、矢印5194によって示す経路に沿ったフォーカスセレクタ5150の移動により、第2のユーザインタフェースオブジェクト5162を第1のユーザインタフェースオブジェクト5152と一緒に移動させる。一部の実施形態では、第1のユーザインタフェースオブジェクトは、全ての他のオブジェクトと一緒に移動する。
一部の実施形態では、タッチ入力の第1の部分を検出することに応じて(例えば、フォーカスセレクタが第1のユーザインタフェースオブジェクトに対応する位置にある間に)、デバイスは、第1のユーザインタフェースオブジェクトを選択し(822)、ユーザインタフェースが、第1のユーザインタフェースオブジェクトが選択された第1の状態(例えば、アイコン再構成モード)にあることを示す進行中の触知出力を生成する。例えば、図5Mでは、フォーカスセレクタ5150は(例えば、閾値期間を上回る間)ユーザインタフェースオブジェクト5152に対応する位置にあり、ユーザインタフェースオブジェクト5152が選択されることとなる。デバイスは、触知出力グラフ5156に示すように、一連のタップを含む進行中の触知出力5157を生成して、ユーザインタフェースオブジェクト5152が選択されたことを示す。一部の実施形態では、進行中の触知出力は、デバイスが第1の状態にある限り継続する。一部の実施形態では、進行中の触知出力は、デバイスが第1の状態にある限り継続し、接触がタッチ感知面上で検出され続ける。一部の実施形態では、タッチ感知面上で接触の検出されなくなると、進行中の触知出力が停止する。
一部の実施形態では、タッチ入力が検出されている間に、かつ、第1のユーザインタフェースオブジェクトが選択されている間に、デバイスは、第1の状態(例えば、図5Mに示すように、アプリケーション起動アイコンが、アプリケーションスプリングボード内の他のアプリケーション起動アイコン間を移動しているとき)から第2の状態へのユーザインタフェースの状態の変化を検出する(824)(例えば、アプリケーション起動アイコンがフォルダ又はフォルダアイコンに移動されると、又はアプリケーション起動アイコンが別のアプリケーション起動アイコンに対応する場所に移動されると、その結果、自動的にフォルダが生成される)。例えば、図5Nでは、ユーザインタフェースは、アプリケーション起動アイコン(例えば、ユーザインタフェースオブジェクト5178)が他のアプリケーション起動アイコンの中を移動している(例えば、アプリケーション起動アイコン5182の上を移動している)第1の状態から、アプリケーション起動アイコン5178がフォルダアイコン5184に対応する位置に移動する第2の状態に変更する。第1の状態から第2の状態へのユーザインタフェースの状態の変化を検出することに応じて、デバイスは、進行中の第1状態の触知出力(例えば、第1のユーザインタフェースオブジェクトが選択され、かつ、ユーザインタフェースが触知出力グラフ5168に示す一連のタップ5167などの第1の状態にあることを示す進行中の触知出力)から、進行中の第1状態の触知出力とは異なる1つ以上の第2状態の触知出力(例えば、触知出力グラフ5168に示す一連のタップ5169)に変化させ、第1の状態から第2の状態へのユーザインタフェースの状態の変化が生じたことを示す。一部の実施形態では、1つ以上の第2状態の触知出力は、進行中の第1状態の触知出力とは異なる出力プロファイルを有する(例えば、第2状態の触知出力は、触知出力の振幅、触知出力の密度、及び/又は触知出力の周波数がより小さい)。
一部の実施形態では、1つ以上の第2の状態の触知出力を出力することは、第2の状態が第1のユーザインタフェースにおいてアクティブ状態である間に、進行中の触知出力のシーケンス(例えば、触知出力グラフ5168に示す一連のタップ5169)を出力することを含む(828)。
一部の実施形態では、ユーザインタフェースの状態を第1の状態から第2の状態に変更することは、第1のユーザインタフェース上に重ね合わせられた第2のユーザインタフェースを表示すること(例えば、フォルダユーザインタフェース5184が、例えば、スプリングボードユーザインタフェース5180dの上に又はその代わりに示される)を含む(830)。
一部の実施形態では、ユーザインタフェースの状態を第1の状態から第2の状態に変更することは、第1のユーザインタフェースの表示を第2のユーザインタフェースに置き換える(例えば、フォルダUIは、スプリングボードUIのアプリケーション起動アイコンのアレイを置き換える)ことを含む(832)。
図8A~8Cにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法600、700、900、1000、1100、1200、及び1300)に関して本明細書に記載される他の処理の詳細はまた、図8A~図8Cに関して上記した方法800にも、類似の様式で適用可能であることに留意されたい。例えば、方法800に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、触知出力、フォーカスセレクタ、及びアニメーションは、任意選択で、本明細書に記載の他の方法(例えば、方法600、700、900、1000、1100、1200、及び1300)に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、触知出力、フォーカスセレクタ、及びアニメーションのうちの1つ以上の特性を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図9は、一部の実施形態に係る、接触の動きを検出することに応じて触知出力を出力する方法900を示すフロー図である。方法900は、ディスプレイ、タッチ感知面、任意選択で、タッチ感知面との接触の強度を検出する1つ以上のセンサ、及び1つ以上の触知出力生成器を備える電子デバイス(例えば、デバイス300、図3、又はポータブル多機能デバイス100、図1A)において実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法900の一部の動作が任意選択で組み合わされ、及び/又は一部の動作の順序が任意選択で変更される。
以下に説明するように、方法900は、アイコンのユーザの動きが検出されるとフィードバックを提供して、アイコンの動きの直感的な感覚をユーザに与える。方法は、入力と入力に対するデバイス応答との間の接続をユーザが理解するのを助け、それによってより効率的なヒューマンマシンインタフェースを生成する。
デバイス(902)は、第1のタイプの複数のアイコン(例えば、アプリケーション起動アイコン)、及び第1のタイプとは異なる第2のタイプの少なくとも1つのアイコン(例えば、フォルダアイコン)を含む、第1のユーザインタフェース(例えば、アプリケーションスプリングボード)を表示する。例えば、ユーザインタフェース5180aは、アプリケーション起動アイコン5178及び5182、並びにフォルダアイコン5184を含む、複数のアプリケーション起動アイコンを含むアプリケーションスプリングボードである。
フォーカスセレクタが第1のタイプの第1のアイコン(例えば、アイコン5178)上にある間に、デバイスは、ドラッグジェスチャでタッチ感知面を横切る接触5150の移動を検出する(904)
(例えば、接触5150は、ユーザインタフェース5180bに示す時間tにおける第1の位置から、図5180cに示す時間tにおける第2の位置に、次いで図5180dに示す時間tにおける第3の位置に、第1のユーザインタフェースを横切って移動する)。例えば、デバイスは、接触が第1のドラッグ可能なアイコン上にある間に、タッチ感知ディスプレイ上の接触によるドラッグジェスチャを検出するか、又はカーソル又は他のポインタがディスプレイ上の第1のドラッグ可能なアイコン上にある間に、タッチ感知面上の接触によるドラッグジェスチャを検出する。
フォーカスセレクタが第1のアイコン(906)上にある間に、ドラッグジェスチャのタッチ感知面を横切る接触の動きを検出することに応じて、デバイスは、ドラッグジェスチャの第1の接触の動きに従って、ディスプレイを横切って第1のアイコンを移動させる(908)(例えば、アイコン5178は、ユーザインタフェース5180bに示す時間tにおける第1の位置から、ユーザインタフェース5180cに示す時間tにおける第2の位置に、ユーザインタフェース5180dに示す時間tにおける第3の位置に移動する)。一部の実施形態では、ドラッグジェスチャの間に、第1のアイコンが第1のタイプの1つ以上の他のアイコンの上を移動したとの判定に従って、デバイスは、1つ以上の触知出力生成器を用いて、第1のタイプの1つ以上の触知出力を出力し(910)、第1のタイプのそれぞれの触知出力は、第1の触知出力プロファイルを有する。例えば、第1のアイコン5178がアイコン5182の上を移動すると、ユーザインタフェース5180cに示すように、触知出力5172が生成される。ドラッグジェスチャの終了時に、ドラッグジェスチャが第2のタイプのアイコンの上に第1のアイコンを移動させたとの判定に従って、デバイスは、第2のタイプのアイコンに対応する第2のユーザインタフェースを表示し(912)(例えば、フォルダアイコンに対応するフォルダのユーザインタフェースを表示する)、デバイスは、1つ以上の触知出力生成器を用いて、第2のタイプの触知出力を出力し、ここで、第2のタイプの触知出力は、第1の触知出力プロファイルとは異なる第2の触知出力プロファイルを有する。例えば、ユーザインタフェース5180dに示すように、第1のアイコン5178がフォルダアイコン5184の上を移動し、それに応じて、フォルダアイコン5184に対応する拡大フォルダを含むユーザインタフェース5180eが表示され、触知出力5169(及び/又は5176)が生成される。一部の実施形態では、フォルダに対するユーザインタフェース5180eは、第1のユーザインタフェース(例えば、5180dに示すようなスプリングボードユーザインタフェース)上に重ね合わせられる。一部の実施形態では、フォルダ5184に対するユーザインタフェース5180eは、第1のユーザインタフェース5180dの表示を置き換える。一部の実施形態では、第2のタイプの触知出力(例えば、一連のタップ5169)は、第2のユーザインタフェースが表示されている間の連続出力であるが、第1のタイプの触知出力は、第1のアイコン5178が第1のタイプの別のアイコン5182の上を移動するときの離散タップ出力(例えば、バー5172によって表されるタップ出力)である。
一部の実施形態では、ドラッグジェスチャは、第1のユーザインタフェースがユーザインタフェース再構成モードにある間に生じる。一部の実施形態では、第1のユーザインタフェースが、第1のタイプの触知出力(例えば、離散タップ出力、例えば、5172)とは別個で、かつ、第2のタイプの触知出力とは別個の、ユーザインタフェース再構成モードにある間に、連続触知出力5167(例えば、異なる触知出力の振幅、触知出力の密度、及び/又は触知出力の周波数などの、異なる出力プロファイルを有する連続出力5168)が提供される。一部の実施形態では、フォーカスセレクタが第1のアイコンの上にある間に固定入力(例えば、プレスアンドホールド入力)を検出することに応じて、ユーザインタフェース再構成モードに入る。
一部の実施形態では、第1のユーザインタフェース内の他のアイコンが、第1のアイコンの移動によってもたらされるギャップを埋めるために再配列すると、触知出力も提供される。
図9における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法600、700、800、1000、1100、1200、及び1300)に関して本明細書に記載される他の処理の詳細はまた、図9に関して上記した方法900にも、類似の様式で適用可能であることに留意されたい。例えば、方法900に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、触知出力、フォーカスセレクタ、及びアニメーションは、任意選択で、本明細書に記載の他の方法(例えば、方法600、700、800、1000、1100、1200、及び1300)に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、触知出力、フォーカスセレクタ、及びアニメーションのうちの1つ以上の特性を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図10は、一部の実施形態に係る、複数のアイコンを含むユーザインタフェースにおいて、接触によって検出された入力に従って出力を提供する方法1000を示すフロー図である。方法1000は、ディスプレイ、タッチ感知面、任意選択で、タッチ感知面との接触の強度を検出する1つ以上のセンサ、及び1つ以上の触知出力生成器を備える電子デバイス(例えば、デバイス300、図3、又はポータブル多機能デバイス100、図1A)において実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法1000の一部の動作が任意選択で組み合わされ、及び/又は一部の動作の順序が任意選択で変更される。
以下に説明するように、方法1000は、ユーザがアイコンと対話して、ユーザにアイコン対話の直観的な感覚を与えるようにフィードバックを提供する。方法は、入力と入力に対するデバイス応答との間の接続をユーザが理解するのを助け、それによってより効率的なヒューマンマシンインタフェースを生成する。
デバイスは、複数のアイコン(例えば、より大きなデジタル画像、文書、又は他のコンテンツのサムネイル画像アイコン)を含む第1のユーザインタフェース(例えば、写真管理アプリケーション)を表示する(1002)。例えば、デバイスは、サムネイル画像アイコン5206aを含む複数のサムネイル画像アイコンを含む、図5Pのユーザインタフェース5202に示すような、写真管理アプリケーションを表示する。
デバイスは、フォーカスセレクタが複数のアイコン内の、第1のサイズを有する第1のアイコン上にある間に、タッチ感知面上の接触による第1の入力を検出する(1004)。例えば、デバイスは、接触が第1のアイコン5206a上にある間に、タッチ感知ディスプレイ上の接触5204による入力を検出するか、又はデバイスは、カーソル又は他のポインタがディスプレイ上の第1のアイコン上にある間に、タッチ感知面上の接触による入力を検出する。
タッチ感知面上の接触による第1の入力を検出することに応じて(1006)、第1の入力がプレビュー表示基準を満たすとの判定に従って(1008)、デバイスは、第1のアイコンに対応するオブジェクトの、第1のサイズよりも大きい第2のサイズを有するプレビュー(例えば、図5Qの5206bに示すように、より大きなデジタル画像のプレビュー)を表示し、デバイスは、1つ以上の触知出力生成器を用いて、第1の触知出力プロファイルを有する第1のタイプの触知出力(例えば、バネ効果)を出力する。一部の実施形態では、プレビュー表示基準は、接触による第1の入力の少なくとも第1の部分が、タップアンドホールドジェスチャなどの固定入力である場合に満たされる基準を含む。一部の実施形態では、第1の入力が、プレビュー表示基準とは異なるスクロール基準(1010)を満たすとの判定に従って、デバイスは、第1のアイコンに対応するオブジェクトのプレビューを表示することを取り止め、1つ以上の触知出力生成器を用いて、第1のタイプの触知出力を出力することを取り止め、複数のアイコンをスクロールさせる。例えば、スクロールは、図5V~図5Wに示すように生じる。一部の実施形態では、スクロール基準は、接触による第1の入力の少なくとも第1の部分が、ドラッグジェスチャ、スワイプジェスチャ、及び/又は指ロールジェスチャなどの移動入力である場合に満たされる基準を含む。
一部の実施形態では、第1のアイコン(例えば、図5Q及び図5R-1に示す5206b)に対応するオブジェクトのプレビューを表示している間に、デバイスは、接触による第2の入力(例えば、矢印5210によって示す経路に沿ってフォーカスセレクタ5204aによって示される位置から、フォーカスセレクタ5204bによって示される位置までの接触の移動)を検出する。第2の入力の検出することに応じて、デバイスは、第1のアイコンから複数のアイコン中の第2のアイコンにフォーカスセレクタを移動させ、第2のアイコンに対応するオブジェクトの、第1のサイズよりも大きい第2のサイズを有するプレビュー(例えば、図5R-2の5212bに示すような、より大きなデジタル画像のプレビュー)を表示し、第2のタイプの触知出力(例えば、図5R-4の点5218bによって表すような「チック」)を出力する。一部の実施形態では、第2の入力は、第1の入力に引き続き、タッチ感知面と同じ連続接触を使用する。
図10における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法600、700、800、900、1100、1200、及び1300)に関して本明細書に記載される他の処理の詳細はまた、図10に関して上記した方法1000にも、類似の様式で適用可能であることに留意されたい。例えば、方法1000に関連して上述した接触、ジェスチャ、ユーザインタフェースオブジェクト、触知出力、フォーカスセレクタ、及びアニメーションは、任意選択で、本明細書に記載の他の方法(例えば、方法600、700、800、900、1100、1200、及び1300)に関連して本明細書に記載の接触、ジェスチャ、ユーザインタフェースオブジェクト、触知出力、フォーカスセレクタ、及びアニメーションのうちの1つ以上の特性を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図11A~図11Bは、一部の実施形態に係る、触覚フィードバックを提供する方法1100を示すフロー図である。方法1100は、ディスプレイ、タッチ感知面、任意選択で、タッチ感知面との接触の強度を検出する1つ以上のセンサ、及び1つ以上の触知出力生成器を備える電子デバイス(例えば、デバイス300、図3、又はポータブル多機能デバイス100、図1A)において実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法700の一部の動作が任意選択で組み合わされ、及び/又は一部の動作の順序が任意選択で変更される。
以下に説明するように、方法1100は、デバイスによって受信されたいくつかの通信のインジケーションを提供する直感的な方法を提供する。ユーザは、例えば、デバイスを作動させることが不適切又は望ましくないであろう場合に、デバイスを作動することなく受信したいくつかの通知をチェックする必要があり得る。加えて、ユーザは、それぞれの通信に対応する通知を個別に見直すことなく、デバイスによって受信されたいくつかの通信を評価することを望み得る。デバイスによって受信されたいくつかの通信を示す触覚フィードバックを提供することにより、方法は、その受信した通信をデバイスでチェックするときのユーザを助け、それによってより効率的なヒューマンマシンインタフェースを作成する。バッテリ駆動の電子デバイスの場合、(例えば、デバイスのロック解除及び/又はデバイスディスプレイの作動を必要とすることなく)受信した通信をより迅速かつより効率的にユーザがチェックできるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。
デバイスは、いくつかの通信(例えば、インスタントメッセージ、電子メール、及び/又は電子デバイスのユーザに対する呼び出し)を受信する(1102)。
いくつかの通信を受信した後、デバイスは、1つ以上のデバイス向きセンサ(例えば、加速度計、ジャイロ、及び/又は光センサ)を使用して、電子デバイスの位置及び/又は向きの変化を検出し(1104)(例えば、デバイスは、ユーザによってピックアップされている、動かされている、及び/又は傾けられている電子デバイスを検出する)、デバイスの位置及び/又は向きの変化を検出することに応じて、デバイスは、1つ以上の触知出力生成器を用いて、受信した通信の数が増大するにつれて増大する出力パラメータを含む触知出力プロファイルを有する触知出力を生成する。例えば、図5X-1~図5X-3は、デバイスがユーザの手5230で傾けられると生じるデバイス100の向きの変化を示す。デバイスの向きの変化に応じて、触知出力が生成される(例えば、シミュレートされたオブジェクト5232a、5323b、5232c、及び5232dがデバイスの移動方向に回転し、及び/又は仮想オブジェクトがディスプレイ112の下側エッジ5236に衝突する)。
一部の実施形態では、通信は、デバイスがロック状態にある間に受信される(1106)。一部の実施形態では、デバイスが起動している間、及び/又はデバイス100が所定の時間量の間、アイドル状態になっている場合に、例えば、ボタン(例えば、プッシュボタン206)の作動に応じて、ロック状態が生じる。一部の実施形態では、デバイス100がロック状態に入ると、及び/又はデバイス100がロック状態から解除されると、ロック画面が表示される。
一部の実施形態では、触知出力は、デバイスがロック状態にある間に生成される(1108)。例えば、デバイスのロックを解除することなく、受信した通信の数に対応する触知出力に対するデバイスの位置及び/又は向きを変更することによって、(例えば、デバイスがロックされていた間に、及び/又はユーザがデバイスを最後に見てから)デバイスによって受信された通信の数の印象をユーザに提供する。
一部の実施形態では、触知出力は、ディスプレイが非表示状態にある間に生成される(1110)。非表示状態とは、例えば、スリープ状態、及び/又はデバイスが表示用の出力データを生成することを停止する他の状態である。
一部の実施形態では、出力パラメータは、触知出力の振幅である(1112)。例えば、いくつかの通信が増大するにつれて、デバイスの位置の変化に応じて、より大きい振幅を有する触知出力が生成される。
一部の実施形態では、出力パラメータは、触知出力によってシミュレートされる、いくつかのシミュレートされたオブジェクト(例えば、デバイス内で転げ回り、仮想境界を跳ね返るいくつかの仮想ボール)である(1114)。例えば、図5X-1~5X-3に示すように、デバイス100がユーザの手5230の中で傾けられると、4つの通信(シミュレートされたオブジェクト5232a、5323b、5232c、及び5232dによって示す)に対応する触知出力が生成される(例えば、仮想オブジェクトがデバイスの移動方向に回転すると、及び/又は仮想オブジェクトがディスプレイ112の下側エッジ5236と衝突すると)。
一部の実施形態では、触知出力は、シミュレートされたオブジェクトによるシミュレートされた衝突イベント(例えば、デバイスがピックアップされ、傾けられ、及び/又は振られると、仮想境界から跳ね返る仮想ボール)を含み(1116)、シミュレートされた衝突イベントの数は、受信された通信の数が増大するにつれて増大する。例えば、シミュレートされたオブジェクト5232a、5323b、5232c、及び5232dがディスプレイ112の下側エッジ5236と衝突すると、シミュレートされた衝突イベントが生じる。一部の実施形態では(例えば、図5X-2及び図5X-3に示すように)、シミュレートされたオブジェクトは、例えば、シミュレートされたオブジェクトと(ディスプレイ112のエッジ5236などの)衝突オブジェクトとの間の衝突が異なる時間に生じるように、異なる場所で生成される。例えば、シミュレートされたオブジェクト5232dは、シミュレートされたオブジェクト5232cが移動する経路5234cよりも長い、その生成ポイントからエッジ5236への経路5234dを移動する。一部の実施形態では、シミュレートされたオブジェクトは、異なる時間においてオブジェクトのエッジ5236(及び/又は別の衝突オブジェクト)との衝突を引き起こす異なるシミュレートされた加速度又は他のプロパティを有する。このようにして、ユーザは、いくつかのシミュレートされた衝突イベントに基づいて、受信したいくつかの通信を測定することが可能になる。
一部の実施形態では、触知出力プロファイルは、シミュレートされたオブジェクトの動きを(例えば、シミュレートされた表面に沿って)シミュレートする触知出力を含み(1118)、シミュレートされたオブジェクトのシミュレートされた移動の移動パラメータは、デバイスの位置及び/又は向きの検出された変化に依存する。例えば、触知出力は、シミュレートされたオブジェクト5232a、5232b、5232c、及び5232dが、それぞれ、経路5234a、5234b、5234c及び5234dに沿って移動すると、生じる。一部の実施形態では、デバイス100のより速い動きは、シミュレートされたオブジェクト(例えば、5232a、5232b、5232c、及び5232d)をより速く移動させる。一部の実施形態では、より急峻な角度で傾いているデバイス100は、シミュレートされたオブジェクト(例えば5232a、5232b、5232c、及び5232d)をより速く移動させるが、いったん、シミュレートされたオブジェクトがディスプレイ112のシミュレートされたエッジ5236に定着すると、シミュレートされたオブジェクトは、デバイスが動くまで移動を停止する。
一部の実施形態では、デバイスは、ユーザ入力を検出し(1120)(例えば、デバイスは、タッチ感知面上の接触、ホームボタン入力、又は電源ボタン入力を検出する)、ユーザ入力を検出することに応じて、デバイスは、触知出力プロファイルを変更して、表面テクスチャを有する表面を横切る、シミュレートされたオブジェクトの動きをシミュレートする(例えば、デバイスの内部のシミュレートされた壁とのボールの衝突をシミュレートすることに加えて、それ自身のテクスチャを有するシミュレートされたグリッド上で転げ回るボールをシミュレートする)。例えば、シミュレートされた表面テクスチャを図5Yに示す。デバイス100によって生成された触知出力は、シミュレートされたオブジェクトがデバイス100を横切って移動すると、シミュレートされたオブジェクト(例えば、5232a、5232b、5232c、及び5232d)と、シミュレートされた表面特徴5240a、5240b、5240c、5240dなどとの間の衝突をシミュレートする。
一部の実施形態では、それぞれのシミュレートされたオブジェクトは、対応する通知の少なくとも1つのプロパティに依存するシミュレートされた品質(例えば、シミュレートされたサイズ、材料、又は質量)を有する(1122)。
一部の実施形態では、対応する通知の少なくとも1つのプロパティは、通信のタイプ(例えば、緊急対通常、テキストメッセージ対Eメール対呼、及び/又はお気に入り対既知送信者対未知送信者)を含む(1124)。一部の実施形態では、通信のタイプは、シミュレートされたオブジェクトのシミュレートされた品質(例えば、シミュレートされたサイズ、シミュレートされた材料、及び/又はシミュレートされた質量)を伝える、対応する触知出力を有する。
一部の実施形態では、特定の着信通信に対する触知出力プロファイルは、ユーザが構成可能である(1126)(例えば、連絡先に対する「触覚着信音」として作動するように、ユーザは、異なる連絡先(例えば、ユーザのアドレス帳/連絡先リスト内の連絡先)に対して異なる触知出力プロファイルを構成することができる)。
一部の実施形態では、(例えば、静止面からのデバイスのリフトオフを検出した直後に)電子デバイスの位置及び/又は向きの検出された変化に応じて、触知出力が直ちに生成される(1128)。
一部の実施形態では、電子デバイスの位置及び/又は向きの変化が第1の時間に検出され、触知出力が、デバイスの向きが傾斜基準を満たす第2の時間に生成される。例えば、傾斜基準は、デバイスの向きが、「平坦な向き」(例えば、テーブルなどの水平面上でフェースアップ又はフェースダウンにある)から、1つ以上の軸(ピッチ、ヨー及び/又はロール)の周囲に所定の回転量だけ逸脱する場合に満たされる基準である。
一部の実施形態では、電子デバイスの位置及び/又は向きの変化が第1の時間に検出され(1130)、触知出力が、シミュレートされた衝突イベントの発生に対応する第2の時間に生成され、シミュレートされた衝突イベントの発生は、電子デバイスの位置及び/又は向きの変化に基づいて決定される。一部の実施形態では、シミュレートされたオブジェクトのシミュレートされた品質はまた、シミュレートされた衝突イベントがいつ発生するかを決定するために使用される。例えば、シミュレートされたオブジェクトのシミュレートされた品質は、例えば、シミュレートされた質量、シミュレートされた表面テクスチャ、シミュレートされた加速度、シミュレートされた形状、及び/又はシミュレートされたサイズである。一部の実施形態では、シミュレートされた衝突イベントの発生及び/又は大きさは、電子デバイスの位置及び/又は向きの変化率に基づいて決定される。
図11A~11Bにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法600、700、800、900、1000、1200、及び1300)に関して本明細書に記載される他の処理の詳細はまた、図11A~図11Bに関して上記した方法1100にも、類似の様式で適用可能であることに留意されたい。例えば、方法1100を参照して上述した接触及び触知出力は、本明細書に記載の他の方法(例えば、方法600、700、800、900、1000、1200、及び1300)を参照して本明細書に記載した接触及び触知出力のうちの1つ以上の特性を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図12A~図12Dは、一部の実施形態に係る、デバイスコンテキストに応じて、着信通信を示す異なるフィードバックを提供する方法1200を示すフロー図である。方法1200は、ディスプレイ、タッチ感知面、任意選択で、タッチ感知面との接触の強度を検出する1つ以上のセンサ、及び1つ以上の触知出力生成器を備える電子デバイス(例えば、デバイス300、図3、又はポータブル多機能デバイス100、図1A)において実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法1200の一部の動作が任意選択で組み合わされ、及び/又は一部の動作の順序が任意選択で変更される。
デバイスが、コンテキストに関係なく、着信通信をユーザに通知するために同じフィードバックを提供する場合(もし、デバイスがポケット又は財布に入れられている場合)、通知が気付かれないことがある。デバイスが収納されている場合に気付かれるのに十分に強い通知を提供するようにデバイスが構成されている場合、通知は、デバイスがユーザの手の中にある、又は収納されていない状態(例えば、テーブル上に横たわっている)にあるときには望ましくないほどに強い可能性がある。デバイスがユーザの手、又はポケット内にあるときに受け入れられる振動又は音のレベルは、デバイスがテーブルなどの表面と接触しているときには望ましくないレベルの騒音及び/又は振動を引き起こし、通知信号に応じて表面を共振させる可能性がある。
以下に説明するように、方法1200は、電子デバイスのコンテキストの変化を検出することに応じて、第1のフィードバックを提供することから、着信通信を示す第2のフィードバックを提供することに遷移する。方法は、デバイスコンテキストの変化が生じたときに、デバイスの出力の数、程度及び/又は性質を低減し、それによってより効率的なマシンを作成する。バッテリ駆動の電子デバイスの場合、デバイスコンテキストに基づいてフィードバックを自動的に調整することにより、電力を節約し、バッテリ充電間の時間を増大させる。
デバイスは、1つ以上のセンサ(例えば、(デバイスの向きを決定する)加速度計、(デバイスがポケット内にあるかどうかを判定する)光量計、カメラ、及び/又は(背景音レベルを決定する)マイクロフォン、オーディオシステム、並びに1つ以上の触知出力生成器を含む。
デバイスは、着信通信(例えば、着信呼及び/又はテレビ会議呼)を受信する(1202)。
デバイスは、1つ以上のセンサを使用して、電子デバイスが第1の使用コンテキストにあることを判定する(1204)。例えば、デバイスは、デバイスが(図5Zに示すように)手の中にあるか、(図5AAに示すように)ポケット内にあるか、又は(図5BBに示すように)テーブル上に表面を下向きしてあるかどうかを判定する。
着信通信を受信することに応じて、デバイスは、着信通信を示す第1のフィードバックを提供する(1206)。着信通信を示す第1のフィードバックを提供することは、オーディオシステムを用いて、着信通信に対する第1の進行中の音声出力を提供することであって、第1の進行中の音声出力は、第1の使用コンテキストに対応する(例えば、デフォルトの着信音、低減された振幅の着信音、増大された振幅の着信音、減衰された着信音、又はデバイスの第1の使用コンテキストに割り当てられた残響着信音)に対応する、ことと、1つ以上の触知出力生成器を用いて、着信通信に対する第1の進行中の触知出力を提供することであって、第1の進行中の触知出力は、第1の使用コンテキストに対応する第1の触知出力プロファイル(例えば、離散タップ、振動、振動及びタップ、密度が変化するタップ、増大された振幅タップ、低減された振幅タップ、増大された振幅/周波数振動、又はデバイスの第1の使用コンテキストに割り当てられた低減された振幅/周波数振動)を有する、ことと、を含む。
第1の進行中の音声出力、及び着信通信に対する第1の進行中の触知出力を提供しながら、デバイスは、1つ以上のセンサを使用して、電子デバイスが第1の使用コンテキストとは異なる第2の使用コンテキストにあることを検出する(1208)。例えば、デバイスは、デバイスが第1の使用コンテキストから、(図5Zに示すように)手にある、(図5AAに示すように)ポケット内にある、又は(図5BBに示すように)テーブル上にフェースダウンである、の第2の使用コンテキストに移動したと判定する。
電子デバイスが第2の使用コンテキストにあることを検出することに応じて、デバイスは、第1のフィードバックとは異なる、着信通信を示す第2のフィードバックを提供する(1210)。着信通信を示す第2のフィードバックを提供することは、1つ以上の触知生成器を用いて、着信通信に対する第2の進行中の触知出力を提供することを含む。第2の進行中の触知出力は、第2の使用コンテキストに対応する第2の触知出力プロファイル(例えば、離散タップ、振動、振動及びタップ、密度が変化するタップ、増大した振幅タップ、低減した振幅タップ、増大した振幅/周波数振動、又はデバイスの第2の使用コンテキストに割り当てられた低減した振幅/周波数振動)を有する。一部の実施形態では、着信通信をユーザに通知する第1のフィードバックから、着信通信をユーザに通知する第2のフィードバックに変更することは、進行中の音声出力を変更することなく進行中の触知出力を変更することを含む。一部の実施形態では、着信通信をユーザに通知する第1のフィードバックから、着信通信をユーザに通知する第2のフィードバックに変更することは、進行中の触知出力を変更することなく進行中の音声出力を変更することを含む。一部の実施形態では、着信通信をユーザに通知する第1のフィードバックから、着信通信をユーザに通知する第2のフィードバックに変更することは、進行中の触知出力を変更すること、及び進行中の音声出力を変更することを含む。
一部の実施形態では、着信通信に対する第2の進行中の触知出力は、着信通信に対する第1の進行中の触知出力とは別個である(1214)。例えば、図5AAでは、図5AAのタップベース触知出力グラフに示すように、触知出力は第1の周波数で発生するが、図5BBでは、図5BBのタップベース触知出力グラフに示すように、触知出力は、第1の周波数よりも低い第2の周波数として生じる。一部の実施形態では、デバイスがポケット内にあるとき、図5AAに示すように、デバイスは、例えば、容易に気付くフィードバックをユーザに提供するために、主に振動(例えば、最小周波数を有する振動出力などの振動出力、又はタップ間に最大時間(例えば、<0.5秒)を有する周期的ステップ関数)を出力する。デバイスがテーブル上にある場合、図5BBに示すように、デバイスがテーブル上にあるときに、例えば、テーブル上のデバイスの振動を避けるために、デバイスは、主にタップ(例えば、最小時間(例えば、タップ間>0.5秒)を有する周期的ステップ関数などのステップ関数出力)を使用する。例えば、図5AAでは、図5AAの振動出力グラフに示すように振動出力が発生するが、図5BBでは、図5BBの振動出力グラフに示すように、振動出力は発生しない。
一部の実施形態では、着信通信を示す第2のフィードバックを提供することは、オーディオシステムを用いて、着信通信に対する第2の進行中の音声出力を提供することを含み(1216)、第2の進行中の音声出力は、第2の使用コンテキストに対応する。例えば、第2の進行中の音声出力は、例えば、デバイスの第2の使用コンテキストに割り当てられたデフォルトの着信音、低減された振幅着信音、増大された振幅着信音、減衰された着信音、又は残響着信音である。
一部の実施形態では、着信通信に対する第2の進行中の音声出力は、着信通信に対する第1の進行中の音声出力とは別個(例えば、異なる振幅、異なる周波数、異なるトーン、及び/又は異なる減衰/残響プロパティ)である。例えば、図5Zの音声出力グラフに示す音声は、図5AAの音声出力グラフに示す音声よりも振幅が低い。
一部の実施形態では、少なくとも1つのオーディオ特性が、第1の進行中の音声出力と第2の進行中の音声出力との間で共有される(1218)。一部の実施形態では、異なる音声出力間の滑らかな遷移が存在する(例えば、オーディオ又は触知出力の周波数、振幅、又は音量が、第1の状態に対応する第1の値から第2の状態に対応する第2の値に、経時的に、徐々に増大又は減少する)。一部の実施形態では、第1の進行中の音声出力及び第2の進行中の音声出力は、同じ音符(例えば、同じ成分周波数)を有するが、異なる減衰、異なる振幅及び/又は異なる残響などの異なるプロパティを有する。
一部の実施形態では、第1の進行中の触知出力から第2の進行中の触知出力への遷移中に少なくとも1つの触知パラメータが(例えば、比例的に及び/又は平行に)変化すると、第1の進行中の音声出力から第2の進行中の音声出力への遷移の間に少なくとも1つの音声パラメータが変化する(1220)。例えば、図5Zに示す触知出力は、図5AAに示す触知出力とは異なり(例えば、周波数がより低い)、図5Zに示す音声出力は、図5AAに示す音声とは異なる(例えば、振幅がより低い)。
一部の実施形態(1222)では、第1の使用コンテキストは部分的に囲まれた空間にあり(例えば、第1の使用コンテキストが、例えば、光センサによって判定されるように、ポケット内にある)、第1の進行中の音声出力は第1の振幅を有し、第2の使用コンテキストは、部分的に囲まれた空間よりも囲まれていない空間にあり(例えば、第2の使用コンテキストは、手の中又はテーブル上である)、第2の進行中の音声出力は、第1の振幅よりも小さい第2の振幅を有する。例えば、図5AAでは、デバイス100はポケット5250内にあり、図5Zでは、デバイス100は手5230内にある。図5Z(より囲まれていない空間を示す)では、音声出力は、図5AA(部分的に囲まれた空間を示す)に示す音声出力よりも振幅が小さい。一部の実施形態では、デバイスが部分的に囲まれているときに音声出力を増大させることにより、ユーザが、例えば、ポケット又は財布の壁を通してデバイスを聞くことができる。
一部の実施形態(1224)では、第1の使用コンテキストは第1の背景雑音レベル(例えば、オーディオセンサによって決定される音圧レベル(dB又はdBA))を有し、第1の進行中の音声出力は第1の振幅を有し、第2の使用コンテキストは、第1のバックグラウンドノイズレベルよりも大きい第2のバックグラウンドノイズレベルを有し、第2の進行中の音声出力は、第1の振幅よりも大きい第2の振幅を有する。
一部の実施形態(1226)では、第1の使用コンテキストは第1のノイズ周波数分布(例えば、オーディオセンサによって決定される)を有し、第1の進行中の音声出力は第1の音声周波数分布を有し、第2の使用コンテキストは、第1のノイズ周波数分布とは異なる第2のノイズ周波数分布(例えば、人間の声範囲に対応する1つ以上の周波数範囲などの1つ以上の周波数範囲においてより高い)を有し、第2の進行中の音声出力は、少なくとも1つの周波数範囲において第1の進行中の音声出力よりも大きい振幅を有する。一部の実施形態では、ノイズ周波数分布は、オクターブバンド、1/3オクターブバンド、又はより高い解像度周波数範囲で(例えば、FFTを使用して)決定される。
一部の実施形態(1228)では、第1の使用コンテキストは静止面上にあり(例えば、図5BBに示すように、第1の使用コンテキストはテーブル上にある)、第1の進行中の音声出力は第1の振幅を有し、第2の使用コンテキストは手の中であり(例えば、図5Zに示すように)、第2の進行中の音声出力は、第1の振幅よりも小さい第2の振幅を有する。一部の実施形態では、デバイスは、第1の使用コンテキストにおいて第1の表示コンテンツを表示し、デバイスは、第2の使用コンテキストにおいて、第1の表示コンテンツとは異なる第2の表示コンテンツを表示する。例えば、第2の表示コンテンツは、発呼者の識別情報を含む。
一部の実施形態(1230)では、第1の進行中の音声出力、第1の進行中の触知出力、第2の進行中の音声出力、及び第2の進行中の触知出力は、同じ着信通信を示すフィードバックである。
一部の実施形態では、着信通信に対して第2の進行中の触知出力を提供している間に、デバイスは、1つ以上のセンサを使用して、電子デバイスが第1の使用コンテキストとは異なり、かつ、第2の使用コンテキストとは異なる、第3の使用コンテキストにあることを検出し(1232)、電子デバイスが第3の使用コンテキストにあることを検出することに応じて、デバイスは、第1のフィードバックとは異なり、かつ、第2のフィードバックとは異なる、着信通信を示す第3のフィードバックを提供し、ここで、着信通信を示す第3のフィードバックを提供することは、1つ以上の触知出力生成器を用いて、着信通信に対する第3の進行中の触知出力を提供することを含み、第3の進行中の触知出力は、第3の使用コンテキストに対応する第3の触知出力プロファイルを有する。
一部の実施形態では、着信通信を示す第3のフィードバックを提供することは、オーディオシステムを用いて、着信通信に対する、第3の使用コンテキストに対応する第3の進行中の音声出力(例えば、デフォルトの着信音、低減された振幅の着信音、増大された振幅の着信音、減衰された着信音、又はデバイスの第2の使用コンテキストに割り当てられた残響着信音)を提供すること(1234)を含む。
一部の実施形態(1236)では、第1の使用コンテキストは、ポケット(例えば、図5AAに示すようなポケット5250)内、静止面(例えば、図5BBに示すようなテーブル5252)上、又は手の中(図5Zに示すような手5230)の中のうちの1つであり、第2の使用コンテキストは、ポケット内、静止面上、又は手の中のうちの別の1つである。例えば、第1の使用コンテキストは、電子デバイスがポケット内にあるときに発生し、第2の使用コンテキストは、電子デバイスがテーブルなどの静止面上にあるときに発生する。
一部の実施形態(1238)では、(例えば、図5AAに示すように)デバイスがユーザのポケット内にあることを示すコンテキストにあるとデバイスが判定された場合、着信通信に対応する進行中の音声出力は減衰されず、着信通信に対応する進行中の触知出力は、高顕著触知成分(例えば、図5AAの振動出力グラフに示す振動などの、触知出力生成器における質量の周期的振動に対応する振動)、及び低顕著触知成分(例えば、図5AAのタップベース触知出力グラフに示す離散触知出力などの、触知出力生成器の離散的な作動に対応する「タップ」)を含み、(例えば、図5Zに示すように)デバイスがユーザの手の中にあることを示すコンテキストにあるとデバイスが判定された場合、着信通信に対応する進行中の音声出力は減衰されず、着信通信に対応する進行中の触知出力は、高顕著触知成分(例えば、図5Zの振動出力グラフに示す振動)、及び低顕著触知成分(例えば、図5Zのタップベース触知出力グラフに示す離散触知出力などの、触知出力生成器の離散的な作動に対応する「タップ」)を含むが、デバイスがユーザの手の中にあることを示すコンテキストにあるとデバイスが判定された場合の着信通信に対応する進行中の触知出力に対して、低減された数の低顕著及び高顕著触知成分を含み、デバイスが面上でディスプレイ側を下にしていることを示すコンテキスト(例えば、ユーザの前にあるテーブル5252上でフェースダウン)にあるとデバイスが判定された場合、(例えば、図5BBの5254に示すように)着信通信に対応する進行中の音声出力が減衰され、着信通信に対応する進行中の触知出力は、デバイスがユーザの手に中にあることを示すコンテキストにあるとデバイスが判定された場合の着信通信に対応する進行中の触知出力に対して、低減された数の低顕著及び高顕著触知成分を含む。一部の実施形態では、デバイスがユーザの手の中にあることを示すコンテキストにあるとデバイスが判定された場合、着信通信に対応する進行中の音声出力は、いかなる高顕著触知成分も含まない。
図12A~12Dにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法600、700、800、900、1000、1100、及び1300)に関して本明細書に記載される他の処理の詳細はまた、図12A~図12Dに関して上記した方法1200にも、類似の様式で適用可能であることに留意されたい。例えば、方法1200を参照して上述した触知出力は、本明細書に記載の他の方法(例えば、方法600、700、800、900、1000、1100、及び1300)を参照して本明細書に記載した触知出力のうちの1つ以上の特性を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図13A~図13Dは、一部の実施形態に係る、デバイスコンテキストに応じて、着信通信を示す異なるフィードバックを提供する方法1300を示すフロー図である。方法1300は、ディスプレイ、タッチ感知面、並びにオーディオシステム(例えば、スピーカ及び関連するオーディオ回路110)及び/又は1つ以上の触知出力生成器167を備える電子デバイス(例えば、図3のデバイス300、又は図1Aのポータブル多機能デバイス100)において実施される。電子デバイスは、タッチ感知面との接触の強度を検出する、1つ以上のセンサを任意選択的に含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法1300の一部の動作が任意選択で組み合わされ、及び/又は一部の動作の順序が任意選択で変更される。
方法は、ユーザの注意レベルに基づいて、デバイス上のアラートを減衰させることに関する。具体的には、アラートが関連付けられたイベントを検出すると、デバイスは、デバイスが第1の使用コンテキスト(例えば、ユーザがデバイスに注意を払っている)にあるか、又は第2の使用コンテキストにあるか(例えば、ユーザがデバイスに注意を払っていない)を判定できるまで、アラートの出力を遅延させる。デバイスが第1の使用コンテキストにあると判定された場合、デバイスは、アラートの1つのバージョン(例えば、第1のオーディオ及び/又は触知出力を含む)を出力し、デバイスが第2の使用コンテキストにあると判定された場合、デバイスは、アラートの異なるバージョン(例えば、第1のものとは別個の、第2のオーディオ及び/又は触知出力を含む)を出力する。ユーザの注目レベルが判定できるまでアラートを遅らせ、判定に従った好適な出力を提供することにより、同時に、すでにデバイスに注意を払っているユーザを困らせないで、異なるオーディオ及び/又は触知出力が、注意散漫なユーザの注意をより効果的につかむことができる点で改善されたフィードバックを提供する。このように改善されたフィードバックを提供することにより、(例えば、不要な出力を回避しながらデバイスの内部状態のインジケーションを提供することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスが、アラートレベル及び/又は強度をより選択的に調節できるようすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
デバイスは、アラートイベント(例えば、オーディオ、触知、及び/又は振動信号などの、アラートを生成する命令)を検出する(1302)。例えば、デバイス(例えば、デバイスのオペレーティングシステム126又は触覚フィードバックモジュール133)は、電話モジュール138から(例えば、着信呼に応じて)、又はアラーム時計ウィジェット149-4から(例えば、予め選択された時間への到達、又は予め選択された時間の経過に応じて)、アラートを生成する命令又は要求(又は、音声及び/又は触知フィードバックを生成する命令又は要求)を受信する。
一部の実施形態では、アラートイベントは、(例えば、電話モジュール138から着信を示すために)着信音を再生する要求、(例えば、アラーム時計ウィジェット149-4から、予め選択された時間に達したことを示すために)アラームをトリガする要求、(例えば、予め選択された時間の経過を示すために、アラーム時計ウィジェット149-4又は別個のタイマウィジェットから)タイマアラートを提供する要求、のうちの1つに対応する(1304)。
ユーザの注意レベルに基づいて着信音、アラーム、及び/又はタイマに対するアラートを弱めることにより、改善されたフィードバックを提供して、(例えば、ユーザが既にデバイスに注意を払っている状況に対する不必要な出力を回避しながら、着呼、アラームのトリガ、及び/又はタイマのカウントダウンに応じてデバイスの内部状態のインジケーションを提供することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスがアラートレベル及び/又は強度をより選択的に調節できるようすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。加えて、アラートを弱めることにより、ユーザが既にデバイスに注意を払っている間にユーザの驚きを軽減し、それによってユーザエクスペリエンスを改善する。
アラートイベントを受信することに応じて、デバイスは、電子デバイスが第1の使用コンテキストにあるか、又は第1の使用コンテキストとは別個の第2の使用コンテキストにあるかどうかを判定するまで、アラートイベントを示すフィードバックの提供を遅延する(1306)。一部の実施形態では、デバイスは、判定がなされるまで、視覚フィードバックの提供を遅延させる(例えば、デバイスのユーザインタフェースを更新する)ことなく、オーディオ及び/又は触知フィードバックの提供を遅延させる。一部の実施形態では、判定がなされるまではいかなるフィードバックも提供されないように、デバイスは、任意のフィードバック(例えば、オーディオ、触知、又は視覚)の提供を判定がなされるまで遅延する。
一部の実施形態では、第1の使用コンテキストは、ユーザが電子デバイスと対話しているか、又は所定の時間内に対話したことを示し、第2の使用コンテキストは、ユーザが電子デバイスと対話していないか、又は所定の時間内に対話しなかったことを示す(1308)。一部の実施形態では、ユーザがデバイスと対話している(例えば、デバイスへの入力を提供している)場合、デバイスは第1の使用コンテキストにあるとみなされる。一部の実施形態では、ユーザが所定時間期間(例えば、30秒、1分、2分、3分など)内にデバイスと対話した場合、デバイスは第1の使用コンテキストにあるとみなされる。一部の実施形態では、ユーザがデバイスと対話していない(例えば、いかなる入力もデバイスに提供されていない)、及びユーザが所定時間期間(例えば、30秒、1分、2分、3分など)内にデバイスと対話しなかった場合、デバイスは第2の使用コンテキストにあるとみなされる。
デバイスとの最近の対話(現在の注意に加えて)に基づく注意を考慮すべく使用コンテキストを拡張することにより(例えば、ユーザが最近デバイスとの対話を停止したが、インパクトのより少ないフィードバックに気づくほどにまだ近い可能性がある状況に対して、よりインパクトのあるフィードバックを出力しないことによって)、デバイスの操作性を向上させ、不要なフィードバックを避けることによってユーザデバイスインタフェースをより効率的にし、加えて、デバイスが、アラートレベル及び/又は強度をより選択的に調節できるようすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、第1の使用コンテキストは、(例えば、デバイスのディスプレイとデバイスの同じ側にあるカメラに基づいて)ユーザの顔が検出されることを示し(1310)、第2の使用コンテキストは、ユーザの顔が検出されないことを示す。例えば、一部の実施形態では、任意の特定ユーザ(例えば、登録ユーザ)の顔として顔を認識することなく、任意のユーザ(例えば、任意の人物)の顔が検出される場合、デバイスは第1の使用コンテキストにあるとみなされ、いかなる顔も検出されなければ、デバイスは第2の使用コンテキストにあるとみなされる。
一部の実施形態では、第2の使用コンテキストは、ユーザの顔が認識されない(例えば、たとえ顔が検出されても、検出された顔がいずれの登録ユーザの顔とも一致しない)ことを示し、第1の使用コンテキストは、ユーザの顔が認識された(例えば、顔が検出され、登録ユーザの顔として認識された)ことを示す。一部の実施形態では、第2の使用コンテキストは、ユーザの顔が認識されず、かつ、ユーザが電子デバイスと所定の時間内に対話していないことを示し、第1の使用コンテキストは、ユーザの顔が認識されたか、又はユーザが電子デバイスと所定の時間内に対話したことを示す。
顔検出に基づいて使用コンテキストを判定することにより、デバイスの操作性を向上させ、(例えば、アラートに肯定応答するのに必要な入力の数を低減することによって)ユーザデバイスインタフェースをより効率的にし、(例えば、ユーザ入力の間にタッチ感知面上の不要な圧力及び摩擦を除去し、それによってタッチ感知面の構造的疲労を低減することによって)デバイスの寿命を改善する。更に、顔検出を注意力のインジケータとして用いることにより、ユーザが注意を払っているものは何でもユーザは見ているとの自然な前提を利用することによって、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスがアラートレベル及び/又は強度をより選択的に調節できるようにすることで、ユーザがデバイスに注意を払っていないときの不必要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、デバイスは、電子デバイスが第1の使用コンテキスト又は第2の使用コンテキストにあるかどうかを判定する。一部の実施形態では、デバイスは、電子デバイスが第1の使用コンテキストにある(しかし、第2の使用コンテキストにはない)と判定する。一部の実施形態では、デバイスは、電子デバイスが第2の使用コンテキストにある(しかし、第1の使用コンテキストにはない)と判定する。
電子デバイスが第1の使用コンテキスト又は第2の使用コンテキストにあるかどうかを判定することに応じて、電子デバイスは、電子デバイスが第1の使用コンテキスト(例えば、デバイスのユーザがデバイスに注意を払っていると判定されたコンテキスト)にあるとの判定に従って、アラートイベントを示す第1のフィードバック(例えば、図5CCの動作5460)を提供する(1312、図13B)。第1のフィードバックは、第1の音声出力及び/又は第1の触知出力を含む。
一部の実施形態では、デバイスは、電子デバイスが第1の使用コンテキストから第2の使用コンテキストに遷移したかどうかを監視することを取り止め(1314)、及び/又は第1のフィードバックを提供することから第2のフィードバックを提供することに遷移することを取り止める(例えば、図5DDに示すように、デバイスが第1の使用コンテキストにあると判定されると、デバイスは、デバイスが第2の使用コンテキストに遷移したかどうかを監視しない)。一部の実施形態では、デバイスは、第1のフィードバックの少なくとも一部を提供することから、第2のフィードバックの少なくとも一部を提供することに遷移することを取り止める(例えば、いったんデバイスが第1のフィードバックの少なくとも一部を提供すると、デバイスは、第2のフィードバック又はその一部を提供することに遷移しない)。
デバイスが(例えば、ユーザが注意を払っている)第1の使用コンテキストにあると判定されているときに、注意力の更なる再評価を取り止めることにより、いったんユーザがアラートに気付いたその後のデバイスへのいかなる注意の欠如も、意図的であり、かつ知らされているとの仮定を利用し(例えば、ユーザは注意を払った後にアラートを無視することを決定する)、それによってデバイスは(例えば、注意を払っていないユーザに対応する)よりインパクトのあるフィードバックに切り替える必要はない。ユーザがアラートを見た後にアラートフィードバックの更新を取り止めることにより、デバイス上の計算負荷を低減し、デバイスがアラートレベル及び/又は強度をより選択的に調節することを可能にすることによって、更に、電力消費量を低減し、デバイスのバッテリ寿命を改善する。
電子デバイスが第1の使用コンテキストとは別個の第2の使用コンテキスト(例えば、デバイスのユーザがデバイスに注意を払っていないと判定されたコンテキスト)にあるとの判定に従って、デバイスは、アラートイベントを示す第2のフィードバック(例えば、図5CCの動作5460)を提供する(1316)。第2のフィードバックは、第1の音声出力とは別個の第2の音声出力、及び/又は第1の触知出力とは別個の第2の触知出力を含む(例えば、第2の音声出力は第1の音声出力よりも高い音量を有し、及び/又は第2の触知出力は第1の触知出力よりも大きい振幅を有する)。
一部の実施形態では、デバイスは、アラートイベントを示す第1のフィードバックを提供しながら、電子デバイスが第2の使用コンテキストから第1の使用コンテキストに遷移したかどうか(例えば、図5DDの動作5464)を監視する(1318)。電子デバイスが第2の使用コンテキストから第1の使用コンテキストに遷移したとの判定に応じて、デバイスは、第2のフィードバックを提供することから、第1のフィードバックを提供すること(例えば、図5DDに示すように、動作5462から動作5460)に遷移する。電子デバイスが第2の使用コンテキストから第1の使用コンテキストに遷移したとの判定に応じて、デバイスは、第1のフィードバックの少なくとも一部を提供することから、第2のフィードバックの少なくとも一部を提供すること(例えば、図5GG)に遷移する。
アラートの出力中にユーザの注意力を監視し、ユーザの注意力が変化したとの判定に基づいてアラートのフィードバックを切り替えることにより、(例えば、デバイスとのユーザ対話により反応するデバイスの内部状態のインジケーションを提供することによって)デバイスの操作性を更に向上させ、ユーザデバイスインタフェースをより効率的にし、それによって、状況がもはやそれを必要としなくなったときに、より多くの電力を消費するフィードバックを使用することからデバイスを切り替えることを可能にすることによって、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、第2のフィードバックを提供することから第1のフィードバックを提供することに遷移することは、第2の音声出力を提供することから、第1の期間(例えば、図5GGのt1)にわたって第1の音声出力を提供することに遷移すること、及び、第2の触知出力を提供することから、第1の期間よりも短い第2の期間(例えば、図5GGのt2)にわたって第1の触知出力を提供することに遷移することを含む(1320)。一部の実施形態では、第2のフィードバックを提供することから第1のフィードバックを提供することへの遷移することは、電子デバイスが第2の使用コンテキストから第1の使用コンテキストに遷移したと判定することから、第1の期間(例えば、図5GGのt1')にわたって第1の音声出力を提供することに遷移すること、及び、電子デバイスが第2の使用コンテキストから第1の使用コンテキストに遷移したと判定することから、第1の期間よりも短い第2の期間(例えば、図5GGのt2')にわたって第1の触知出力を提供することに遷移することを含む。
触知出力間よりも、音声出力間でより徐々に遷移することにより、オーディオ対触知フィードバックの変化に対するユーザ感度の変化するレベルを利用することによって、更に、電力消費量を低減し、デバイスのバッテリ寿命を改善する。具体的には、触知フィードバックの急激な変化は、オーディオフィードバックの急激な変化よりも知覚されにくいので、より緩やかな音声遷移はユーザのオーディオエクスペリエンスを向上させ、急激な触知遷移は電力使用を低減し、デバイスのバッテリ寿命を改善する。
一部の実施形態では、第1の音声出力は第1の音量(例えば、平均音量などの第1の代表音量)を有し(1322、図13C)、第2の音声出力は、第1の音量よりも大きい(例えば、第1の音量が第2の音量よりも小さい)第2の音量(例えば、平均音量などの第2の代表音量)を有する。例えば、図5EEに示す第2の音声出力は、図5FFに示す第1の音声出力よりも大きな音量を有する。
ユーザが注意を払っていることをデバイスが検出したときに、アラートの音量を低減することによって、改善されたフィードバックを提供して、(例えば、不必要に高い音量を避けながら、デバイスの内部状態のインジケーションを提供することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスが、必要でないときに高い音量レベルをより選択的に調節できるようすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、第1の音量は、低減係数による第2の音量の低減に対応し(1324)、低減係数は、電子デバイスの音量プロパティに基づいて選択される。例えば、電子デバイスの(着信音)音量設定が高い場合には、高い低減係数が使用され、電子デバイスの(着信音)音量設定が低い場合は、低い低減係数が使用される。
デバイスの音量設定によって決定される量だけアラートに対する音量を低減させることにより、改善されたフィードバックを提供して、(例えば、デバイスの音量が、初期設定のためにアラートイベントの前に既に低減されている状況で)ユーザがアラートを聞けないほどの低いレベルに音量が低下するのを防止することにより、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。加えて、デバイスの音量設定によって決定される量だけアラートの音量を減少させることにより、第1の音声出力が大きすぎないように、デバイスの音量が高いときに音量をより低減することができ、それによってデバイスの操作性を向上させる。
一部の実施形態では、第1の音声出力は、第2の音声出力にローパスフィルタを適用する(例えば、図5LL)ことによって得られる出力に対応する(1326)。例えば、第1の音声出力を得るために第2の音声出力にローパスフィルタが適用される場合、第1の音声出力は、抑制のない第2の音声出力の低周波数成分を含むが、抑制された第2の音声出力の高周波成分を含む(例えば、第1の音声出力では、高周波成分の振幅が低減される)。
ユーザが注意を払っていることをデバイスが検出したときに、提供するアラートに対して音声出力にローパスフィルタを適用することにより、改善されたフィードバックを提供して、(例えば、消音されたバージョンのフィードバックを提供しながら、アラートのキャラクタを維持して、ユーザがアラートに気を配る間に注意散漫の低減を可能にすることによって)、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスが、必要でないときに高周波数をより選択的に調節できるようにすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、第2の音声出力は2つ以上のオーディオトラックを含み、第1の音声出力は、2つ以上のオーディオトラックのうちの全てよりも少ないサブセットを含む(1328)。例えば、図5MMに示すように、第2の音声出力は3つの音声出力トラックを含み、第1の音声出力は、3つの音声出力トラックのうちの2つだけを含む(例えば、第1の音声出力では音声出力トラック2が省略される)。一部の実施形態では、それぞれのオーディオトラックは特定の楽器に対応する(例えば、第1のオーディオトラックはギターに対応し、第2のオーディオトラックはドラムに対応し、第3のオーディオトラックはキーボードに対応する)。このような実施形態では、1つ以上の音声出力トラックを除去することは、1つ以上の楽器に対応するオーディオトラックを除去する。
ユーザが注意を払っていることをデバイスが検出したときに、アラートに対する出力に含まれるオーディオトラックの数を減らすことにより、改善されたフィードバックを提供して、(例えば、より少ないオーディオ成分を用いてよりシンプルなバージョンのフィードバックを提供しながら、アラートのキャラクタを維持して、ユーザがアラートに気を配る間に注意散漫の低減を可能にすることによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスが、必要でないときにオーディオトラックをより選択的に調節できるようにすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、第2の音声出力は、第3の音量の第1のオーディオトラックと、第4の音量の第2のオーディオトラックとを含み、第1の音声出力は、第3の音量の第1のオーディオトラックと、第4の音量よりも小さい第5の音量の第2のオーディオトラックとを含む(1330)。例えば、図5NNに示すように、第2の音声出力は、特定の音量(例えば、第3の音量)の音声出力トラック1、及び別の音量(例えば、第3の音量と同一であり得る、又はあり得ない第4の音量)の音声出力トラック2を含む。第1の音声出力は、同一の特定の音量(例えば、第3の音量)の音声出力トラック、及び低減された音量(例えば、第4の音量より小さい第5の音量)の音声出力トラック2を含む。
ユーザが注意を払っていることをデバイスが検出したときに、アラート用の他の音量を維持しながら特定のオーディオトラックに対する音量を選択的に低減することにより、改善されたフィードバックを提供して、(例えば、より発音されないオーディオ成分を用いてよりシンプルなバージョンのフィードバックを提供しながら、アラートのキャラクタを維持して、ユーザがアラートに気を配る間に注意散漫の低減を可能にすることによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスがオーディオトラックをより選択的に調節できるようにすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、第1の音声出力は、第2の音声出力にそれぞれのオーディオフィルタを適用している出力に対応し(1332)、それぞれのオーディオフィルタは、第2の音声出力の音声コンテンツのタイプに基づいて選択される。一部の実施形態では、第2の音声出力の音声コンテンツは、図5LLに関して上述したように、第2の音声出力の周波数成分、又は第2の音声出力に関連する楽器に基づいて決定される(例えば、低カットオフ周波数を有するローパスフィルタがバス楽器に使用され、高カットオフ周波数を有するローパスフィルタが、アルト楽器に使用される)。一部の実施形態では、図5LLに示すように、第2の音声出力の音声コンテンツは、アラートイベントのタイプ(例えば、アラートイベントが着信呼、アラーム、又はタイマに関連付けられているかどうか)に基づいて決定される。
ユーザが注意を払っていることをデバイスが検出したときに、アラートに対するトラックのコンテンツに基づいてオーディオトラックにそれぞれのフィルタを適用することにより、改善されたフィードバックを提供して、(例えば、コンテンツの差異に基づいてそれぞれのトラックに対するフィルタリングをカスタマイズすることにより、ユーザがアラートに気を配る間に注意散漫の低減を可能にしながら、許容可能なレベルの音質を維持することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスがオーディオトラックをより選択的に調整できるようにすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、第1のオーディオトラックに対して第1のオーディオフィルタが使用され、第2のオーディオトラックに対して、第1のオーディオフィルタとは別個の第2のオーディオフィルタが使用される(第1のオーディオトラックは第1のタイプの音声コンテンツを含み、第2のオーディオトラックは、第1のタイプの音声コンテンツとは別個の第2のタイプの音声コンテンツを含むからである)。
一部の実施形態では、アラートイベントを示す第2のフィードバックを提供することは、第1のフィルタ又は第2のフィルタを音声アラートに適用することなく音声アラートを出力することによって、第2の音声出力(例えば、第2の音声出力は、フィルタリングされていない音声出力である)を生成することを含む(1334)。アラートイベントを示す第1のフィードバックを提供することは、アラートイベントに対して指定された音声アラートが第1のタイプの音声アラートであるとの判定に従って、第1のタイプの音声アラートに第1のフィルタを適用することによって、第1の音声出力を生成することと、アラートイベントに対して指定された音声アラートが第2のタイプの音声アラートであるとの判定に従って、第2のタイプの音声アラートに第2のフィルタを適用することによって、第1の音声出力を生成することと、を含む。例えば、オーディオフィルタは、第1の音声出力を生成する音声アラートのタイプに基づいて選択される(例えば、第1のオーディオフィルタは着信呼に使用され、第2のオーディオフィルタはタイマアラートに使用され、第3のオーディオフィルタは、アラーム時計に使用される)。
ユーザが注意を払っていることをデバイスが検出したときに、アラートのタイプに基づいて音声アラートにそれぞれのフィルタを適用(又は除去)することにより、改善されたフィードバックを提供して、(例えば、異なるタイプのアラートに対するフィルタリングをカスタマイズすることにより、ユーザがアラートに気を配る間に注意散漫の低減を可能にしながら許容可能なレベルの音質を維持することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスが音声出力をより選択的に調整できるようにすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、アラートイベントを示す第1のフィードバックを提供することは、アラートイベントに対して指定された音声アラートが第1のタイプの音声アラートであるとの判定に従って、第1のタイプの音声アラートに第1のフィルタを適用することによって、第1の音声出力を生成することと、アラートイベントに対して指定された音声アラートが第2のタイプの音声アラートであるとの判定に従って、第2のタイプの音声アラートに第2のフィルタを適用することによって、第1の音声出力を生成することと、を含む。アラートイベントを示す第2のフィードバックを提供することは、第1のフィルタ又は第2のフィルタを適用することなく第1の音声アラートを出力することによって、第2の音声出力を生成することを含む。
一部の実施形態では、第1の触知出力は第1の振幅(例えば、平均振幅などの第1の代表振幅)を有し(1336、図13D)、第2の触知出力は、第1の振幅よりも大きい(例えば、タップベース触知出力5504の第1の振幅は、図5HHに示すタップベース触知出力5502の第2の振幅よりも小さい)第2の振幅(例えば、平均振幅などの第2の代表振幅)を有する。
ユーザが注意を払っていることをデバイスが検出したときに、アラートの振幅を低減することにより、改善されたフィードバックを提供して、(例えば、不必要に高い振幅の触知出力を避けながら、デバイスの内部状態のインジケーションを提供することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスが、必要でないときに高い振幅レベルをより選択的に調節できるようすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、第1の触知出力は、触知出力成分の第1のシーケンス(例えば、図5HHのタップベース触知出力5504におけるタップベース触知出力成分)であり、第2の触知出力は、図5HHに示すように、低減された振幅を有する触知出力の第1のシーケンスの少なくとも一部に対応する、触知出力の第2のシーケンス(例えば、図5HHのタップベース触知出力5502におけるタップベースの触知出力成分)である(例えば、触知出力の第2のシーケンスにおける触知出力は、触知出力の第1のシーケンスにおける対応する触知出力の振幅の75%又は50%を有する)。
一部の実施形態では、第1の触知出力は、第1の数の触知出力成分を含み(1338)、第2の触知出力は第2の数の触知出力成分を含み、第2の数は第1の数よりも小さい。例えば、図5JJに示すように、第1の触知出力は、第2の触知出力よりも多くの触知出力成分(例えば、別個の触知出力)を有する。一部の場合では、第2の触知出力における単一の触知出力成分は、複数の触知出力成分で置き換えられる(例えば、図5JJでは、単一の触知出力成分5528は、3つの触知出力成分5530、5532、及び5534で置き換えられる)。一部の実施形態では、図5JJに示すように、複数の触知出力成分は、単一の触知出力成分よりも振幅が低い(例えば、複数の触知出力成分は、図4G~図4H及び図4J~図4Kに示すミニタップ又はマイクロタップであり、単一の触知出力成分は、図4F及び図4Iに示すフルタップあり、あるいは、複数の触知出力成分は、図4H及び図4Kに示すマイクロタップであり、単一の触知出力成分は、図4G及び4Jに示すミニタップである)。
ユーザが注意を払っていることをデバイスが検出したときに、アラートに対する異なる数の触知出力を出力することにより、改善されたフィードバックを提供して、(例えば、不必要な特性の触知出力を避けながら、デバイスの内部状態のインジケーションを提供することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスが、必要でないときに特定のタイプの触知出力をより選択的に調節できるようすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、第2の触知出力は、複数の触知出力成分を含み(1340)、第1の触知出力は、複数の触知出力成分のうちの全てよりも少ないサブセットを含む。例えば、図5KKに示すように、第2の触知出力は、触知出力成分5526及び5528を含み、第1の触知出力は、触知出力成分5526を含むが、触知出力成分5528は含まない。
ユーザが注意を払っていることをデバイスが検出したときに、アラートに対する触知出力成分の数を減らすことにより、改善されたフィードバックを提供して、(例えば、アラートをユーザに通知するために必要とされる触知出力成分の量を最小化しながら、デバイスの内部状態のインジケーションを提供することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスが、必要でないときに多数の触知出力成分をより選択的に調節できるようにすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
一部の実施形態では、第2のフィードバックは、それぞれの周波数で触知出力生成器の反復振動によって生成される第1の振動出力を含む(1342)。第1のフィードバックは、第1の振動出力の代わりに、触知出力成分のシーケンスを含む。触知出力成分のシーケンスの触知出力成分は、それぞれの周波数における触知出力生成器の反復振動の代わりに、触知出力生成器の別個の作動に対応する(例えば、触知出力生成器が、触知出力生成器の別個の作動間で動いていないときに、休止が存在する)。例えば、図5GGに示すように、第2のフィードバックに含まれる振動出力は、第1のフィードバックにおける触知出力成分に置き換えられる。
ユーザが(反復振動を分離なしで提供していることに対して)注意を払っていることをデバイスが検出したときに、アラート用の触知生成器の作動を分離することによって、改善されたフィードバックを提供して、(例えば、触知出力生成器によって必要とされる仕事の量を最小にしながら、デバイスの内部状態のインジケーションを提供することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスが触知出力パターンをより選択的に調節できるようにすることで、不必要なフィードバックを回避することにより、デバイスの電力使用を低減し、バッテリ寿命を改善する。
一部の実施形態では、アラートイベントを示す第1のフィードバックを提供することは、第2のフィードバックを提供することから、第3の音声出力及び/又は第3の触知出力を含む第3のフィードバックを提供することに遷移し、その後に第1のフィードバックを提供することに遷移することを含む(1344)。第3の音声出力の音量は、第2の音声出力の音量より小さく、第1の音声出力の音量よりも大きく、及び/又は第3の触知出力の振幅は、第2の触知出力の振幅よりも小さく、第1の触知出力の振幅よりも大きい。例えば、図5OOに示すように、音声出力トラック1を提供することから音声出力トラック3を提供することに遷移することは、音声出力トラック1を提供することから音声出力トラック2を提供することに最初に遷移すること、その後に、音声出力トラック2を提供することから音声出力トラック3を提供することに遷移することを含む。音声出力トラック2の振幅Aは音声出力トラック1の振幅Aよりも小さく、音声出力トラック3の振幅Aは音声出力トラック2の振幅Aよりも小さい。このように、複数の音声出力トラックを通じてデバイスが進行するにつれて、音声出力の全体的な音量は経時的に減少する。
ユーザが注意を払っていることをデバイスが検出したときに、アラートの音量及び/又は振幅を次第に低減することにより、改善されたフィードバックを提供して、(例えば、シャープな音量及び/又は振幅遷移に関するユーザの感度を考慮しながら、より低いパワー出力に遷移することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、デバイスが、必要でないときに高い音量及び/又は振幅レベルを調節できるようすることで、不要なフィードバックを回避することにより、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
図13A~13Dにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法600、700、800、900、1000、1100、及び1200)に関して本明細書に記載される他の処理の詳細はまた、図13A~図13Dに関して上記した方法1300にも、類似の様式で適用可能であることに留意されたい。例えば、方法1300を参照して上述した触知出力は、本明細書に記載の他の方法(例えば、方法600、700、800、900、1000、1100、及び1200)を参照して本明細書に記載した触知出力のうちの1つ以上の特性を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上記説明された方法での動作は任意選択で、汎用プロセッサ(例えば、図1A及び図3に関連して上記説明されたようなもの)又は特定用途向けチップなどの、情報処理装置内の1つ以上の機能モジュールを実行することによって実施される。
図6A~図6Cを参照して上記説明された動作は任意選択で、図1A~図1Bに記される構成要素によって実施される。例えば、表示動作602及び検出動作604は、イベントソータ170、イベント認識部180、及びイベント処理部190によって、任意選択的に実施される。イベントソータ170のイベントモニタ171は、タッチ感知ディスプレイ112上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136-1に配信する。アプリケーション136-1の対応するイベント認識部180は、そのイベント情報を対応するイベント定義186と比較し、タッチ感知面上の第1の場所での第1の接触(又は、デバイスの回転)が、ユーザインタフェース上のオブジェクトの選択、又は1つの向きから別の向きへのデバイスの回転などの、所定のイベント又はサブイベントに対応するかどうかを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベント処理部190は、アプリケーション内部状態192を更新するために、データ更新部176若しくはオブジェクト更新部177を、任意選択で使用するか又は呼び出す。一部の実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者にとって、他の処理が図1A~図1Bに記される構成要素に基づいてどのように実装されるかは明らかであろう。
同様に、図7A~図7Dを参照して上記説明された動作は任意選択で、図1A~図1Bに記される構成要素によって実施される。例えば、表示動作702、検出動作704、及び生成動作706は、イベントソータ170、イベント認識部180、及びイベント処理部190によって、任意選択的に実施される。図8A~図8Cを参照して先述した動作は任意選択的に、図1A~図1Bに示す構成要素により実施される。例えば、表示動作802及び検出動作804は、イベントソータ170、イベント認識部180、及びイベント処理部190によって、任意選択的に実施される。図9を参照して先述した動作は、任意選択的に、図1A~図1Bに示す構成要素により実施される。例えば、表示動作902、検出動作904、移動動作908、及び出力動作910は、イベントソータ170、イベント認識部180、及びイベント処理部190によって、任意選択的に実施される。図10を参照して先述した動作は、任意選択的に、図1A~図1Bに示す構成要素により実施される。例えば、表示動作1002及び検出動作1004は、イベントソータ170、イベント認識部180、及びイベント処理部190によって、任意選択的に実施される。図11A~図11Bを参照して上記説明された動作は任意選択で、図1A~図1Bに記される構成要素によって実施される。例えば、受信動作1102は、イベントソータ170、イベント認識部180、及びイベント処理部190によって、任意選択的に実施される。図12A~図12Dを参照して上記説明された動作は任意選択で、図1A~図1Bに記される構成要素によって実施される。例えば、受信動作1202、判定動作1204、及び提供動作1206は、イベントソータ170、イベント認識部180、及びイベント処理部190によって、任意選択的に実行される。図13A~図13Dを参照して上記説明された動作は任意選択で、図1A~図1Bに記される構成要素によって実施される。例えば、検出動作1302、フィードバック提供動作1312、及びフィードバック提供動作1316は、イベントソータ170、イベント認識部180、及びイベント処理部190によって、任意選択的に実装される。
上述した説明は、説明の目的上、特定の実施形態を参照して説明されている。しかしながら、上記の例示的な論考は、包括的であることを意図しておらず、又は開示された正確な形に本発明を限定することを意図していない。多くの修正及び変更が、上記教示を考慮して可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に好適な様々な改良で本発明及び様々な実施形態を最良の形で使用することを可能とするために、これらの実施形態を選択し説明した。

Claims (19)

  1. 方法であって、
    ディスプレイ、タッチ感知面、1つ以上のセンサ、オーディオシステム、及び1つ以上の触知出力生成器を備える電子デバイスにおいて、
    着信通信を受信することと、
    1つ以上の前記センサを使用して、ユーザの顔が前記電子デバイスのカメラの視野内にないと判定することを含む、前記電子デバイスが第1の使用コンテキストにあることを判定することと、
    前記着信通信を受信することに応じて、前記着信通信を示す第1のフィードバックを提供することであって、前記着信通信を示す前記第1のフィードバックを提供することは、
    前記オーディオシステムを用いて、前記着信通信に対する第1の進行中の音声出力を提供することであって、前記第1の進行中の音声出力が前記第1の使用コンテキストに対応する、ことと、
    前記1つ以上の触知出力生成器を用いて、前記着信通信に対する第1の進行中の触知出力を提供することであって、前記第1の進行中の触知出力が、前記第1の使用コンテキストに対応する第1の触知出力プロファイルを有する、ことと、を含む、ことと、
    前記着信通信に対して前記第1の進行中の音声出力及び前記第1の進行中の触知出力を提供している間に、1つ以上の前記センサを使用して、ユーザの顔が前記電子デバイスのカメラの視野内にあることを検出することを含む、前記電子デバイスが前記第1の使用コンテキストとは異なる第2の使用コンテキストにあることを検出することと、
    前記電子デバイスが前記第2の使用コンテキストにあることを検出することに応じて、前記第1のフィードバックとは異なる、前記着信通信を示す第2のフィードバックを提供することであって、前記着信通信を示す前記第2のフィードバックを提供することは、
    前記1つ以上の触知出力生成器を用いて、前記着信通信に対する第2の進行中の触知出力を提供することであって、前記第2の進行中の触知出力が、前記第2の使用コンテキストに対応する第2の触知出力プロファイルを有することを含み、前記着信通信に対する前記第2の進行中の触知出力は、前記着信通信に対する前記第1の進行中の触知出力とは別個である、ことと、を含む、方法。
  2. 前記着信通信を示す前記第2のフィードバックを提供することは、前記オーディオシステムを用いて、前記着信通信に対する第2の進行中の音声出力を提供することを含み、前記第2の進行中の音声出力は、前記第2の使用コンテキストに対応し、前記着信通信に対する前記第2の進行中の音声出力は、前記着信通信に対する前記第1の進行中の音声出力とは異なる、請求項1に記載の方法。
  3. 少なくとも1つのオーディオ特性が、前記第1の進行中の音声出力と前記第2の進行中の音声出力との間で共有される、請求項に記載の方法。
  4. 前記第1の使用コンテキストは部分的に囲まれた空間にあり、前記第1の進行中の音声出力は第1の振幅を有し、
    前記第2の使用コンテキストは、前記部分的に囲まれた空間よりも囲まれていない空間にあり、前記第2の進行中の音声出力は、前記第1の振幅よりも小さい第2の振幅を有する、請求項2又は3に記載の方法。
  5. 前記第1の使用コンテキストは第1のバックグラウンドノイズレベルを有し、前記第1の進行中の音声出力は第1の振幅を有し、
    前記第2の使用コンテキストは、前記第1のバックグラウンドノイズレベルよりも大きい第2のバックグラウンドノイズレベルを有し、前記第2の進行中の音声出力は、前記第1の振幅よりも大きい第2の振幅を有する、請求項からのいずれか一項に記載の方法。
  6. 前記第1の使用コンテキストは第1のノイズ周波数分布を有し、前記第1の進行中の音声出力は第1の音声周波数分布を有し、
    前記第2の使用コンテキストは、前記第1のノイズ周波数分布とは異なる第2のノイズ周波数分布を有し、前記第2の進行中の音声出力は、少なくとも1つの周波数範囲において前記第1の進行中の音声出力よりも大きい振幅を有する、請求項からのいずれか一項に記載の方法。
  7. 前記第1の使用コンテキストは静止面上にあり、前記第1の進行中の音声出力は第1の振幅を有し、
    前記第2の使用コンテキストは手の中であり、前記第2の進行中の音声出力は、前記第1の振幅よりも小さい第2の振幅を有する、請求項2又は3に記載の方法。
  8. 前記第1の進行中の触知出力から前記第2の進行中の触知出力への遷移中に少なくとも1つの触知パラメータが変化すると、前記第1の進行中の音声出力から前記第2の進行中の音声出力への遷移の間に少なくとも1つの音声パラメータが変化する、請求項に記載の方法。
  9. 前記第1の進行中の音声出力、前記第1の進行中の触知出力、前記第2の進行中の音声出力、及び前記第2の進行中の触知出力は、同じ着信通信を示すフィードバックである、請求項からのいずれか一項に記載の方法。
  10. 前記着信通信に対して前記第2の進行中の触知出力を提供している間に、1つ以上の前記センサを使用して、前記電子デバイスが前記第1の使用コンテキストとは異なり、かつ、前記第2の使用コンテキストとは異なる、第3の使用コンテキストにあることを検出することと、
    前記電子デバイスが前記第3の使用コンテキストにあることを検出することに応じて、前記第1のフィードバックとは異なり、かつ、前記第2のフィードバックとは異なる、前記着信通信を示す第3のフィードバックを提供することと、を含み、
    前記着信通信を示す前記第3のフィードバックを提供することは、前記1つ以上の触知出力生成器を用いて、前記着信通信に対する第3の進行中の触知出力を提供することを含み、前記第3の進行中の触知出力は、前記第3の使用コンテキストに対応する第3の触知出力プロファイルを有する、請求項1からのいずれか一項に記載の方法。
  11. 前記着信通信を示す前記第3のフィードバックを提供することは、前記オーディオシステムを用いて、前記着信通信に対する第3の進行中の音声出力を提供することを含み、前記第3の進行中の音声出力は、前記第3の使用コンテキストに対応する、請求項10に記載の方法。
  12. 前記第1の使用コンテキストは、ポケット内、静止面上、又は手の中のうちの1つであり、前記第2の使用コンテキストは、ポケット内、静止面上、又は手の中のうちの別の1つである、請求項1からのいずれか一項に記載の方法。
  13. 前記第1の進行中の触知出力は第1の数の触知成分を含み、前記第2の進行中の触知出力は第2の数の触知成分を含み、前記第2の数は前記第1の数とは異なる、請求項1から12のいずれか一項に記載の方法。
  14. 前記デバイスがユーザのポケット内にあることを示すコンテキストにあると前記デバイスが判定された場合、前記着信通信に対応する前記進行中の音声出力は減衰されず、前記着信通信に対応する前記進行中の触知出力は、高顕著触知成分及び低顕著触知成分を含み、前記高顕著触知成分は振動出力に基づく成分であり、前記低顕著触知成分は、前記振動出力よりも短い触知出力を提供するタップベース触知出力に基づく成分であり、
    前記デバイスがユーザの手の中にあることを示すコンテキストにあると前記デバイスが判定された場合、前記着信通信に対応する前記進行中の音声出力は減衰されず、前記着信通信に対応する前記進行中の触知出力は、前記低顕著触知成分を含むが、前記デバイスがユーザのポケット内にあることを示すコンテキストにあると前記デバイスが判定された場合の前記着信通信に対応する前記進行中の触知出力に対して、低減された数の前記低顕著及び高顕著触知成分を含み、
    前記デバイスが面上でディスプレイ側を下にしていることを示すコンテキストにあると前記デバイスが判定された場合、前記着信通信に対応する前記進行中の音声出力が減衰され、前記着信通信に対応する前記進行中の触知出力は、前記デバイスがユーザの手の中にあることを示すコンテキストにあると前記デバイスが判定された場合の前記着信通信に対応する前記進行中の触知出力に対して、低減された数の前記低顕著及び高顕著触知成分を含む、
    請求項1から13のいずれか一項に記載の方法。
  15. 前記電子デバイスが前記第1の使用コンテキストにあることを判定することは、前記ユーザの注視が前記電子デバイスに向けられていないことを判定することを含み、前記電子デバイスが前記第2の使用コンテキストにあることを検出することは、前記ユーザの前記注視が前記電子デバイスに向けられていることを検出することを含む、請求項1に記載の方法。
  16. 電子デバイスであって、
    ディスプレイと、
    タッチ感知面と、
    1つ以上のセンサと、
    オーディオシステムと、
    1つ以上の触知出力生成器と、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備え、前記1つ以上のプログラムは、前記メモリに記憶され、かつ、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが命令を含み、前記命令は、
    着信通信を受信し、
    1つ以上の前記センサを使用して、ユーザの顔が前記電子デバイスのカメラの視野内にないと判定することを含む、前記電子デバイスが第1の使用コンテキストにあることを判定し、
    前記着信通信を受信することに応じて、前記着信通信を示す第1のフィードバックを提供することは、
    前記オーディオシステムを用いて、前記着信通信に対する第1の進行中の音声出力を提供することであって、前記第1の進行中の音声出力が前記第1の使用コンテキストに対応する、ことと、
    前記1つ以上の触知出力生成器を用いて、前記着信通信に対する第1の進行中の触知出力を提供することであって、前記第1の進行中の触知出力が、前記第1の使用コンテキストに対応する第1の触知出力プロファイルを有する、ことと、を含む、前記着信通信を示す前記第1のフィードバックを提供し、
    前記着信通信に対して前記第1の進行中の音声出力及び前記第1の進行中の触知出力を提供している間に、1つ以上の前記センサを使用して、ユーザの顔が前記電子デバイスのカメラの視野内にあることを検出することを含む、前記電子デバイスが前記第1の使用コンテキストとは異なる第2の使用コンテキストにあることを検出し、
    前記電子デバイスが前記第2の使用コンテキストにあることを検出することに応じて、前記第1のフィードバックとは異なる、前記着信通信を示す第2のフィードバックを提供することは、
    前記1つ以上の触知出力生成器を用いて、前記着信通信に対する第2の進行中の触知出力を提供することであって、前記第2の進行中の触知出力が、前記第2の使用コンテキストに対応する第2の触知出力プロファイルを有することを含み、前記着信通信に対する前記第2の進行中の触知出力は、前記着信通信に対する前記第1の進行中の触知出力とは別個である、前記着信通信を示す前記第2のフィードバックを提供する、電子デバイス。
  17. 前記1つ以上のプログラムは、請求項2から15の何れか一項に記載の方法を実行するための命令を含む、請求項16に記載の電子デバイス。
  18. 命令を含むプログラムであって、前記命令は、ディスプレイと、タッチ感知面と、1つ以上のセンサと、オーディオシステムと、1つ以上の触知出力生成器とを備える電子デバイスによって実行されると、前記電子デバイスに
    着信通信を受信させ、
    1つ以上の前記センサを使用して、ユーザの顔が前記電子デバイスのカメラの視野内にないと判定させることを含む、前記電子デバイスが第1の使用コンテキストにあることを判定させ、
    前記着信通信を受信することに応じて、前記着信通信を示す第1のフィードバックを提供することは、
    前記オーディオシステムを用いて、前記着信通信に対する第1の進行中の音声出力を提供することであって、前記第1の進行中の音声出力が前記第1の使用コンテキストに対応する、ことと、
    前記1つ以上の触知出力生成器を用いて、前記着信通信に対する第1の進行中の触知出力を提供することであって、前記第1の進行中の触知出力が、前記第1の使用コンテキストに対応する第1の触知出力プロファイルを有する、ことと、を含む、前記着信通信を示す前記第1のフィードバックを提供させ、
    前記着信通信に対して前記第1の進行中の音声出力及び前記第1の進行中の触知出力を提供している間に、1つ以上の前記センサを使用して、ユーザの顔が前記電子デバイスのカメラの視野内にあることを検出させることを含む、前記電子デバイスが前記第1の使用コンテキストとは異なる第2の使用コンテキストにあることを検出させ、
    前記電子デバイスが前記第2の使用コンテキストにあることを検出することに応じて、前記第1のフィードバックとは異なる、前記着信通信を示す第2のフィードバックを提供することは、
    前記1つ以上の触知出力生成器を用いて、前記着信通信に対する第2の進行中の触知出力を提供することであって、前記第2の進行中の触知出力が、前記第2の使用コンテキストに対応する第2の触知出力プロファイルを有することを含み、前記着信通信に対する前記第2の進行中の触知出力は、前記着信通信に対する前記第1の進行中の触知出力とは別個である、前記着信通信を示す前記第2のフィードバックを提供させる、プログラム。
  19. 前記プログラムは、請求項2から15の何れか一項に記載の方法を実行するための命令を含む、請求項18に記載のプログラム。
JP2020035108A 2016-06-12 2020-03-02 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース Active JP7240347B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023033002A JP2023078203A (ja) 2016-06-12 2023-03-03 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662349115P 2016-06-12 2016-06-12
US62/349,115 2016-06-12
US201762507039P 2017-05-16 2017-05-16
US62/507,039 2017-05-16
US15/619,359 US9984539B2 (en) 2016-06-12 2017-06-09 Devices, methods, and graphical user interfaces for providing haptic feedback
US15/619,359 2017-06-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018558694A Division JP6670954B2 (ja) 2016-06-12 2017-06-12 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023033002A Division JP2023078203A (ja) 2016-06-12 2023-03-03 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース

Publications (2)

Publication Number Publication Date
JP2020119575A JP2020119575A (ja) 2020-08-06
JP7240347B2 true JP7240347B2 (ja) 2023-03-15

Family

ID=60572949

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018558694A Active JP6670954B2 (ja) 2016-06-12 2017-06-12 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
JP2020035108A Active JP7240347B2 (ja) 2016-06-12 2020-03-02 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
JP2023033002A Pending JP2023078203A (ja) 2016-06-12 2023-03-03 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018558694A Active JP6670954B2 (ja) 2016-06-12 2017-06-12 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023033002A Pending JP2023078203A (ja) 2016-06-12 2023-03-03 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース

Country Status (7)

Country Link
US (6) US9984539B2 (ja)
EP (2) EP4254373A3 (ja)
JP (3) JP6670954B2 (ja)
KR (5) KR102657331B1 (ja)
CN (1) CN109154859A (ja)
AU (2) AU2017286532B2 (ja)
DK (1) DK179823B1 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD741353S1 (en) * 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
EP3039513B1 (en) 2013-09-03 2020-08-19 Apple Inc. Crown input for a wearable electronic device
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
EP3584671B1 (en) 2014-06-27 2022-04-27 Apple Inc. Manipulation of calendar application in device with touch screen
WO2016007426A1 (en) * 2014-07-07 2016-01-14 Immersion Corporation Second screen haptics
TW201610758A (zh) 2014-09-02 2016-03-16 蘋果公司 按鈕功能性
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
KR102497720B1 (ko) 2014-09-02 2023-02-10 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
USD781907S1 (en) * 2016-01-19 2017-03-21 Apple Inc. Display screen or portion thereof with graphical user interface
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
JP2018036841A (ja) * 2016-08-31 2018-03-08 ソニー株式会社 信号処理装置、信号処理方法、プログラム、および電子機器
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
JP2018045407A (ja) * 2016-09-14 2018-03-22 株式会社東海理化電機製作所 触覚呈示装置
JP2018045434A (ja) * 2016-09-14 2018-03-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
USD863341S1 (en) * 2017-01-05 2019-10-15 Bryan J. Wrzesinski Display screen with graphical user interface
USD833474S1 (en) * 2017-01-27 2018-11-13 Veritas Technologies, LLC Display screen with graphical user interface
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
JP6257826B1 (ja) * 2017-05-31 2018-01-10 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置
GB2563871B (en) * 2017-06-28 2019-12-11 Jaguar Land Rover Ltd Control system for enabling operation of a vehicle
US20190027000A1 (en) * 2017-07-19 2019-01-24 Kovacorp Interactive Alert Notification System
US10977910B1 (en) * 2017-09-06 2021-04-13 Apple Inc. Tactile outputs for input structures of electronic devices
US10331400B1 (en) * 2018-02-22 2019-06-25 Cirrus Logic, Inc. Methods and apparatus for soft clipping
USD916720S1 (en) * 2018-02-22 2021-04-20 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11030921B2 (en) * 2018-06-08 2021-06-08 Wells Fargo Bank, N.A. Change data driven tactile response
US20200026354A1 (en) * 2018-07-17 2020-01-23 Immersion Corporation Adaptive haptic effect rendering based on dynamic system identification
CN109240585A (zh) * 2018-08-08 2019-01-18 瑞声科技(新加坡)有限公司 一种人机交互的方法、装置、终端和计算机可读存储介质
US11435830B2 (en) * 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10712824B2 (en) * 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
CN110096157B (zh) * 2018-09-11 2021-05-11 苹果公司 基于内容的触觉输出
US10800433B2 (en) * 2018-09-14 2020-10-13 Honda Motor Co., Ltd. Seat haptic system and method of equalizing haptic output
US10976989B2 (en) * 2018-09-26 2021-04-13 Apple Inc. Spatial management of audio
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
JP6724223B2 (ja) * 2018-09-29 2020-07-15 ジェギュ イ 多様なアイコンバッジを表示できるデータ処理ターミナル及び該バッジとターミナルを用いる方法
US10908783B2 (en) * 2018-11-06 2021-02-02 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects and providing feedback
US11997060B1 (en) * 2019-01-29 2024-05-28 Allscripts Software, Llc Apparatus, systems, and methods for third-party information display in a user interface in a medical computer system environment
US11086431B2 (en) * 2019-01-30 2021-08-10 Samsung Display Co., Ltd. Display device and method for providing haptic feedback by display device
CN111913868B (zh) * 2019-05-07 2023-08-04 杭州海康威视数字技术股份有限公司 用户界面的测试方法、装置、系统及存储介质
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
CN110708418B (zh) * 2019-09-09 2021-06-29 国家计算机网络与信息安全管理中心 一种识别呼叫方属性的方法及装置
JP7252866B2 (ja) * 2019-09-10 2023-04-05 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
JP7264779B2 (ja) * 2019-09-10 2023-04-25 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
JP7360282B2 (ja) * 2019-09-10 2023-10-12 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
USD921010S1 (en) * 2019-09-19 2021-06-01 Keurig Green Mountain, Inc. Display screen or portion thereof with graphical user interface
USD915425S1 (en) * 2019-09-19 2021-04-06 Keurig Green Mountain, Inc. Display screen with graphical user interface
USD921012S1 (en) * 2019-09-19 2021-06-01 Keurig Green Mountain, Inc. Display screen or portion thereof with graphical user interface
USD921009S1 (en) * 2019-09-19 2021-06-01 Keurig Green Mountain, Inc. Display screen or portion thereof with graphical user interface
USD921008S1 (en) * 2019-09-19 2021-06-01 Keurig Green Mountain, Inc. Display screen or portion thereof with graphical user interface
US11016656B1 (en) * 2020-02-14 2021-05-25 International Business Machines Corporation Fault recognition self-learning graphical user interface
EP4115628A1 (en) * 2020-03-06 2023-01-11 algoriddim GmbH Playback transition from first to second audio track with transition functions of decomposed signals
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
JP2022012116A (ja) * 2020-07-01 2022-01-17 コニカミノルタ株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
CN112596612A (zh) 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
TWI796891B (zh) * 2021-05-05 2023-03-21 寶德科技股份有限公司 搖桿組件及遊戲手把
US20230077780A1 (en) * 2021-09-16 2023-03-16 International Business Machines Corporation Audio command corroboration and approval
US20240134468A1 (en) * 2022-10-20 2024-04-25 Stmicroelectronics S.R.L. System and method for determining whether an electronic device is located on a stationary or stable surface

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180122A (ja) 2004-12-21 2006-07-06 Nec Corp 携帯端末及びその状態報知方法、並びに携帯端末のコンピュータ・プログラム
WO2008075082A1 (en) 2006-12-21 2008-06-26 Symbian Software Limited Mobile device and method of operation thereof
US20080161063A1 (en) 2006-12-29 2008-07-03 Motorola, Inc. Methods and devices for adaptive ringtone generation
JP2013507059A (ja) 2009-09-30 2013-02-28 アップル インコーポレイテッド 自己適応触覚装置
JP2014103430A (ja) 2011-03-11 2014-06-05 Panasonic Corp 電子機器およびその制御方法
US20140170379A1 (en) 2011-08-25 2014-06-19 Toray Industries, Inc. Film for forming and forming transfer foil using same
US20140354538A1 (en) 2013-06-03 2014-12-04 Samsung Electronics Co., Ltd. Method and apparatus for operating notification function in user device
JP2015015600A (ja) 2013-07-04 2015-01-22 シャープ株式会社 携帯端末、制御方法
US20160036996A1 (en) 2014-08-02 2016-02-04 Sony Corporation Electronic device with static electric field sensor and related method

Family Cites Families (463)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433771B1 (en) 1992-12-02 2002-08-13 Cybernet Haptic Systems Corporation Haptic device attribute control
EP0760125B1 (en) 1994-05-16 2002-04-03 Apple Computer, Inc. A system and method for customizing appearance and behavior of graphical user interfaces
US20030040361A1 (en) 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
US6219032B1 (en) 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US5990869A (en) 1996-08-20 1999-11-23 Alliance Technologies Corp. Force feedback mouse
JP3655438B2 (ja) 1997-07-17 2005-06-02 任天堂株式会社 ビデオゲームシステム
JP3138666B2 (ja) * 1997-08-21 2001-02-26 日本電気通信システム株式会社 携帯電話機
US6211861B1 (en) 1998-06-23 2001-04-03 Immersion Corporation Tactile mouse device
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP2000209311A (ja) 1999-01-13 2000-07-28 Yazaki Corp 車両用呼出応対方法
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US7561142B2 (en) 1999-07-01 2009-07-14 Immersion Corporation Vibrotactile haptic feedback devices
WO2001024158A1 (en) 1999-09-28 2001-04-05 Immersion Corporation Controlling haptic sensations for vibrotactile feedback interface devices
US6424251B1 (en) 1999-11-10 2002-07-23 Matthew T. Byrne Personal electronic device notification system
US6560165B1 (en) 2000-03-28 2003-05-06 Diane K. Barker Medical information appliance
US7016707B2 (en) 2000-06-21 2006-03-21 Seiko Epson Corporation Mobile telephone and radio communication device cooperatively processing incoming call
US7302280B2 (en) * 2000-07-17 2007-11-27 Microsoft Corporation Mobile phone operation based upon context sensing
EP1330811B1 (en) 2000-09-28 2012-08-22 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
US6791536B2 (en) 2000-11-10 2004-09-14 Microsoft Corporation Simulating gestures of a pointing device using a stylus and providing feedback thereto
GB0029622D0 (en) 2000-12-05 2001-01-17 Nokia Networks Oy Improved user interface
JP4327369B2 (ja) 2001-02-23 2009-09-09 ヤマハ株式会社 携帯端末、着信通知制御プログラム及び着信通知制御プログラムを記録した記録媒体
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
JP4149926B2 (ja) 2001-11-01 2008-09-17 イマージョン コーポレーション 触知感覚を与える方法及び装置
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
JP3794395B2 (ja) 2002-06-04 2006-07-05 カシオ計算機株式会社 電子カメラ及びその報知制御方法、並びにプログラム
JP2004064117A (ja) 2002-07-24 2004-02-26 Kenwood Corp 移動体通信端末、着信報知方法及びプログラム
EP1406150A1 (en) 2002-10-01 2004-04-07 Sony Ericsson Mobile Communications AB Tactile feedback method and device and portable device incorporating same
US20040095311A1 (en) * 2002-11-19 2004-05-20 Motorola, Inc. Body-centric virtual interactive apparatus and method
GB2412989B (en) 2002-12-08 2007-02-14 Immersion Corp Methods and systems for providing a virtual touch haptic effect to handheld communication devices
US8165640B2 (en) 2003-03-14 2012-04-24 Jeffrey D Mullen Systems and methods for providing remote incoming call notification for cellular phones
US7886236B2 (en) 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
US7454009B2 (en) 2003-04-25 2008-11-18 International Business Machines Corporation Ring-tone identification of urgent phone calls
JP4240293B2 (ja) * 2003-05-27 2009-03-18 株式会社ソニー・コンピュータエンタテインメント マルチメディア再生装置およびマルチメディア再生方法
JP2004363999A (ja) 2003-06-05 2004-12-24 Hitachi Ltd 携帯電話機、携帯電話基地局サーバ及びip電話装置と電子メールシステム
US7130664B1 (en) 2003-06-12 2006-10-31 Williams Daniel P User-based signal indicator for telecommunications device and method of remotely notifying a user of an incoming communications signal incorporating the same
US7669177B2 (en) 2003-10-24 2010-02-23 Microsoft Corporation System and method for preference application installation and execution
JP2005276089A (ja) 2004-03-26 2005-10-06 Seiko Epson Corp 入力装置、画像表示装置及びプロジェクタ
US20050231489A1 (en) 2004-04-15 2005-10-20 Research In Motion Limited System and method for providing dynamic tactile feedback on hand-held electronic devices
US7305257B2 (en) 2004-04-16 2007-12-04 Research In Motion Limited Portable alerter for wireless device
JP2006011646A (ja) 2004-06-23 2006-01-12 Pioneer Electronic Corp 触覚表示装置及び触覚表示機能付タッチパネル装置
US7308253B2 (en) 2004-06-30 2007-12-11 Avaya Technology Corp. Log-based ringtone service
US8867724B2 (en) 2004-08-31 2014-10-21 At&T Intellectual Property I, L.P. Distinctive ring tones prompted by call urgency and context
US8232969B2 (en) 2004-10-08 2012-07-31 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US9591345B2 (en) * 2004-10-21 2017-03-07 Core Wireless Licensing S.A.R.L. Group editing of media content stored on wireless portable devices
US7720213B2 (en) 2004-12-30 2010-05-18 Alcatel Lucent Parameter dependent ring tones
US8768838B1 (en) 2005-02-02 2014-07-01 Nexus Payments, LLC Financial transactions using a rule-module nexus and a user account registry
JP2006285471A (ja) 2005-03-31 2006-10-19 Seiko Epson Corp 情報表示装置、情報表示方法および情報表示プログラム
EP1872257B1 (en) 2005-04-18 2010-09-08 Research In Motion Limited Method and system for centralized user notification and application execution control
US20060248183A1 (en) 2005-04-28 2006-11-02 Microsoft Corporation Programmable notifications for a mobile device
US7911983B2 (en) 2005-07-29 2011-03-22 Cisco Technology, Inc. Selective mute/unmute control over applications running on a PC
KR100714725B1 (ko) 2005-08-29 2007-05-07 삼성전자주식회사 입력 정보의 노출을 방지하기 위한 입력 장치 및 입력 방법
US9166823B2 (en) 2005-09-21 2015-10-20 U Owe Me, Inc. Generation of a context-enriched message including a message component and a contextual attribute
US20070088560A1 (en) 2005-10-14 2007-04-19 Motorola, Inc. Method and system for conveying context information in a personal and family security environment
US20070106457A1 (en) 2005-11-09 2007-05-10 Outland Research Portable computing with geospatial haptic compass
US7958456B2 (en) 2005-12-23 2011-06-07 Apple Inc. Scrolling list with floating adjacent index symbols
US20070132789A1 (en) 2005-12-08 2007-06-14 Bas Ording List scrolling in response to moving contact over list of index symbols
CN101375582A (zh) 2006-01-19 2009-02-25 高通股份有限公司 将已分类源地址群组与振动模式相关联的方法
US7710958B2 (en) 2006-01-20 2010-05-04 Iona Technologies Limited Method for recoverable message exchange independent of network protocols
JP5129478B2 (ja) 2006-03-24 2013-01-30 株式会社デンソーアイティーラボラトリ 画面表示装置
US8144125B2 (en) * 2006-03-30 2012-03-27 Cypress Semiconductor Corporation Apparatus and method for reducing average scan rate to detect a conductive object on a sensing device
US7751542B2 (en) 2006-05-04 2010-07-06 Avaya Inc. Feeble ring tones
US20070283239A1 (en) 2006-05-30 2007-12-06 Robert Paul Morris Methods, systems, and computer program products for providing a user interaction model for use by a device
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7809406B2 (en) 2006-09-15 2010-10-05 Sony Ericsson Mobile Communications Ab Continued transfer or streaming of a data file after loss of a local connection
DE102006048833A1 (de) 2006-10-16 2008-04-17 Universität Rostock Behandlung von Osteoporose
US8583189B2 (en) 2006-12-28 2013-11-12 Motorola Mobility Llc Method and apparatus for the selective use of imperceptible invites
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
CN101232665B (zh) 2007-01-24 2012-02-22 北京三星通信技术研究有限公司 用于移动通信终端的回电设定及自动提示的方法
JP2008181365A (ja) 2007-01-25 2008-08-07 Mitsubishi Electric Corp 携帯機器
US8098234B2 (en) 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
KR100835297B1 (ko) 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
US7801569B1 (en) 2007-03-22 2010-09-21 At&T Intellectual Property I, L.P. Mobile communications device with distinctive vibration modes
TWI351638B (en) 2007-04-27 2011-11-01 Htc Corp Touch-based tab navigation method and related devi
US8144126B2 (en) * 2007-05-07 2012-03-27 Cypress Semiconductor Corporation Reducing sleep current in a capacitance sensing system
JP4803105B2 (ja) 2007-05-09 2011-10-26 ソニー株式会社 電子機器
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US8258986B2 (en) * 2007-07-03 2012-09-04 Cypress Semiconductor Corporation Capacitive-matrix keyboard with multiple touch detection
US8026814B1 (en) 2007-07-25 2011-09-27 Pinpoint Technologies Inc. Wireless mesh network for an asset tracking system
US8331268B2 (en) 2007-08-31 2012-12-11 At&T Intellectual Property I, L.P. Methods, systems, and computer-readable media for providing an event alert
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
CN102749997B (zh) 2007-09-18 2016-06-22 微软技术许可有限责任公司 移动终端和控制该移动终端的操作的方法
US8098235B2 (en) 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US7768838B2 (en) 2007-10-30 2010-08-03 Micron Technology, Inc. Operating memory cells
US20090128581A1 (en) 2007-11-20 2009-05-21 Microsoft Corporation Custom transition framework for application state transitions
US20090135142A1 (en) 2007-11-27 2009-05-28 Motorola, Inc. Data entry device and method
US9509829B2 (en) 2007-12-28 2016-11-29 Apple, Inc. Urgent communications
US8373549B2 (en) 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US9857872B2 (en) 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
US8577423B2 (en) 2008-02-27 2013-11-05 Palm, Inc. Vibration tone differentiation
US20090219252A1 (en) 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
US10015158B2 (en) 2008-02-29 2018-07-03 Blackberry Limited Methods and apparatus for use in enabling a mobile communication device with a digital certificate
US8205157B2 (en) 2008-03-04 2012-06-19 Apple Inc. Methods and graphical user interfaces for conducting searches on a portable multifunction device
US9513704B2 (en) 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
JP2009265818A (ja) * 2008-04-23 2009-11-12 Denso Corp ドライバ覚醒装置
EP2112579B1 (en) 2008-04-25 2013-05-22 Research In Motion Limited Electronic device comprising touch-sensitive input surface and method of determining user-selected input
JP2009278294A (ja) 2008-05-13 2009-11-26 Sony Ericsson Mobilecommunications Japan Inc 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置
KR101456001B1 (ko) 2008-05-23 2014-11-03 엘지전자 주식회사 단말기 및 그 제어 방법
US8266550B1 (en) 2008-05-28 2012-09-11 Google Inc. Parallax panning of mobile device desktop
US9357052B2 (en) * 2008-06-09 2016-05-31 Immersion Corporation Developing a notification framework for electronic device events
US8203444B2 (en) 2008-06-10 2012-06-19 Silent Call Corporation Alerting device with supervision
KR101498622B1 (ko) 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US8306576B2 (en) 2008-06-27 2012-11-06 Lg Electronics Inc. Mobile terminal capable of providing haptic effect and method of controlling the mobile terminal
KR101556522B1 (ko) 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
KR101443341B1 (ko) 2008-06-30 2014-11-03 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
KR101474963B1 (ko) 2008-07-01 2014-12-19 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US9600175B2 (en) 2008-07-14 2017-03-21 Sony Corporation Method and system for classification sign display
WO2010009152A1 (en) 2008-07-15 2010-01-21 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
GB2462465B (en) 2008-08-08 2013-02-13 Hiwave Technologies Uk Ltd Touch sensitive device
US8604364B2 (en) 2008-08-15 2013-12-10 Lester F. Ludwig Sensors, algorithms and applications for a high dimensional touchpad
US8402381B2 (en) 2008-09-23 2013-03-19 International Business Machines Corporation Automatically arranging widgets of a model within a canvas using iterative region based widget relative adjustments
EP3654141A1 (en) 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
KR101529502B1 (ko) 2008-10-16 2015-06-17 엘지전자 주식회사 인스턴트 메시지 제어방법과 이를 이용한 이동 단말기
KR101569176B1 (ko) 2008-10-30 2015-11-20 삼성전자주식회사 오브젝트 실행 방법 및 장치
JP5003655B2 (ja) 2008-11-07 2012-08-15 富士通株式会社 携帯端末装置
EP2187290A1 (en) 2008-11-18 2010-05-19 Studer Professional Audio GmbH Input device and method of detecting a user input with an input device
JP5227769B2 (ja) 2008-12-05 2013-07-03 ソニーモバイルコミュニケーションズ, エービー 携帯端末およびコンピュータプログラム
JP5181093B2 (ja) 2008-12-08 2013-04-10 韓國電子通信研究院 タッチスクリーン及びその動作方法
US8886252B2 (en) 2008-12-22 2014-11-11 Htc Corporation Method and apparatus for automatically changing operating modes in a mobile device
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
JP4746085B2 (ja) 2008-12-25 2011-08-10 京セラ株式会社 入力装置
AU2009333038B2 (en) 2008-12-29 2015-12-17 Red.Com, Llc Modular digital camera
US8378979B2 (en) 2009-01-27 2013-02-19 Amazon Technologies, Inc. Electronic device with haptic feedback
US8588430B2 (en) * 2009-02-11 2013-11-19 Nxp B.V. Controlling an adaptation of a behavior of an audio device to a current acoustic environmental condition
GB2480418B (en) 2009-02-20 2013-11-13 Solocem Systems Oy Short-range communication-enabled mobile device, method and related server arrangement
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US8572513B2 (en) 2009-03-16 2013-10-29 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
KR101553842B1 (ko) 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
US9658760B2 (en) 2009-05-07 2017-05-23 Creative Technology Ltd. Methods for searching digital files on a user interface
JP2010268086A (ja) 2009-05-13 2010-11-25 Nec Saitama Ltd 携帯端末装置およびその着信報知出力制御方法
KR101620874B1 (ko) 2009-05-19 2016-05-13 삼성전자주식회사 목록 검색 방법 및 이를 지원하는 휴대 단말기
US8279194B2 (en) * 2009-05-22 2012-10-02 Elo Touch Solutions, Inc. Electrode configurations for projected capacitive touch screen
KR101597553B1 (ko) 2009-05-25 2016-02-25 엘지전자 주식회사 기능 실행 방법 및 그 장치
US20100302042A1 (en) 2009-05-28 2010-12-02 David Barnett Sensor-based independent living assistant
US8271898B1 (en) 2009-06-04 2012-09-18 Mellmo Inc. Predictive scrolling
US8254957B2 (en) * 2009-06-16 2012-08-28 Intel Corporation Context-based limitation of mobile device operation
KR20100136156A (ko) 2009-06-18 2010-12-28 삼성전자주식회사 터치스크린을 구비하는 휴대 단말기의 화면 스크롤 방법 및 장치
US8310458B2 (en) 2009-07-06 2012-11-13 Research In Motion Limited Electronic device including a moveable touch-sensitive input and method of controlling same
WO2011011025A1 (en) 2009-07-24 2011-01-27 Research In Motion Limited Method and apparatus for a touch-sensitive display
US20110017828A1 (en) 2009-07-24 2011-01-27 Jadak, Llc Handheld optical imaging device and method
US8477106B2 (en) * 2009-07-29 2013-07-02 Elo Touch Solutions, Inc. System and method for a projected capacitive touchscreen having weight based coordinate determination
US20110053577A1 (en) 2009-08-31 2011-03-03 Lee Changkee Methods and apparatus for communicating by vibrating or moving mobile devices
US20110055753A1 (en) 2009-08-31 2011-03-03 Horodezky Samuel J User interface methods providing searching functionality
US9176962B2 (en) * 2009-09-07 2015-11-03 Apple Inc. Digital media asset browsing with audio cues
US20110074695A1 (en) * 2009-09-25 2011-03-31 Peter William Rapp Device, Method, and Graphical User Interface Using Mid-Drag Gestures
US20110190582A1 (en) 2009-09-28 2011-08-04 Bennett James D Intravaginal optics targeting system
US8131848B1 (en) * 2009-09-29 2012-03-06 Jason Adam Denise Image analysis and communication device control technology
US9338274B2 (en) 2009-10-02 2016-05-10 Blackberry Limited Method of interacting with electronic devices in a locked state and handheld electronic device configured to permit interaction when in a locked state
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US8839128B2 (en) 2009-11-25 2014-09-16 Cooliris, Inc. Gallery application for content viewing
EP2328063B1 (en) 2009-11-30 2018-01-10 BlackBerry Limited Portable electronic device and method of controlling same to provide tactile feedback
US8204548B1 (en) 2009-12-01 2012-06-19 Sprint Communications Company L.P. System and method for mobile device application pre-emption
US8347238B2 (en) 2009-12-16 2013-01-01 Apple Inc. Device, method, and graphical user interface for managing user interface content and user interface elements by dynamic snapping of user interface elements to alignment guides
US20110148608A1 (en) 2009-12-18 2011-06-23 Research In Motion Limited Portable electronic device and method of control
JP5437786B2 (ja) 2009-12-21 2014-03-12 京セラ株式会社 触感呈示装置
US8386965B2 (en) 2010-01-15 2013-02-26 Apple Inc. Techniques and systems for enhancing touch screen device accessibility through virtual containers and virtually enlarged boundaries
US20110202843A1 (en) 2010-02-15 2011-08-18 Robert Paul Morris Methods, systems, and computer program products for delaying presentation of an update to a user interface
US8548418B1 (en) 2010-01-25 2013-10-01 Sprint Spectrum L.P. Methods and devices for distributing ringtone
JP5635274B2 (ja) 2010-01-27 2014-12-03 京セラ株式会社 触感呈示装置および触感呈示方法
JP5360499B2 (ja) 2010-02-01 2013-12-04 国立大学法人東北大学 力覚提示方法および力覚提示装置
TW201205910A (en) 2010-02-03 2012-02-01 Bayer Materialscience Ag An electroactive polymer actuator haptic grip assembly
US9361018B2 (en) 2010-03-01 2016-06-07 Blackberry Limited Method of providing tactile feedback and apparatus
US8957981B2 (en) 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
US8881060B2 (en) 2010-04-07 2014-11-04 Apple Inc. Device, method, and graphical user interface for managing folders
KR101657543B1 (ko) * 2010-06-14 2016-09-22 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
EP2378406B1 (en) 2010-04-13 2018-08-22 LG Electronics Inc. Mobile terminal and method of controlling operation of the mobile terminal
US8698766B2 (en) 2010-04-22 2014-04-15 Maxim Integrated Products, Inc. System integration of tactile feedback and touchscreen controller for near-zero latency haptics playout
EP2561424B1 (en) 2010-04-23 2019-02-20 Immersion Corporation Systems and methods for providing haptic effects
US20110271181A1 (en) 2010-04-28 2011-11-03 Acer Incorporated Screen unlocking method and electronic apparatus thereof
US8671504B2 (en) 2010-04-28 2014-03-18 Denso Corporation Cover of vehicle optical sensor and vehicle optical sensor device
US20110267294A1 (en) 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US20110267181A1 (en) 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US20110270358A1 (en) 2010-04-30 2011-11-03 Medtronic, Inc. Implantable medical device programming using gesture-based control
EP2386935B1 (en) 2010-05-14 2015-02-11 BlackBerry Limited Method of providing tactile feedback and electronic device
US8451255B2 (en) 2010-05-14 2013-05-28 Arnett Ryan Weber Method of providing tactile feedback and electronic device
US8466889B2 (en) 2010-05-14 2013-06-18 Research In Motion Limited Method of providing tactile feedback and electronic device
US20120327006A1 (en) 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US9749176B2 (en) 2010-06-29 2017-08-29 Nokia Technologies Oy Systems, methods, and apparatuses for providing adaptive user notifications
US8798534B2 (en) 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
US8811948B2 (en) 2010-07-09 2014-08-19 Microsoft Corporation Above-lock camera access
JP5652711B2 (ja) 2010-07-14 2015-01-14 株式会社リコー タッチパネル装置
EP2407896A1 (en) 2010-07-16 2012-01-18 Research In Motion Limited Systems and methods of user interface for image display
JP2012027875A (ja) 2010-07-28 2012-02-09 Sony Corp 電子機器、処理方法及びプログラム
US8766984B2 (en) 2010-08-20 2014-07-01 Qualcomm Incorporated Graphics rendering methods for satisfying minimum frame rate requirements
US9069760B2 (en) 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
KR101668249B1 (ko) * 2010-08-24 2016-10-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5656511B2 (ja) 2010-08-26 2015-01-21 京セラ株式会社 表示装置
US8676274B2 (en) 2010-08-27 2014-03-18 At&T Intellectual Property I, L.P. Devices, systems, and methods for notification of events on a wireless communication device
FR2964761B1 (fr) 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
CA2792243C (en) 2010-09-24 2013-11-12 Qnx Software Systems Limited Alert display on a portable electronic device
DE102010048745A1 (de) 2010-10-16 2012-04-19 Volkswagen Ag Benutzerschnittstelle und Verfahren zum Bedienen einer Benutzerschnittstelle
US20120105367A1 (en) 2010-11-01 2012-05-03 Impress Inc. Methods of using tactile force sensing for intuitive user interface
US8914743B2 (en) 2010-11-12 2014-12-16 Apple Inc. Device, method, and graphical user interface for navigating a list of identifiers
WO2012081182A1 (ja) 2010-12-13 2012-06-21 パナソニック株式会社 電子機器
US9223471B2 (en) 2010-12-28 2015-12-29 Microsoft Technology Licensing, Llc Touch screen control
US9052758B2 (en) * 2010-12-31 2015-06-09 Blackberry Limited System and method for detecting accidental peripheral device disconnection
KR101785323B1 (ko) 2011-01-05 2017-10-17 삼성전자주식회사 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
CN102609078B (zh) 2011-01-20 2014-12-31 宏达国际电子股份有限公司 具有触觉反馈的电子装置及提供触觉反馈的方法
US8615511B2 (en) 2011-01-22 2013-12-24 Operational Transparency LLC Data visualization interface
US9158378B2 (en) 2011-02-10 2015-10-13 Kyocera Corporation Electronic device and control method for electronic device
CN103370683A (zh) 2011-02-15 2013-10-23 Nec卡西欧移动通信株式会社 便携式终端设备及其屏幕显示方法
CN102651920A (zh) 2011-02-24 2012-08-29 腾讯科技(深圳)有限公司 基于移动通信终端的操作提示方法及移动通信终端
US8749349B2 (en) 2011-03-11 2014-06-10 Nokia Corporation Method apparatus and computer program
WO2012135378A1 (en) 2011-04-01 2012-10-04 Analog Devices, Inc. Method and apparatus for haptic vibration response profiling and feedback
US9733708B2 (en) 2011-04-06 2017-08-15 Kyocera Corporation Electronic device, operation control method, and operation control program
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9218727B2 (en) 2011-05-12 2015-12-22 Apple Inc. Vibration in portable devices
US8717151B2 (en) 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
US20120306790A1 (en) 2011-06-02 2012-12-06 Electronics And Telecommunications Research Institute Film type apparatus for providing haptic feedback and touch screen including the same
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US9383820B2 (en) 2011-06-03 2016-07-05 Apple Inc. Custom vibration patterns
KR101678271B1 (ko) 2011-06-05 2016-11-21 애플 인크. 다수의 애플리케이션들로부터 수신된 통지들을 디스플레이하기 위한 시스템들 및 방법들
EP2535134B1 (de) 2011-06-16 2018-01-24 Klingelnberg AG Verfahren zum Vorverzahnen mehrerer unterschiedlicher Kegelräder
CN103621056A (zh) 2011-06-23 2014-03-05 株式会社尼康 拍摄装置
CN102330123A (zh) 2011-07-27 2012-01-25 太仓市金鹿电镀有限公司 一种连续镀金工艺
US20130031507A1 (en) 2011-07-28 2013-01-31 Moses George Systems and methods for scrolling a document by providing visual feedback of a transition between portions of the document
US9946430B2 (en) 2011-09-21 2018-04-17 Facebook, Inc. Displaying social networking system user information via a timeline interface
CN103843424B (zh) 2011-09-29 2017-09-19 日本电气株式会社 无线电参数控制装置、无线电基站、无线电参数控制方法和非瞬时计算机可读介质
US9880640B2 (en) 2011-10-06 2018-01-30 Amazon Technologies, Inc. Multi-dimensional interface
GB2495486A (en) * 2011-10-07 2013-04-17 Hiwave Technologies Uk Ltd Contextual haptic feedback in response to touch input
JP5899845B2 (ja) 2011-11-15 2016-04-06 セイコーエプソン株式会社 画像記録装置
CN102420906A (zh) 2011-12-01 2012-04-18 华为终端有限公司 提示方法和用户终端
WO2013089294A1 (ko) 2011-12-15 2013-06-20 엘지전자 주식회사 햅틱 전송 방법 및 그 이동 단말기
US9223472B2 (en) 2011-12-22 2015-12-29 Microsoft Technology Licensing, Llc Closing applications
KR101919617B1 (ko) 2011-12-27 2018-11-16 엘지전자 주식회사 어포던스와 인터랙션이 강화된 사용자 인터페이스
US9032385B2 (en) 2011-12-28 2015-05-12 Lg Electronics Inc. Mobile terminal and control method thereof
US8812994B2 (en) 2011-12-29 2014-08-19 Apple Inc. Device, method, and graphical user interface for configuring restricted interaction with a user interface
US9092953B1 (en) 2012-01-24 2015-07-28 Bruce J. P. Mortimer System and method for providing a remote haptic stimulus
JP5590345B2 (ja) 2012-02-01 2014-09-17 シャープ株式会社 入出力装置、入出力方法、及び入出力プログラム
US9411423B2 (en) 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
EP2817703B1 (en) 2012-02-20 2018-08-22 Sony Mobile Communications Inc. Touch screen interface with feedback
CN102622175B (zh) 2012-02-24 2019-03-12 中兴通讯股份有限公司 一种在触摸屏设备上新建文件夹的方法及终端
US20130222224A1 (en) 2012-02-24 2013-08-29 Marcus Eriksson Device, System and Method for Generating Display Data
US20130225300A1 (en) 2012-02-28 2013-08-29 Timothy J. Brinlee Apparatus for personalized gaming environment
US20130234929A1 (en) 2012-03-07 2013-09-12 Evernote Corporation Adapting mobile user interface to unfavorable usage conditions
US9247525B2 (en) 2012-03-16 2016-01-26 Qualcomm Incorporated Systems and methods for providing notifications
US9934713B2 (en) 2012-03-28 2018-04-03 Qualcomm Incorporated Multifunction wristband
US8881269B2 (en) 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
US20150169059A1 (en) 2012-04-18 2015-06-18 Nokia Corporation Display apparatus with haptic feedback
JP5987443B2 (ja) 2012-04-19 2016-09-07 富士通株式会社 操作動作検出装置、操作動作検出方法、及びプログラム
CN103649885B (zh) 2012-04-27 2017-03-01 松下知识产权经营株式会社 触觉提示装置、触觉提示方法、驱动信号生成装置以及驱动信号生成方法
US20130290442A1 (en) 2012-04-30 2013-10-31 Emoze Ltd. Downloaded attachments flow
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
CN107728906B (zh) 2012-05-09 2020-07-31 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
US10097496B2 (en) 2012-05-09 2018-10-09 Apple Inc. Electronic mail user interface
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
JP6273263B2 (ja) 2012-05-09 2018-01-31 アップル インコーポレイテッド ユーザ接触に応答して追加情報を表示するための、デバイス、方法、及びグラフィカルユーザインタフェース
US9459781B2 (en) * 2012-05-09 2016-10-04 Apple Inc. Context-specific user interfaces for displaying animated sequences
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169300A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Thresholds for determining feedback in computing devices
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
EP2847662B1 (en) 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
EP2847658B1 (en) 2012-05-09 2017-06-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US20130300684A1 (en) 2012-05-11 2013-11-14 Samsung Electronics Co. Ltd. Apparatus and method for executing multi applications
US9891709B2 (en) * 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US8570296B2 (en) 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
CN106133748B (zh) 2012-05-18 2020-01-31 苹果公司 用于基于指纹传感器输入来操纵用户界面的设备、方法和图形用户界面
US20130318437A1 (en) 2012-05-22 2013-11-28 Samsung Electronics Co., Ltd. Method for providing ui and portable apparatus applying the same
US8948821B2 (en) 2012-05-27 2015-02-03 Qualcomm Incorporated Notification based on user context
US9348607B2 (en) 2012-06-07 2016-05-24 Apple Inc. Quiet hours for notifications
KR101305735B1 (ko) 2012-06-15 2013-09-06 성균관대학교산학협력단 촉각 효과의 제공 방법 및 장치
US8712383B1 (en) 2012-06-21 2014-04-29 Google Inc. Tactile output device for computing device notifications
US8886576B1 (en) 2012-06-22 2014-11-11 Google Inc. Automatic label suggestions for albums based on machine learning
US9641239B2 (en) 2012-06-22 2017-05-02 Fitbit, Inc. Adaptive data transfer using bluetooth
DE102012211163A1 (de) 2012-06-28 2014-06-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Empfangen einer Eingabe auf einem berührungsempfindlichen Feld
US20140002376A1 (en) 2012-06-29 2014-01-02 Immersion Corporation Method and apparatus for providing shortcut touch gestures with haptic feedback
US20140007005A1 (en) 2012-06-29 2014-01-02 Evernote Corporation Scrollable calendar with combined date and time controls
US9110562B1 (en) 2012-07-26 2015-08-18 Google Inc. Snapping a pointing-indicator to a scene boundary of a video
US20150156196A1 (en) 2012-07-31 2015-06-04 Intellectual Discovery Co., Ltd. Wearable electronic device and method for controlling same
US9256366B2 (en) 2012-08-14 2016-02-09 Google Technology Holdings LLC Systems and methods for touch-based two-stage text input
CN102843681A (zh) 2012-08-15 2012-12-26 腾讯科技(深圳)有限公司 信息交互方法和装置
US9280206B2 (en) * 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
EP2703947B1 (de) 2012-08-27 2019-02-27 Siemens Aktiengesellschaft Bedieneinrichtung für ein technisches System
KR102008916B1 (ko) 2012-09-07 2019-08-08 삼성전자주식회사 미확인 콘텐츠 표시 방법 및 그 전자 장치
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
WO2014049392A1 (en) 2012-09-25 2014-04-03 Nokia Corporation Method and display device with tactile feedback
US8743072B2 (en) 2012-09-28 2014-06-03 Lg Electronics Inc. Display device and control method thereof
WO2014049398A1 (en) 2012-09-28 2014-04-03 Nokia Corporation Apparatus displaying animated image combined with tactile output
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
CN103809884B (zh) 2012-11-07 2019-02-05 联想(北京)有限公司 一种触控反馈方法、触控反馈屏及电子设备
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
IN2015DN03804A (ja) 2012-11-20 2015-10-02 Jolla Oy
JP6183661B2 (ja) 2012-11-30 2017-08-23 パナソニックIpマネジメント株式会社 触感呈示装置および触感呈示方法
KR102091077B1 (ko) 2012-12-14 2020-04-14 삼성전자주식회사 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
JP6094198B2 (ja) 2012-12-17 2017-03-15 カシオ計算機株式会社 携帯型電子装置、通信システム、報知動作制御方法、及び、プログラム
CN103869960B (zh) 2012-12-18 2018-02-23 富泰华工业(深圳)有限公司 触感反馈系统及其提供触感反馈的方法
US9223403B2 (en) 2012-12-19 2015-12-29 Panasonic Intellectual Property Management Co., Ltd. Tactile input and output device
US9202350B2 (en) 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9432323B2 (en) 2012-12-21 2016-08-30 Blackberry Limited Method, system and apparatus for providing notifications for different workspaces
US9213478B2 (en) 2012-12-21 2015-12-15 Business Objects Software Visualization interaction design for cross-platform utilization
US9323327B2 (en) 2012-12-22 2016-04-26 Intel Corporation System and method for providing tactile feedback
US9285880B2 (en) 2012-12-26 2016-03-15 Panasonic Intellectual Property Management Co., Ltd. Touch panel device and method of controlling a touch panel device
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
US20150332565A1 (en) 2012-12-31 2015-11-19 Lg Electronics Inc. Device and method for generating vibrations
US9417740B2 (en) * 2013-01-03 2016-08-16 Nokia Technologies Oy Capacitive sensing apparatus with a shield electrode
KR20140090318A (ko) 2013-01-07 2014-07-17 삼성전자주식회사 햅틱 기반 카메라 운용 지원 방법 및 이를 지원하는 단말기
KR101985501B1 (ko) 2013-01-08 2019-06-04 삼성디스플레이 주식회사 화소 및 이를 포함하는 표시 장치, 및 그 구동 방법
US20140197963A1 (en) 2013-01-15 2014-07-17 Fitbit, Inc. Portable monitoring devices and methods of operating the same
US9699130B2 (en) 2013-01-24 2017-07-04 International Business Machines Corporation User interface with recipient status indication
US9088668B1 (en) 2013-01-24 2015-07-21 Amazon Technologies, Inc. Configuring notification intensity level using device sensors
KR20140095712A (ko) 2013-01-25 2014-08-04 삼성전자주식회사 알림 제어 방법 및 그 전자 장치
KR102087005B1 (ko) 2013-01-31 2020-03-11 삼성전자 주식회사 페이지 검색 방법 및 이를 지원하는 단말기
KR20140098384A (ko) 2013-01-31 2014-08-08 삼성전자주식회사 복수의 터치스크린을 가지는 휴대 장치 및 복수의 터치스크린을 가지는 휴대 장치의 사운드 출력방법
US10775888B2 (en) 2013-02-15 2020-09-15 Facebook, Inc. Method and system for integrating haptic feedback into portable electronic devices
US20140232679A1 (en) 2013-02-17 2014-08-21 Microsoft Corporation Systems and methods to protect against inadvertant actuation of virtual buttons on touch surfaces
EP2959667B1 (en) 2013-02-19 2019-09-25 InterDigital CE Patent Holdings Method and apparatus for notifying missed events
US10504339B2 (en) * 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
KR102104910B1 (ko) 2013-02-28 2020-04-27 삼성전자주식회사 입력 유닛에 촉각 피드백을 제공하는 휴대 장치 및 그 방법
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9854084B2 (en) * 2013-03-06 2017-12-26 Google Llc Contextual alarm and notification management
US10795528B2 (en) 2013-03-06 2020-10-06 Nuance Communications, Inc. Task assistant having multiple visual displays
CN104035608A (zh) * 2013-03-08 2014-09-10 宏碁股份有限公司 触控面板采样频率的调整装置与方法
US9632986B2 (en) 2013-03-14 2017-04-25 Aol Inc. Systems and methods for horizontally paginating HTML content
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US9436282B2 (en) 2013-03-14 2016-09-06 Immersion Corporation Contactor-based haptic feedback generation
US20140267076A1 (en) 2013-03-15 2014-09-18 Immersion Corporation Systems and Methods for Parameter Modification of Haptic Effects
US9471200B2 (en) * 2013-03-15 2016-10-18 Apple Inc. Device, method, and graphical user interface for organizing and presenting a collection of media items
WO2014149498A2 (en) 2013-03-15 2014-09-25 First Data Corporation Remote secure transactions
JP6143506B2 (ja) 2013-03-15 2017-06-07 キヤノン株式会社 表示制御装置及びその制御方法
KR101666393B1 (ko) 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US20140292706A1 (en) 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Non-visual touch input targeting
US20140292668A1 (en) 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Touch input device haptic feedback
KR102115397B1 (ko) 2013-04-01 2020-05-26 삼성전자주식회사 휴대 장치 및 휴대 장치의 재생목록 표시 방법
US9507495B2 (en) * 2013-04-03 2016-11-29 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9075435B1 (en) * 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
JP6131091B2 (ja) 2013-04-22 2017-05-17 シャープ株式会社 情報処理装置および制御プログラム
JP6297787B2 (ja) 2013-04-25 2018-03-20 京セラ株式会社 携帯電子機器
KR20160003031A (ko) 2013-04-26 2016-01-08 임머숀 코퍼레이션 햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US20140329567A1 (en) 2013-05-01 2014-11-06 Elwha Llc Mobile device with automatic volume control
US20140331162A1 (en) 2013-05-06 2014-11-06 Sap Ag Quick time-related data entry
US20140340316A1 (en) * 2013-05-14 2014-11-20 Microsoft Corporation Feedback for Gestures
JP6157215B2 (ja) 2013-05-23 2017-07-05 キヤノン株式会社 表示制御装置及びその制御方法
US9274603B2 (en) 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
KR102161230B1 (ko) 2013-05-28 2020-09-29 삼성전자주식회사 멀티미디어 콘텐츠 검색을 위한 사용자 인터페이스 방법 및 장치
US20140358709A1 (en) 2013-05-31 2014-12-04 Mastercard Asia Pacific Pte. Ltd. Card Present Transaction Authentication by Short Messaging Service
DE102013210522A1 (de) 2013-06-06 2014-12-11 Aktiebolaget Skf Wälzlager
JP6093659B2 (ja) * 2013-06-24 2017-03-08 シャープ株式会社 情報処理装置、および情報処理プログラム
US9804675B2 (en) 2013-06-27 2017-10-31 Elwha Llc Tactile feedback generated by non-linear interaction of surface acoustic waves
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US10359857B2 (en) 2013-07-18 2019-07-23 Immersion Corporation Usable hidden controls with haptic feedback
US10037081B2 (en) 2013-08-12 2018-07-31 Immersion Corporation Systems and methods for haptic fiddling
US9124720B2 (en) 2013-08-19 2015-09-01 Lisa Marie West Driving cannot text noncontrolling cell phone app system and method
US20150054727A1 (en) 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US9401079B2 (en) 2013-09-06 2016-07-26 Immersion Corporation Method and apparatus of converting control tracks for providing haptic feedback
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9558637B2 (en) 2013-09-10 2017-01-31 Immersion Corporation Systems and methods for performing haptic conversion
JP6127853B2 (ja) 2013-09-13 2017-05-17 富士通株式会社 情報処理装置、方法及びプログラム
US20150078586A1 (en) 2013-09-16 2015-03-19 Amazon Technologies, Inc. User input with fingerprint sensor
US9892200B2 (en) 2013-09-18 2018-02-13 Ebay Inc. Location-based and alter-ego queries
US9553872B2 (en) 2013-09-20 2017-01-24 Verizon Patent And Licensing Inc. Method and system for providing zero sign on user authentication
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US20150103015A1 (en) 2013-10-10 2015-04-16 Blackberry Limited Devices and methods for generating tactile feedback
US9430796B1 (en) 2013-10-16 2016-08-30 Google Inc. Direct purchase from user-received advertisement
GB2519558A (en) 2013-10-24 2015-04-29 Ibm Touchscreen device with motion sensor
CN104599121B (zh) 2013-10-30 2017-04-12 腾讯科技(深圳)有限公司 一种信息传输方法、装置和系统
US9189932B2 (en) 2013-11-06 2015-11-17 Andrew Kerdemelidis Haptic notification apparatus and method
KR101504237B1 (ko) 2013-11-15 2015-03-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9639158B2 (en) 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US9411422B1 (en) * 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
GB2521225A (en) 2013-12-16 2015-06-17 Vicast Ltd A method and apparatus for cataloguing data items
KR102225031B1 (ko) 2014-01-14 2021-03-09 엘지전자 주식회사 단말기 및 그 동작 방법
US9766852B2 (en) 2014-01-15 2017-09-19 Lenovo (Singapore) Pte. Ltd. Non-audio notification of audible events
US8941500B1 (en) * 2014-01-23 2015-01-27 Google Inc. Somatosensory type notification alerts
WO2015116056A1 (en) 2014-01-29 2015-08-06 Hewlett-Packard Development Company, L.P. Force feedback
US10726018B2 (en) 2014-02-10 2020-07-28 Microsoft Technology Licensing, Llc Semantic matching and annotation of attributes
US9836123B2 (en) 2014-02-13 2017-12-05 Mide Technology Corporation Bussed haptic actuator system and method
EP2908236A1 (en) 2014-02-13 2015-08-19 Samsung Electronics Co., Ltd Electronic device and index display method thereof
WO2015126095A1 (ko) 2014-02-21 2015-08-27 삼성전자 주식회사 전자 장치
KR102102647B1 (ko) 2014-02-21 2020-04-21 엘지전자 주식회사 무선 리시버 및 그 제어 방법
JP2015166890A (ja) 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR102335217B1 (ko) 2014-03-05 2021-12-03 삼성전자 주식회사 전류 또는 전력 소모량을 이용한 애플리케이션 프로세서의 구동 방법 및 모바일 장치
US10417570B2 (en) 2014-03-06 2019-09-17 Verizon Patent And Licensing Inc. Systems and methods for probabilistic semantic sensing in a sensory network
JP2015170173A (ja) 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6381240B2 (ja) 2014-03-14 2018-08-29 キヤノン株式会社 電子機器、触感制御方法及びプログラム
US9639231B2 (en) 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
CN106104426B (zh) 2014-03-21 2020-04-03 意美森公司 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
CN104932681B (zh) 2014-03-21 2019-09-20 意美森公司 触觉效果的自动调整
JP2015185137A (ja) 2014-03-26 2015-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102243680B1 (ko) 2014-04-07 2021-04-23 엘지전자 주식회사 투명 플렉서블 디스플레이 장치 및 그 장치의 제어 방법
KR20150118813A (ko) 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
US10162505B2 (en) 2014-04-17 2018-12-25 Blackberry Limited System and method for enabling customized notifications on an electronic device
JP6322830B2 (ja) 2014-05-09 2018-05-16 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
US9507420B2 (en) 2014-05-13 2016-11-29 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
CN105099688B (zh) 2014-05-15 2018-12-21 阿里巴巴集团控股有限公司 一种电子账户的操作方法、支付页面的展示方法及装置
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
US9733880B2 (en) 2014-05-30 2017-08-15 Immersion Corporation Haptic notification manager
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
KR101929372B1 (ko) * 2014-05-30 2018-12-17 애플 인크. 하나의 디바이스의 사용으로부터 다른 디바이스의 사용으로의 전환
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US9588586B2 (en) 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9648062B2 (en) 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
US20140320402A1 (en) 2014-07-14 2014-10-30 Immersion Corporation Self calibration for haptic devices
US9710063B2 (en) 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
WO2016017978A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
WO2016032806A1 (en) 2014-08-26 2016-03-03 Apple Inc. User interface for limiting notifications and alerts
US9659482B2 (en) * 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
US10186138B2 (en) * 2014-09-02 2019-01-22 Apple Inc. Providing priming cues to a user of an electronic device
KR102497720B1 (ko) 2014-09-02 2023-02-10 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR102143310B1 (ko) 2014-09-02 2020-08-28 애플 인크. 햅틱 통지
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
US9977573B2 (en) 2014-10-31 2018-05-22 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using a headset having input mechanisms
GB2532766A (en) 2014-11-27 2016-06-01 Ibm Interaction with a graph for device control
KR101666532B1 (ko) 2014-12-01 2016-10-14 김정훈 실시간 진동 피드백을 제공하는 진동 마우스
US10764424B2 (en) 2014-12-05 2020-09-01 Microsoft Technology Licensing, Llc Intelligent digital assistant alarm system for application collaboration with notification presentation
KR102230523B1 (ko) 2014-12-08 2021-03-19 신상현 이동 단말기
CN104536643B (zh) 2014-12-10 2018-05-29 广东欧珀移动通信有限公司 一种图标拖动方法及终端
US9665960B1 (en) * 2014-12-22 2017-05-30 Amazon Technologies, Inc. Image-based item location identification
GB2533572A (en) 2014-12-22 2016-06-29 Nokia Technologies Oy Haptic output methods and devices
US9466188B2 (en) 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
US9851805B2 (en) 2014-12-24 2017-12-26 Immersion Corporation Systems and methods for haptically-enabled holders
DE102015200036A1 (de) 2015-01-05 2016-07-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung in einem Kraftfahrzeug zur Eingabe von Daten mit zwei Eingabearten und haptischer Rückkopplung
US9794402B2 (en) 2015-01-12 2017-10-17 Apple Inc. Updating device behavior based on user behavior
US9619034B2 (en) 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
US9600094B2 (en) 2015-03-04 2017-03-21 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for directing motion of a writing device
US10055121B2 (en) 2015-03-07 2018-08-21 Apple Inc. Activity based thresholds and feedbacks
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9542037B2 (en) 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
US9788138B2 (en) 2015-04-03 2017-10-10 Snaptrack, Inc. Methods and systems of allocating application functions to motion-correlated devices
US10466861B2 (en) 2015-04-21 2019-11-05 Apple Inc. Adaptive user interfaces
WO2016171848A1 (en) 2015-04-23 2016-10-27 Thomson Licensing Vibration signatures for intelligent alerts
KR102307303B1 (ko) 2015-05-20 2021-09-30 엘지전자 주식회사 이동단말기 및 그 제어방법
US9844984B2 (en) 2015-05-22 2017-12-19 General Motors Llc Vehicle tire gauge systems
KR102423184B1 (ko) 2015-05-29 2022-07-21 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
US20160357354A1 (en) 2015-06-04 2016-12-08 Apple Inc. Condition-based activation of a user interface
US9529500B1 (en) 2015-06-05 2016-12-27 Apple Inc. Application recommendation based on detected triggering events
US10275116B2 (en) 2015-06-07 2019-04-30 Apple Inc. Browser with docked tabs
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US20160378186A1 (en) * 2015-06-23 2016-12-29 Intel Corporation Technologies for controlling haptic feedback intensity
US10055048B2 (en) 2015-07-31 2018-08-21 Apple Inc. Noise adaptive force touch
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10034129B1 (en) 2015-08-24 2018-07-24 Groupon, Inc. Mobile proximity based messages
US11099650B1 (en) 2015-09-07 2021-08-24 Oliver Markus Haynold Camera with improved shutter button
US9928029B2 (en) 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
UA118951U (uk) 2015-09-17 2017-09-11 Микола Сергійович Лещенко Спосіб представлення контенту користувачу
KR20180044877A (ko) 2015-09-22 2018-05-03 임머숀 코퍼레이션 압력-기반 햅틱들
KR101708319B1 (ko) 2015-10-12 2017-02-20 엘지전자 주식회사 와치 타입 단말기
US20170185729A1 (en) * 2015-11-18 2017-06-29 Srinidhi Boray Methods and systems of a hyperbolic-dirac-net-based bioingine platform and ensemble of applications
KR102521214B1 (ko) 2016-01-19 2023-04-13 삼성전자주식회사 사용자 인터페이스를 표시하는 방법 및 이를 지원하는 전자 장치
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US11036387B2 (en) * 2017-05-16 2021-06-15 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US10365719B2 (en) 2017-07-26 2019-07-30 Google Llc Haptic feedback of user interface scrolling with synchronized visual animation components
US10712824B2 (en) 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
US10645294B1 (en) * 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180122A (ja) 2004-12-21 2006-07-06 Nec Corp 携帯端末及びその状態報知方法、並びに携帯端末のコンピュータ・プログラム
WO2008075082A1 (en) 2006-12-21 2008-06-26 Symbian Software Limited Mobile device and method of operation thereof
US20080161063A1 (en) 2006-12-29 2008-07-03 Motorola, Inc. Methods and devices for adaptive ringtone generation
JP2013507059A (ja) 2009-09-30 2013-02-28 アップル インコーポレイテッド 自己適応触覚装置
JP2014103430A (ja) 2011-03-11 2014-06-05 Panasonic Corp 電子機器およびその制御方法
US20140170379A1 (en) 2011-08-25 2014-06-19 Toray Industries, Inc. Film for forming and forming transfer foil using same
US20140354538A1 (en) 2013-06-03 2014-12-04 Samsung Electronics Co., Ltd. Method and apparatus for operating notification function in user device
JP2015015600A (ja) 2013-07-04 2015-01-22 シャープ株式会社 携帯端末、制御方法
US20160036996A1 (en) 2014-08-02 2016-02-04 Sony Corporation Electronic device with static electric field sensor and related method

Also Published As

Publication number Publication date
KR20230108347A (ko) 2023-07-18
JP6670954B2 (ja) 2020-03-25
DK201770369A1 (en) 2018-02-05
US20230019336A1 (en) 2023-01-19
US10276000B2 (en) 2019-04-30
KR20220019849A (ko) 2022-02-17
JP2020119575A (ja) 2020-08-06
US20210264748A1 (en) 2021-08-26
US20190213846A1 (en) 2019-07-11
AU2017286532A1 (en) 2018-11-15
US20180204425A1 (en) 2018-07-19
EP4254373A3 (en) 2024-01-03
AU2017286532B2 (en) 2020-04-30
KR102657331B1 (ko) 2024-04-16
US20200286343A1 (en) 2020-09-10
US10692333B2 (en) 2020-06-23
JP2023078203A (ja) 2023-06-06
DK179823B1 (en) 2019-07-12
KR20210013349A (ko) 2021-02-03
KR102358656B1 (ko) 2022-02-08
JP2019526841A (ja) 2019-09-19
KR20180128059A (ko) 2018-11-30
EP3443442A1 (en) 2019-02-20
US11468749B2 (en) 2022-10-11
KR102210958B1 (ko) 2021-02-02
US11735014B2 (en) 2023-08-22
CN109154859A (zh) 2019-01-04
EP4254373A2 (en) 2023-10-04
AU2020203587B2 (en) 2021-11-11
US20170358181A1 (en) 2017-12-14
US9984539B2 (en) 2018-05-29
KR20230108348A (ko) 2023-07-18
AU2020203587A1 (en) 2020-06-25
US11037413B2 (en) 2021-06-15

Similar Documents

Publication Publication Date Title
JP7240347B2 (ja) 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
JP7416890B2 (ja) 強度感知ボタンとの対話中にフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP2024063012A (ja) ユーザインタフェースのための触知フィードバック
KR20210002713A (ko) 통지들의 선제적 관리를 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
KR20190136061A (ko) 사용자 인터페이스들을 위한 촉각 피드백
US20230343189A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
WO2017218409A1 (en) Devices, methods, and graphical user interfaces for providing haptic feedback
AU2017100482B4 (en) Devices, methods, and graphical user interfaces for providing haptic feedback

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201008

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210308

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230303

R150 Certificate of patent or registration of utility model

Ref document number: 7240347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150