JP7377319B2 - タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法 - Google Patents

タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法 Download PDF

Info

Publication number
JP7377319B2
JP7377319B2 JP2022121971A JP2022121971A JP7377319B2 JP 7377319 B2 JP7377319 B2 JP 7377319B2 JP 2022121971 A JP2022121971 A JP 2022121971A JP 2022121971 A JP2022121971 A JP 2022121971A JP 7377319 B2 JP7377319 B2 JP 7377319B2
Authority
JP
Japan
Prior art keywords
user interface
touch
display
sensitive secondary
secondary display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022121971A
Other languages
English (en)
Other versions
JP2022172079A (ja
Inventor
レイモンド, エス. セプルヴェダ,
チュン, キン, マイナー ウォン,
パトリック, エル. コッフマン,
ディラン, アール. エドワーズ,
エリック, ランス ウィルソン,
グレッグ, エス. スズキ,
クリストファー, アイ. ウィルソン,
ローレンス, ワイ. ヤン,
ドス サントス, アンドレ ソウザ
ジェフリー, ティー. バーンスタイン,
ダンカン, アール. カール,
ジョン, ビー. マレル,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2022172079A publication Critical patent/JP2022172079A/ja
Priority to JP2023184930A priority Critical patent/JP2024020248A/ja
Application granted granted Critical
Publication of JP7377319B2 publication Critical patent/JP7377319B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Digital Computer Display Output (AREA)

Description

開示される実施形態は、キーボードに関し、より具体的には、動的入出力(I/O)デバイスを介して入力を受信する改良された技法に関する。
既存のキーボードは、コンピューティングデバイス内に情報(例えば、文字)を入力するための任意の数の物理キーを含む。典型的には、ユーザは、キーに対応する入力を提供するためにキーを押下するか又はさもなければ移動可能に作動させる。文字の入力を提供することに加えて、キーボードは、機能入力に関係する、移動可能に作動されるキーを含むことがある。例えば、キーボードは、ユーザがエスケープ又はエグジット機能をアクティブにすることができるように「エスケープ」又は「esc」キーを含むことがある。多くのキーボードでは、機能入力のためのファンクションキーのセットが「ファンクション行」に配置される。典型的には、英数字のキーのセットはユーザに最も近いキーボードの部分に配置され、ファンクション行は、英数字に隣接し、ユーザからさらに離れたキーボードの部分に配置される。キーボードは、上述のファンクション行の一部でないファンクションキーを含むこともある。
ラップトップコンピュータなどのポータブルコンピューティングデバイスの出現及び普及とともに、専用キーボードよって費やされる領域は、ディスプレイの対応するサイズによって制限されることがある。デスクトップコンピュータ用の外付けキーボードと比較して、ポータブルコンピューティングデバイスの構成要素である専用キーボードは、ポータブルコンピューティングデバイスのより小さいサイズ全体を可能にするために、より少数のキー、より小さいキー、又は互いにより近接したキーを有することがある。
既存の専用キーボードは、ディスプレイの変化にもかかわらず、時間的に静的で固定されている。更に、スクリーン上に表示されるソフトウェアアプリケーションの機能は、典型的には、ユーザがマウスを使用することによって双方向作用するツールバー及びメニューを介してアクセスされる。これは、ユーザが定期的にモードを切り替え、キーボードとマウスとの間で自分の手の場所を移動させることを要する。代替的に、アプリケーションの機能は、記憶と練習を要する複雑なキーの組合せを介してアクセスされる。したがって、既存のシステムの短所に対処するI/Oデバイス(及びI/Oデバイスのための方法)を提供することが望ましい。
本明細書で説明される実施形態は、動的で空間効率的なI/Oデバイス及び方法を提供することによって上記の短所に対処する。そのようなデバイス及び方法は、既存の入力デバイス及び方法を任意選択的に補完又は交換する。そのようなデバイス及び方法はまた、ユーザに要求されるモード切替え(例えば、キーボードとマウスとの間で自分の手を移動させること、また、キーボードからディスプレイに自分の眼を動かすこと)の量を低減し、それにより、所望の機能をアクティブにするために必要とされる入力の数を低減する(例えば、以下でより詳細に説明されるように、メニューオプションを選択するために必要とされる入力の数が低減される)。そのようなデバイス及び方法はまた、限られたスクリーン上でより多くの情報を利用可能にする(例えば、より多くの情報をユーザに提供するためにタッチ感知式セカンダリディスプレイが使用され、この情報は、限られたスクリーン空間を使用して効率的に提示される)。そのようなデバイス及び方法はまた、例えば、タッチ感知式セカンダリディスプレイ104上で情報をより識別可能にさせる強調効果を提供することによって、タッチ感知式セカンダリディスプレイ又はプライマリディスプレイのいずれかに向けられたユーザからの連続的入力によってデバイスが出力を提供し、次いでその出力がユーザからの更なる入力を促進するために使用されるように、持続された双方向作用を提供する(例えば、以下で説明されるように、タッチ感知式セカンダリディスプレイにおいて入力を提供することによって、情報がどのようにプライマリディスプレイ上でレンダリングされるのかをユーザが迅速にプレビューすることを可能にする、カラーピッカーが提供される)ことによって、並びに所望の結果を達成するために必要とされるユーザからの双方向作用をより少なくすること(例えば、以下で説明されるように、ユーザが単一の生体入力を使用して自分のデバイスにログインすることを可能にすること)によって、改善されたマンマシンインタフェースを提供する。これらの理由及び以下で説明されることのために、本明細書で説明されるデバイス及び方法は、電子デバイスの電力使用を低減し、バッテリ寿命を改善する。
(A1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A、「タッチスクリーンディスプレイ」とも呼ばれる)を少なくとも部分的に含んでいる第2の筐体とを含むコンピューティングシステム(例えば、コンピューティングシステム100又はシステム200、図1A~図2D)において、方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイは、外付け入力メカニズム222の一部として含まれる(すなわち、スタンドアロンディスプレイ)か、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。本方法は、プライマリディスプレイ上に第1のユーザインタフェースを表示することであって、第1のユーザインタフェースが1つ以上のユーザインタフェース要素を備える、ことと、1つ以上のユーザインタフェース要素のうち、プライマリディスプレイ上でフォーカスが当たっているアクティブユーザインタフェース要素を特定することと、プライマリディスプレイ上でフォーカスが当たっているアクティブユーザインタフェース要素が、コンピューティングシステムによって実行されるアプリケーションに関連付けられているかどうかを判定することと、プライマリディスプレイ上でフォーカスが当たっているアクティブユーザインタフェース要素が、コンピューティングシステムによって実行されるアプリケーションに関連付けられているという判定に従って、(A)アプリケーションに対応する1つ以上のアフォーダンスの第1のセット、及び(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む、第2のユーザインタフェースをタッチスクリーンディスプレイ上に表示することとを含む。
プライマリディスプレイ上で行われたフォーカスの変更に応答してタッチ感知式セカンダリディスプレイ中でアプリケーション固有のシステムレベルアフォーダンスを表示することは、タッチ感知式セカンダリディスプレイを介して直接利用可能であるアクセス可能アフォーダンスをユーザに提供する。タッチ感知式セカンダリディスプレイを介して直接アクセス可能であるアクセス可能アフォーダンスをユーザに提供することは、(例えば、より少数の双方向作用で、及び必要な機能を探すために階層メニューを調べて時間を浪費する必要なしに、ユーザがタッチ感知式セカンダリディスプレイを通して必要な機能に直接アクセスするのを助けることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、必要な機能にユーザがより素早く効率的にアクセスすることを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。同様に、タッチ感知式セカンダリディスプレイ上のアプリケーション固有のアフォーダンスのディスプレイは、プライマリディスプレイ上でフォーカスが現在当たっているアプリケーションに関連付けられたアフォーダンスを提供することによって、デバイスの内部状態を示す。
(A2)A1の方法のいくつかの実施形態では、コンピューティングシステムは、(i)プライマリディスプレイと、プロセッサと、メモリと、プライマリコンピューティングデバイス通信回路とを備えるプライマリコンピューティングデバイス、及び(ii)筐体と、タッチスクリーンディスプレイと、物理入力メカニズムと、プライマリコンピューティングデバイス通信回路と通信する入力デバイス通信回路とを備える入力デバイスであって、入力デバイスがプライマリコンピューティングデバイスとは別個及び別々である、入力デバイスを更に備える。
(A3)A1~A2のいずれか1つの方法のいくつかの実施形態では、物理入力メカニズムは複数の物理キーを備える。
(A4)A1~A3のいずれか1つの方法のいくつかの実施形態では、物理入力メカニズムはタッチパッドを備える。
(A5)A1~A4のいずれか1つの方法のいくつかの実施形態では、アプリケーションは、第1のユーザインタフェースのフォアグラウンドにおいてプロセッサによって実行される。
(A6)A1~A5のいずれか1つの方法のいくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、選択されたとき、タッチスクリーンディスプレイ上でシステムレベル機能に対応する複数のシステムレベルアフォーダンスのディスプレイを引き起こすように構成されている。
(A7)A1~A3の少なくとも1つの方法のいくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、電力制御又はエスケープ制御のうちの1つに対応する。
(A8)A1~A7のいずれか1つの方法のいくつかの実施形態では、第2のユーザインタフェース上に表示されるアフォーダンスのうちの少なくとも1つは多機能アフォーダンスである。
(A9)A8の方法のいくつかの実施形態では、本方法は、多機能アフォーダンスを選択しているユーザタッチ入力を検出することと、ユーザタッチ入力が第1のタイプに対応するという判定に従って、多機能アフォーダンスに関連付けられた第1の機能を実行することと、ユーザタッチ入力が、第1のタイプとは別個の第2のタイプに対応するという判定に従って、多機能アフォーダンスに関連付けられた第2の機能を実施することとを更に含む。
(A10)A1~A9のいずれか1つの方法のいくつかの実施形態では、本方法は、アクティブユーザインタフェース要素が、コンピューティングシステムによって実行されるアプリケーションに関連付けられていないという判定に従って、(C)コンピューティングシステムのオペレーティングシステム制御に対応する1つ以上のアフォーダンスの第2のセットであって、1つ以上のアフォーダンスの第1のセットとは別個である、1つ以上のアフォーダンスの第2のセットを含む、タッチスクリーンディスプレイ上に第3のユーザインタフェースを表示することを更に含む。
(A11)A10の方法のいくつかの実施形態では、1つ以上のアフォーダンスの第2のセットは、(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含むオペレーティングシステム制御の拡張セットである。
(A12)A1~A11のいずれか1つの方法のいくつかの実施形態では、本方法は、アフォーダンスの第1のセットのうちの1つを選択しているユーザタッチ入力を検出することと、ユーザタッチ入力を検出したことに応答して、アプリケーションの機能に対応するアフォーダンスの異なるセットを表示することと、少なくとも1つのシステムレベルアフォーダンスのディスプレイを維持することとを更に含む。
(A13)A12の方法のいくつかの実施形態では、本方法は、少なくとも1つのシステムレベルアフォーダンスを選択している後続のユーザタッチ入力を検出することと、後続のユーザタッチ入力を検出したことに応答して、システムレベル機能に対応する複数のシステムレベルアフォーダンスと、アプリケーションに対応する少なくとも1つのアプリケーションレベルアフォーダンスとを表示することとを更に含む。
(A14)A1~A13のいずれか1つの方法のいくつかの実施形態では、本方法は、タッチスクリーンディスプレイ上に第2のユーザインタフェースを表示した後に、1つ以上のユーザインタフェース要素のうち、プライマリディスプレイ上でフォーカスが当たっている第2のアクティブユーザインタフェース要素を特定することと、第2のアクティブユーザインタフェース要素が、コンピューティングデバイスによって実行される異なるアプリケーションに対応するかどうかを判定することと、第2のアクティブユーザインタフェース要素が、異なるアプリケーションに対応するという判定に従って、(D)異なるアプリケーションに対応する1つ以上のアフォーダンスの第3のセット、及び(E)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む、第4のユーザインタフェースをタッチスクリーンディスプレイ上に表示することとを更に含む。
(A15)A1~A14のいずれか1つの方法のいくつかの実施形態では、本方法は、第2のアクティブユーザインタフェース要素を特定した後に、メディアアイテムがコンピューティングシステムによって再生されているかどうかを判定することであって、メディアアイテムが、異なるアプリケーションに関連付けられていない、ことと、メディアアイテムがコンピューティングシステムによって再生されているという判定に従って、メディアアイテムを制御するためにタッチスクリーンディスプレイ上に少なくとも1つの永続的アフォーダンスを表示することとを更に含む。
(A16)A15の方法のいくつかの実施形態では、少なくとも1つの永続的アフォーダンスは、メディアアイテムに対応するフィードバックを表示する。
(A17)A1~A16のいずれか1つの方法のいくつかの実施形態では、本方法は、オーバーライドキーに対応するユーザ入力を検出することと、ユーザ入力を検出したことに応答して、タッチスクリーンディスプレイ上に第2のユーザインタフェースの1つ以上のアフォーダンスの少なくとも第1のセットを表示するのを中止することと、デフォルトファンクションキーの第1のセットを表示することとを更に含む。
(A18)A17の方法のいくつかの実施形態では、本方法は、デフォルトファンクションキーの第1のセットを表示した後に、タッチスクリーンディスプレイの長軸に対して略平行である方向においてタッチスクリーンディスプレイ上でスワイプジェスチャを検出することと、スワイプジェスチャを検出したことに応答して、少なくとも1つの別個のファンクションキーをもつデフォルトファンクションキーの第2のセットを表示することとを更に含む。
(A19)別の態様では、コンピューティングシステムが提供され、コンピューティングシステムは、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、A1~A18の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(A20)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、A1~A18の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(A21)更なる一態様では、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理入力メカニズム及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステム上のグラフィカルユーザインタフェース、このグラフィカルユーザインタフェースは、クレームA1~A18の方法のいずれかに従って表示されるユーザインタフェースを備える。
(A22)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体と、クレームA1~A18の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(B1)いくつかの実施形態によれば、入力デバイスが提供される。入力デバイスは、複数の構成要素を少なくとも部分的に囲んでいる筐体を含み、これらの複数の構成要素は、(i)(例えば、キーボード106、図1A上の)複数の物理キーであって、アルファベットの各文字について別個のキーを少なくとも含む、複数の物理キーと、(ii)複数の物理キーに隣接して配設されたタッチ感知式セカンダリディスプレイ(「タッチスクリーンディスプレイ」とも呼ばれる)と、(iii)入力デバイスに隣接して配設されたコンピューティングデバイス(例えば、コンピューティングシステム100又は200)と通信するように構成されている短距離通信回路とを含み、コンピューティングデバイスは、コンピューティングデバイスディスプレイと、プロセッサと、メモリとを備え、短距離通信回路は、複数の物理キーのいずれかのキー押下及びタッチスクリーンディスプレイ上のタッチ入力をコンピューティングデバイスに送信し、コンピューティングデバイスディスプレイ上の現在のフォーカスに基づいてタッチスクリーンディスプレイ上のアフォーダンスのディスプレイを変更するようにとの命令を受信するように構成されている。いくつかの実施形態では、アプリケーションが、コンピューティングデバイスディスプレイ上にフォーカスが当たっているとき、タッチスクリーンディスプレイは、(A)フォーカスが当たっているアプリケーションに対応する1つ以上のアフォーダンスと、(B)少なくとも1つのシステムレベルアフォーダンスとを表示するように構成されており、少なくとも1つのシステムレベルアフォーダンスは、選択されたとき、システムレベル機能に対応する複数のアフォーダンスのディスプレイを引き起こすように構成されている。
プライマリディスプレイ上で行われたフォーカスの変更に応答してタッチ感知式セカンダリディスプレイ中でアプリケーション固有のシステムレベルアフォーダンスを表示することは、タッチ感知式セカンダリディスプレイを介して直接利用可能であるアクセス可能アフォーダンスをユーザに提供する。タッチ感知式セカンダリディスプレイを介して直接アクセス可能であるアクセス可能アフォーダンスをユーザに提供することは、(例えば、より少数の双方向作用で、及び必要な機能を探すために階層メニューを調べて時間を浪費する必要なしに、ユーザがタッチ感知式セカンダリディスプレイを通して必要な機能に直接アクセスするのを助けることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、必要な機能にユーザがより素早く効率的にアクセスすることを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。更に、プライマリディスプレイにおけるフォーカスの変更に基づいてタッチ感知式セカンダリディスプレイ中で表示されるアフォーダンスを動的に更新することによって、タッチ感知式セカンダリディスプレイは、限られたスクリーン上でより多くの情報を利用可能にすることが可能であり、所望のオプション権が必要とされるとき、ユーザにそれらのオプションが提供されることを保証するのを助ける(それにより、ユーザは、配置されたこれらの所望のオプションに対して階層メニュー中を検索して電力及びバッテリ寿命を浪費する必要がないので、電力使用が低減され、バッテリ寿命が延長される)。
(B2)B1の入力デバイスのいくつかの実施形態では、アプリケーションが、コンピューティングデバイスディスプレイ上にフォーカスが当たっているとき、タッチスクリーンディスプレイは、電力制御アフォーダンス及びエスケープアフォーダンスのうちの少なくとも1つを表示するように更に構成されている。
(B3)B1~B2のいずれか1つの入力デバイスのいくつかの実施形態では、入力デバイスはキーボードである。
(B4)B3の入力デバイスのいくつかの実施形態では、コンピューティングデバイスは、キーボードを含むラップトップコンピュータである。
(B5)B3の入力デバイスのいくつかの実施形態では、コンピューティングデバイスはデスクトップコンピュータであり、キーボードはデスクトップコンピュータとは別個である。
(B6)B1~B5のいずれか1つの入力デバイスのいくつかの実施形態では、入力デバイスはラップトップコンピュータにおいて一体化される。
(B7)B1~B6のいずれか1つの入力デバイスのいくつかの実施形態では、複数の物理キーはQWERTYキーボードを備える。
(B8)B1~B7のいずれか1つの入力デバイスのいくつかの実施形態では、アルファベットはラテンアルファベットに対応する。
(B9)B1~B8のいずれか1つの入力デバイスのいくつかの実施形態では、入力デバイスはタッチパッドを含む。
(B10)B1~B9のいずれか1つの入力デバイスのいくつかの実施形態では、入力デバイスは、長さが少なくとも18インチ(45.72cm)の長寸法を有する。
(B11)B1~B10のいずれか1つの入力デバイスのいくつかの実施形態では、短距離通信回路は、コンピューティングデバイスに15フィート(4.572m)未満通信するように構成されている。
(B12)B1~B11のいずれか1つの入力デバイスのいくつかの実施形態では、短距離通信回路は、コンピューティングデバイスへのワイヤード又はワイヤレス接続に対応する。
(B13)B1~B12のいずれか1つの入力デバイスのいくつかの実施形態では、入力デバイスは、タッチスクリーンディスプレイ中に埋め込まれた指紋センサを含む。
(C1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A、「タッチスクリーンディスプレイ」とも呼ばれる)を少なくとも部分的に含んでいる第2の筐体とを含むコンピューティングシステム(例えば、システム100又はシステム200、図1A~図2D)において、方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。本方法は、コンピューティングシステムによって実行されるアプリケーションのための第1のユーザインタフェースをプライマリディスプレイ上に表示することと、タッチスクリーンディスプレイ上に第2のユーザインタフェースを表示することであって、第2のユーザインタフェースが、アプリケーションに対応する1つ以上のアフォーダンスの第1のセットを備え、1つ以上のアフォーダンスの第1のセットが、アプリケーションの第1の部分に対応する、ことと、タッチスクリーンディスプレイ上でスワイプジェスチャを検出することと、スワイプジェスチャが第1の方向において実行されたという判定に従って、タッチスクリーンディスプレイ上にアプリケーションに対応する1つ以上のアフォーダンスの第2のセットを表示することであって、1つ以上のアフォーダンスの第2のセット中の少なくとも1つのアフォーダンスが、1つ以上のアフォーダンスの第1のセットとは別個であり、1つ以上のアフォーダンスの第2のセットも、アプリケーションの第1の部分に対応する、ことと、スワイプジェスチャが、第1の方向に対して略直角な第2の方向において実行されたという判定に従って、タッチスクリーンディスプレイ上にアプリケーションに対応する1つ以上のアフォーダンスの第3のセットを表示することであって、1つ以上のアフォーダンスの第3のセットが、1つ以上のアフォーダンスの第2のセットとは別個であり、1つ以上のアフォーダンスの第3のセットが、アプリケーションの第1の部分とは別個であるアプリケーションの第2の部分に対応する、こととを含む。
スワイプジェスチャに応答してタッチ感知式セカンダリディスプレイ中でアプリケーション固有のアフォーダンスをユーザが素早くナビゲートすることを可能にすることは、タッチ感知式セカンダリディスプレイを介して所望の機能をスクロールし素早く探すのに便利な方法をユーザに提供する。タッチ感知式セカンダリディスプレイを介して所望の機能をスクロールし素早く探すのに便利な方法をユーザに提供することは、(例えば、より少数の双方向作用で、及び必要な機能を探すために階層メニューを調べて時間を浪費する必要なしに、ユーザがタッチ感知式セカンダリディスプレイを通して必要な機能に直接アクセスするのを助けることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、必要な機能にユーザがより素早く効率的にアクセスすることを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。更に、セカンダリディスプレイにおけるスワイプジェスチャに応答してタッチ感知式セカンダリディスプレイ中で表示されるアフォーダンスを動的に更新することによって、セカンダリディスプレイは、限られたスクリーン上でより多くの情報を利用可能にすることが可能であり、所望のオプション権が必要とされるとき、ユーザにそれらのオプションが提供されることを保証するのを助ける(それにより、ユーザは、配置されたこれらの所望のオプションに対して階層メニュー中を検索して電力及びバッテリ寿命を浪費する必要がないので、電力使用が低減され、バッテリ寿命が延長される)。
(C2)C1の方法のいくつかの実施形態では、第2の部分は、スワイプジェスチャを検出するより前に、第1のユーザインタフェース内のコンパクトビューにおいてプライマリディスプレイ上に表示され、本方法は、スワイプジェスチャが、第1の方向に対して略直角な第2の方向において実行されたという判定に従って、第1のユーザインタフェース内の拡張ビューにおいてプライマリディスプレイ上に第2の部分を表示することを含む。
(C3)C1の方法のいくつかの実施形態では、コンピューティングシステムによって実行されるアプリケーションのための第1のユーザインタフェースは、フルスクリーンモードでプライマリディスプレイ上に表示され、タッチスクリーンディスプレイ上に表示される1つ以上のアフォーダンスの第1のセットは、フルスクリーンモードに対応するコントロールを含む。
(C4)C1~C3のいずれか1つの方法のいくつかの実施形態では、1つ以上のアフォーダンスの第2のセット、及び1つ以上のアフォーダンスの第3のセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む。
(C5)C1~C4のいずれか1つの方法のいくつかの実施形態では、本方法は、タッチスクリーンディスプレイ上に1つ以上のアフォーダンスの第3のセットを表示した後に、第1のユーザインタフェース上で第1の部分を選択しているユーザ入力を検出することと、ユーザ入力を検出したことに応答して、タッチスクリーンディスプレイ上で1つ以上のアフォーダンスの第3のセットを表示するのを中止することであって、1つ以上のアフォーダンスの第3のセットがアプリケーションの第2の部分に対応する、ことと、1つ以上のアフォーダンスの第2のセットを表示することであって、1つ以上のアフォーダンスの第2のセットがアプリケーションの第1の部分に対応する、こととを含む。
(C6)C1~C5のいずれか1つの方法のいくつかの実施形態では、第1の方向は、タッチスクリーンディスプレイの長寸法に対して略平行である。
(C7)C1~C5のいずれか1つの方法のいくつかの実施形態では、第1の方向は、タッチスクリーンディスプレイの長寸法に対して略直角である。
(C8)C1~C7のいずれか1つの方法のいくつかの実施形態では、第1の部分は、アプリケーションのメニュー、タブ、フォルダ、ツールセット、又はツールバーのうちの1つであり、第2の部分は、アプリケーションのメニュー、タブ、フォルダ、ツールセット、又はツールバーのうちの1つである。
(C9)別の態様では、コンピューティングシステムが提供され、コンピューティングシステムは、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、C1~C8の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(C10)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、C1~C8の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(C11)更なる一態様では、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理入力機構及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステム上のグラフィカルユーザインタフェース、このグラフィカルユーザインタフェースは、クレームC1~C8の方法のいずれかに従って表示されるユーザインタフェースを備える。
(C12)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体と、クレームC1~C8の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(D1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A、「タッチスクリーンディスプレイ」とも呼ばれる)を少なくとも部分的に含んでいる第2の筐体とを含むコンピューティングシステム(例えば、システム100又はシステム200、図1A~図2D)において、フルスクリーンモードにある間、アプリケーションの機能を維持する方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。本方法は、コンピューティングシステムによって実行されるアプリケーションのための第1のユーザインタフェースを、通常モードでプライマリディスプレイ上に表示することであって、第1のユーザインタフェースが、アプリケーションに関連付けられた1つ以上のアフォーダンスの第1のセットを備える、ことと、プライマリディスプレイ上でフルスクリーンモードでアプリケーションのための第1のユーザインタフェースの少なくとも一部分を表示するユーザ入力を検出することと、ユーザ入力を検出したことに応答して、プライマリディスプレイ上の第1のユーザインタフェースにおいてアプリケーションに関連付けられた1つ以上のアフォーダンスの第1のセットを表示するのを中止することと、フルスクリーンモードでプライマリディスプレイ上に、アプリケーションのための第1のユーザインタフェースの部分を表示することと、自動的に、人の介入なしに、タッチスクリーンディスプレイ上に、アプリケーションを制御するための1つ以上のアフォーダンスの第2のセットを表示することであって、1つ以上のアフォーダンスの第2のセットが、1つ以上のアフォーダンスの第1のセットに対応する、こととを含む。
アプリケーションの部分がプライマリディスプレイ上にフルスクリーンモードで表示されている間、タッチ感知式セカンダリディスプレイを介してアプリケーションを制御するアフォーダンスを提供することは、プライマリディスプレイ上にもはや直接表示されていないことがある機能にユーザがアクセスし続けることを可能にする。プライマリディスプレイ上にもはや直接表示されていないことがある機能にユーザがアクセスし続けることを可能にすることは、プライマリディスプレイ上で埋まってしまった可能性のある機能をアクセスする迅速でかつ便利な方法をユーザに提供し、これによって、(例えば、より少数の双方向作用で、及び必要な機能を探すために階層メニューを調べて時間を浪費する必要なしに、ユーザがタッチ感知式セカンダリディスプレイを通して必要な機能に直接アクセスするのを助けることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、必要な機能にユーザがより素早く効率的にアクセスすることを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。したがって、コンテンツがフルスクリーンモードで(障害物なしに)提示され得ることを確実にするために、プライマリディスプレイからタッチ感知式セカンダリディスプレイにメニューオプションをシフトすることによって、ユーザは、デバイスとの双方向作用を持続させることが可能であり、彼らのワークフローは、フルスクリーンモードにシフトしたときに中断されない。更に、プライマリディスプレイ上でコンテンツの背後に埋もれてしまうかもしれなかったメニューオプションは、容易で素早いアクセスのために(及びフルスクリーンモードを出て、次いでメニューオプションを求めて調べまわる必要なしに)タッチ感知式セカンダリディスプレイ上に提示されるので、フルスクリーンコンテンツを閲覧している間、メニューオプションにアクセスするために必要とされる双方向作用がより少なくなり、それにより、デバイスの電力使用が低減され、バッテリ寿命が改善される。
(D2)D1の方法のいくつかの実施形態では、1つ以上のアフォーダンスの第2のセットは、1つ以上のアフォーダンスの第1のセットである。
(D3)D1~D2のいずれか1つの方法のいくつかの実施形態では、1つ以上のアフォーダンスの第2のセットは、フルスクリーンモードに対応するコントロールを含む。
(D4)D1~D3のいずれか1つの方法のいくつかの実施形態では、本方法は、タッチスクリーンディスプレイ上に表示されたアフォーダンスの第2のセットのうちの1つを選択しているユーザタッチ入力を検出することと、ユーザタッチ入力を検出したことに応答して、アフォーダンスの第2のセットのうちの選択された1つに従って、プライマリディスプレイ上にフルスクリーンモードで表示されているアプリケーションのための第1のユーザインタフェースの部分を変更することとを含む。
(D5)D1~D4のいずれか1つの方法のいくつかの実施形態では、本方法は、プライマリディスプレイ上にフルスクリーンモードでアプリケーションのための第1のユーザインタフェースの部分を表示した後に、フルスクリーンモードを出るための後続のユーザ入力を検出することと、後続のユーザ入力を検出したことに応答して、コンピューティングシステムによって実行されるアプリケーションのための第1のユーザインタフェースを、通常モードでプライマリディスプレイ上に表示するであって、第1のユーザインタフェースが、アプリケーションに関連付けられた1つ以上のアフォーダンスの第1のセットを備える、ことと、タッチスクリーンディスプレイ上でアプリケーションを制御するための1つ以上のアフォーダンスの第2のセットのうちの少なくともサブセットのディスプレイを維持することであって、1つ以上のアフォーダンスの第2のセットが、1つ以上のアフォーダンスの第1のセットに対応する、こととを含む。
(D6)D1~D5のいずれか1つの方法のいくつかの実施形態では、プライマリディスプレイ上でフルスクリーンモードでアプリケーションのための第1のユーザインタフェースの少なくとも一部分を表示するユーザ入力は、タッチスクリーンディスプレイ上で検出されたタッチ入力、及びプライマリディスプレイ上の第1のユーザインタフェース内で選択されたコントロールのうちの少なくとも1つである。
(D7)D1~D6のいずれか1つの方法のいくつかの実施形態では、1つ以上のアフォーダンスの第2のセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む。
(D8)別の態様では、コンピューティングシステムが提供され、コンピューティングシステムは、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、D1~D7の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(D9)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、D1~D7の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(D10)更なる一態様では、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理入力機構及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステム上のグラフィカルユーザインタフェース、このグラフィカルユーザインタフェースは、クレームD1~D7の方法のいずれかに従って表示されるユーザインタフェースを備える。
(D11)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体と、クレームD1~D7の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(E1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A、「タッチスクリーンディスプレイ」とも呼ばれる)を少なくとも部分的に含んでいる第2の筐体とを含むコンピューティングシステム(例えば、システム100又はシステム200、図1A~図2D)において、方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。本方法は、コンピューティングシステムによって実行されるアプリケーションのための第1のユーザインタフェースをプライマリディスプレイ上に表示することと、タッチスクリーンディスプレイ上に第2のユーザインタフェースを表示することであって、第2のユーザインタフェースが、アプリケーションに対応する1つ以上のアフォーダンスのセットを備える、ことと、通知を検出することと、通知を検出したことに応答して、タッチスクリーンディスプレイ上に、アプリケーションに対応する1つ以上のアフォーダンスのセットと、検出された通知の少なくとも部分とを、第2のユーザインタフェースにおいて同時に表示することであって、検出された通知がプライマリディスプレイ上に表示されない、こととを含む。
受信された通知をタッチ感知式セカンダリディスプレイにおいて表示することは、ユーザが、中断のない様式でプライマリディスプレイ上で彼らの作業を続けることを可能にし、彼らが、タッチ感知式セカンダリディスプレイを介して、受信された通知と双方向作用することを可能にする。ユーザが中断のない様式でプライマリディスプレイ上で彼らの作業を続けることを可能にすること、及びユーザがタッチ感知式セカンダリディスプレイを介して、受信された通知と双方向作用することを可能にすることは、受信された通知を検討しそれと双方向作用するのに素早くて便利な方法をユーザに提供し、それにより、(例えば、ユーザがタッチ感知式セカンダリディスプレイを通して直接的に、及び受信された通知を扱うために彼らのワークフローを中断する必要なしに、受信された通知に便利にアクセスするのを助けることによって)コンピューティングシステムの操作可能性が向上され、ユーザデバイスインタフェースがより効率的になる。更に、タッチ感知式セカンダリディスプレイにおいて受信通知を表示することは、受信された通知が、いくつかの実施形態では、タッチ感知式セカンダリディスプレイ中で他のアフォーダンス上に重ね合わされるように表示されるので、タッチ感知式セカンダリディスプレイにおいて、受信された通知に強調効果を提供し、したがって、受信された通知は、タッチ感知式セカンダリディスプレイにおいて視認可能であり、容易にアクセス可能であることが保証される。
(E2)E1の方法のいくつかの実施形態では、本方法は、通知を検出するより前に、タッチスクリーンディスプレイ上に通知を表示するがプライマリディスプレイ上に通知を表示しないような通知設定を選択しているユーザ入力を検出することを含む。
(E3)E1~E2のいずれか1つの方法のいくつかの実施形態では、本方法は、検出された通知の部分に対応するタッチスクリーンディスプレイ上のユーザタッチ入力を検出することと、ユーザタッチ入力が第1のタイプに対応するという判定に従って、タッチスクリーンディスプレイ上の検出された通知の部分を第2のユーザインタフェース中に表示するのを中止することと、ユーザタッチ入力が、第1のタイプとは別個の第2のタイプに対応するという判定に従って、検出された通知に関連付けられたアクションを実行することとを含む。
(E4)E1~E3のいずれか1つの方法のいくつかの実施形態では、タッチスクリーンディスプレイ上に表示された通知の部分は、検出された通知に応答する複数のオプションのうちの1つを選択するようにコンピューティングシステムのユーザにプロンプトする。
(E5)E1~E4のいずれか1つの方法のいくつかの実施形態では、タッチスクリーンディスプレイ上に表示された通知の部分は、検出された通知に対する1つ以上の提案された応答を含む。
(E6)E1~E5のいずれか1つの方法のいくつかの実施形態では、通知は、着信インスタントメッセージ、SMS、電子メール、ボイス呼、又はビデオ呼のうちの少なくとも1つに対応する。
(E6)E1~E5のいずれか1つの方法のいくつかの実施形態では、通知は、ユーザ入力がアプリケーションを閉じたか又はアプリケーション内のアクションを実行したことに応答して、コンピューティングシステムのプロセッサによって実行されているアプリケーションによって発行されるモードアラートに対応する。
(E7)E1~E7のいずれか1つの方法のいくつかの実施形態では、1つ以上のアフォーダンスのセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含み、通知は、入力メカニズムの1つ以上の部分、又はシステムレベルアフォーダンスの少なくとも1つを選択しているユーザ入力に対応する。
(E8)別の態様では、コンピューティングシステムが提供され、コンピューティングシステムは、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、E1~E7の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(E9)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、E1~E7の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(E10)更なる一態様では、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理入力機構及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステム上のグラフィカルユーザインタフェース、このグラフィカルユーザインタフェースは、クレームE1~E7の方法のいずれかに従って表示されるユーザインタフェースを備える。
(E11)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体と、クレームE1~E7の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(F1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A)を少なくとも部分的に含んでいる第2の筐体とを含むコンピューティングシステム(例えば、システム100又はシステム200、図1A~図2D)において、ユーザインタフェース部分を移動させる方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。本方法は、プライマリディスプレイ上にユーザインタフェースを表示することであって、ユーザインタフェースが1つ以上のユーザインタフェース要素を備える、ことと、プライマリディスプレイ上でフォーカスが当たっている1つ以上のユーザインタフェース要素のうちのアクティブユーザインタフェース要素を特定することであって、アクティブユーザインタフェース要素が、コンピューティングシステムによって実行されるアプリケーションに関連付けられている、ことと、アクティブユーザインタフェース要素を特定したことに応答して、タッチスクリーンディスプレイ上に、アプリケーションに対応する1つ以上のアフォーダンスのセットを表示することと、ユーザインタフェースのそれぞれの部分を移動するユーザ入力を検出することと、ユーザ入力を検出したことに応答して、及びそのユーザ入力が既定のアクション基準を満たすという判定に従って、プライマリディスプレイ上にユーザインタフェースのそれぞれの部分を表示するのを中止することと、タッチスクリーンディスプレイ上に1つ以上のアフォーダンスのセットのうちの少なくともサブセットを表示するのを中止することと、タッチスクリーンディスプレイ上にユーザインタフェースのそれぞれの部分の表現を表示することとを含む。
ユーザがユーザインタフェース部分(例えば、メニュー、通知など)をプライマリディスプレイからタッチ感知式セカンダリディスプレイに素早く移動することを可能にすることは、ユーザインタフェース部分にアクセスするのに便利でカスタマイズされた方法をユーザに提供する。タッチ感知式セカンダリディスプレイを介してユーザインタフェース部分にアクセスするのに便利でカスタマイズされた方法をユーザに提供することは、(例えば、より少数の双方向作用で、及び以前に閲覧された(場合によっては埋もれた)ユーザインタフェース部分を探して時間を浪費する必要なしに、ユーザがタッチ感知式セカンダリディスプレイを通してユーザインタフェース部分に直接アクセスするのを助けることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、必要なユーザインタフェース部分にユーザがより素早く効率的にアクセスすることを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。更に、ユーザ入力に応答してタッチ感知式セカンダリディスプレイにおいてユーザインタフェース部分を表示することは、それぞれのユーザインタフェース部分が、いくつかの実施形態では、タッチ感知式セカンダリディスプレイ中で他のアフォーダンス上に重なり合っているように表示されるので、タッチ感知式セカンダリディスプレイにおいてユーザインタフェース部分に強調効果を提供し、したがって、それぞれのユーザインタフェース部分は、タッチ感知式セカンダリディスプレイにおいて視認可能であり、容易にアクセス可能であることが保証される。
(F2)F1の方法のいくつかの実施形態では、ユーザインタフェースのそれぞれの部分は、コンピューティングシステムによって実行されるアプリケーションに対応するメニューである。
(F3)F1~F2のいずれか1つの方法のいくつかの実施形態では、ユーザインタフェースのそれぞれの部分は、通知及びモードアラートのうちの1つである。
(F4)F1~F3のいずれか1つの方法のいくつかの実施形態では、既定のアクション基準は、ユーザ入力が、ユーザインタフェースのそれぞれの部分をプライマリディスプレイの既定のロケーションにドラッグするドラッギングジェスチャであるときに満たされる。
(F5)F1~F3のいずれか1つの方法のいくつかの実施形態では、既定のアクション基準は、ユーザ入力が、ユーザインタフェースのそれぞれの部分をタッチスクリーンディスプレイに移動させることに対応する所定の入力であるときに満たされる。
(F6)F1~F5のいずれか1つの方法のいくつかの実施形態では、本方法は、ユーザ入力を検出したことに応答して、及びそのユーザ入力が既定のアクション基準を満たさないという判定に従って、プライマリディスプレイ上でユーザインタフェースのそれぞれの部分のディスプレイを維持することと、タッチスクリーンディスプレイ上で1つ以上のアフォーダンスのセットのディスプレイを維持することとを含む。
(F7)F1~F6のいずれか1つの方法のいくつかの実施形態では、1つ以上のアフォーダンスのセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含み、本方法は、タッチスクリーンディスプレイ上にユーザインタフェースのそれぞれの部分の表現を表示した後に、タッチスクリーンディスプレイ上で少なくとも1つのシステムレベルアフォーダンスのディスプレイを維持することを含む。
(F8)F1~F7のいずれか1つの方法のいくつかの実施形態では、ユーザインタフェースのそれぞれの部分の表現は、タッチスクリーンディスプレイ上で1つ以上のアフォーダンスのセットの上に重ね合わされる。
(F9)別の態様では、コンピューティングシステムが提供され、コンピューティングシステムは、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、F1~F8の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(F10)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、F1~F8の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(F11)更なる一態様では、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理入力機構及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステム上のグラフィカルユーザインタフェース、このグラフィカルユーザインタフェースは、クレームF1~F8の方法のいずれかに従って表示されるユーザインタフェースを備える。
(F12)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体と、クレームF1~F8の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(G1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A)を少なくとも部分的に含んでいる第2の筐体とを含むコンピューティングシステム(例えば、システム100又はシステム200、図1A~図2D)において、方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。本方法は、アプリケーションを開くようにとの要求を受信することを含む。要求を受信したことに応答して、本方法は、(i)コンピューティングシステム上で実行しているアプリケーションに関連付けられた複数のユーザインタフェースオブジェクトをプライマリディスプレイ上に表示することであって(例えば、複数のユーザインタフェースオブジェクトは、Safariにおけるタブ、フォトブラウジングアプリケーション中の個々の写真、ビデオ編集アプリケーションにおけるビデオの個々のフレームなどに対応する)、これらの複数のユーザインタフェースオブジェクトが、関連するコンテンツとともに表示される第1のユーザインタフェースオブジェクトと、関連するコンテンツなしに表示される他のユーザインタフェースオブジェクトとを含む、ことと、(ii)タッチ感知式セカンダリディスプレイ上に、複数のユーザインタフェースオブジェクトのうちの1つをそれぞれ表す(すなわち、それに対応する)アフォーダンスのセットを表示することとを含む。本方法はまた、アフォーダンスのセットのうちの第1のアフォーダンスからアフォーダンスのセットのうちの第2のアフォーダンスのほうへ方向において、タッチ感知式セカンダリディスプレイを介して、スワイプジェスチャを検出することを含む。いくつかの実施形態では、第1のアフォーダンスは第1のユーザインタフェースオブジェクトを表し、第2のアフォーダンスは、第1のユーザインタフェースオブジェクトとは別個である第2のユーザインタフェースオブジェクトを表す。スワイプジェスチャを検出したことに応答して、本方法は、第1のユーザインタフェースオブジェクトの関連するコンテンツを表示するのを中止し、第2のユーザインタフェースオブジェクトの関連するコンテンツを表示するように、(例えば、スワイプジェスチャ中に)プライマリディスプレイを更新することを含む。
タッチ感知式セカンダリディスプレイにおける入力を提供することによってユーザがプライマリディスプレイ(例えば、ブラウザタブ)上でユーザインタフェースオブジェクトを素早くナビゲートすることを可能にすることは、ユーザインタフェースオブジェクトを素早くナビゲートするのに便利な方法をユーザに提供する。タッチ感知式セカンダリディスプレイを介してユーザインタフェースオブジェクトを素早くナビゲートするのに便利な方法をユーザに提供すること(及び、ユーザインタフェースオブジェクトをナビゲートするために必要とされる入力の数を低減すること、したがって、ユーザインタフェースオブジェクトをナビゲートするために必要とされる双方向作用をより少なくすること)は、(例えば、プライマリディスプレイ上でユーザインタフェースオブジェクトをナビゲートするために、タッチ感知式セカンダリディスプレイにおいて単一の入力又はジェスチャを必要とすることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、プライマリディスプレイ上でユーザがユーザインタフェースオブジェクトをより素早く効率的にナビゲートすることを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。その上、ユーザがプライマリディスプレイ上でユーザインタフェースオブジェクトをナビゲートするためにタッチ感知式ディスプレイにおいて入力(例えば、スワイプジェスチャ)を提供するとき、(ユーザインタフェースオブジェクトのうちの1つに対応する)タッチ感知式ディスプレイにおける各接触アフォーダンスは、他のアフォーダンスとは視覚的に区別され(例えば、それぞれの接触アフォーダンスが拡大され、縁が強調表示されてよく)、このようにして、タッチ感知式セカンダリディスプレイ上に表示される情報は、ユーザにとってより識別可能になる。
(G2)G1の方法のいくつかの実施形態では、本方法は、第3のユーザインタフェースオブジェクトを表す第3のアフォーダンスに接触しているスワイプジェスチャを含む、タッチ感知式セカンダリディスプレイにわたるスワイプジェスチャの連続的な移動を検出することを含む。スワイプジェスチャが第3のアフォーダンスに接触することを検出したことに応答して、本方法は、第3のユーザインタフェースオブジェクトの関連するコンテンツを表示するようにプライマリディスプレイを更新することを含む。
(G3)G1~G2のいずれか1つの方法のいくつかの実施形態では、アフォーダンスのセット中の各アフォーダンスは、複数のうちのそれぞれのユーザインタフェースオブジェクトのためのそれぞれの関連するコンテンツの表現を含む。
(G4)G1~G3のいずれか1つの方法のいくつかの実施形態では、本方法は、スワイプジェスチャを検出する前に、第1のアフォーダンス上でタッチ感知式セカンダリディスプレイとの初期接触を検出することを含む。初期接触を検出したことに応答して、本方法は、第1のアフォーダンスの倍率レベル(又はディスプレイサイズ)を増加させることを含む。
(G5)G1~G4のいずれか1つの方法のいくつかの実施形態では、アプリケーションはウェブブラウジングアプリケーションであり、複数のユーザインタフェースオブジェクトはウェブブラウジングタブにそれぞれ対応する。
(G6)G6の方法のいくつかの実施形態では、本方法は、プライマリディスプレイ上のウェブブラウジングアプリケーションのURL入力部分における入力を検出することを含む。入力を検出したことに応答して、本方法は、お気に入りのURLの表現を含むようにタッチ感知式セカンダリディスプレイを更新することを含む。
(G7)G1~G4のいずれか1つの方法のいくつかの実施形態では、アプリケーションはフォトブラウジングアプリケーションであり、複数のユーザインタフェースオブジェクトは個々の写真にそれぞれ対応する。
(G8)G1~G4のいずれか1つの方法のいくつかの実施形態では、アプリケーションはビデオ編集アプリケーションであり、複数のユーザインタフェースオブジェクトはそれぞれのビデオ中の個々のフレームにそれぞれ対応する。
(G9)別の態様では、コンピューティングシステムが提供され、コンピューティングシステムは、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、G1~G8の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(G10)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、G1~G8の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(G11)更なる一態様では、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理入力機構及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステム上のグラフィカルユーザインタフェース、このグラフィカルユーザインタフェースは、クレームG1~G8の方法のいずれかに従って表示されるユーザインタフェースを備える。
(G12)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体と、クレームG1~G8の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(H1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A)を少なくとも部分的に含んでいる第2の筐体とを含むコンピューティングシステム(例えば、システム100又はシステム200、図1A~図2D)において、方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。本方法は、コンピューティングデバイスのプライマリディスプレイ上に表示されているコンテンツ内で検索するようにとの要求を受信することを含む(例えば、要求は、表示されているウェブページコンテンツ内でテキストを検索するようにとの要求に対応する)。要求を受信したことに応答して、本方法は、プライマリディスプレイ上に、検索に応答する複数の検索結果を表示することであって、フォーカスが、複数の検索結果のうちの第1の検索結果上にある、ことと、(ii)タッチ感知式セカンダリディスプレイ上に、複数の検索結果のうちのそれぞれの検索結果にそれぞれ対応するそれぞれの表現を表示することとを含む。本方法はまた、タッチ感知式セカンダリディスプレイを介して、それぞれの表現のうちの表現を選択するタッチ入力(例えば、タップ又はスワイプ)を検出することを含み、表現は、第1の検索結果とは別個の複数の検索結果のうちの第2の検索結果に対応する。入力を検出したことに応答して、本方法は、プライマリディスプレイ上のフォーカスを第2の検索結果に変更することを含む。
タッチ感知式セカンダリディスプレイにおける入力を提供することによってユーザがプライマリディスプレイ上で検索結果を素早くナビゲートすることを可能にすることは、検索結果を素早くナビゲートするのに便利な方法をユーザに提供する。タッチ感知式セカンダリディスプレイを介して検索結果を素早くナビゲートするのに便利な方法をユーザに提供すること(及び、検索結果をナビゲートするために必要とされる入力の数を低減すること、したがって、したがって、多数の検索結果を素早くブラウジングするために必要とされるユーザからの双方向作用をより少なくすること)は、(例えば、プライマリディスプレイ上で多数の検索結果をナビゲートするために、タッチ感知式セカンダリディスプレイにおいて単一の入力又はジェスチャを必要とすることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、プライマリディスプレイ上でユーザが検索結果をより素早く効率的にナビゲートすることを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。その上、ユーザがプライマリディスプレイ上で検索をナビゲートするためにタッチ感知式ディスプレイにおいて入力(例えば、スワイプジェスチャ)を提供するとき、(検索結果のうちの1つに対応する)タッチ感知式ディスプレイにおける各接触アフォーダンスは、他のアフォーダンスとは視覚的に区別され(例えば、それぞれの接触アフォーダンスが拡大され、縁が強調表示されてよく)、このようにして、タッチ感知式セカンダリディスプレイ上に表示される情報は、ユーザにとってより識別可能になる。
(H2)H1の方法のいくつかの実施形態では、フォーカスを変更することは、プライマリディスプレイ上で、特定の検索結果の視覚的特性を修正すること(例えば、特定の検索結果をより大きいフォントサイズで表示すること)を含む。
(H3)H1~H2のいずれか1つの方法のいくつかの実施形態では、本方法は、タッチ感知式セカンダリディスプレイ上でそれぞれの表現のうちの少なくとも2つにわたって移動するジェスチャを検出することを含む。ジェスチャを検出したことに応答して、本方法は、スワイプジェスチャがそれぞれの表現のうちの少なくとも2つにわたって移動するときの、それぞれの表現のうちの少なくとも2つに対応するそれぞれの検索結果に、プライマリディスプレイ上のフォーカスを変更すること含む。
(H4)H3の方法のいくつかの実施形態では、本方法は、ジェスチャの速度が閾値速度を上回るという判定に従って、それぞれの表現のうちの少なくとも2つに対応するものに加えて、それぞれの検索結果にプライマリディスプレイ上のフォーカスを変更することを含む(例えば、閾値速度を上回る場合、スワイプ中に接触されたものに加えて、より多くの検索結果を巡回する)。
(H5)H3~H4のいずれか1つの方法のいくつかの実施形態では、ジェスチャはスワイプジェスチャである。
(H6)H3~H4のいずれか1つの方法のいくつかの実施形態では、ジェスチャはフリックジェスチャである。
(H7)H1~H6のいずれか1つの方法のいくつかの実施形態では、表現は、検索結果のうちのそれぞれの検索結果にそれぞれ対応するティックマークである。
(H8)H7の方法のいくつかの実施形態では、ティックマークは、プライマリディスプレイ上の検索結果の順序付けに対応する順序でタッチ感知式セカンダリディスプレイ上で行において表示される。
(H9)H1~H8のいずれか1つの方法のいくつかの実施形態では、コンテンツ内で検索するようにとの要求は、コンテンツ内で検索文字列を位置特定するようにとの要求であり、複数の検索結果は、少なくとも検索文字列をそれぞれ含む。
(H9)H8の方法のいくつかの実施形態では、複数の検索結果を表示することは、複数の検索結果の各々について検索文字列を強調表示することを含む。
(H10)別の態様では、コンピューティングシステムが提供され、コンピューティングシステムは、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、H1~H9の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(H11)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、H1~H9の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(H12)更なる一態様では、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理入力機構及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステム上のグラフィカルユーザインタフェース、このグラフィカルユーザインタフェースは、クレームH1~H9の方法のいずれかに従って表示されるユーザインタフェースを備える。
(H13)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体と、クレームH1~H9の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(I1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A)を少なくとも部分的に含んでいる第2の筐体とを含むコンピューティングシステム(例えば、システム100又はシステム200、図1A~図2D)において、方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。本方法は、プライマリディスプレイ上にカレンダーアプリケーションを表示することを含む。本方法はまた、カレンダーアプリケーションに関連付けられたイベントに関する情報を表示するようにとの要求を受信することを含む(例えば、要求は、プライマリディスプレイ上のカレンダーアプリケーション内で表示されているイベントの選択に対応する)。要求を受信したことに応答して、本方法は、(i)プライマリディスプレイ上に、第1のイベントのイベント詳細を表示することであって、イベント詳細がイベントの開始時間及び終了時間を含む、ことと、(ii)タッチ感知式セカンダリディスプレイ上にアフォーダンスを表示することであって、アフォーダンス(例えば、ユーザインタフェースコントロール)が、開始時間及び終了時間を少なくとも含む時間の範囲を示す、こととを含む。
ユーザがタッチ感知式セカンダリディスプレイにおいてイベント詳細を素早く容易に編集することを可能にすることは、余分の入力を実行する必要なしに(例えば、イベント詳細を修正するためにキーボードを使用することとトラックパッドを使用することとの間を交互にジャンプする必要なしに)イベント詳細を素早く編集するのに便利な方法をユーザに提供する。タッチ感知式セカンダリディスプレイを介してイベント詳細を素早く編集するのに便利な方法をユーザに提供すること(及び、イベント詳細を編集するために必要とされる入力の数を低減すること、したがって、イベント詳細を編集する所望の結果を達成するために必要とされる双方向作用をより少なくすること)は、(例えば、いくつかのイベント詳細を素早く編集するために、タッチ感知式セカンダリディスプレイにおいて単一の入力又はジェスチャを必要とすることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、ユーザがイベント詳細をより素早く効率的に編集することを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。更に、タッチ感知式セカンダリディスプレイにおける入力に応答して(例えば、イベントの更新された開始時間及び終了時間を示すように)プライマリディスプレイを更新することによって、ユーザは、イベントを修正する入力を提供し、次いで、プライマリディスプレイ上に反映されたそれらの修正を直ちに見て、このようにして、追加の入力を提供すべきかどうかをユーザが次いで判断することが可能になることによって、効率的な方法でデバイスとの双方向作用を持続させることが可能である。
(I2)I1の方法のいくつかの実施形態では、本方法は、タッチ感知式セカンダリディスプレイを介して、時間の範囲を修正するユーザインタフェースコントロールにおける入力を検出することを含む。入力を検出したことに応答して、(i)入力に従ってイベントの開始時間及び終了時間のうちの少なくとも1つを修正し、(ii)入力に従って、プライマリディスプレイ上にイベントの時間の修正された範囲を表示する。
(I3)I2の方法のいくつかの実施形態では、本方法は、コンピューティングシステムのメモリに、修正された開始及び/又は終了時間とともにイベントを保存することを含む。
(I4)I1~I3のいずれか1つの方法のいくつかの実施形態では、時間の範囲を修正する入力は、タッチ感知式セカンダリディスプレイ上で閾値時間よりも多くの間アフォーダンスと接触したままであり、次いで、アフォーダンス少なくとも部分を移動させる押圧入力である。
(I5)I1~I3のいずれか1つの方法のいくつかの実施形態では、時間の範囲を修正する入力は、タッチ感知式セカンダリディスプレイにわたって移動し、イベントの新しい開始時間及び新しい終了時間をコンピューティングシステムに選択させるスワイプジェスチャであり、新しい開始時間及び終了時間は、開始時間及び終了時間によってカバーされるのと同じ持続時間であるタイムスロットに対応する。
(I6)別の態様では、コンピューティングシステムが提供され、コンピューティングシステムは、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、I1~I5の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(I7)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、I1~I5の方法のいずれか1つをコンピュータコンピューティングに実行させるか又はその実行を引き起こす命令を含む。
(I8)更なる一態様では、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理入力機構及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステム上のグラフィカルユーザインタフェース、このグラフィカルユーザインタフェースは、クレームI1~I5の方法のいずれかに従って表示されるユーザインタフェースを備える。
(I9)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体と、クレームI1~I5の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(J1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A)を少なくとも部分的に含んでいる第2の筐体とを含むコンピューティングシステム(例えば、システム100又はシステム200、図1A~図2D)において、方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。本方法は、コンピューティングシステムと、コンピューティングシステムとは別個の外部デバイスとの間の新しい接続を検出すること、及び(例えば、新しいモニタを接続すること、Bluetooth(登録商標)又はヘッドフォンジャックを介してヘッドフォンを接続することなど)を含む。新しい接続を検出したことに応答して、本方法は、タッチ感知式セカンダリディスプレイ上に、外部デバイスを介して利用可能な機能に対応する複数のアフォーダンスを表示することを含む。
ユーザがタッチ感知式セカンダリディスプレイを介して外部デバイスを効率的に利用することを可能にすることは、場合によってはメニューの中に埋もれるかもしれない機能にアクセスするのに便利な方法をユーザに提供する。場合によってはメニューの中に埋もれるかもしれない外部デバイスの機能にアクセスするのに便利な方法をユーザに提供すること(及び、したがって、機能にアクセスするために必要とされる入力の数を低減すること、このようにして、外部デバイスを使用するために必要とされる双方向作用をより少なくすること)は、(例えば、外部デバイスのいくつかの機能を実行するために、タッチ感知式セカンダリディスプレイにおいて単一の入力又はジェスチャを必要とすることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、ユーザがより素早く効率的に外部デバイスと双方向作用することを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。このようにして、タッチ感知式セカンダリディスプレイは、(デバイスと外部デバイスとの間の接続ステータスを反映し、ユーザが外部デバイスと容易に双方向作用することを可能にすることによって)デバイスの内部状態に関する情報をも搬送する。
(J2)J1の方法のいくつかの実施形態では、本方法は、外部デバイスを介して利用可能な第1の機能に対応する第1のアフォーダンスの選択をタッチ感知式セカンダリディスプレイを介して受信することを含む。選択を受信したことに応答して、本方法は、第1の機能の実行を開始することを含む。
(J3)J1~J2のいずれか1つの方法のいくつかの実施形態では、外部デバイスは、プライマリディスプレイ及びタッチ感知式ディスプレイとは別個の、追加のディスプレイである。
(J4)J3の方法のいくつかの実施形態では、複数のアフォーダンスは、選択されたとき、追加のディスプレイを介したディスプレイミラーリング機能の実行をコンピューティングシステムに開始させる第1のアフォーダンスを含む。
(J5)別の態様では、コンピューティングシステムが提供され、コンピューティングシステムは、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、J1~J4の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(J6)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、J1~J4の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(J7)更なる一態様では、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理入力機構及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステム上のグラフィカルユーザインタフェース、このグラフィカルユーザインタフェースは、クレームJ1~J4の方法のいずれかに従って表示されるユーザインタフェースを備える。
(J8)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体と、クレームJ1~J4の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(K1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A)を少なくとも部分的に含んでいる第2の筐体とを含むコンピューティングシステム(例えば、システム100又はシステム200、図1A~図2D)において、方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。本方法は、コンピューティングシステム上で実行しているアプリケーションのためのユーザインタフェースをプライマリディスプレイ上に表示することと、ユーザインタフェース内の特定のロケーションにおいて第1の入力を検出することとを含む。第1の入力を検出したことに応答して、本方法は、タッチ感知式セカンダリディスプレイ上に、別個の文字にそれぞれ対応するアフォーダンスのセットを表示することを含む。
タッチ感知式セカンダリディスプレイにおいて直観的な入力を提供することによって、プライマリディスプレイ上のアプリケーション内で文字がどのように見えるかをユーザが素早く容易にプレビューすることを可能にすることは、アプリケーション内で文字がどのように見えるかを素早くプレビューするのに便利な方法をユーザに提供する。アプリケーション内で文字がどのように見えるかを素早くプレビューするのに便利な方法をユーザに提供することは、(例えば、文字がどのように見えるかを素早くプレビューするために、タッチ感知式セカンダリディスプレイにおいて単一の入力又はジェスチャを必要とし、したがって、プライマリディスプレイ上でこれらの文字がどのように見えるかをプレビューするために必要とされる双方向作用をより少なくすることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、ユーザが文字をより素早く効率的にプレビューすることを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。このようにして、ユーザは、文字をプレビューし続け、次いで、所望の文字が見つかるまで入力を提供し続けることを許可されるので、ユーザには、彼らのデバイスとの効率的で持続された双方向作用を提供される。
(K2)K1の方法のいくつかの実施形態では、本方法は、タッチ感知式セカンダリディスプレイを介して、別個の文字のうちの第1の文字に対応する第1のアフォーダンスにわたる第2の入力を検出することを含む。第2の入力を検出したことに応答して、本方法は、入力が第1のアフォーダンスと接触したままである間、特定のロケーションにおける第1の文字のプレビューをプライマリディスプレイ上に表示することを含む。
(K3)K2の方法のいくつかの実施形態では、本方法は、タッチ感知式セカンダリディスプレイを介して、第1のアフォーダンスから別個の文字のうちの第2の文字に対応する第2のアフォーダンスへの第2の入力の移動を検出することを含む。第1のアフォーダンスから第2のアフォーダンスへの第2の入力の移動を検出したことに応答して、本方法は、第1の文字のプレビューを第2の文字のプレビューと置き換えることを含む。
(K4)K1~K3のいずれか1つの方法のいくつかの実施形態では、本方法は、ユーザインタフェース中に含まれるテキストコンテンツに少なくとも部分的に基づいてアフォーダンスのセット中に含めるべきアフォーダンスを判定することを含む。
(K5)K4の方法のいくつかの実施形態では、判定することは、ユーザインタフェース中に含まれるテキストコンテンツをユーザが修正したことを検出したことに応答して行われる。
(K6)K1~K5のいずれか1つの方法のいくつかの実施形態では、本方法は、第2の入力が第2のアフォーダンスと接触している間、第2の入力のリフトオフを検出することを含む。リフトオフを検出したことに応答して、本方法は、第2のユーザインタフェース要素を含むようにユーザインタフェースを更新することを含む。
(K7)K1~K5のいずれか1つの方法のいくつかの実施形態では、本方法は、第2の入力が第2のアフォーダンスと接触している間、追加の入力を検出することを含む。追加の入力を検出したことに応答して、本方法は、第2のユーザインタフェース要素を含むようにユーザインタフェースを更新することを含む。
(K8)K1~K7のいずれか1つの方法のいくつかの実施形態では、本方法は、第2の入力がタッチ感知式セカンダリディスプレイにわたって移動し続けるとき、アフォーダンスのセット中の対応するアフォーダンスが第2の入力によって接触されるように、別個の文字のうちのそれぞれの文字のプレビューを表示することを含む。
(K9)K1~K8のいずれか1つの方法のいくつかの実施形態では、入力が第2のアフォーダンスと接触したままである間、第2の文字のプレビューはプライマリディスプレイ上に表示されたままである。
(K10)別の態様では、コンピューティングシステムが提供され、コンピューティングシステムは、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、K1~K9の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(K11)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、K1~K9の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(K12)更なる一態様では、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理入力機構及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステム上のグラフィカルユーザインタフェース、このグラフィカルユーザインタフェースは、クレームK1~K9の方法のいずれかに従って表示されるユーザインタフェースを備える。
(K13)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体と、クレームK1~K9の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(L1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A)を少なくとも部分的に含んでいる第2の筐体とを含むコンピューティングシステム(例えば、システム100又はシステム200、図1A~図2D)において、方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。本方法は、コンテンツ編集アプリケーション(ドキュメント、図、写真などを作成し編集するアプリケーション)を開くようにとの要求を受信することを含む。要求を受信したことに応答して、本方法は、(i)プライマリディスプレイ上にコンテンツ編集アプリケーションを表示することと、(ii)コンテンツ編集アプリケーション内でコンテンツをレンダリングするために使用される少なくとも1つの視覚的特性を修正するユーザインタフェースコントロール(例えば、コンテンツ編集アプリケーション内で表示されるコンテンツの色を選択するために使用されるカラー値のスライディングスケールを含むカラーピッカー)をタッチ感知式セカンダリディスプレイ上に表示することとを含む。
したがって、ユーザには、タッチ感知式セカンダリディスプレイにおける入力を提供することによって、プライマリディスプレイ上のコンテンツ編集アプリケーション内でコンテンツをレンダリングするために使用される視覚的特性を修正する直観的な方法が提供される。このようにして視覚的特性を修正する直観的な方法をユーザに提供することは、(例えば、プライマリディスプレイ上でコンテンツをレンダリングするために使用されたとき、いくつかの視覚的特性がどのように見えるのかを素早くプレビューするために、タッチ感知式セカンダリディスプレイにおいて単一の入力又はジェスチャを必要とすることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、ユーザが視覚的特性の変化をより素早く効率的な方法でプレビューすることを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。このようにして、ユーザは、プライマリディスプレイ上で視覚的特性への修正がどのように見えるかをプレビューし続け、次いで、視覚的特性の所望の修正が見つかるまで入力を提供し続けることを許可されるので、ユーザは、彼らのデバイスとの効率的で持続された双方向作用を提供される。
(L2)L1の方法のいくつかの実施形態では、本方法は、タッチ感知式セカンダリディスプレイを介して、少なくとも1つの視覚的特性の第1の値を選択するユーザインタフェースコントロールにおける入力を検出することを含む。入力を検出した後に、本方法は、少なくとも1つの視覚的特性の第1の値を使用してコンテンツ編集アプリケーション中にコンテンツをレンダリングすることを含む(例えば、第1の値を使用して、コンテンツ編集アプリケーションに追加された全ての新しいコンテンツがレンダリングされ、及び/又は第1の値を使用して、現在選択されているコンテンツがレンダリングされる)。
(L3)L1~L2のいずれか1つの方法のいくつかの実施形態では、ユーザインタフェースコントロールは、値のスライディングスケールに沿って少なくとも1つの視覚的特性のそれぞれの値にそれぞれ対応するそれぞれのコントロールを含む。
(L4)L3の方法のいくつかの実施形態では、値のスライディングスケールは、色の別個のシェードを表す。
(L5)L4の方法のいくつかの実施形態では、第1の値は、第1の色の第1のシェードに対応し、本方法は、入力が所定の基準を満たす(閾値時間よりも長く接触したままである)という判定に従って、第1の色の第1のシェードとは別個の、第1の色の他のシェードを選択するオプションを含むようにタッチ感知式セカンダリディスプレイ上でユーザインタフェースコントロールを修正することを含む。
(L6)L1~L5のいずれか1つの方法のいくつかの実施形態では、本方法は、コンテンツをレンダリングする前に、コンテンツの選択を受信することを含み、コンテンツをレンダリングすることは、少なくとも1つの視覚的特性の第1の値を使用してコンテンツのプレビューを提示することを含む。
(L7)L6の方法のいくつかの実施形態では、入力がタッチ感知式セカンダリディスプレイと接触したままである間、プレビューは提示される。
(L8)L7の方法のいくつかの実施形態では、本方法は、入力のリフトオフを検出したことに応答して、プレビューを表示するのを中止することを含む。
(L9)L8の方法のいくつかの実施形態では、本方法は、入力のリフトオフを検出したことに応答して、少なくとも1つの視覚的特性の修正された値を用いて、編集可能なコンテンツの部分を表示することを含む。
(L10)別の態様では、コンピューティングシステムが提供され、コンピューティングシステムは、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、L1~L9の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(L11)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、L1~L9の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(L12)更なる一態様では、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理入力機構及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体とをもつコンピューティングシステム上のグラフィカルユーザインタフェース、このグラフィカルユーザインタフェースは、クレームL1~L9の方法のいずれかに従って表示されるユーザインタフェースを備える。
(L13)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、プライマリディスプレイを含む第1の筐体と、物理キーボード及びプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含んでいる第2の筐体と、クレームL1~L9の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(M1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、「ディスプレイ」とも呼ばれる、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A)を少なくとも部分的に含んでいる第2の筐体とを含む電子デバイス(例えば、システム100又はシステム200、図1A~図2D)において、方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。いくつかの実施形態では、電子デバイスはまた、タッチ感知式セカンダリディスプレイと一体化されているか、又は第2の筐体内のタッチ感知式セカンダリディスプレイに隣接して配置された別個の構成要素である、生体センサを含む。本方法は、デバイスがロック状態にある間(例えば、ロック状態は、デバイスの1つ以上の機能が無効にされており、機密情報へのアクセス又は情報を変更若しくは削除する能力が禁止されている状態である)、第1のユーザアカウント及び第2のユーザアカウントを含む複数のユーザアカウントにログインすることに関連付けられたそれぞれのログインユーザインタフェースを表示することを含む。ログインユーザインタフェースを表示している間、本方法は、ユーザに関する生体情報を受信することを含む。生体情報を受信したことに応答して、本方法は、(i)第1のユーザアカウントがデバイス上でアクティブセッションを有していない間、生体情報が複数のユーザアカウントのうちの第1のユーザアカウントの生体情報に一致するという判定に従って、ディスプレイ上に、第1のユーザアカウントのログインクレデンシャルを入力するようにとのプロンプトを表示することと、(ii)第2のユーザアカウントがデバイス上でアクティブセッションを有していない間、生体情報が複数のユーザアカウントのうちの第2のユーザアカウントの生体情報に一致するという判定に従って、ディスプレイ上に、第2のユーザアカウントのログインクレデンシャルを入力するようにとのプロンプトを表示することとを含む。
したがって、ユーザには、生体センサにおいて単一の入力を提供することによってユーザ固有のログインページにアクセスする直観的な方法が提供される。このようにしてユーザ固有のログインページにアクセスする直観的な方法をユーザに提供することは、(例えば、ユーザ固有のログインページに適宜に素早くアクセスするために、生体センサにおいて単一の入力又はジェスチャを必要し、したがって、ユーザ固有のログインページに到達するために必要とされる双方向作用がより少なることによって)コンピューティングシステムの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、ユーザが単一の入力を介してログインページにアクセスすることを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。
(M2)M1の方法のいくつかの実施形態では、本方法は、生体情報を受信したことに応答して、第1のユーザアカウントがデバイス上でアクティブセッションを有している間、生体情報が複数のユーザアカウントのうちの第1のユーザアカウントの生体情報に一致するという判定に従って、(例えば、追加のユーザ入力を必要とせずに)第1のユーザアカウントに関してデバイスをロック解除することを含む。
(M3)M1~M2のいずれか1つの方法のいくつかの実施形態では、本方法は、生体情報を受信したことに応答して、第2のユーザアカウントがデバイス上でアクティブセッションを有している間、生体情報が複数のユーザアカウントのうちの第2のユーザアカウントの生体情報に一致するという判定に従って、(例えば、追加のユーザ入力を必要とせずに)第2のユーザアカウントに関してデバイスをロック解除することを含む。
(M4)M1~M3のいずれか1つの方法のいくつかの実施形態では、本方法は、生体情報を受信したことに応答して、生体情報がデバイスのどんなユーザアカウントの生体情報にも一致しないという判定に従って、デバイスをロック状態に維持することを含む。
(M5)M1~M4のいずれか1つの方法のいくつかの実施形態では、ログインユーザインタフェースは、複数のユーザアカウントに対応する複数の選択可能なアフォーダンスを含む。
(M6)M1~M5のいずれか1つの方法のいくつかの実施形態では、本方法は、第1のユーザアカウントのログインクレデンシャルを入力するようにとのプロンプトを表示している間、ログインクレデンシャルのエントリを受信することを含む。ログインクレデンシャルのエントリを受信したことに応答して、本方法は、(i)ログインクレデンシャルが第1のユーザアカウントのログインクレデンシャルに一致するという判定に従って、第1のユーザアカウントに関してデバイスをロック解除することと、(ii)ログインクレデンシャルが第1のユーザアカウントのログインクレデンシャルに一致しないという判定に従って、デバイスをロック状態に維持することとを含む。
(M7)M1~M6のいずれか1つの方法のいくつかの実施形態では、本方法は、第2のユーザアカウントのログインクレデンシャルを入力するようにとのプロンプトを表示している間、ログインクレデンシャルのエントリを受信することを含む。ログインクレデンシャルのエントリを受信したことに応答して、(i)ログインクレデンシャルが第2のユーザアカウントのログインクレデンシャルに一致するという判定に従って、第1のユーザアカウントに関してデバイスをロック解除し、(ii)ログインクレデンシャルが第2のユーザアカウントのログインクレデンシャルに一致しないという判定に従って、デバイスをロック状態に維持する。
(M8)M1~M7のいずれか1つの方法のいくつかの実施形態では、ログインユーザインタフェースは、生体情報を提供するようにとの命令を含む。
(M9)M1~M8のいずれか1つの方法のいくつかの実施形態では、デバイスは、生体センサに隣接するセカンダリディスプレイ(例えば、タッチ感知式セカンダリディスプレイ)を含み、本方法は、デバイスのディスプレイ上にログインユーザインタフェースを表示している間、生体センサを介して生体情報を提供するようにとの命令をセカンダリディスプレイに表示することを含む。
(M10)M1~M9のいずれか1つの方法のいくつかの実施形態では、生体センサは指紋センサである。
(M11)M1~M9のいずれか1つの方法のいくつかの実施形態では、生体センサは顔検出センサである。
(M12)M1~M9のいずれか1つの方法のいくつかの実施形態では、生体センサは網膜スキャナである。
(M13)別の態様では、電子デバイスが提供され、電子デバイスは、1つ以上のプロセッサと、メモリと、ディスプレイと、生体センサとを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、M1~M12の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(M14)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、ディスプレイ及び生体センサをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、M1~M12の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(M15)更なる一態様では、1つ以上のプロセッサと、メモリと、ディスプレイと、生体センサとをもつコンピューティングシステム上にグラフィカルユーザインタフェースが提供され、グラフィカルユーザインタフェースは、クレームM1~M12の方法のいずれかに従って表示されるユーザインタフェースを備える。
(M16)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、ディスプレイ及び生体センサと、クレームM1~M12の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
(N1)いくつかの実施形態によれば、1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体(例えば、「ディスプレイ」とも呼ばれる、ディスプレイ102を含む筐体110又はディスプレイ102を含む筐体204)と、物理キーボード(例えば、キーボード106、図1A)及びタッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A)を少なくとも部分的に含んでいる第2の筐体とを含む電子デバイス(例えば、システム100又はシステム200、図1A~図2D)において、方法が実行される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは物理キーボードとは別個である(例えば、タッチ感知式セカンダリディスプレイはスタンドアロンディスプレイ222であるか、又はタッチ感知式ディスプレイは、タッチパッド108、図2Cなど、別のデバイスと一体化される)。いくつかの実施形態では、電子デバイスはまた、タッチ感知式セカンダリディスプレイと一体化されているか、又は第2の筐体内のタッチ感知式セカンダリディスプレイに隣接して配置された別個の構成要素である、生体センサを含む。本方法は、デバイスが第1のユーザアカウントにログインされている間、第1のユーザアカウントに関連付けられたユーザインタフェース(例えば、第1のユーザアカウントのホームスクリーン又はデスクトップ)を表示することを含む。デバイスは、第1のユーザアカウント及び第2のユーザアカウントを含む複数のユーザアカウントに関連付けられ、第2のユーザアカウントは、第2のユーザアカウントにログインすることを可能にする生体情報に関連付けられる。第1のユーザアカウントに関連付けられたユーザインタフェースを表示している間、本方法は、一体型生体センサをもつ入力要素を介して入力を受信することを含む。一体型生体センサをもつ入力要素を介して入力を受信したことに応答して、本方法は、第2のユーザアカウントがデバイス上でアクティブセッションを有している間、入力が第2のユーザ切替え基準を満たすという判定であって、第2のユーザ切替え基準は、入力要素を用いた入力中に検出される生体情報が、複数のユーザアカウントのうちの第2のユーザアカウントの生体情報に一致するという要件を含む、判定に従って、(i)第2のユーザアカウントに関してデバイスをロック解除することと、(ii)第1のユーザアカウントに関してデバイスをロックすることと、(iii)第1のアカウントに関連付けられたユーザインタフェースのディスプレイを、第2のユーザアカウントに関連付けられたユーザインタフェースと置き換えることとを含む。
したがって、ユーザには、生体センサにおいて単一の入力を提供することによって電子デバイス上でアクティブなユーザ固有のセッションにアクセスする直観的な方法が提供される。このようにしてアクティブなユーザ固有のセッションにアクセスする直観的な方法をユーザに提供することは、(例えば、アクティブセッションへの即時アクセスを獲得するために、生体センサにおいて単一の入力又はジェスチャを必要とし、したがって、ユーザアカウントを切り替えデバイスにログインするために必要とされる双方向作用がより少なくなることによって)電子デバイスの操作可能性を向上させ、ユーザデバイスインタフェースをより効率的にし、それにより、更に、ユーザが単一の入力を介してアクティブセッションにアクセスすることを可能にすることによって、デバイスの電力使用が低減され、バッテリ寿命が改善される。
(N2)N1の方法のいくつかの実施形態では、本方法は、生体情報を受信したことに応答して、第2のユーザアカウントがデバイス上でアクティブセッションを有していない間、入力が第2のユーザ切替え基準を満たすという判定であって、第2のユーザ切替え基準は、入力要素を用いた入力中に検出される生体情報が、複数のユーザアカウントのうちの第2のユーザアカウントの生体情報に一致するという要件を含む、判定に従って、第2のユーザアカウントのログインクレデンシャルを入力するようにとのプロンプトをディスプレイ上に表示することを含む。
(N3)N1~N2のいずれか1つの方法のいくつかの実施形態では、本方法は、生体情報を受信したことに応答して、第3のユーザアカウントがデバイス上でアクティブセッションを有している間、入力が第3のユーザ切替え基準を満たすという判定であって、第3のユーザ切替え基準は、入力要素を用いた入力中に検出される生体情報が、複数のユーザアカウントのうちの第3のユーザアカウントの生体情報に一致するという要件を含む、判定に従って、(i)第3のユーザアカウントに関してデバイスをロック解除することと、(ii)第1のユーザアカウントに関してデバイスをロックすることと、(iii)第1のアカウントに関連付けられたユーザインタフェースのディスプレイを、第3のユーザアカウントに関連付けられたユーザインタフェースと置き換えることとを含む。
(N4)N1~N3のいずれか1つの方法のいくつかの実施形態では、本方法は、生体情報を受信したことに応答して、第3のユーザアカウントがデバイス上でアクティブセッションを有していない間、入力が第3のユーザ切替え基準を満たすという判定であって、第3のユーザ切替え基準は、入力要素を用いた入力中に検出される生体情報が、複数のユーザアカウントのうちの第3のユーザアカウントの生体情報に一致するという要件を含む、判定に従って、第3のユーザアカウントのログインクレデンシャルを入力するようにとのプロンプトをディスプレイ上に表示することを含む。
(N5)N1~N2のいずれか1つの方法のいくつかの実施形態では、入力要素はボタンであり、一体型生体センサをもつ入力要素を介した入力は、ボタンを介して押圧入力を検出することを含む。
(N6)N5の方法のいくつかの実施形態では、第2のユーザ切替え基準は、押圧入力が第1の閾値時間よりも短く持続するという基準を含み、本方法は、ボタンを用いた押圧入力が第1の閾値時間よりも長く持続するという判定に従って、一体型生体センサをもつ入力要素を介した押圧入力を受信したことに応答して、デバイスを低電力モードに入れることを含む(例えば、低電力モードは、ディスプレイがオフにされた電子デバイスのサスペンド状態に対応する)。
(N7)N5の方法のいくつかの実施形態では、第2のユーザ切替え基準は、ボタン押下が第1の閾値時間よりも短いという基準を含み、本方法は、一体型生体センサをもつ入力要素を介して入力を受信したことに応答して、(i)ボタンを用いた押圧入力が第1の閾値時間よりも長く及び第2の閾値時間よりも短く持続するという判定に従って、デバイスを低電力モードに入れることと(例えば、低電力モードは、ディスプレイがオフにされた電子デバイスのスリープ/サスペンド状態に対応し、この低電力モードには押圧入力の終了時に入る)、(ii)ボタンを用いた押圧入力が第2の閾値時間よりも長く持続するという判定に従って、デバイスの状態を変更するためのオプションのメニューを表示することと(例えば、オプションのメニューは、シャットダウン、再起動、スリープ/サスペンドオプションを含み、これらは、選択されたとき、それぞれ、デバイスをシャットダウン、再起動、又はスリープ/サスペンドする)を含む。
(N8)N7の方法のいくつかの実施形態では、本方法は、一体型生体センサをもつ入力要素を介して入力を受信したことに応答して、ボタンを用いた押圧入力が、第2の閾値時間よりも大きい第3の閾値時間よりも長く持続するという判定に従って、デバイスを再起動することを含む。
(N9)N1~N8のいずれか1つの方法のいくつかの実施形態では、本方法は、第1のアカウントに関連付けられたユーザインタフェースのディスプレイを、第2のユーザアカウントに関連付けられたユーザインタフェースと置き換えた後に、第2のユーザアカウントに関連付けられたユーザインタフェースを表示している間、一体型生体センサをもつ入力要素を介して第2の入力を受信することを含む。一体型生体センサをもつ入力要素を介して第2の入力を受信したことに応答して、第1のユーザアカウントがデバイス上でアクティブセッションを有している間、第2の入力が第1のユーザ切替え基準を満たすという判定であって、第1のユーザ切替え基準は、入力要素を用いた入力中に検出される生体情報が、複数のユーザアカウントのうちの第1のユーザアカウントの生体情報に一致するという要件を含む、判定に従って、(i)第1のユーザアカウントに関してデバイスをロック解除し、(ii)第2のユーザアカウントに関してデバイスをロックし、(iii)第2のアカウントに関連付けられたユーザインタフェースのディスプレイを、第1のユーザアカウントに関連付けられたユーザインタフェースと置き換える。
(N10)別の態様では、電子デバイスが提供され、電子デバイスは、1つ以上のプロセッサと、メモリと、ディスプレイと、生体センサとを含む。1つ以上のプログラムがメモリに記憶され、1つ以上のプロセッサによる実行のために構成されており、1つ以上のプログラムは、N1~N9の方法のいずれか1つを実行するか又はその実行を引き起こす命令を含む。
(N11)追加の態様では、1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供され、1つ以上のプログラムは、ディスプレイ及び生体センサをもつコンピューティングシステムの1つ以上のプロセッサによって実行されたとき、N1~N9の方法のいずれか1つをコンピューティングシステムに実行させるか又はその実行を引き起こす命令を含む。
(N12)更なる一態様では、1つ以上のプロセッサと、メモリと、ディスプレイと、生体センサとをもつコンピューティングシステム上にグラフィカルユーザインタフェースが提供され、グラフィカルユーザインタフェースは、クレームN1~N9の方法のいずれかに従って表示されるユーザインタフェースを備える。
(N13)他の一態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、ディスプレイ及び生体センサと、クレームN1~N9の方法のいずれかを実行するか又はその実行を引き起こす手段とを含む。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきである。ここで、類似の参照番号は、それらの図の全てを通じて、対応する部分を指す。
いくつかの実施形態による、ポータブルコンピューティングシステム(例えば、ラップトップコンピュータ)の例示的な図である。 いくつかの実施形態による、図1Aのポータブルコンピューティングシステムの本体部分の例示的な図である。 いくつかの実施形態による、デスクトップコンピューティングシステムの第1の実装形態の例示的な図である。 いくつかの実施形態による、デスクトップコンピューティングシステムの第2の実装形態の例示的な図である。 いくつかの実施形態による、デスクトップコンピューティングシステムの第3の実装形態の例示的な図である。 いくつかの実施形態による、デスクトップコンピューティングシステムの第4の実装形態の例示的な図である。 いくつかの実施形態による、電子デバイスのブロック図である。 いくつかの実施形態による、図3Aのイベント処理のための構成要素のブロック図である。 いくつかの実施形態による、動的強度閾値の例を示す。 いくつかの実施形態による、動的強度閾値の例を示す。 いくつかの実施形態による、動的強度閾値の例を示す。 いくつかの実施形態による、外付け電子デバイスのブロック図である。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおけるユーザインタフェース制御を動的に提供する例示的なユーザインタフェースを示す。 いくつかの実施形態による、動的入力及び出力デバイスを更新する方法のフロー図である。 いくつかの実施形態による、動的入力及び出力デバイスを更新する方法のフロー図である。 いくつかの実施形態による、動的入力及び出力デバイスを更新する方法のフロー図である。 いくつかの実施形態による、動的入力及び出力デバイスを更新する方法のフロー図である。 いくつかの実施形態による、動的入力及び出力デバイスを更新する方法のフロー図である。 いくつかの実施形態による、動的入力及び出力デバイスを更新する方法のフロー図である。 いくつかの実施形態による、動的入力及び出力デバイスを更新する方法のフロー図である。 いくつかの実施形態による、フルスクリーンモードにある間にアプリケーションの機能を維持する方法のフロー図である。 いくつかの実施形態による、フルスクリーンモードにある間にアプリケーションの機能を維持する方法のフロー図である。 いくつかの実施形態による、タッチスクリーンディスプレイに通知を表示する方法のフロー図である。 いくつかの実施形態による、タッチスクリーンディスプレイに通知を表示する方法のフロー図である。 いくつかの実施形態による、ユーザインタフェース部分を移動させる方法のフロー図である。 いくつかの実施形態による、ユーザインタフェース部分を移動させる方法のフロー図である。 いくつかの実施形態による、ユーザインタフェース部分を移動させる方法のフロー図である。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおいて入力を提供することによってプライマリディスプレイ上でユーザインタフェースオブジェクトをブラウズする方法のフロー図である。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおいて入力を提供することによってプライマリディスプレイ上で検索結果をブラウズする方法のフロー図である。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおいて入力を提供することによってプライマリディスプレイに表示されるイベントの詳細を変更する方法のフロー図である。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイを含むコンピューティングシステムと接続される外部デバイスに関する実施可能な情報をタッチ感知式セカンダリディスプレイにおいて提示する方法のフロー図である。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおいて入力を提供することによってプライマリディスプレイ上のアプリケーション内に表示される文字をプレビューする方法のフロー図である。 いくつかの実施形態による、タッチ感知式セカンダリディスプレイにおいて入力を提供することによってプライマリディスプレイ上のコンテンツ編集アプリケーション内でコンテンツをレンダリングするために使用される視覚的特性を変更する方法のフロー図である。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、効率的なログインを可能にするために生体センサを使用する方法のフロー図である。 いくつかの実施形態による、ログインされたユーザアカウント間の効率的な高速スイッチングを可能にするために生体センサを使用する方法のフロー図である。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、電子デバイスの機能ブロック図を示す。 いくつかの実施形態による、地図アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるプライマリディスプレイ及びタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、地図アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるプライマリディスプレイ及びタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、地図アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、地図アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるプライマリディスプレイ及びタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるプライマリディスプレイ及びタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおける制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるプライマリディスプレイ及びタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、ビデオ編集アプリケーションとともに使用する制御を動的に提供するユーザインタフェースを示すために使用されるタッチ感知式セカンダリディスプレイの概略図である。 いくつかの実施形態による、様々なビデオ編集アプリケーションとともに使用するタッチ感知式セカンダリディスプレイにおいて表示され得る例示的なグリフを示す概略図である。
図1A~図1B、図2A~図2D、図3A~図3E、及び図4は、例示的なデバイスの説明を提供する。図5A~図14Eは、動的入力及び出力デバイスを更新する例示的なユーザインタフェースを示す。図44A~図44Dは、動的入力及び出力デバイスを更新する方法600のフロー図である。図45A~図45Cは、動的入力及び出力デバイスを更新する方法700のフロー図である。図46A~図46Bは、フルスクリーンモードにある間にアプリケーションの機能を維持する方法800のフロー図である。図47A~図47Bは、タッチスクリーンディスプレイに通知を表示する方法900のフロー図である。図48A~図48Cは、ユーザインタフェース部分を移動させる方法1000のフロー図である。図5A~図14Eのユーザインタフェースは、図44A~図44D、図45A~図45C、図46A~図46B、図47A~図47B、及び図48A~図48Cの方法及び/又はプロセスを示すために使用される。
図49~図54及び図66~図67は、コンピューティングシステムにおける効率的な対話を可能にするためにタッチ感知式セカンダリディスプレイを利用する方法のフロー図を含む。図15A~図43Dのユーザインタフェースは、図49~図54及び図66~図67の方法及び/又はプロセスを示すために使用される。
例示的なデバイス及びシステム
ここで、添付図面に実施例が示される実施形態への詳細な参照が行われる。以下の詳細な説明では、説明される様々な実施形態の完全な理解を提供するために数多くの具体的な詳細が記載されている。しかしながら、説明される様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭化しないよう詳細には説明されていない。
本明細書では、第1、第2などの用語は、いくつかの例では、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されたい。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明される様々な実施形態の範囲から逸脱することなく、第1の接触は、第2の接触と称することができ、同様に、第2の接触は、第1の接触と称することができる。第1の接触及び第2の接触は両方とも接触であるが、それらは同じ接触ではない。
本明細書の説明される様々な実施形態の説明で使用される術語は、特定の実施形態について説明することのみを目的とし、限定的であることが意図されるものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるように、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形も同様に含むことが意図される。本明細書で使用されるように、用語「及び/又は」は、関連する列挙された項目のうちの1つ以上のいずれか及び全ての考えられる組合せを指し、かつこれを含むことも理解されたい。用語「includes(含む)」、「including(含む)」、「comprises(含む、備える)」、及び/又は「comprising(含む、備える)」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/若しくはそれらのグループの存在又は追加を除外しないことを更に理解されたい。
本明細書で使用されるように、用語「if(~の場合)」は、任意選択的に、文脈に応じて「when(~のとき)」、「upon(~すると)」、「in response to determining(~と判定したことに応答して)」、又は「in response to detecting(~を検出したことに応答して)」を意味するものと解釈される。同様に、語句「if it is determined(~と判定される場合)」又は「if(a stated condition or event)is detected((述べられた条件又はイベント)が検出される場合)」は、任意選択的に、文脈に応じて「upon determining(~と判定すると)」若しくは「in response to determining(~と判定したことに応答して)」、又は「upon detecting(the stated condition or event)((述べられた条件又はイベント)を検出すると)」若しくは「in response to detecting(the stated condition or event)((述べられた条件又はイベント)を検出したことに応答して)」を意味するものと解釈される。
図1Aは、いくつかの実施形態による、ポータブルコンピューティングシステム100の例示的な図である。ポータブルコンピューティングシステム100は、例えば、MACBOOK(登録商標)デバイスなどのラップトップコンピュータ、又は任意の他のポータブルコンピューティングデバイスでもよい。ポータブルコンピューティングシステム100は、(A)プライマリディスプレイ102を備えた(本明細書では第1の筐体110又は筐体110とも呼ばれる)ディスプレイ部分110と、(B)同じ筐体内に部分的に含まれる動的ファンクション行104、物理(すなわち、移動可能に作動している)キーのセット106、及びタッチパッド108を備えた(第2の筐体120又は筐体120とも呼ばれる)本体部分120とを含む。ディスプレイ部分110は、ポータブルコンピューティングシステム100の本体部分120と、一般的には、機械的に、電気的に、及び通信可能に結合される。例えば、ポータブルコンピューティングシステム100はヒンジを含んでもよく、これは、ディスプレイ部分110が本体部分120に対して回転させられることを可能にする。ポータブルコンピューティングシステム100は、1つ以上のプロセッサと、本明細書で説明される実施形態のうちのいずれかを実行するために1つ以上のプロセッサが実行する1つ以上のプログラムを記憶するメモリとを含む。いくつかの実施形態では、図1Bを参照してより詳細に説明される動的ファンクション行104は、ユーザタッチ入力及び選択を検出するために、抵抗感知、音響感知、容量感知、光感知、赤外線感知などを使用するタッチスクリーンディスプレイである。いくつかの実施形態では、ディスプレイ部分110のプライマリディスプレイ102はまた、タッチスクリーンディスプレイである。
図1Bは、いくつかの実施形態による、ポータブルコンピューティングシステム100の本体部分120の例示的な図である。本体部分120は、同じ筐体内に部分的に含まれる(本明細書では「物理キー106」及び「キーボード106」とも呼ばれる)物理キーのセット106、動的ファンクション行104、及びタッチパッド108を含む。いくつかの実施形態では、タッチスクリーンである動的ファンクション行104は、物理キーのセット106のファンクション行を置き換え、これは、物理キーのセット106よって消費される空間が低減されることを可能にするか、より小さい全体的な本体部分120を可能にするか、又はタッチパッド108などの他の部分がより大きくなることを可能にする。いくつかの実施形態では、動的ファンクション行104の長さは、物理キーのセット106の主寸法に対して約18インチである。説明を簡単にするために「行」と呼ばれるが、いくつかの他の実施形態では、図1Aの動的ファンクション行104を含むタッチスクリーンは、矩形、円、複数の行、列、複数の列、複数の別個のセクタなどの任意の他の形態をとることがある。図1A~図1Bは物理キーのセット106のファンクション行を置き換える動的ファンクション行104を示しているが、いくつかの他の実施形態では、動的ファンクション行104は、物理キーのセット106のテンキーセクション、編集/ファンクションセクションなどを、追加及び/又は代替として置き換えることができる。
物理キーのセット106の各物理キーは、少なくとも1つの関連する入力を有する。入力は、印刷可能な文字、印刷不可能な文字、ファンクション、又は他の入力でもよい。物理キーに関連付けられた入力は、ラテン文字、アラビア文字、漢字、又は任意の他の文字でキーの表面上に示されている(例えば、印刷されている)文字、単語、記号、又は他の印によって示されてもよい。例えば、138で示されている特定の物理キーは、キー上に示されている文字zによって示されているように、アルファベット文字「z」に関連付けられる。別の実施例では、単語「コマンド」でラベルを付けられた物理キーは、コマンドファンクションに関連付けられてもよい。例えば、物理キーのセット106は、ISO/IEC 9995、ANSI-INCITS 154-1988、JIS X 6002-1980、又は他の類似規格に従う英数字、数字、及び/又は編集/ファンクションセクション(例えば、標準、拡張、又はコンパクト)を備えたQWERTY、Dvorak、又は他のキーボードレイアウトに関連付けられる。
物理キーに関連付けられた入力に対応する信号は、キーがユーザによってアクティブにされたとき、ポータブルコンピューティングシステム100(又は図2A~図2Dのコンピューティングデバイス202若しくは図2A~図2Bの外付けキーボード206)のプロセッサによって受信されてもよい。例示的な実施例では、物理キーのセット106の各キーは、2つのプレート及びばねを含む。ユーザは、キーを押し下げ、これがばねを圧縮することによって、キーをアクティブにすることができる。ばねが圧縮されるとき、2つのプレートは接触することができ、これは、接続されたプレート中を電流が流れることを可能にする。キーに対応する入力は、接続されたプレートを通る電流のフローに応答してプロセッサに提供され得る。例えば、図2Cの外付けキーボード206のキーのセット106のうちの1つのアクティブ化に応答して、アクティブにされたキーに対応する入力がコンピューティングデバイス202に提供され得る。移動可能に作動しているキーのための他のシステムが使用され得ることを認識されよう。
いくつかの実施形態では、動的ファンクション行104は、(本明細書では「ユーザインタフェース要素」、「ユーザインタフェース構成要素」、「アフォーダンス」、「ボタン」、又は「ソフトキー」と呼ばれることもある)1つ以上のユーザ選択可能記号142を表示する(本明細書ではタッチ感知式セカンダリディスプレイとも呼ばれる)タッチスクリーンディスプレイである。例えば、動的ファンクション行104は、一般的なキーボード上のファンクション行キーを置き換える。ユーザは、1つ以上のユーザ選択可能記号142のうちの特定の記号に対応するタッチスクリーンディスプレイ上の場所にタッチすることによって、1つ以上のユーザ選択可能記号142のうちの特定の記号を選択することができる。例えば、ユーザは、ユーザの指が虫眼鏡インジケータ214の位置において動的ファンクション行104に接触するように動的ファンクション行104をタップすることによって、虫眼鏡記号144によって示されているユーザ選択可能記号を選択することができる。いくつかの実施形態では、タップ接触又はタップジェスチャは、所定の時間(例えば、250msなど)内の接触のタッチダウン及び接触のリフトオフを含む。いくつかの実施形態では、動的ファンクション行104のタッチスクリーンディスプレイは、ユーザ入力及び選択を検出するために、抵抗感知、音響感知、容量感知、光感知、赤外線感知などを使用して実装される。
ユーザが1つ以上のユーザ選択可能記号142のうちの特定の記号を選択するとき、1つ以上のユーザ選択可能記号142のうちの特定の記号に対応する信号が、動的ファンクション行104によって生成される。例えば、ユーザが動的ファンクション行104上の「esc」をタップするとき、動的ファンクション行104は、ポータブルコンピューティングシステム100のプロセッサ(又は、図2A~図2Dのコンピューティングデバイス202、又は図2A~図2Bの外付けキーボード206のプロセッサ、又は第1の入力メカニズム212のプロセッサ、図2C若しくは外付け入力メカニズム222のプロセッサ、図2D)に、エスケープファンクションに対応するユーザ入力を示す信号を伝送する。
いくつかの実施形態では、1つ以上のユーザ選択可能記号142のうちの特定の記号が選択されるとき、動的ファンクション行104は、ポータブルコンピューティングシステム100のプロセッサ(又は、図2A~図2Dのコンピューティングデバイス202、又は図2A~図2Bの外付けキーボード206のプロセッサ、又は第1の入力メカニズム212のプロセッサ、図2C若しくは外付け入力メカニズム222のプロセッサ、図2D)に、1つ以上のユーザ選択可能記号142のうちの特定の記号が表示されるタッチスクリーンディスプレイ上の位置に対応する信号を伝送する。例えば、動的ファンクション行104は、選択された1つ以上のユーザ選択可能記号142のうちの特定の記号のタッチスクリーンディスプレイ上の位置に依存する位置値(0~20)を含む信号を伝送することができる。図1Bの例示的な実施例では、「esc」記号は0の位置値を有してもよく、虫眼鏡記号144は16の位置値を有してもよいなどである。ポータブルコンピューティングシステム100のプロセッサ(又は、図2A~図2Dのコンピューティングデバイス202、又は図2A~図2Bの外付けキーボード206のプロセッサ、若しくは第1の入力メカニズム212のプロセッサ、図2C、若しくは外付け入力メカニズム222のプロセッサ、図2D)は、選択されたユーザ選択可能記号の位置値を示す信号を受信し、現在アクティブであるか又はフォーカスを有するディスプレイ部分110(又は外付けディスプレイデバイス204、図2A~図2D)のプライマリディスプレイ102に表示されるグラフィカルユーザインタフェースの要素などのコンテキスト情報を使用して位置値を解釈することができる。
1つ以上のユーザ選択可能記号142のそれぞれは、記号(例えば、144で示されているような虫眼鏡記号)、略語(例えば、「esc」)、省略されていない単語、文字、画像、アニメーション画像、ビデオなどのインジケータを含むことができる。いくつかの実施形態では、1つ以上のユーザ選択可能記号142のそれぞれの記号は、ユーザ入力(単数又は複数)を受信することが可能である。
入力は、1つ以上のユーザ選択可能記号142のそれぞれに関連付けられてもよい。入力は、ファンクション、文字、数値などでもよい。1つ以上のユーザ選択可能記号142のそれぞれの記号は、1つ以上のユーザ選択可能記号142のそれぞれの記号のための入力に対応するインジケータを含むことができる。例えば、図1Bでは、略語「esc」を有するユーザ選択可能記号は、エスケープファンクションがユーザ選択可能記号に関連付けられることをユーザに示す。1つ以上のユーザ選択可能記号142に関連付けられたファンクションは、ユーザがユーザ選択可能記号を選択するとき、アクティブにされてもよい。例えば、エスケープファンクションは、ユーザがインジケータ「esc」を有するユーザ選択可能記号を選択するとき、アクティブにされてもよい。ファンクションのアクティブ化は、ポータブルコンピューティングシステム100(又は図2A~図2Dのコンピューティングデバイス202)の現在状態に応じて異なる影響を有することができる。例えば、ダイアログボックスがディスプレイ部分110(又は外付けディスプレイデバイス204、図2A~図2D)のプライマリディスプレイ102上で開いているとき、動的ファンクション行104上でエスケープファンクションをアクティブにすることにより、ダイアログボックスを閉じることができる。別の実施例では、ゲームアプリケーションがポータブルコンピューティングシステム100(又は図2A~図2Dのコンピューティングデバイス202)のプロセッサによって実行されているとき、動的ファンクション行104上でエスケープファンクションをアクティブにすることにより、ゲームを休止することができる。
いくつかの実施形態では、ファンクションは、移動可能に作動しているキー及び/又はユーザ選択可能記号の組合せに関連付けられてもよい。例えば、コマンドキー及び「c」キーの同時作動(すなわち、コマンド+c)は、「コピー」ファンクションに関連付けられてもよい。別の実施例では、コマンドキー及びインジケータ「esc」を有するユーザ選択可能記号の選択の同時作動(すなわち、コマンド+esc)は、メディアプレーヤアプリケーションなどの特定のアプリケーションを開くファンクションをアクティブにすることができる。更に別の実施例では、2つのユーザ選択可能記号(例えば、インジケータescを有するユーザ選択可能記号及び虫眼鏡インジケータを有するユーザ選択可能記号144)の同時選択は、特殊な検索ファンクションなどのファンクションのアクティブ化をもたらすことができる。
いくつかの実施形態では、動的ファンクション行104の1つ以上のユーザ選択可能記号142の第1サブセット146は、ファンクションの1つのグループに関連付けられてもよく、動的ファンクション行104の1つ以上のユーザ選択可能記号142の第2サブセット148は、ファンクションの第2のグループに関連付けられてもよい。例えば、第1サブセット146におけるユーザ選択可能記号は、グローバルファンクション(例えば、システムレベルファンクション又はアフォーダンス)でもよく、第2サブセット148におけるユーザ選択可能記号は、アプリケーション固有ファンクションでもよい。したがって、第2サブセット148におけるユーザ選択可能記号は、プライマリディスプレイ102に表示されたグラフィカルユーザインタフェースの第1の要素(例えば、インターネットブラウザアプリケーションに対応する第1のウィンドウ)からグラフィカルユーザインタフェースの第2の要素(例えば、電子メールアプリケーションに対応する第2のウィンドウ)にフォーカスがシフトするとき、変化する。対照的に、第1サブセット146におけるユーザ選択可能記号は、グラフィカルユーザインタフェースの第1の要素からグラフィカルユーザインタフェースの第2の要素にフォーカスがシフトするとき、維持される。
いくつかの実施形態では、第2サブセット148におけるユーザ選択可能記号は、フォーカスが当たっているプライマリディスプレイ102上のアクティブユーザインタフェース要素表示に基づいて判定される。いくつかの実施形態では、用語「フォーカスが当たっている」は、現在前景にあり、アクティブに動作しているか、又は、キー押下、マウスクリック、音声コマンド、ジェスチャ動きなどの、コンピューティングシステムのユーザから受信された入力によって制御可能であるユーザインタフェースのアクティブ要素(例えば、アプリケーションに関連付けられたウィンドウ、アプリケーションに関連付けられた特定のツールバー若しくはメニュー、又はオペレーティングシステム)を指すことができる。
いくつかの実施形態では、グローバルユーザ選択可能記号に対応する1つ以上のユーザ選択可能記号142の第1サブセット146は、動的ファンクション行104の第1のエリア(例えば、動的ファンクション行104の左半分)を占有し、1つ以上のユーザ選択可能記号142の第2サブセット148は、動的ファンクション行104の第2のエリア(例えば、動的ファンクション行104の右半分)を占有する。動的ファンクション行104の他の部分が、第1サブセット146及び第2サブセット148に割り振られてもよいことを了解されよう。いくつかの実施形態では、どのアプリケーションもフォーカスを有しないとき、動的ファンクション行104の第2のエリアは、いかなるユーザ選択可能記号も含むことができない。いくつかの実施形態では、動的ファンクション行104は、ユーザ選択可能記号の3つ以上のサブセットを含む。いくつかの実施形態では、動的ファンクション行104は、サブセットに分割されないユーザ選択可能記号の単一のセットを含む。ユーザ選択可能記号の単一行が図1Bの動的ファンクション行104に示されているが、動的ファンクション行104がユーザ選択可能記号の複数行を含むことができることを認識されよう。
いくつかの実施形態では、フォーカスの変更は、ディスプレイ部分110(又は外付けディスプレイデバイス204、図2A~図2D)のプライマリディスプレイ102に表示されたグラフィカルユーザインタフェースのどの要素がアクティブであるのか、及びどの要素がユーザ入力を受信するのかを変更する。ユーザ入力は、キーボード、マウス、タッチパッド、又は他のユーザ入力デバイスから受信されてもよい。追加及び/又は代替として、いくつかの実施形態では、フォーカスの変更は、ディスプレイ部分110(又は外付けディスプレイデバイス204、図2A~図2D)のプライマリディスプレイ102に表示されたグラフィカルユーザインタフェースの前景に示される要素を変更する。
いくつかの実施形態では、フォーカスの変更は、ユーザ入力に応答して、例えば、ディスプレイ部分110(又は外付けディスプレイデバイス204、図2A~図2D)のプライマリディスプレイ102に表示されたグラフィカルユーザインタフェースの要素(例えば、異なるウィンドウ)のユーザ選択に応答して、又は、ユーザ選択可能記号(例えば、動的ファンクション行104に表示されたアフォーダンス/記号のうちの1つ)のユーザ選択に応答して、起こる。ユーザ選択は、キーストローク、マウスクリック、マウスオーバー、コマンド+タブ入力などでもよい。いくつかの実施形態では、フォーカスの変更は、ポータブルシステム100(又は図2A~図2Dのコンピューティングデバイス202)のオペレーティングシステムによる判定に応答して起こる。例えば、フォーカスを有するアプリケーションウィンドウをユーザが閉じるとき、オペレーティングシステムは、閉じられたアプリケーションウィンドウより前にフォーカスを有していたアプリケーションなどの異なるアプリケーションにフォーカスを与えることができる。別の実施例では、フォーカスを有するアプリケーションウィンドウをユーザが閉じるとき、オペレーティングシステムは、アプリケーションを介してドキュメントになされた変更を保存するようにユーザに促すダイアログボックスにフォーカスを与えることができる。
いくつかの実施形態では、フォーカスの変更は、アプリケーションに関連付けられたある要素から同じアプリケーションに関連付けられた別の要素への(例えば、電子メールアプリケーションの電子メール組成ウィンドウから電子メールアプリケーションのインボックスリストウィンドウへの、又は、インターネットブラウザアプリケーションのあるタブからインターネットブラウザアプリケーションの別のタブへの)変更でもよい。いくつかの実施形態では、フォーカスの変更は、あるアプリケーションに関連付けられた要素から別のアプリケーションに関連付けられた要素への(例えば、インターネットブラウザウィンドウから電子メールアプリケーションウィンドウへの)変更でもよい。更に、いくつかの実施形態では、フォーカスの変更は、アプリケーションに関連付けられた要素から、システムダイアログボックス、システム設定コントロール(例えば、音量コントロール)、ファイル/フォルダナビゲーションアプリケーション(例えば、Apple Inc.のFINDERアプリケーション)に関連付けられたウィンドウなどの、オペレーティングシステムに関連付けられた要素への変更でもよい。追加として、フォーカスはまた、ダイアログボックス、ファイルディレクトリ、設定コントロール(例えば、音量コントロール)、又は、情報がユーザに提示され得る及び/若しくはユーザ入力が受信され得るグラフィカルユーザインタフェースの任意の他の要素に向けられてもよい。
図2Aは、いくつかの実施形態による、デスクトップコンピューティングシステム200の第1の実装形態の例示的な図である。デスクトップコンピューティングシステム200は、コンピューティングデバイス202、プライマリディスプレイ102を備えた外付けディスプレイデバイス204、外付けキーボード206、及び外付けマウス208を含む。コンピューティングデバイス202は、1つ以上のプロセッサと、1つ以上のプロセッサが実行する1つ以上のプログラムを記憶するメモリとを含む。いくつかの実施形態では、外付けディスプレイデバイス204は、iMAC(登録商標)デバイスなどのコンピューティングデバイス202と統合されてもよい。いくつかの実施形態では、外付けディスプレイデバイス204のプライマリディスプレイ102は、タッチスクリーンディスプレイである。図2Aでは、(本明細書では第1の筐体204又は筐体204とも呼ばれる)外付けディスプレイデバイス204、外付けキーボード206、及び外付けマウス208は、USB若しくはPS/2などの有線接続を介して、又は、Bluetooth、Wi-Fi(登録商標)などの通信プロトコルを使用する、ワイヤレス通信リンクを介して、コンピューティングデバイス202に通信可能に結合される。例えば、(本明細書では第2の筐体206又は筐体206とも呼ばれる)外付けキーボード206は、コンピューティングデバイス202からせいぜい15フィート(例えば約3フィート先)にある。図2Aでは、外付けキーボード206は、同じ筐体内に少なくとも部分的に含まれる動的ファンクション行104及び物理キーのセット106を含む。いくつかの実施形態では、図1Bを参照してより詳細に説明される動的ファンクション行104は、タッチスクリーンディスプレイである。いくつかの実施形態では、外付けキーボード206は、1つ以上のプロセッサと、本明細書で説明される実施形態のうちのいずれかを実行するために外付けキーボード206の1つ以上のプロセッサによって実行され得る1つ以上のプログラムを記憶するメモリとを含む。いくつかの実施形態では、外付けキーボード206は、ユーザ入力(例えば、キーストローク、及び動的ファンクション行104によって表示されたユーザ選択可能記号/アフォーダンスの選択)を示す信号をコンピューティングデバイス202に中継する。
図2Bは、いくつかの実施形態による、デスクトップコンピューティングシステム200の第2の実装形態の例示的な図である。図2Bでは、デスクトップコンピューティングシステム200は、コンピューティングデバイス202、プライマリディスプレイ102を備えた外付けディスプレイデバイス204、及び外付けキーボード206を含む。図2Bでは、外付けディスプレイデバイス204及び外付けキーボード206は、USB若しくはPS/2などの有線接続を介して、又は、Bluetooth、Wi-Fiなどの通信プロトコルを使用する、ワイヤレス通信リンクを介して、コンピューティングデバイス202に通信可能に結合される。図2Bでは、外付けキーボード206は、同じ筐体内に少なくとも部分的に含まれる動的ファンクション行104、物理キーのセット106、及びタッチパッド108を含む。いくつかの実施形態では、図1Bを参照してより詳細に説明される動的ファンクション行104は、タッチスクリーンディスプレイである。いくつかの実施形態では、外付けキーボード206は、1つ以上のプロセッサと、本明細書で説明される実施形態のうちのいずれかを実行するために外付けキーボード206の1つ以上のプロセッサによって実行され得る1つ以上のプログラムを記憶するメモリとを含む。いくつかの実施形態では、外付けキーボード206は、ユーザ入力(例えば、キーストローク、タッチパッド108とのユーザ対話、及び動的ファンクション行104によって表示されたユーザ選択可能記号/アフォーダンスの選択)を示す信号をコンピューティングデバイス202に中継する。
図2Cは、いくつかの実施形態による、デスクトップコンピューティングシステム200の第3の実装形態の例示的な図である。図2Cでは、デスクトップコンピューティングシステム200は、コンピューティングデバイス202、プライマリディスプレイ102を備えた外付けディスプレイデバイス204、外付けキーボード206、及び第1の外付け入力メカニズム212を含む。図2Cでは、外付けディスプレイデバイス204、外付けキーボード206、及び第1の外付け入力メカニズム212は、USB若しくはPS/2などの有線接続を介して、又は、Bluetooth、Wi-Fiなどの通信プロトコルを使用する、ワイヤレス通信リンクを介して、コンピューティングデバイス202に通信可能に結合される。図2Cでは、外付けキーボード206は物理キーのセット106を含み、第1の外付け入力メカニズム212は、同じ筐体内に少なくとも部分的に含まれる動的ファンクション行104及びタッチパッド108を含む。いくつかの実施形態では、図1Bを参照してより詳細に説明される動的ファンクション行104は、タッチスクリーンディスプレイである。いくつかの実施形態では、第1の外付け入力メカニズム212は、1つ以上のプロセッサと、本明細書で説明される実施形態のうちのいずれかを実行するために第1の外付け入力メカニズム212の1つ以上のプロセッサによって実行され得る1つ以上のプログラムを記憶するメモリとを含む。いくつかの実施形態では、第1の外付け入力メカニズム212は、ユーザ入力(例えば、タッチパッド108とのユーザ対話、及び動的ファンクション行104によって表示されたユーザ選択可能記号/アフォーダンスのユーザ選択)を示す信号をコンピューティングデバイス202に中継する。
図2Dは、いくつかの実施形態による、デスクトップコンピューティングシステム200の第4の実装形態の例示的な図である。図2Dでは、デスクトップコンピューティングシステム200は、コンピューティングデバイス202、プライマリディスプレイ102を備えた外付けディスプレイデバイス204、外付けキーボード206、外付けマウス208、及び第2の外付け入力メカニズム222を含む。図2Dでは、外付けディスプレイデバイス204、外付けキーボード206、外付けマウス208、及び第2の外付け入力メカニズム222は、USB若しくはPS/2などの有線接続を介して、又は、Bluetooth、Wi-Fiなどの通信プロトコルを使用する、ワイヤレス通信リンクを介して、コンピューティングデバイス202に通信可能に結合される。図2Aでは、外付けキーボード206は、動的ファンクション行104及び物理キーのセット106を含む。図2Dでは、外付けキーボード206は物理キーのセット106を含み、第2の外付け入力メカニズム222は、第2の外付け入力メカニズム222の筐体内に少なくとも部分的に含まれる動的ファンクション行104を含む。いくつかの実施形態では、図1Bを参照してより詳細に説明される動的ファンクション行104は、タッチスクリーンディスプレイである。いくつかの実施形態では、第2の外付け入力メカニズム222は、1つ以上のプロセッサと、本明細書で説明される実施形態のうちのいずれかを実行するために第2の外付け入力メカニズム222の1つ以上のプロセッサによって実行され得る1つ以上のプログラムを記憶するメモリとを含む。いくつかの実施形態では、第2の外付け入力メカニズム222は、ユーザ入力(例えば、動的ファンクション行104によって表示されたユーザ選択可能記号/アフォーダンスのユーザ選択)を示す信号をコンピューティングデバイス202に中継する。
図3Aは、いくつかの実施形態による、電子デバイス300のブロック図である。いくつかの実施形態では、電子デバイス300は、ラップトップ(例えば、ポータブルコンピューティングシステム100、図1A)などのポータブル電子デバイスである。いくつかの実施形態では、電子デバイス300は、ポータブルデバイスではなく、デスクトップコンピュータ(例えば、デスクトップコンピューティングシステム200のコンピューティングデバイス202、図2A~図2D)であり、これは、外付けディスプレイシステム(例えば、外付けディスプレイデバイス204、図2A~図2D)、及び任意選択的に、外付けタッチ感知面(例えば、タッチパッド108、図2B~図2C、外付けディスプレイデバイス204、図2A~図2Dなどのタッチ感知式ディスプレイ、及び/又は動的ファンクション行104、図2A~図2D)と通信可能に結合される。
電子デバイス300は、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、画像管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウザアプリケーション、及び/又はメディアプレーヤアプリケーションのうちの1つ以上などのさまざまなアプリケーションをサポートする。
電子デバイス300上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能、並びに電子デバイス300によって表示される対応する情報は、アプリケーションごとに、及び/又はアプリケーション内で、任意選択的に、調節及び/又は変更される。このように、電子デバイス300の共通の物理アーキテクチャ(タッチ感知面など)は、ユーザにとって直観的かつ透過的なユーザインタフェースを有する様々なアプリケーションを、任意選択的にサポートする。
電子デバイス300は、(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)メモリ302、メモリコントローラ322、1つ以上の処理ユニット(CPU)320、周辺機器インタフェース318、RF回路308、オーディオ回路310、スピーカ311、マイクロフォン313、入出力(I/O)サブシステム306、他の入力又は制御デバイス316、及び外部ポート324を含む。電子デバイス300は、任意選択的に、ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)を含み、これは、(本明細書では「タッチスクリーン」又は「タッチスクリーンディスプレイ」と呼ばれることもある)タッチ感知ディスプレイでもよい。電子デバイス300は、任意選択的に、1つ以上の光センサ364を含む。電子デバイス300は、任意選択的に、タッチ感知ディスプレイ又はタッチパッドなどのタッチ感知面上の接触の強度を検出する1つ以上の強度センサ365を含む。電子デバイス300は、任意選択的に、タッチ感知ディスプレイ又はタッチパッド(例えば、タッチパッド108、図1A~図1B)などのタッチ感知面上で触知出力を生成する1つ以上の触知出力生成器367を含む。これらの構成要素は、任意選択的に、1つ以上の通信バス又は信号ライン303を介して通信する。
本明細書で使用されるように、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指接触)の力若しくは圧力(単位面積あたりの力)、又はタッチ感知面上の接触の力若しくは圧力の代替物(プロキシ)を指す。接触の強度は、少なくとも4つの別個の値を含み、より一般的には、数百の(例えば、少なくとも256の)別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ若しくはセンサの組合せを使用して、判定(又は、測定)される。例えば、タッチ感知面の下に又はこれに隣接する1つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値は、接触の推定される力を判定するために組み合わされる(例えば、加重平均)。同様に、タッチ感知面上のスタイラスの圧力を判定するために、スタイラスの圧力感知チップが、任意選択的に、使用される。代替として、タッチ感知面上で検出される接触エリアのサイズ及び/若しくはその変化、接触に近接するタッチ感知面の静電容量及び/若しくはその変化、並びに/又は、接触に近接するタッチ感知面の抵抗及び/若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に、使用される。いくつかの実装形態では、接触の力又は圧力の代替する測定値は、強度閾値を超えているどうかを判定するために直接使用される(例えば、強度閾値は、代替する測定値に対応する単位で記述される)。いくつかの実装形態では、接触の力又は圧力の代替する測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかどうかを判定するために使用される(例えば、強度閾値は、圧力の単位で測定された圧力閾値である)。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、そのデバイスの別の構成要素(例えば、筐体)に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの手の指、手のひら、又は他の部分)に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の知覚される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はタッチ/トラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。一部の場合には、ユーザの動作によって物理的に押された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の実施例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がないときでさえ、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。ユーザによるタッチのそのような解釈は、ユーザの個人的な感覚知覚に左右されるが、大多数のユーザに共通する、タッチの多くの感覚知覚がある。したがって、触知出力が、ユーザの特定の感覚知覚(例えば、「アップクリック」、「ダウンクリック」、「粗さ」)に対応するものと記述されるとき、別途記載のない限り、生成された触知出力は、一般的な(又は平均的な)ユーザの記述された感覚知覚を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
電子デバイス300は一実施例に過ぎないこと、並びに、電子デバイス300は、任意選択的に、示されているものよりも多くの構成要素若しくは少ない構成要素を有するものであるか、任意選択的に、2つ以上の構成要素を組み合わせるものであるか、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを諒解されたい。図3Aに示す様々な構成要素は、1つ以上の信号処理回路及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せで実装される。
メモリ302は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。CPU(単数又は複数)320及び周辺機器インタフェース318などの、電子デバイス300の他の構成要素によるメモリ302へのアクセスは、任意選択的に、メモリコントローラ322によって制御される。周辺機器インタフェース318は、入力及び出力周辺機器を、CPU(単数又は複数)320及びメモリ302に結合するために使用されてもよい。1つ以上の処理ユニット320は、電子デバイス300のための様々な機能を実行し、データを処理するために、メモリ302に記憶された様々なソフトウェアプログラム及び/又は命令セットを動作させるか、又は実行する。いくつかの実施形態では、周辺機器インタフェース318、CPU(単数又は複数)320、及びメモリコントローラ322は、任意選択的に、チップ304などのシングルチップ上で実装される。いくつかの他の実施形態では、それらは、任意選択的に、別個のチップ上で実装される。
RF(radio frequency)(高周波)回路308は、電磁信号とも呼ばれるRF信号を送受信する。RF回路308は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路308は、任意選択的に、これらの機能を実行する周知の回路を含み、それらの回路としては、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(subscriber identity module、SIM)カード、メモリなどが挙げられるが、これらに限定されない。RF回路308は、任意選択的に、ワールドワイドウェブ(World Wide Web、WWW)とも呼ばれるインターネット、イントラネット、並びに/又は、セルラー電話ネットワーク、無線ローカルエリアネットワーク(local area network、LAN)及び/若しくはメトロポリタンエリアネットワーク(metropolitan area network、MAN)などの無線ネットワークなどのネットワーク、並びに他のデバイスと、無線通信によって通信する。無線通信は、複数の通信規格、通信プロトコル及び通信技術のうちのいずれかを任意選択的に使用し、それらの通信規格、通信プロトコル及び通信技術としては、移動通信用のグローバルシステム(Global System for Mobile Communications、GSM(登録商標))、拡張データGSM環境(Enhanced Data GSM Environment、EDGE(登録商標))、高速ダウンリンクパケットアクセス(high-speed downlink packet access、HSDPA)、高速アップリンクパケットアクセス(high-speed uplink packet access、HSUPA)、Evolution,Data-Only(EV-DO)、HSPA、HSPA+、2重セルHSPA(Dual-Cell HSPA、DC-HSPDA)、ロングタームエボリューション(long term evolution、LTE(登録商標))、近距離無線通信(near field communication、NFC)、広帯域符号分割多元接続(wideband code division multiple access、W-CDMA)、符号分割多元接続(code division multiple access、CDMA)、時分割多元接続(time division multiple access、TDMA)、Bluetooth、Wireless Fidelity(Wi-Fi)(例えば、IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、及び/又はIEEE 802.11n)、ボイスオーバーインターネットプロトコル(voice over Internet Protocol、VoIP)、Wi-MAX(登録商標)、電子メール用のプロトコル(例えば、インターネットメッセージアクセスプロトコル(Internet message access protocol、IMAP)及び/又はポストオフィスプロトコル(post office protocol、POP))、インスタントメッセージング(例えば、拡張可能なメッセージング及びプレゼンスプロトコル(extensible messaging and presence protocol、XMPP)、インスタントメッセージング及びプレゼンスイベントパッケージのためのセッション開始プロトコル(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、SIMPLE)、インスタントメッセージング及びプレゼンスイベントパッケージ(Instant Messaging and Presence Service、IMPS))、及び/又はショートメッセージサービス(Short Message Service、SMS)、あるいは本文書の出願日現在までに未だ開発されていない通信プロトコルを含む任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
オーディオ回路310、スピーカ311、及びマイクロフォン313は、ユーザと電子デバイス300との間のオーディオインタフェースを提供する。オーディオ回路310は、周辺機器インタフェース318からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ311に伝送する。スピーカ311は、電気信号を人間の可聴音波に変換する。オーディオ回路310はまた、マイクロフォン313によって音波から変換された電気信号を受信する。オーディオ回路310は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース318に伝送する。オーディオデータは、任意選択的に、周辺機器インタフェース318によって、メモリ302及び/若しくはRF回路308から取得され、かつ/又はメモリ302及び/若しくはRF回路308に伝送される。いくつかの実施形態では、オーディオ回路310はまた、ヘッドセットジャックを含む。ヘッドセットジャックは、オーディオ回路310と、出力専用ヘッドフォン、又は出力(例えば、片耳又は両耳用のヘッドフォン)及び入力(例えば、マイクロフォン)の両方を備えたヘッドセットなどの着脱可能オーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム306は、ディスプレイシステム312及び他の入力又は出力デバイス316などの、電子デバイス300の入出力周辺機器を、周辺機器インタフェース318に結合する。I/Oサブシステム306は、任意選択的に、ディスプレイコントローラ356、光センサコントローラ358、強度センサコントローラ359、触覚フィードバックコントローラ361、及び他の入力又は制御デバイスのための1つ以上の他の入力コントローラ360を含む。1つ以上の他の入力コントローラ360は、他の入力又は制御デバイス316から電気信号を受信し、それらへ電気信号を送信する。他の入力又は制御デバイス316は、任意選択的に、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的実施形態では、他の入力コントローラ(単数又は複数)360は、任意選択的に、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかと結合される(又はいずれにも結合されない)。1つ以上の物理ボタンは、任意選択的に、スピーカ311及び/又はマイクロフォン313の音量コントロールのためのアップ/ダウンボタンを含む。
ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)は、電子デバイス300とユーザとの間の出力インタフェース(及び、任意選択的に、それがタッチ感知ディスプレイであるときの入力インタフェース)を提供する。ディスプレイコントローラ356は、ディスプレイシステム312から電気信号を受信し、及び/又はそれへ電気信号を送信する。ディスプレイシステム312は、ユーザに視覚出力を表示する。視覚出力は、任意選択的に、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組合せ(まとめて「グラフィック」と称する)を含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザインタフェースオブジェクト/要素に対応する。
いくつかの実施形態では、ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)は、触覚及び/又は触知接触に基づくユーザからの入力を受け付ける、タッチ感知面、センサ、又はセンサのセットを備えたタッチ感知ディスプレイである。したがって、ディスプレイシステム312及びディスプレイコントローラ356は(メモリ302内の任意の関連モジュール及び/又は命令セットと共に)、ディスプレイシステム312上で接触(及び接触の任意の移動又は中断)を検出し、検出された接触をディスプレイシステム312に表示されたユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)との対話に変換する。例示的な一実施形態では、ディスプレイシステム312とユーザとの間の接触点は、ユーザの指の下のエリアに対応する。
ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)は、任意選択的に、LCD(liquid crystal display)(液晶ディスプレイ)技術、LPD(light emitting polymer display)(発光ポリマーディスプレイ)技術、LED(light emitting diode)(発光ダイオード)技術、又はOLED(organic light emitting diode)(有機発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。いくつかの実施形態では、ディスプレイシステム312がタッチ感知ディスプレイであるとき、ディスプレイシステム312及びディスプレイコントローラ356は、任意選択的に、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びその接触のあらゆる移動又は中断を検出するものであり、それらのタッチ感知技術としては、容量技術、抵抗技術、赤外線技術、及び表面音響波技術、並びに、ディスプレイシステム312との1つ以上の接触点を判定する他の近接センサアレイ又は他の要素が挙げられるが、これらに限定されない。例示的な一実施形態では、カリフォルニア州クパチーノのApple Inc.からのiPHONE(登録商標)、iPODTOUCH(登録商標)、及びiPAD(登録商標)において見られるような、投影型相互静電容量感知技術が使用される。
ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)は、任意選択的に、400dpiを超過するビデオ解像度(例えば、500dpi、800dpi、又はそれ以上)を有する。いくつかの実施形態では、ディスプレイシステム312は、ユーザがスタイラス、指などを使用して任意選択的に接触を行うタッチ感知ディスプレイである。いくつかの実施形態では、ユーザインタフェースは、指による接触及びジェスチャと主に作用するように設計されている。いくつかの実施形態では、電子デバイス300は、指による粗い入力を、正確なポインタ/カーソルの位置又はユーザによって所望されているアクションを実行するためのコマンドに変換する。
いくつかの実施形態では、ディスプレイシステム312に加えて、電子デバイス300は、任意選択的に、特定の機能をアクティブにするか又は非アクティブにするタッチパッド(例えば、タッチパッド108、図1A~図1B)を含む。いくつかの実施形態では、タッチパッドは、ディスプレイシステム312とは異なり、視覚出力を表示しない、電子デバイス300のタッチ感知エリアである。いくつかの実施形態では、ディスプレイシステム312がタッチ感知ディスプレイであるとき、タッチパッドは、任意選択的に、ディスプレイシステム312とは別個であるタッチ感知面、又はディスプレイシステム312によって形成されたタッチ感知面の延長である。
電子デバイス300はまた、様々な構成要素に電力を供給する電力システム362を含む。電力システム362は、任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(alternating current、AC)など)、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理及び分配に関連付けられた任意の他の構成要素を含む。
電子デバイス300はまた、任意選択的に、I/Oサブシステム306内の光センサコントローラ358と結合された1つ以上の光センサ364を含む。光センサ(単数又は複数)364は、任意選択的に、電荷結合デバイス(charge-coupled device、CCD)又は相補的金属酸化物半導体(complementary metal-oxide semiconductor、CMOS)フォトトランジスタを含む。光センサ(単数又は複数)364は、1つ以上のレンズを通じて投影された、環境からの光を受信し、その光を、画像を表すデータに変換する。撮像モジュール343と連携して、光センサ(単数又は複数)364は、任意選択的に、静止画像又はビデオをキャプチャする。いくつかの実施形態では、ユーザがディスプレイシステム312上で他のテレビ会議参加者を見ている間に、テレビ会議のためにユーザの画像を任意選択的に入手するように、光センサが電子デバイス300の前面に配置される。
電子デバイス300はまた、任意選択的に、I/Oサブシステム306内の強度センサコントローラ359と結合された1つ以上の接触強度センサ365を含む。接触強度センサ(単数又は複数)365は、任意選択的に、1つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光力センサ、容量性タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(又は圧力)を測定するために使用されるセンサ)を含む。接触強度センサ(単数又は複数)365は、環境から接触強度情報(例えば、圧力情報又は圧力情報のためのプロキシ)を受信する。いくつかの実施形態では、少なくとも1つの接触強度センサは、タッチ感知面(例えば、タッチパッド108、図1A~図1B、又は、それがタッチ感知ディスプレイであるときのディスプレイシステム312)と並置されるか、又はそれに近接している。
電子デバイス300はまた、任意選択的に、I/Oサブシステム306内の触覚フィードバックコントローラ361と結合された1つ以上の触知出力生成器367を含む。触知出力生成器(単数又は複数)367は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又は、モータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などの、エネルギを直線運動に変換する電気機械デバイスを含む。接触強度センサ(単数又は複数)365は、触覚フィードバックモジュール333から触知フィードバック生成命令を受信し、電子デバイス300のユーザが感知することが可能な触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチパッド108、図1A~図1B、又は、それがタッチ感知ディスプレイであるときのディスプレイシステム312)と並置されるか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、電子デバイス300の表面の内/外)に、又は水平方向(例えば、電子デバイス300の表面と同じ平面内の前後)に動かすことによって、触知出力を生成する。
電子デバイス300はまた、任意選択的に、周辺機器インタフェース318と結合された1つ以上の近接センサ366を含む。代替的に、近接センサ(単数又は複数)366は、I/Oサブシステム306内の他の入力コントローラ(単数又は複数)360と結合される。電子デバイス300はまた、任意選択的に、周辺機器インタフェース318と結合された1つ以上の加速度計368を含む。代替的に、加速度計(単数又は複数)368は、I/Oサブシステム306内の他の入力コントローラ(単数又は複数)360と結合される。
いくつかの実施形態では、メモリ302に記憶されたソフトウェア構成要素は、オペレーティングシステム326、通信モジュール328(又は命令セット)、接触/動きモジュール330(又は命令セット)、グラフィックモジュール332(又は命令セット)、アプリケーション340(又は命令セット)、及び動的ファンクション行モジュール350(又は命令セット)を含む。更に、いくつかの実施形態では、図3Aに示すように、メモリ302は、デバイス/グローバル内部状態357(又は命令セット)を記憶する。デバイス/グローバル内部状態357は、もしあれば、どのアプリケーションが現在アクティブである及び/又はフォーカスが当たっているかを示すアクティブアプリケーション状態、何のアプリケーション、ビュー又は他の情報がディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)及び/又は外付けディスプレイシステム(例えば、外付けディスプレイデバイス204のプライマリディスプレイ102、図2A~図2D及び/又は動的ファンクション行104、図2A~図2D)の様々な領域を占有するかを示すディスプレイ状態、電子デバイス300の様々なセンサ及び入力又は制御デバイス316から入手された情報を含むセンサ状態、並びに、電子デバイス300の場所及び/又は姿勢に関する場所情報のうちの1つ以上を含む。
オペレーティングシステム326(例えば、DARWIN(登録商標)、RTXC(登録商標)、LINUX(登録商標)、UNIX(登録商標)、OS X(登録商標)、WINDOWS(登録商標)、又は、VXWorks(登録商標)などの組み込みオペレーティングシステム)は、一般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理する様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール328は、1つ以上の外部ポート324及び/又はRF回路308を介した他のデバイス(例えば、コンピューティングデバイス202、図2A~図2D、外付けマウス208、図2A及び図2D、外付けキーボード206、図2A~図2B、第1の外付け入力メカニズム212、図2C、並びに/又は第2の外付け入力メカニズム222、図2D)との通信を容易にし、また、RF回路308及び/又は外部ポート324を介してデータを送信/受信する様々なソフトウェア構成要素を含む。外部ポート324(例えば、ユニバーサルシリアルバス(Universal Serial Bus、USB)、FIREWIRE(登録商標)など)は、直接的に、又はネットワーク(例えば、インターネット、無線LANなど)を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポート324は、iPod(登録商標)デバイス上で使用される30ピンコネクタと同じ、又はそれに類似した及び/若しくはそれと互換性のあるマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール330は、任意選択的に、それが(ディスプレイコントローラ356と連携した)タッチ感知ディスプレイ及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)であるときのディスプレイシステム312との接触を検出する。接触/動きモジュール330は、接触が生じたかどうかを判定すること(例えば、指を下ろすイベントを検出すること)、接触の強度(例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物)を判定すること、接触の移動があるかどうかを判定し、タッチ感知面を横断する移動を追跡すること(例えば、指をドラッグする1つ以上のイベントを検出すること)、及び接触が停止したかどうかを判定すること(例えば、指を上げるイベント又は接触の中断を検出すること)などの、接触の検出に関連する様々な動作を実行する様々なソフトウェア構成要素を含む。接触/動きモジュール330は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを含む。これらの動作は、任意選択的に、単一の接触(例えば、1本の指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態では、接触/動きモジュール330はまた、タッチパッド(例えば、タッチパッド108、図1A~図1B)上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール330は、ユーザによって動作が実行されたかどうかを判定するための(例えば、ユーザがアフォーダンス上で選択したか又は「クリック」したかを判定するための)1つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくともサブセットが、ソフトウェアパラメータに従って判定される(例えば、強度閾値は特定の物理アクチュエータのアクティブ化閾値によって判定されず、電子デバイス300の物理ハードウェアを変更することなく調整され得る)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、そのトラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の既定閾値のうちのいずれかに設定され得る。追加として、いくつかの実装形態では、デバイスのユーザには、(例えば、個々の強度閾値を調整することによって、及び/又は、システムレベルのクリック「強度」パラメータにより、一度に複数の強度閾値を調整することによって)強度閾値のセットのうちの1つ以上を調整するソフトウェア設定が提供される。
接触/動きモジュール330は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン(例えば、検出される接触の異なる動き、タイミング、及び/又は強度)を有する。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップ接触を検出することは、指を下ろすイベントを検出し、続いて、(例えば、アイコンの位置での)その指を下ろすイベントと同じ位置(又は実質的に同じ位置)で指を上げる(リフトオフ)イベントを検出することを含む。別の実施例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて、指をドラッグする1つ以上のイベントを検出し、いくつかの実施形態では、また、続いて、指を上げる(リフトオフ)イベントを検出することを含む。
グラフィックモジュール332は、表示されるグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト又は他の視覚的特性)を変更する構成要素を含む、プライマリディスプレイ102(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A又は外付けディスプレイデバイス204のプライマリディスプレイ102、図2A~図2D)又は他のディスプレイ上でグラフィックをレンダリングし、及びその表示を引き起こす様々な知られているソフトウェア構成要素を含む。本明細書で使用されるように、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、これらのオブジェクトとしては、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、アニメーションなどが挙げられるが、これらに限定されない。いくつかの実施形態では、グラフィックモジュール332は、使用されるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール332は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する1つ以上のコードを受信し、次いで、ディスプレイコントローラ356に出力するスクリーンの画像データを生成する。
触覚フィードバックモジュール333は、電子デバイス300とのユーザ対話に応答して、電子デバイス300上の1つ以上の場所で触知出力を生成するために、触知出力生成器(単数又は複数)367によって使用される命令を生成する様々なソフトウェア構成要素を含む。
アプリケーション340は、任意選択的に、以下のモジュール(又は命令セット)、又はそれらのサブセット若しくはスーパーセットを含む。
・電子メールを受信、送信、構成、及び閲覧する(本明細書では「メールアプリ」又は「電子メールアプリ」と呼ばれることもある)電子メールクライアントモジュール341、
・静止画像及び/又はビデオ画像をキャプチャする撮像モジュール342、
・静止画像及び/又はビデオ画像を編集及び閲覧する(本明細書では「写真アプリ」と呼ばれることもある)画像管理モジュール343、
・オーディオ及び/又はビデオを再生する(本明細書では「メディアプレーヤアプリ」と呼ばれることもある)メディアプレーヤモジュール344、並びに
・インターネットに接続し、ブラウズする(本明細書では「ウェブブラウザ」と呼ばれることもある)ウェブブラウジングモジュール345。
任意選択的にメモリ302に記憶される他のアプリケーション340の例としては、メッセージング及び通信アプリケーション、ワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化アプリケーション、デジタル著作権管理アプリケーション、音声認識アプリケーション、並びに音声複製アプリケーションが挙げられる。
RF回路308、ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)、ディスプレイコントローラ356、及び接触モジュール330、グラフィックモジュール332のうちの1つ以上と連携して、電子メールクライアントモジュール341は、ユーザ命令に応答して、電子メールを作成、送信、受信、及び管理するための、実行可能命令を含む。画像管理モジュール343と連携して、電子メールクライアントモジュール341は、撮像モジュール342で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)、ディスプレイコントローラ356、光センサ(単数又は複数)364、光センサコントローラ358、接触モジュール330、グラフィックモジュール332、及び画像管理モジュール343のうちの1つ以上と連携して、撮像モジュール342は、静止画像若しくは(ビデオストリームを含む)ビデオをキャプチャし、それらをメモリ302に記憶する、静止画像若しくはビデオの特性を変更する、又はメモリ302から静止画像若しくはビデオを削除するための、実行可能命令を含む。
ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)、ディスプレイコントローラ356、接触モジュール330、グラフィックモジュール332、及び撮像モジュール342のうちの1つ以上と連携して、画像管理モジュール343は、静止画像及び/若しくはビデオ画像を配置し、変更(例えば、編集)し、又はその他の方式で操作し、ラベルを付け、削除し、(例えば、デジタルスライドショー又はアルバム内で)提示し、並びに記憶するための、実行可能命令を含む。
ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)、ディスプレイコントローラ356、接触モジュール330、グラフィックモジュール332、オーディオ回路310、スピーカ311、RF回路308、及びウェブブラウジングモジュール345のうちの1つ以上と連携して、メディアプレーヤモジュール344は、MP3又はAACファイルなどの1つ以上のファイル形式で記憶された記録された音楽又は他のサウンドファイルをユーザがダウンロード及び再生することを可能にする実行可能命令、並びに、ビデオを(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A又は外部ポート324を介して接続された外付けディスプレイデバイス2014のプライマリディスプレイ102、図2A~図2B上で)表示し、提示し、又はその他の方式で再生するための実行可能命令を含む。
RF回路308、ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)、ディスプレイコントローラ356、接触モジュール330、及びグラフィックモジュール332のうちの1つ以上と連携して、ウェブブラウジングモジュール345は、ウェブページ又はその諸部分、並びにウェブページにリンクされた添付ファイル及び他のファイルを検索し、それにリンクし、受信し、及び表示することを含む、ユーザ命令に従ってインターネットをブラウズするための、実行可能命令を含む。
動的ファンクション行(dynamic function row、DFR)モジュール350は、フォーカス判定モジュール351、DFR判定モジュール352、及びDFR提示モジュール353を含む。いくつかの実施形態では、フォーカス判定モジュール351は、ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A)又は外付けディスプレイシステム(例えば、外付けディスプレイデバイス204、図2A~図2D)によって表示されるグラフィカルユーザインタフェースにフォーカスが当たっているアクティブユーザインタフェース要素を判定するように構成されている。いくつかの実施形態では、DFR判定モジュール352は、フォーカスが当たっているアクティブユーザインタフェース要素に基づいてグラフィック(例えば、1つ以上のアフォーダンスのセット)を判定するように構成されている。いくつかの実施形態では、DFR提示モジュール353は、ディスプレイシステム312(例えば、動的ファンクション行104、図1A~図1B)上で、DFR判定モジュール352によって判定されたグラフィックをレンダリングするように構成されている。DFR提示モジュール353は、表示されるグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト又は他の視覚的特性)を変更する構成要素を含む、ディスプレイシステム312(例えば、動的ファンクション行104、図1A~図1B)上でグラフィックをレンダリングし、その表示を引き起こす様々な知られているソフトウェア構成要素を含む。本明細書で使用されるように、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、これらのオブジェクトとしては、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、アニメーションなどが挙げられるが、これらに限定されない。いくつかの実施形態では、DFRモジュール350は、動的ファンクション行104の感度を調整するモジュール、動的ファンクション行104によって提供された可聴及び/又は触覚フィードバックを調整するモジュール、動的ファンクション行104によって表示されたアフォーダンス及び情報(例えば、サイズ、輝度、フォント、言語など)の設定を調整するモジュール、動的ファンクション行104の現在の電力モード(例えば、通常モード及び低電力モード)を調整するモジュールなど、他のモジュールを含む。
いくつかの実施形態では、動的ファンクション行モジュール350は、(予測された受信者、提案されたテキスト終了文字列、前もって提案されたアプリケーションなどを含む)予測された/事前の/提案されたコンテンツアイテムを提供することを可能にする構成要素とインタフェースする。コンテンツアイテムを前もって提案することは、その全体が参照により本明細書に組み込まれる、米国出願第15/167,713号でより詳細に説明される。
上記で識別されたモジュール及びアプリケーションのそれぞれは、上記で説明された1つ以上の機能、並びに本出願で説明される方法(例えば、コンピュータにより実行される方法及び本明細書で説明される他の情報処理方法)を実行するための、実行可能命令のセットに対応する。これらのモジュール(すなわち、命令セット)は、別個のソフトウェアプログラム、手順又はモジュールとして実装される必要はなく、したがって、各種実施形態において、これらのモジュールの様々なサブセットが、任意選択的に組み合わされるか、又はその他の方式で再配置される。いくつかの実施形態では、メモリ302は、上記で識別されたモジュール及びデータ構造体のサブセットを任意選択的に記憶する。更に、メモリ302は、上記で説明されていない追加のモジュール及びデータ構造体を任意選択的に記憶する。
図3Bは、いくつかの実施形態による、図3Aのイベント処理のための構成要素のブロック図である。いくつかの実施形態では、メモリ302(図3A)は、イベントソータ370(例えば、オペレーティングシステム326内)及びアプリケーション340-1(例えば、上述のアプリケーション341、342、343、344、又は345のうちのいずれか)を含む。
イベントソータ370は、イベント情報を受信し、イベント情報を配信すべきアプリケーション340-1及びアプリケーション340-1のアプリケーションビュー391を判定する。イベントソータ370は、イベントモニタ371及びイベントディスパッチャモジュール374を含む。いくつかの実施形態では、アプリケーション340-1は、アプリケーション内部状態392を含み、これは、アプリケーションがアクティブであるか又は実行しているとき、ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリィスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)に表示される現在のアプリケーションビュー(単数又は複数)を示す。いくつかの実施形態では、デバイス/グローバル内部状態357は、どのアプリケーション(単数又は複数)が現在アクティブであるか又はフォーカスが当たっているかを判定するためにイベントソータ370によって使用され、アプリケーション内部状態392は、イベント情報を配信すべきアプリケーションビュー391を判定するためにイベントソータ370によって使用される。
いくつかの実施形態では、アプリケーション内部状態392は、アプリケーション340-1が実行を再開するときに使用される再開情報、アプリケーション340-1によって表示されているか又は表示される準備ができている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション340-1の以前の状態又はビューに戻ることを可能にする状態待ち行列、及びユーザが行った以前のアクションのリドゥ/アンドゥ待ち行列のうちの1つ以上などの追加情報を含む。
イベントモニタ371は、周辺機器インタフェース318からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としての、それがタッチ感知ディスプレイであるときのディスプレイシステム312上のユーザタッチ)についての情報を含む。周辺機器インタフェース318は、I/Oサブシステム306、又は近接センサ(単数又は複数)366、加速度計(単数又は複数)368、及び/若しくは(オーディオ回路310を介した)マイクロフォン313などのセンサから受信する情報を伝送する。周辺機器インタフェース318がI/Oサブシステム306から受信する情報は、それがタッチ感知ディスプレイ又は別のタッチ感知面(例えば、タッチパッド108、図1A~図1B)であるときのディスプレイシステム312からの情報を含む。
いくつかの実施形態では、イベントモニタ371は、所定の間隔で周辺機器インタフェース318に要求を送信する。それに応答して、周辺機器インタフェース318は、イベント情報を伝送する。他の実施形態では、周辺機器インタフェース318は、重要なイベント(例えば、所定のノイズ閾値を上回り、及び/又は所定の持続時間よりも長い入力を受信すること)があったときのみ、イベント情報を伝送する。
いくつかの実施形態では、イベントソータ370はまた、ヒットビュー判定モジュール372及び/又はアクティブイベント認識部判定モジュール373を含む。
ヒットビュー判定モジュール372は、サブイベントが1つ以上のビュー内のどこで行われたか、ディスプレイシステム312が2つ以上のビューをいつ表示するか、ディスプレイ上でユーザが見ることができる制御及び他の要素から、ビューがどこで構成されているかを判定するソフトウェア手順を提供する。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることがあるビューのセットであり、その中で情報が表示され、タッチによるジェスチャが生じる。タッチが検出される(アプリケーションの)アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて判定される。
ヒットビュー判定モジュール372は、タッチによるジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層内に構成された複数のビューを有するとき、ヒットビュー判定モジュール372は、サブイベントを処理すべき階層内の最下位ビューとして、ヒットビューを識別する。ほとんどの状況では、ヒットビューは、開始するサブイベント(すなわち、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント)が発生する最下位レベルビューである。ヒットビューがヒットビュー判定モジュールによって識別されると、ヒットビューは、一般的には、それがヒットビューとして識別された同じタッチ又は入力ソースに関連する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール373は、ビュー階層内のどのビュー(単数又は複数)がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール373は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール373は、サブイベントの物理的な場所を含む全てのビューがアクティブに関与しているビューであると判定し、したがって、全てのアクティブに関与しているビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが1つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然として、アクティブに関与しているビューであり続ける。
イベントディスパッチャモジュール374は、イベント情報をイベント認識部(例えば、イベント認識部380)にディスパッチする。アクティブイベント認識部判定モジュール373を含む実施形態では、イベントディスパッチャモジュール374は、アクティブイベント認識部判定モジュール373によって判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール374は、それぞれのイベント受信部382によって取得されるイベント情報をイベント待ち行列に記憶する。
いくつかの実施形態では、オペレーティングシステム326は、イベントソータ370を含む。代替として、アプリケーション340-1がイベントソータ370を含む。更に他の実施形態では、イベントソータ370は、独立型のモジュールであるか、又は接触/動きモジュール330などのメモリ302に記憶された別のモジュールの一部である。
いくつかの実施形態では、アプリケーション340-1は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部390及び1つ以上のアプリケーションビュー391を含む。アプリケーション340-1の各アプリケーションビュー391は、1つ以上のイベント認識部380を含む。一般的には、アプリケーションビュー391は、複数のイベント認識部380を含む。他の実施形態では、イベント認識部380のうちの1つ以上は、ユーザインタフェースキット(図示せず)又はアプリケーション340-1が方法及び他の特性を継承する上位レベルオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部390は、データ更新部376、オブジェクト更新部377、GUI更新部378、及び/又はイベントソータ370から受信されたイベントデータ379のうちの1つ以上を含む。イベント処理部処理部390は、任意選択的に、アプリケーション内部状態392を更新するために、データ更新部376、オブジェクト更新部377又はGUI更新部378を利用するか、又は呼び出す。代替として、アプリケーションビュー391のうちの1つ以上は、1つ以上のそれぞれのイベント処理部390を含む。また、いくつかの実施形態では、データ更新部376、オブジェクト更新部377、及びGUI更新部378のうちの1つ以上は、アプリケーションビュー391に含まれる。
それぞれのイベント認識部380は、イベントソータ370からイベント情報(例えば、イベントデータ379)を受信し、イベント情報からイベントを識別する。イベント認識部380は、イベント受信部382及びイベント比較部384を含む。いくつかの実施形態では、イベント認識部380はまた、メタデータ383、及び(任意選択的にサブイベント配信命令を含む)イベント配信命令388の少なくともサブセットを含む。
イベント受信部382は、イベントソータ370からイベント情報を受信する。イベント情報は、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの場所などの追加情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた、任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、1つの向きから別の向きへの(例えば、縦向きから横向きへ、又はその逆の)デバイスの回転を含み、イベント情報は、(デバイスの姿勢とも呼ばれる)デバイスの現在の向きについての対応する情報を含む。
イベント比較部384は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部384は、イベント定義386を含む。イベント定義386は、例えばイベント1(387-1)、イベント2(387-2)などのイベント(例えば、サブイベントの既定のシーケンス)の定義を含む。いくつかの実施形態では、イベント387におけるサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの中止、及び複数のタッチを含む。一実施例では、イベント1(387-1)についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の所定の段階についての第1のタッチ(タッチの開始)、所定の段階についての第1のリフトオフ(タッチの終了)、表示されたオブジェクト上の所定の段階についての第2のタッチ(タッチの開始)、及び所定の段階についての第2のリフトオフ(タッチの終了)を含む。別の実施例では、イベント2(387-2)についての定義は、表示されたオブジェクト上のドラッグである。ドラッグには、例えば、表示されたオブジェクト上の所定の段階についてのタッチ(又は接触)、それがタッチ感知ディスプレイであるときのディスプレイシステム312にわたるタッチの移動、及びタッチのリフトオフ(タッチの終了)が含まれる。いくつかの実施形態では、イベントはまた、1つ以上の関連付けられたイベント処理部390に関する情報を含む。
いくつかの実施形態では、イベント定義387は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部384は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するために、ヒットテストを実行する。例えば、ディスプレイシステム312上に3つのユーザインタフェースオブジェクトが表示されているアプリケーションビューでは、それがタッチ感知ディスプレイであるときのディスプレイシステム312上でタッチが検出されたとき、イベント比較部384は、3つのユーザインタフェースオブジェクトのうちのどれがそのタッチ(サブイベント)に関連付けられているかを判定するために、ヒットテストを実行する。表示された各オブジェクトがそれぞれのイベント処理部390に関連付けられている場合、イベント比較部は、どのイベント処理部390をアクティブにすべきかを判定するために、ヒットテストの結果を使用する。例えば、イベント比較部384は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント387についての定義はまた、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅延させる遅延アクションを含む。
それぞれのイベント認識部380が、一連のサブイベントがイベント定義386におけるイベントのうちのいずれとも一致しないと判定したとき、それぞれのイベント認識部380は、イベント不可能、イベント失敗、又はイベント終了の状態になり、その後は、タッチによるジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、それぞれのイベント認識部380は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成変更可能プロパティ、フラグ、及び/又はリストを有するメタデータ383を含む。いくつかの実施形態では、メタデータ383は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することができるようになっているかを示す構成変更可能プロパティ、フラグ、及び/又はリストを含む。いくつかの実施形態では、メタデータ383は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかどうかを示す構成変更可能プロパティ、フラグ、及び/又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部380は、イベントの1つ以上の特定のサブイベントが認識されるとき、イベントに関連付けられたイベント処理部390をアクティブにする。いくつかの実施形態では、それぞれのイベント認識部380は、イベントに関連付けられたイベント情報をイベント処理部390に配信する。イベント処理部390をアクティブにすることは、それぞれのヒットビューにサブイベントを送信する(及び、送信を延期する)こととは別個である。いくつかの実施形態では、イベント認識部380は、認識されたイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部390は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令388は、イベント処理部をアクティブにすることなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントに関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューに関連付けられたイベント処理部は、イベント情報を受信し、所定のプロセスを実行する。
いくつかの実施形態では、データ更新部376は、アプリケーション340-1で使用されるデータを作成及び更新する。例えば、データ更新部376は、メディアプレーヤモジュール344によって使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部更新部377は、アプリケーション340-1によって使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部376は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。GUI更新部378は、GUIを更新する。例えば、GUI更新部378は、表示情報を準備し、それを、ディスプレイシステム312(例えば、ディスプレイ部分110のプライマリディスプレイ102、図1A及び/又は動的ファンクション行104、図1A~図1B)に表示するために、グラフィックモジュール332に送信する。
いくつかの実施形態では、イベント処理部(単数又は複数)390は、データ更新部376、オブジェクト更新部377、及びGUI更新部378を含むか又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部376、オブジェクト更新部377、及びGUI更新部378は、アプリケーション340-1又はアプリケーションビュー391の単一モジュールに含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザタッチのイベント処理に関する前述の考察は、入力デバイスを用いて電子デバイス300を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押下若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押下、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに/又はそれらの任意の組合せを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図4は、いくつかの実施形態による、外付け電子デバイス400のブロック図である。いくつかの実施形態では、外付け電子デバイス400は、同じ筐体内に、動的ファンクション行104、物理キーのセット(例えば、物理キーのセット106、図2A~図2B)などの物理入力メカニズム、及び/又はタッチパッド(例えば、タッチパッド108、図2B~図2C)を少なくとも部分的に含む外付け入力及び出力デバイスである。外付け電子デバイス400の例としては、外付けキーボード(例えば、外付けキーボード206、図2A~図2B)、外付けタッチ感知面(例えば、第1の外付け入力メカニズム212、図2C)、又は他の外付け入力メカニズム(例えば、第2の外付け入力メカニズム222、図2D)が挙げられる。外付け電子デバイス400は、コンピューティングデバイス202(図2A~図2D)と通信可能に結合される。例えば、外付け電子デバイス400は、USB若しくはPS/2などの有線接続を介して、又は、Bluetooth、Wi-Fiなどの通信プロトコルを使用する、ワイヤレス通信リンクを介して、コンピューティングデバイス202と通信可能に結合される。外付け電子デバイス400は、電子デバイス300(図3A)における構成要素若しくは手順のうちの一部に依拠し得るか、又は、これらの構成要素若しくは手順のうちの一部は、電子デバイス300の代わりに外付け電子デバイス400によって完了され得るか、その中に配置され得るか、若しくはそれによって格納され得る。
いくつかの実施形態では、外付け電子デバイス400は、(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)メモリ402、メモリコントローラ422、1つ以上の処理ユニット(CPU)420、周辺機器インタフェース418、RF回路408、オーディオ回路410、スピーカ411、マイクロフォン413、入出力(I/O)サブシステム406、他の入力又は制御デバイス416、及び外部ポート424のうちの1つ以上を含む。外付け電子デバイス400は、(本明細書では「タッチ感知ディスプレイ」、「タッチスクリーン」、又は「タッチスクリーンディスプレイ」と呼ばれることもある)タッチ感知ディスプレイシステム412(例えば、動的ファンクション行104、図2A~図2D)を含む。
外付け電子デバイス400は、任意選択的に、タッチ感知ディスプレイシステム412又はタッチパッド(例えば、タッチパッド108、図2B~図2C)などのタッチ感知面上の接触の強度を検出する1つ以上の強度センサ465を含む。外付け電子デバイス400は、任意選択的に、タッチ感知ディスプレイシステム412又はタッチパッド(例えば、タッチパッド108、図2B~図2C)などのタッチ感知面上で触知出力を生成する1つ以上の触知出力生成器467を含む。これらの構成要素は、任意選択的に、1つ以上の通信バス又は信号ライン403を介して通信する。
メモリ402は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。CPU(単数又は複数)420及び周辺機器インタフェース418などの、外付け電子デバイス400の他の構成要素によるメモリ402へのアクセスは、任意選択的に、メモリコントローラ422によって制御される。周辺機器インタフェース418は、CPU(単数又は複数)420及びメモリ402を、I/Oサブシステム406及び他の回路に結合するために使用されてもよい。1つ以上の処理ユニット420は、外付け電子デバイス400のための様々な機能を実行し、データを処理するために、メモリ402に記憶された様々なソフトウェアプログラム及び/又は命令セットを動作させるか、又は実行する。いくつかの実施形態では、周辺機器インタフェース418、CPU(単数又は複数)420、及びメモリコントローラ422は、任意選択的に、チップ404などのシングルチップ上で実装される。いくつかの他の実施形態では、それらは、任意選択的に、別個のチップ上で実装される。
RF(高周波)回路408は、電磁信号とも呼ばれるRF信号を送受信する。RF回路408は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路408は、任意選択的に、これらの機能を実行する周知の回路を含み、それらの回路としては、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(SIM)カード、メモリなどが挙げられるが、これらに限定されない。無線通信は、複数の通信規格、通信プロトコル及び通信技術のうちのいずれかを任意選択的に使用し、それらの通信規格、通信プロトコル及び通信技術としては、近距離無線通信(NFC)、Bluetooth、Wireless Fidelity(Wi-Fi)(例えば、IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、及び/又はIEEE 802.11n)、Wi-MAX、あるいは本文書の出願日現在までに未だ開発されていない通信プロトコルを含む任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
任意選択のオーディオ回路410、スピーカ411、及びマイクロフォン413は、ユーザと外付け電子デバイス400との間のオーディオインタフェースを提供する。オーディオ回路410は、周辺機器インタフェース418からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ411に伝送する。スピーカ411は、電気信号を人間の可聴音波に変換する。オーディオ回路410はまた、マイクロフォン413によって音波から変換された電気信号を受信する。オーディオ回路410は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース418に伝送する。オーディオデータは、任意選択的に、周辺機器インタフェース418によって、メモリ402及び/若しくはRF回路408から取得され、かつ/又はメモリ402及び/若しくはRF回路408に伝送される。いくつかの実施形態では、オーディオ回路410はまた、ヘッドセットジャックを含む。ヘッドセットジャックは、オーディオ回路410と、出力専用ヘッドフォン、又は出力(例えば、片耳又は両耳用のヘッドフォン)及び入力(例えば、マイクロフォン)の両方を備えたヘッドセットなどの着脱可能オーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム406は、タッチ感知ディスプレイシステム412(例えば、動的ファンクション行104、図2A~図2D)などの、外付け電子デバイス400の入出力周辺機器を、周辺機器インタフェース418に結合する。I/Oサブシステム406は、任意選択的に、ディスプレイコントローラ456、強度センサコントローラ459、触覚フィードバックコントローラ461、及び他の入力又は制御デバイス416のための1つ以上の入力コントローラ460を含む。1つ以上の他の入力コントローラ460は、他の入力又は制御デバイス416から電気信号を受信し、それらへ電気信号を送信する。他の入力又は制御デバイス416は、任意選択的に、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイール、物理キーのセット、タッチパッドなどを含む。
タッチ感知ディスプレイシステム412(例えば、動的ファンクション行104、図2A~図2D)は、外付け電子デバイス400とユーザとの間の入出力インタフェースを提供する。タッチ感知ディスプレイ(touch-sensitive display、TSD)コントローラ456は、タッチ感知ディスプレイシステム412から電気信号を受信し、及び/又はそれへ電気信号を送信する。タッチ感知ディスプレイシステム412は、ユーザに視覚出力を表示する。視覚出力は、任意選択的に、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組合せ(まとめて「グラフィック」と称する)を含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザインタフェースオブジェクト/要素に対応する。
タッチ感知ディスプレイシステム412(例えば、動的ファンクション行104、図2A~図2D)は、触覚及び/又は触知接触に基づくユーザからの入力を受け付ける、タッチ感知面、センサ、又はセンサのセットを含む。したがって、タッチ感知ディスプレイシステム412及びTSDコントローラ456は(メモリ402内の任意の関連モジュール及び/又は命令セットと共に)、タッチ感知ディスプレイシステム412上で接触(及び接触の任意の移動又は中断)を検出し、検出された接触を、タッチ感知ディスプレイシステム412に表示されたユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)を選択又は制御するために使用される信号に変換する。例示的な一実施形態では、タッチ感知ディスプレイシステム412とユーザとの間の接触点は、ユーザの指と接触しているタッチ感知ディスプレイシステム412のエリアに対応する。
タッチ感知ディスプレイシステム412(例えば、動的ファンクション行104、図2A~図2D)は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、LED(発光ダイオード)技術、又はOLED(有機発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチ感知ディスプレイシステム412及びTSDコントローラ456は、任意選択的に、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びその接触のあらゆる移動又は中断を検出するものであり、それらのタッチ感知技術としては、容量技術、抵抗技術、赤外線技術、及び表面音響波技術、並びに、タッチ感知ディスプレイシステム412との1つ以上の接触点を判定する他の近接センサアレイ又は他の要素が挙げられるが、これらに限定されない。例示的な一実施形態では、カリフォルニア州クパチーノのApple Inc.からのiPHONE、iPODTOUCH、及びiPADにおいて見られるような、投影型相互静電容量感知技術が使用される。
タッチ感知ディスプレイシステム412(例えば、動的ファンクション行104、図2A~図2D)は、任意選択的に、400dpiを超過するビデオ解像度(例えば、500dpi、800dpi、又はそれ以上)を有する。いくつかの実施形態では、ユーザは、スタイラス、指などを使用してタッチ感知ディスプレイシステム412との接触を行う。いくつかの実施形態では、ユーザインタフェースは、指による接触及びジェスチャと主に作用するように設計されている。
いくつかの実施形態では、タッチ感知ディスプレイシステム412に加えて、外付け電子デバイス400は、任意選択的に、タッチパッド(例えば、タッチパッド108、図2B~図2C)を含む。いくつかの実施形態では、タッチパッドは、タッチ感知ディスプレイシステム412とは異なり、視覚出力を表示しない、外付け電子デバイス400のタッチ感知エリアである。いくつかの実施形態では、タッチパッドは、任意選択的に、タッチ感知ディスプレイシステム412とは別個であるタッチ感知面、又はタッチ感知ディスプレイシステム412によって形成されたタッチ感知面の延長である。
外付け電子デバイス400はまた、様々な構成要素に電力を供給する電力システム462を含む。電力システム462は、任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC)など)、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理及び分配に関連付けられた任意の他の構成要素を含む。
外付け電子デバイス400はまた、任意選択的に、I/Oサブシステム406内の強度センサコントローラ459と結合された1つ以上の接触強度センサ465を含む。接触強度センサ(単数又は複数)465は、任意選択的に、1つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光力センサ、容量性タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(又は圧力)を測定するために使用されるセンサ)を含む。接触強度センサ(単数又は複数)465は、環境から接触強度情報(例えば、圧力情報又は圧力情報のためのプロキシ)を受信する。いくつかの実施形態では、少なくとも1つの接触強度センサは、タッチ感知面(例えば、タッチ感知ディスプレイシステム412及び/又はタッチパッド108、図2B~図2C)と並置されるか、又はそれに近接している。
外付け電子デバイス400はまた、任意選択的に、I/Oサブシステム406内の触覚フィードバックコントローラ461と結合された1つ以上の触知出力生成器467を含む。触知出力生成器(単数又は複数)467は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又は、モータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などの、エネルギを直線運動に変換する電気機械デバイスを含む。接触強度センサ(単数又は複数)465は、触覚フィードバックモジュール433から触知フィードバック生成命令を受信し、外付け電子デバイス400のユーザが感知することが可能な触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム412及び/又はタッチパッド108、図2B~図2C)と並置されるか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、外付け電子デバイス400の表面の内/外)に、又は水平方向(例えば、外付け電子デバイス400の表面と同じ平面内の前後)に動かすことによって、触知出力を生成する。
いくつかの実施形態では、メモリ402に記憶されたソフトウェア構成要素は、オペレーティングシステム426、通信モジュール428(又は命令セット)、接触/動きモジュール430(又は命令セット)、及び動的ファンクション行モジュール450(又は命令セット)を含む。更に、いくつかの実施形態では、メモリ402は、何のビュー又は他の情報がタッチ感知ディスプレイシステム412(例えば、動的ファンクション行104、図2A~図2D)の様々な領域を占有するかを示す、ディスプレイ状態を含むデバイス状態457を記憶する。
オペレーティングシステム426は、一般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理する様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール428は、1つ以上の外部ポート424及び/又はRF回路408を介した他のデバイス(例えば、コンピューティングデバイス202、図2A~図2D)との通信を容易にし、また、RF回路408及び/又は外部ポート424を介してデータを送信/受信する様々なソフトウェア構成要素を含む。外部ポート424(例えば、ユニバーサルシリアルバス(USB)、FIREWIREなど)は、直接的に、又はネットワーク(例えば、インターネット、無線LANなど)を介して間接的に、他のデバイスに結合するように適合されている。
接触/動きモジュール430は、任意選択的に、タッチ感知ディスプレイシステム412及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を検出する。接触/動きモジュール430は、接触が生じたかどうかを判定すること(例えば、指を下ろすイベントを検出すること)、接触の強度(例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物)を判定すること、接触の移動があるかどうかを判定し、タッチ感知面を横断する移動を追跡すること(例えば、指をドラッグする1つ以上のイベントを検出すること)、及び接触が停止したかどうかを判定すること(例えば、指を上げるイベント又は接触の中断を検出すること)などの、接触の検出に関連する様々な動作を実行する様々なソフトウェア構成要素を含む。接触/動きモジュール430は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを含む。これらの動作は、任意選択的に、単一の接触(例えば、1本の指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態では、接触/動きモジュール430はまた、タッチパッド(例えば、タッチパッド108、図2B~図2C)上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール430は、ユーザによって動作が実行されたかどうかを判定するための(例えば、ユーザがアフォーダンス上で選択したか又は「クリック」したかを判定するための)1つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくともサブセットが、ソフトウェアパラメータに従って判定される(例えば、強度閾値は特定の物理アクチュエータのアクティブ化閾値によって判定されず、外付け電子デバイス400の物理ハードウェアを変更することなく調整され得る)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、そのトラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の既定閾値のうちのいずれかに設定され得る。追加として、いくつかの実装形態では、デバイスのユーザには、(例えば、個々の強度閾値を調整することによって、及び/又は、システムレベルのクリック「強度」パラメータにより、一度に複数の強度閾値を調整することによって)強度閾値のセットのうちの1つ以上を調整するソフトウェア設定が提供される。
接触/動きモジュール430は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン(例えば、検出される接触の異なる動き、タイミング、及び/又は強度)を有する。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップ接触を検出することは、指を下ろすイベントを検出し、続いて、(例えば、アイコンの位置での)その指を下ろすイベントと同じ位置(又は実質的に同じ位置)で指を上げる(リフトオフ)イベントを検出することを含む。別の実施例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて、指をドラッグする1つ以上のイベントを検出し、いくつかの実施形態では、また、続いて、指を上げる(リフトオフ)イベントを検出することを含む。
触覚フィードバックモジュール433は、外付け電子デバイス400とのユーザ対話に応答して、外付け電子デバイス400上の1つ以上の場所で触知出力を生成するために、触知出力生成器(単数又は複数)467によって使用される命令を生成する様々なソフトウェア構成要素を含む。
動的ファンクション行(DFR)モジュール450は、フォーカス入手モジュール451、DFR判定モジュール452、及びDFR提示モジュール453を含む。いくつかの実施形態では、フォーカス入手モジュール451は、コンピューティングデバイス202(図2A~図2D)から、外付けディスプレイデバイス204(図2A~図2D)のプライマリディスプレイ102に表示されたグラフィカルユーザインタフェースの現在のフォーカスであるアクティブユーザインタフェース要素の示唆を入手するように構成されている。いくつかの実施形態では、DFR判定モジュール452は、現在のフォーカスであるアクティブユーザインタフェース要素に基づいてグラフィック(例えば、1つ以上のアフォーダンスのセット)を判定するように構成されている。代替として、いくつかの実施形態では、コンピューティングデバイス202(図2A~図2D)は、フォーカスが当たっているアクティブユーザインタフェース要素に基づいてグラフィック(例えば、1つ以上のアフォーダンスのセット)を判定し、タッチ感知ディスプレイシステム412(例えば、動的ファンクション行104、図2A~図2D)上で表示するために、外付け電子デバイス400又はその構成要素(例えば、DFRモジュール450)にグラフィックを提供する。いくつかの実施形態では、DFR提示モジュール453は、タッチ感知ディスプレイシステム412(例えば、動的ファンクション行104、図2A~図2D)上で、DFR判定モジュール452によって判定された(又はコンピューティングデバイス202によって提供された)グラフィックをレンダリングするように構成されている。DFR提示モジュール453は、表示されるグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト又は他の視覚的特性)を変更する構成要素を含む、タッチ感知ディスプレイシステム412上でグラフィックをレンダリングし、その表示を引き起こす様々な知られているソフトウェア構成要素を含む。いくつかの実施形態では、DFRモジュール450は、動的ファンクション行104の感度を調整するモジュール、動的ファンクション行104によって提供された可聴及び/又は触覚フィードバックを調整するモジュール、動的ファンクション行104によって表示されたアフォーダンス及び情報(例えば、サイズ、輝度、フォント、言語など)の設定を調整するモジュール、動的ファンクション行104の現在の電力モード(例えば、通常モード及び低電力モード)を調整するモジュールなど、他のモジュールを含む。
いくつかの実施形態では、メモリ402は(例えば、オペレーティングシステム426内に)イベントソータ470を含む。いくつかの実施形態では、イベントソータ470は、イベントソータ370(図3B)と同じ機能を実行し、イベントソータ370(図3B)のモジュール、手順、及び命令のサブセット又はスーパーセットを含む。そのため、イベントソータ470は簡略にするために説明されない。
外付け電子デバイス400は一例に過ぎず、外付け電子デバイス400は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有し、任意選択的に、2つ以上の構成要素を組み合わせ、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有することを諒解されたい。図4に示された様々な構成要素は、1つ以上の信号処理回路及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せに実装される。
上記の識別されたモジュールの各々は、上記に説明された1つ以上の機能、並びに本出願で説明される方法(例えば、コンピュータにより実行される方法、及び本明細書で説明される他の情報処理方法)を実行するための実行可能命令のセットに対応する。これらのモジュール(すなわち、命令のセット)は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、任意選択的に、様々な実施形態において、組み合わされるか、又はそうでな場合再配置される。いくつかの実施形態では、メモリ402は、任意選択的に、上記で識別されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ402は、任意選択的に、上記で説明されていない追加のモジュール及びデータ構造を記憶する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他のロケーションマーカを含むいくつかの実装形態では、カーソルは「フォーカスセレクタ」として動作し、その結果、カーソルが特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の上にある間に、タッチ感知面(例えば、図3におけるタッチパッド355又は図4Bにおけるタッチ感知面451)上で入力(例えば、押圧入力)が検出されると、検出された入力に従って特定のユーザインタフェース要素が調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を可能にする、タッチスクリーンディスプレイを含むいくつかの実装形態では、タッチスクリーン上で検出される接触は「フォーカスセレクタ」として動作し、その結果、入力(例えば、接触による押圧入力)が、特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の場所でタッチスクリーンディスプレイ上で検出されると、検出された入力に従って特定のユーザインタフェース要素が調節される。いくつかの実装形態では、(例えば、タブキー又は矢印キーを使用してフォーカスを1つのボタンから別のボタンに移動させることによる)タッチスクリーンディスプレイ上のカーソルの対応する移動又は接触の移動なしに、フォーカスは、ユーザインタフェースの1つの領域からユーザインタフェースの別の領域に移動する。これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの様々な領域間のフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関係なく、フォーカスセレクタは、一般的に、(例えば、ユーザが対話しようとしているユーザインタフェースの要素をデバイスに示すことにより)ユーザインタフェースとのユーザの意図した対話を通信するために、ユーザによって制御されるユーザインタフェース要素(又はタッチスクリーンディスプレイ上の接触)である。例えば、タッチ感知面(例えば、タッチパッド又はタッチスクリーン)上で押圧入力が検出されている間の、それぞれのボタンの上のフォーカスセレクタ(例えば、カーソル、接触、又は選択ボックス)の位置は、(そのデバイスのディスプレイ上に示された他のユーザインタフェース要素とは対照的に)それぞれのボタンをユーザがアクティブ化しようとしていることを示すものである。
本明細書及び特許請求の範囲で使用される、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指の接触若しくはスタイラスの接触)の力若しくは圧力(単位面積あたりの力)、又はタッチ感知面上の接触の力若しくは圧力の代替物(プロキシ)を指す。接触の強度は、少なくとも4つの別個の値を含み、より典型的には、数百の(例えば、少なくとも256の)別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して、特定(又は測定)される。例えば、タッチ感知面の下又はそれに隣接する1つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値は、推定される接触の力を特定するために組み合わされる(例えば、加重平均又は合計)。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を特定するために使用される。あるいは、タッチ感知面上で検出される接触領域のサイズ及び/若しくはその変化、接触に近接するタッチ感知面の電気容量及び/若しくはその変化、並びに/又は、接触に近接するタッチ感知面の抵抗及び/若しくはその変化は、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。いくつかの実装形態では、接触の力又は圧力のための代替測定値は、強度閾値を超えているかどうかを判定するために直接使用される(例えば、強度閾値は、代替測定値に対応する単位で記述される)。いくつかの実装形態では、接触の力又は圧力のための代替測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかどうかを判定するために使用される(例えば、強度閾値は、圧力の単位で測定された圧力閾値である)。ユーザ入力の属性として接触の強度を使用すると、(例えば、タッチ感知ディスプレイ上に)アフォーダンスを表示するため、及び/又は(例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的/機械的コントロールを介して)ユーザ入力を受信するための資産が制限された、低減されたサイズのデバイス上で、そうでない場合ユーザによるアクセスが容易に可能でない場合がある、追加のデバイス機能にユーザがアクセスすることが可能になる。
いくつかの実施形態では、接触/動きモジュール130は、1つ以上の強度閾値のセットを使用して、ユーザによって操作が実行されたかどうかを判定する(例えば、ユーザがアイコン上で「クリック」したかどうかを判定する)。いくつかの実施形態では、少なくとも強度閾値のサブセットがソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されず、システム100の物理ハードウェアを変更することなく調整することができる)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の既定の閾値のうちのいずれかに設定することができる。更に、いくつかの実装形態では、デバイスのユーザは、(例えば、個々の強度閾値を調整することにより、及び/又は、システムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調整することにより)強度閾値のセットのうちの1つ以上を調整するためのソフトウェア設定が提供される。
本明細書及び特許請求の範囲で使用される、接触の「特性強度」という用語は、接触の1つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント(例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び/又は、接触の強度の減少を検出する前若しくは後の)に関連する既定の時間期間(例えば、0.05、0.1、0.2、0.5、1、2、5、10秒)の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の中間値、接触の強度の平均値、接触の強度の上位10パーセント値、接触の強度の最大値の半分の値、接触の強度の最大値の90パーセントの値などのうちの1つ以上に基づく。いくつかの実施形態では、特性強度を特定する際に(例えば、特性強度が経時的な接触の強度の平均であるときに)、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、ユーザによって操作が実行されたかどうかを判定するために、1つ以上の強度閾値のセットと比較される。例えば、1つ以上の強度閾値のセットは、第1の強度閾値及び第2の強度閾値を含んでもよい。この例では、第1の閾値を超えない特性強度を有する接触は第1の操作をもたらし、第1の強度閾値を超え、第2の強度閾値を超えない特性強度を有する接触は第2の操作をもたらし、第2の強度閾値を超える特性強度を有する接触は第3の操作をもたらす。いくつかの実施形態では、特性強度と1つ以上の強度閾値との間の比較は、第1の操作を実行するか、又は第2の操作を実行するかを判定するために使用されるのではなく、1つ以上の操作を実行するか否か(例えば、それぞれの選択肢を実行するか、又はそれぞれの操作を実行することを控えるか)を判定するために使用される。
いくつかの実施形態では、特性強度を特定する目的のために、ジェスチャの一部分が識別される。例えば、タッチ感知面は、開始位置から遷移して終了位置に達する連続的なスワイプ接触(例えば、ドラッグジェスチャ)を受け取る場合があり、そのポイントにおいて接触の強度が増大する。この例では、終了位置における接触の特性強度は、スワイプ接触全体ではなく、連続的なスワイプ接触の一部分のみ(例えば、終了位置におけるスワイプ接触の一部分のみ)に基づいてもよい。いくつかの実施形態では、接触の特性強度を特定する前に、スワイプ接触の強度に平滑化アルゴリズムが適用されてもよい。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び/又は指数平滑化アルゴリズムのうちの1つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を特定する目的のために、スワイプ接触の強度の小幅な上昇又は降下を排除する。
いくつかの実施形態では、特定の入力が強度ベースの基準を満たすかどうかを判定するために、1つ以上の既定の強度閾値が使用される。例えば、1つ以上の既定の強度閾値には、(i)接触検出強度閾値IT、(ii)軽い押圧強度閾値IT、(iii)(例えば、少なくとも最初はIより高い)深い押圧強度閾値IT、及び/又は(iv)1つ以上の他の強度閾値(例えば、Iより低い強度閾値I)が挙げられる。いくつかの実施形態では、軽い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る(例えば、それを下回ると接触がもはや検出されない名目上の接触検出強度閾値ITを上回る)特性強度を有する接触が検出されると、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従ってフォーカスセレクタを移動させる。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の様々なセットの間で一貫性がある。
いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力中の接触強度に基づく基準に依存する。例えば、いくつかの「軽い押圧」入力の場合、入力中の第1の強度閾値を超える接触の強度は第1の応答をトリガする。いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力中の接触強度と時間ベースの基準の両方を含む基準に依存する。例えば、いくつかの「深い押圧」入力の場合、軽い押圧用の第1の強度閾値より大きい入力中の第2の強度閾値を超える接触の強度は、第1の強度閾値を満たすことと第2の強度閾値を満たすこととの間に遅延時間が経過した場合のみ、第2の応答をトリガする。この遅延時間は、通常、持続時間が200ms未満である(例えば、第2の強度閾値の大きさに応じて、40ms、100ms、又は120msであり、遅延時間は第2の強度閾値が増大するにつれて増加する)。この遅延時間は、偶発的な深い押圧入力を回避するのに役立つ。別の例として、いくつかの「深い押圧」入力の場合、第1の強度閾値が満たされた時間の後に発生する感度が低下した時間期間が存在する。感度が低下した時間期間の間、第2の強度閾値は増大する。第2の強度閾値のこの一時的な増大も、偶発的な深い押圧入力を回避するのに役立つ。他の深い押圧入力の場合、深い押圧入力の検出に対する応答は、時間ベースの基準に依存しない。
いくつかの実施形態では、入力強度閾値及び/又は対応する出力のうちの1つ以上は、ユーザ設定、接触の動き、入力タイミング、実行しているアプリケーション、強度が加わる速度、同時入力の数、ユーザ履歴、環境要因(例えば、周囲ノイズ)、フォーカスセレクタの位置などの、1つ以上の要因に基づいて変化する。例示的な要因が、米国特許出願公開第14/399,606号及び第14/624,296号に記載されており、それらは参照により全体が本明細書に組み込まれている。
例えば、図3Cは、経時的なタッチ入力476の強度に部分的に基づいて、経時的に変化する動的な強度閾値480を示す。動的な強度閾値480は、2つの成分、タッチ入力476が最初に検出されたときから既定の遅延時間p1後に経時的に減衰する第1の成分474、及び経時的にタッチ入力476の強度の跡を辿る第2の成分478の合計である。第1の成分474の最初の高い強度閾値は、タッチ入力476が十分な強度を提供する場合に即時の「深い押圧」応答を更に可能にしながら、「深い押圧」応答の偶発的トリガを削減する。第2の成分478は、タッチ入力の段階的な強度変動によって「深い押圧」応答の意図しないトリガを削減する。いくつかの実施形態では、タッチ入力476が動的な強度閾値480を満たすとき(例えば、図3Cにおけるポイント481において)、「深い押圧」応答がトリガされる。
図3Dは、別の動的な強度閾値486(例えば、強度閾値I)を示す。図3Dは、2つの他の強度閾値:第1の強度閾値I及び第2の強度閾値Iも示す。図3Dでは、タッチ入力484が時間p2の前に第1の強度閾値I及び第2の強度閾値Iを満たすが、時間482において遅延時間p2が経過するまでは応答が提供されない。また、図3Dでは、動的な強度閾値486は経時的に減衰し、減衰は、時間482から既定の遅延時間p1が経過した後(第2の強度閾値Iに関連付けられた応答がトリガされたとき)の時間488に始まる。このタイプの動的な強度閾値は、第1の強度閾値I又は第2の強度閾値Iなどの、より低い強度閾値に関連付けられた応答をトリガした直後、又はそれと同時に、動的な強度閾値Iに関連付けられた応答の偶発的なトリガを削減する。
図3Eは、更に別の動的な強度閾値492(例えば、強度閾値I)を示す。図3Eでは、強度閾値Iに関連付けられた応答は、タッチ入力490が最初に検出されたときから遅延時間p2が経過した後にトリガされる。同時に、動的な強度閾値492は、タッチ入力490が最初に検出されたときから既定の遅延時間p1が経過した後に減衰する。そのため、タッチ入力490を解放することなしに、タッチ入力490の強度の増大がその後に続く、強度閾値Iに関連付けられた応答をトリガした後のタッチ入力490の強度の減少は、タッチ入力490の強度が別の強度閾値、例えば、強度閾値Iを下回るときでも、(例えば、時間494において)強度閾値Iに関連付けられた応答をトリガすることができる。
軽い押圧強度閾値ITを下回る強度から、軽い押圧強度閾値ITと深い押圧強度閾値ITとの間の強度への接触の特性強度の増大は、「軽い押圧」入力と呼ばれる場合がある。深い押圧強度閾値ITを下回る強度から深い押圧強度閾値ITを上回る強度への接触の特性強度の増大は、「深い押圧」入力と呼ばれる場合がある。接触検出強度閾値ITを下回る強度から接触検出強度閾値ITと軽い押圧強度閾値ITの間の強度への接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれる場合がある。接触検出強度閾値ITを上回る強度から接触検出強度閾値ITを下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれる場合がある。いくつかの実施形態では、ITはゼロである。いくつかの実施形態では、ITはゼロより大きい。いくつかの例示では、タッチ感知面上の接触の強度を表すために、網掛けの円又は楕円が使用される。いくつかの例示では、それぞれの接触の強度を指定することなく、タッチ感知面上のそれぞれの接触を表すために、網掛けなしの円又は楕円が使用される。
本明細書に記載されるいくつかの実施形態では、1つ以上の動作は、それぞれの押圧入力を含むジェスチャを検出したことに応答して、又はそれぞれの接触(若しくは複数の接触)で実行されるそれぞれの押圧入力を検出したことに応答して実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触(又は複数の接触)の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大を検出したことに応答して実行される(例えば、それぞれの動作は、それぞれの押圧入力の「ダウンストローク」上で実行される)。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びその後の押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、その後の押圧入力閾値を下回るそれぞれの接触の強度の減少を検出したことに応答して実行される(例えば、それぞれの動作は、それぞれの押圧入力の「アップストローク」上で実行される)。
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する(例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いX強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の75%、90%、若しくは何らかの妥当な割合である)。したがって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びその後の押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、その後のヒステリシス強度閾値を下回るそれぞれの接触の強度の減少を検出したことに応答して実行される(例えば、それぞれの動作は、それぞれの押圧入力の「アップストローク」上で実行される)。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押圧入力(例えば、状況に応じて、接触の強度の増大又は接触の強度の減少)を検出したことに応答して実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力に応答して、又は押圧入力を含むジェスチャに応答して実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応答してトリガされる。更に、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応答して実行されるように動作が記載される例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応答して実行される。上述されたように、いくつかの実施形態では、これらの応答のトリガは、満たされる時間ベースの基準にも依存する(例えば、遅延時間は、第1の強度閾値が満たされることと第2の強度閾値が満たされることとの間で経過している)。
ユーザインタフェース及び関連プロセス
次に、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)によって実装され得るユーザインタフェース(「UI」)及び関連プロセスの実施形態に着目する。いくつかの実施形態では、プライマリディスプレイ102は、ポータブルコンピューティングシステム100のディスプレイ部分110(図1A)に実装される。あるいは、いくつかの実施形態では、プライマリディスプレイ102は、外付けディスプレイデバイス204(図2A~図2D)に実装される。いくつかの実施形態では、動的ファンクション行104は、ポータブルコンピューティングシステム100の本体部分120(図1A~図1B)に実装されたタッチ感知ディスプレイである。あるいは、いくつかの実施形態では、動的ファンクション行104は、周辺キーボード206(図2A~図2B)、第1の周辺入力機構212(図2C)、又は周辺入力機構222(図2D)に実装されたタッチ感知ディスプレイである。
図5A~図14Eは、いくつかの実施形態に従って動的に更新されたタッチスクリーンディスプレイ上にアプリケーション固有アフォーダンスを表示するための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図44A~図44D、図45A~図45C、図46A~図46B、図47A~図47B、及び図48A~図48Cにおける方法を含む、以下に記載される方法及び/又はプロセスを示すために使用される。以下のユーザインタフェースは例に過ぎないことを当業者なら諒解されよう。更に、実際には、追加のアフォーダンス及び/若しくはユーザインタフェース要素、又はより少ないアフォーダンス及び/若しくはユーザインタフェース要素が使用されてもよいことを当業者なら諒解されよう。
図5Aは、システム(すなわち、オペレーティングシステム)が現在フォーカス中であることを示すステータストレイ502、及び(例えば、図3Aの電子メールクライアントモジュール341に対応する)メールアプリケーションアイコン506と、(例えば、図3Aのウェブブラウジングモジュール345に対応する)ウェブブラウザアプリケーションアイコン508と、(例えば、図3Aのメディアプレーヤモジュール344に対応する)メディアプレーヤアプリケーションアイコン510と、(例えば、ゲームに対応する)アプリケーションAアイコン512と、(例えば、図3Aの画像管理モジュール343に対応する)写真アプリケーションアイコン515とを含む、複数の実行可能/選択可能アプリケーションアイコンを有するアプリケーション(app)トレイ514を表示するプライマリディスプレイ102を示す。いくつかの実施形態では、ステータストレイ502は、前景で現在実行中のアプリケーションを示し、アプリケーション用の対応するコントロールのセットを各々が含む複数のメニュー(例えば、図5Aのファイル、編集、ビュー、ゴー、ウィンドウ、及びヘルプのメニュー)も含む。図5Aは、アプリケーションAアイコン512に対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。いくつかの実施形態では、カーソル504は、ポータブルコンピューティングシステム100のタッチパッド108(図1A~図1B)、デスクトップコンピューティングシステム200の周辺マウス208(図2A及び図2D)、周辺キーボード206のタッチパッド108(図2B)、第1の周辺入力機構212のタッチパッド108(図2C)などによって制御される。
図5Aは、プライマリディスプレイ102(すなわち、アプリケーションウィンドウがオープンしていないのでオペレーティングシステム)の現在のフォーカスに基づいて複数のアフォーダンスを表示する動的ファンクション行104(例えば、タッチ感知ディスプレイ)を更に示す。例えば、図5Aでは、システム/オペレーティングシステムがプライマリディスプレイ102上で現在フォーカスされている。図5Aでは、動的ファンクション行104は、(例えば、タップ接触を介して)アクティブ化されると、対応する機能を呼び出す(例えば、プライマリディスプレイ102上で現在フォーカスされているアプリケーションを終了するか、又はゲームを停止する)エスケープアフォーダンス516と、(例えば、タップ接触を介して)アクティブ化されると、ログアウト、リスタート、又はポータブルコンピューティングシステム100若しくはデスクトップコンピューティングシステム200の電源オフのために、動的ファンクション行104及び/又はプライマリディスプレイ102にモードアラート(例えば、図14Eのモードアラート5308)の表示を引き起こす電源コントロール534とを含む、物理キー及び/又はソフトキーとして実装された常駐コントロールを含む。
図5Aでは、動的ファンクション行104はまた、図1A及び図2A~図2Bのプライマリディスプレイ102の輝度を調整するための輝度アフォーダンス518と、(適用可能なとき)図1A~図1B及び図2A~図2Bの物理キーのセット106の輝度及び/又は動的ファンクション行104の輝度を調整するための輝度アフォーダンス520と、(例えば、タップ接触を介して)アクティブ化されると、図1A及び図2A~図2Bのプライマリディスプレイ102上のアクティブアプリケーション用のプレビューウィンドウの表示を引き起こす解説アフォーダンス522と、(例えば、電子ドキュメントに対する)ローカル検索及び/又はインターネット検索を実行するため検索アフォーダンス524と、(例えば、タップ接触を介して)アクティブ化されると、図1A及び図2A~図2Bのプライマリディスプレイ102上のデフォルト又はユーザ選択されたウィジェット及びツールの表示を引き起こす起動パッドアフォーダンス526と、(例えば、タップ接触を介して)アクティブ化されると、最新のメッセージ、通知、カレンダーイベントなどを含む、図1A及び図2A~図2Bのプライマリディスプレイ102上の通知センタの表示を引き起こす通知パッドアフォーダンス528と、メディアアイテム(例えば、歌、ポッドキャスト、ビデオなど)の再生を開始するか、又は再生を一時停止するための再生/一時停止アフォーダンス530と、再生中のメディアアイテムのボリュームを調整するためのボリュームコントロールアフォーダンス532とを含む、複数のシステムレベルのアフォーダンスを含む。例えば、輝度アフォーダンス520上でタップが検出されると、動的ファンクション行104は、(例えば、図6Fのボリュームスライダ5100と同様の)物理キーのセット106の輝度及び/又は動的ファンクション行104の輝度を調整するための輝度スライダを表示する。いくつかの実施形態では、複数のシステムレベルのアフォーダンスはまた、シンボル/アイコンのサイズ、タッチ検出の感度、触覚フィードバック、可聴フィードバック、フォーカスの変更用のアニメーション、電力モードなどの、動的ファンクション行104に関連付けられた調整設定にアクセスするための設定アフォーダンス(図示せず)を含む。
図5Bは、図5Aにおいてカーソル504を用いたアプリケーションAアイコン512の選択を検出したことに応答して、アプリケーションA(例えば、ファンタジーRPGゲーム)用のウィンドウ536を表示するプライマリディスプレイ102を示す。図5Bでは、アプリケーションAはメインメニューモード(例えば、ファンタジーRPGゲームは一時停止している)にあり、ウィンドウ536はアプリケーションA用のメインメニューを表示する。アプリケーションA用のウィンドウ536はプライマリディスプレイ102上でフォーカスされている。図5Bでは、ステータストレイ502は、アプリケーションAが前景で実行中であることを示し、appトレイ514も、アプリケーションAアイコン512の後の影に基づいて、アプリケーションAが前景で実行中であることを示す。図5Bでは、アプリケーションA用のウィンドウ536は、(それぞれ、左から右に)ウィンドウ536のクローズ、ウィンドウ536のサイズの最大化、及びウィンドウ536の最小化のための、3つの選択可能なアフォーダンスを上左隅に含む。
図5Bは、図5Aにおいてカーソル504を用いたアプリケーションAアイコン512の選択を検出したことに応答して、常駐コントロール(すなわち、アフォーダンス516及び534)並びに複数のシステムレベルのアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)に加えて、アフォーダンス538を表示する動的ファンクション行104も示す。(例えば、タップ接触を介して)アクティブ化されると、アフォーダンス538は、アプリケーションAに対応するアフォーダンス及び/又はインジケータの第1のセット(例えば、図5CのコントロールセットA)を動的ファンクション行104に表示させる。図5Bは、アフォーダンス538に対応する位置で接触540(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図5Cは、図5Bにおいてアフォーダンス538の選択を検出したことに応答して、アプリケーションAに対応するアフォーダンス及び/又はインジケータの第1のセット(例えば、コントロールセットA)、並びに少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104を示す。図5Cでは、アプリケーションA(例えば、ファンタジーRPGゲーム)に対応するアフォーダンス及び/又はインジケータの第1のセット(例えば、コントロールセットA)は、アプリケーションAを再生している間に、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザによって制御される、ゲーム内のキャラクタ/アバタに関係するヘルスインジケータ543及びマナインジケータ545を含む。図5Cでは、アプリケーションAに対応するアフォーダンス及び/又はインジケータの第1のセット(例えば、コントロールセットA)はまた、ゲーム内のキャラクタ/アバタを制御するための制御アフォーダンス546-A、546-B、及び546-Cを含む。(例えば、タップ接触を介して)アクティブ化されると、アフォーダンス542は、複数のシステムレベルのアフォーダンス(例えば、図5Aに示されたアフォーダンス518、520、522、524、526、528、530、及び532)を動的ファンクション行104に表示させる。図5Cは、第1の位置548-Aから第2の位置548-Bまで移動する接触544を用いた上向きスワイプジェスチャを受信し検出する動的ファンクション行104も示す。
図5Dは、図5Cにおいて上向きスワイプジェスチャを検出したことに応答して、アプリケーションAに対応するアフォーダンス及び/又はインジケータの第2のセット(例えば、コントロールセットB)、並びに少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104を示す。図5Dでは、アプリケーションAに対応するアフォーダンス及び/又はインジケータの第2のセット(例えば、コントロールセットB)は、アプリケーションAを再生している間に、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザによって制御される、ゲーム内のキャラクタ/アバタを制御するための制御アフォーダンス546-D、546-E、546-F、546-G、546-H、546-I、546-J、及び546-Kを含む。図5Dは、アフォーダンス542に対応する位置で接触552(例えば、タップ接触)を受信し検出する動的ファンクション行104も示す。
図5Eは、図5Dにおいてアフォーダンス542の選択を検出したことに応答して、常駐コントロール(すなわち、アフォーダンス516及び534)、複数のシステムレベルのアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)、並びにアプリケーションAに対応するアフォーダンス538を表示する動的ファンクション行104を示す。図5Eは、メディアプレーヤアプリケーションアイコン510に対応する新しい位置にカーソル504を表示するプライマリディスプレイ102も示す。
図6Aは、図5Eにおいてカーソル504を用いたメディアプレーヤアプリケーションアイコン510の選択を検出したことに応答して、メディアプレーヤアプリケーション用のウィンドウ554を表示するプライマリディスプレイ102を示す。例えば、ウィンドウ554はウィンドウ536の上に重なっている。図6Aでは、ウィンドウ554は、ユーザのメディアライブラリの音楽サブセクションに関連付けられた複数のアルバムを表示する。図6Aでは、ユーザのメディアライブラリの音楽サブセクションは、太字で表示された「Music」によって示されたようにプライマリディスプレイ102上でフォーカスされており、ウィンドウ554に少なくとも部分的に表示されたアルバムA~Lである。図6Aでは、ステータストレイ502は、メディアプレーヤアプリケーションが前景で実行中であることを示し、appトレイ514も、メディアプレーヤアプリケーション510の後の影に基づいて、メディアプレーヤアプリケーションが前景で実行中であることを示す。図6Aは、ユーザのメディアライブラリのポッドキャストサブセクションに対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。
図6Aは、図5Eにおいてカーソル504を用いたメディアプレーヤアプリケーションアイコン510の選択を検出したことに応答して、複数のアルバムアフォーダンス558(例えば、アルバムアフォーダンス558-A~558-G)及び少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104を更に示す。図6Aでは、複数のアルバムアフォーダンス558は、ウィンドウ554に現在表示されているアルバムのサブセットに対応する。いくつかの実施形態では、複数のアルバムアフォーダンス558は、ウィンドウ554に現在表示されているアルバムを反映する。例えば、(例えば、タップ接触を介した)アルバムアフォーダンス558-Dの選択に応答して、ポータブルコンピューティングシステム100又はコンピューティングデバイス200は、オーディオ回路310(図3A)によってアルバムDの再生をもたらし、またウィンドウ554の現在再生中領域にアルバムDを表示することをプライマリディスプレイ102に行わせる。
図6Bは、図6Aにおいてカーソル504を用いたポッドキャストサブセクションの選択を検出したことに応答して、ウィンドウ554に第1の複数のポッドキャストを表示するプライマリディスプレイ102を示す。図6Bでは、ウィンドウ554は、ユーザのメディアライブラリのポッドキャストサブセクションに関連付けられた複数のポッドキャストを表示する。図6Bでは、ユーザのメディアライブラリのポッドキャストサブセクションは、太字で表示された「Podcasts」によって示されたようにプライマリディスプレイ102上でフォーカスされており、ウィンドウ554に少なくとも部分的に表示されたポッドキャストA~Lである。
図6Bは、図6Aにおいてカーソル504を用いたポッドキャストサブセクションの選択を検出したことに応答して、第1の複数のポッドキャストアフォーダンス560(例えば、ポッドキャストアフォーダンス560-A~560-G)及び少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104も示す。図6Bでは、複数のポッドキャストアフォーダンス560は、ウィンドウ554に現在表示されているポッドキャストのサブセットに対応する。例えば、(例えば、タップ接触を介した)ポッドキャストアフォーダンス560-Dの選択に応答して、ポータブルコンピューティングシステム100又はコンピューティングデバイス200は、オーディオ回路310(図3A)によってポッドキャストDの再生をもたらし、またウィンドウ554の現在再生中領域にポッドキャストDを表示することをプライマリディスプレイ102に行わせる。図6Bは、第1の位置564-Aから第2の位置564-Bまで移動する接触562を用いた右から左のスワイプジェスチャを検出する動的ファンクション行104を更に示す。
図6Cは、図6Bにおいて右から左のスワイプジェスチャを検出したことに応答して、ウィンドウ554に第2の複数のポッドキャストアフォーダンス560(例えば、ポッドキャストアフォーダンス560-E~560-P)を表示するプライマリディスプレイ102を示す。図6Cは、6Bにおいて右から左のスワイプジェスチャを検出したことに応答して、第2の複数のポッドキャストアフォーダンス560(例えば、ポッドキャストアフォーダンス560-E~560-K)及び少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104も示す。図6Cは、ポッドキャストアフォーダンス560-Jに対応する位置で接触566(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図6Dは、図6Cにおいてポッドキャストアフォーダンス560-Jの選択を検出したことに応答して、ウィンドウ554にポッドキャストJの再生を表示するプライマリディスプレイ102を示す。図6Dは、メールアプリケーションアイコン506に対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。
図6Dは、図6Cにおいてポッドキャストアフォーダンス560-Jの選択を検出したことに応答して、再生コントロール及びインジケータとともに常駐ボリュームコントロール568を表示する動的ファンクション行104を更に示す。図6Dでは、常駐ボリュームコントロール568は、ポッドキャストJがミュートされていないことを示し、ポッドキャストJのためのイコライザフィードバックも表示する。図6Dでは、再生コントロールは、ポッドキャストJの再生を制御するための巻戻しコントロール571、一時停止コントロール572、及び早送りコントロール573を含む。図6Dでは、再生インジケータは、ポッドキャストJに対応する画像574(例えば、カバーアート又は関連画像)、ポッドキャストJの著者及びタイトルを表示するインジケータ576、並びに残り時間インジケータ578を含む。
図6Eは、図6Dにおいてカーソル504を用いたメールアプリケーションアイコン506の選択を検出したことに応答して、メールアプリケーション用のウィンドウ580を表示するプライマリディスプレイ102を示す。例えば、ウィンドウ580はウィンドウ554及び536の上に重なっている。図6Eでは、ウィンドウ580は、ユーザの受信ボックス内の複数の電子メールのリスト(例えば、電子メールA~F)及び選択された電子メールAのコンテンツを表示する。いくつかの実施形態では、ユーザの受信ボックス内の複数の電子メールのリストの先頭に最新又は最も緊急性が高い電子メールが表示され、リストの先頭にある電子メールが自動的に選択される。図6Eでは、複数の電子メールのリスト内で太字で電子メールが表示されるようにプライマリディスプレイ102上で電子メールAがフォーカスされ、リストの下のウィンドウ580に電子メールAのコンテンツが表示される。図6Eでは、ステータストレイ502は、メールアプリケーションが前景で実行中であることを示し、appトレイ514も、メールアプリケーション506の後の影に基づいて、メールアプリケーションが前景で実行中であることを示す。
図6Eは、図6Dにおいてカーソル504を用いたメールアプリケーションアイコン506の選択を検出したことに応答して、電子メールAに対応する複数のアフォーダンス(例えば、アフォーダンス582、584、586、588、590、592、594、596、及び598)並びに少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104も示す。図6Eでは、電子メールAに対応する複数のアフォーダンスは、(例えば、タップ接触を介して)アクティブ化されると、受信ボックスをリフレッシュするアフォーダンス582と、(例えば、タップ接触を介して)アクティブ化されると、(例えば、図7Bに示された)新しい電子メールを構成するためのサブウィンドウをプライマリディスプレイ102に表示させるアフォーダンス584と、(例えば、タップ接触を介して)アクティブ化されると、電子メールAの送信者に応答するためのサブウィンドウをプライマリディスプレイ102に表示させるアフォーダンス586と、(例えば、タップ接触を介して)アクティブ化されると、電子メールAのすべての受信者に応答するためのサブウィンドウをプライマリディスプレイ102に表示させるアフォーダンス588と、(例えば、タップ接触を介して)アクティブ化されると、電子メールAを転送するためのサブウィンドウをプライマリディスプレイ102に表示させるアフォーダンス590と、(例えば、タップ接触を介して)アクティブ化されると、デフォルトのメールボックス又はフォルダに電子メールAがアーカイブされるようにするアフォーダンス592と、(例えば、タップ接触を介して)アクティブ化されると、電子メールAが削除されるようにするアフォーダンス594と、(例えば、タップ接触を介して)アクティブ化されると、(例えば、図7Aに示された)電子メールAに適用されるように、前から存在するフォルダに任意選択的に対応する、様々なフラグを選択するためのアフォーダンスのセットを動的ファンクション行104に表示させるアフォーダンス596と、(例えば、タップ接触を介して)アクティブ化されると、ユーザの受信ボックスを検索するための検索ダイアログをプライマリディスプレイ102又は動的ファンクション行104に表示させるアフォーダンス598とを含む。図6Eは、常駐ボリュームコントロール568に対応する位置で接触599(例えば、長押しジェスチャ)を受信し検出する動的ファンクション行104を更に示す。
図6Fは、図6Eにおいて常駐ボリュームコントロール568に対応する位置で長押しジェスチャを検出したことに応答して、図6Cにおいて開始されたポッドキャストJの再生ボリュームを調整するためのボリュームスライダ5100を表示する動的ファンクション行104を示す。ボリュームスライダ5100内の円/親指は、ボリュームを調整するために、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザがドラッグすることができる。あるいは、いくつかの実施形態では、動的ファンクション行104は、図6Eにおいて常駐ボリュームコントロール568に対応する位置で長押しジェスチャを検出したことに応答して、図6Cにおいて開始されたポッドキャストJの再生を制御するための再生コントロール(例えば、一時停止、早送り、巻戻し、次のトラック、前のトラックなど)を表示する。図6Fでは、ボリュームスライダ5100は、電子メールAに対応する複数のアフォーダンスの上に重なっている。図6Fは、アフォーダンス596に対応する位置で接触5102(例えば、タップ接触)を受信し検出する動的ファンクション行104も示す。
他の実施形態では、ボリュームスライダ5100は、電子メールAに対応する複数のアフォーダンスからの別々の領域内に表示される。そのため、ボリュームスライダ5100がアクティブ化されている間、電子メールAに対応する複数のアフォーダンス(例えば、アフォーダンス582、584、586、588、590、592、594、596、及び598)は、ボリュームスライダ5100を表示するために十分な表示スペースが利用可能であることを保証するために、アニメーションでスクロール又は縮小される。いくつかの実施形態では、アフォーダンスから接触を取り除く必要なしにユーザが円/親指をスライドすることを可能にするために、長押しジェスチャに応答してユーザの指の下に円/親指が表示される。
図7Aは、図6Fにおいてアフォーダンス596の選択を検出したことに応答して、電子メールAに適用されるように、前から存在するフォルダに任意選択的に対応する、様々なフラグを選択するためのアフォーダンスのセット5103、5104、5106、5108、及び5110を表示する動的ファンクション行104を示す。図7Aでは、動的ファンクション行104は、動的ファンクション行104上にアフォーダンスのセット5103、5104、5106、5108、及び5110を表示することを止め、(例えば、図6Eに示されたように)動的ファンクション行104上に電子メールAに対応する複数のアフォーダンスを表示するための終了アフォーダンス5112も表示する。図7Aは、ウィンドウ580内の電子メール構成アフォーダンスに対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。
図7Bは、図7Aにおいてカーソル504を用いた電子メール構成アフォーダンスの選択を検出したことに応答して、ウィンドウ580内に新しい電子メールを構成するためのサブウィンドウを表示するプライマリディスプレイ102を示す。図7Bでは、新しい電子メールを構成するためのサブウィンドウは、電子メール構成アフォーダンスが太線で表示されると、また新しい電子メールを構成するためのサブウィンドウを囲む太線によって示されたように、プライマリディスプレイ102上でフォーカスされている。
図7Bは、図7Aにおいてカーソル504を用いた電子メール構成アフォーダンスの選択を検出したことに応答して、新しい電子メールを構成することに対応するアフォーダンスのセットを表示する動的ファンクション行104も示す。図7Bでは、新しい電子メールを構成することに対応するアフォーダンスのセットは、(例えば、タップ接触を介して)アクティブ化されると、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200に新しく構成された電子メールを送信させるアフォーダンス5114と、新しい電子メール用のテキストのテキストカラーを変更するためのアフォーダンス5116と、新しい電子メールの選択されたテキストをボールド体で表すためのアフォーダンス5118と、新しい電子メールの選択されたテキストをイタリック体で表すためのアフォーダンス5120と、新しい電子メールの選択されたテキストに下線を引くためのアフォーダンス5122とを含む。図7Bは、常駐ボリュームコントロール568に対応する位置で接触5124(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図7Cは、ウィンドウ580内で新しい電子メールを構成するためのサブウィンドウ内の新しい電子メールの本文内のテキスト、及び文字「pl」の後に位置する現在の挿入場所のインジケータを表示するプライマリディスプレイ102を示す。
図7Cは、図7Bにおいて常駐ボリュームコントロール568に対応する位置でタップ接触を検出したことに応答して、ポッドキャストJがミュートされたことを示す常駐ボリュームコントロール568を表示する動的ファンクション行104も示す。図7Cでは、常駐ボリュームコントロール568は、図6Cにおいてその再生が開始されたポッドキャストJがミュートされている間でも、ポッドキャストJのためのイコライザフィードバックを表示する(すなわち、ポッドキャストJがまだ再生中であるがミュートされていることを示す)。図7Cでは、動的ファンクション行104は、ウィンドウ580内のサブウィンドウ内の挿入点に基づいて新しい電子メールの本文にタイプされている、「pl」で始まる単語を完成させるための予測語5126、5128、及び5130を表示する。図7Cは、予測語5126(すなわち、「planet」)に対応する位置で接触5132(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図7Dは、図7Cにおいて予測語5126(すなわち、「planet」)の選択を検出したことに応答して、ウィンドウ580内で新しい電子メールを構成するためのサブウィンドウ内の新しい電子メールの本文内に単語「planet」を表示するプライマリディスプレイ102を示す。図7Dは、新しい電子メールを構成するためのサブウィンドウの「To:」フィールドに対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。
図8Aは、図7Dにおいてカーソル504を用いた「To:」フィールドの選択を検出したことに応答して、ユーザの連絡先帳に対応するメニュー5134を表示するプライマリディスプレイ102を示す。図8Aでは、メニュー5134は、ユーザの連絡先帳の「全連絡先」グループに対応する複数の連絡先のリスト(例えば、前から存するか又は自動的に埋め込まれた連絡先のリスト)を含む。図8Aでは、ユーザの連絡先帳の「All Contacts」グループは、メニュー5134内の「All Contacts」グループを囲む太線によって示されたように、プライマリディスプレイ102上でフォーカスされている。
図8Aは、図7Dにおいてカーソル504を用いた「To:」フィールドの選択を検出したことに応答して、ユーザの連絡先帳の「All Contacts」グループに対応する第1の複数の連絡先アフォーダンス5136(例えば、連絡先アフォーダンス5136-A~5136-F)、及び少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104も示す。図8Aでは、動的ファンクション行104は、(例えば、タップ接触を介して)アクティブ化されると、プライマリディスプレイ102上のメニュー5134の表示をプライマリディスプレイ102に止めさせ、また第1の複数の連絡先アフォーダンス5136の表示を動的ファンクション行104に止めさせる終了アフォーダンス5112も表示する。図8Aは、第1の位置5140-Aから第2の位置5140-Bまで移動する(例えば、ユーザがすべての連絡先を通して右から左にスクロールする)接触5138を用いた右から左のスワイプジェスチャを検出する動的ファンクション行104を更に示す。
図8Bは、図8Aにおいて右から左のスワイプジェスチャを検出したことに応答して、ユーザの連絡先帳の「All Contacts」グループに対応する第2の複数の連絡先アフォーダンス5136(例えば、連絡先アフォーダンス5136-E~5136-J)、及び少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104を示す。図8Bは、第1の位置5144-Aから第2の位置5144-Bまで移動する接触5142を用いた上向きスワイプジェスチャを検出する動的ファンクション行104も示す。
図8Cは、図8Bにおいて上向きスワイプジェスチャを検出したことに応答して、ユーザの連絡先帳の「Family」グループに対応する複数の連絡先のリストを表示するプライマリディスプレイ102を示す。図8Cでは、ユーザの連絡先帳の「Family」グループは、メニュー5134内の「Family」グループを囲む太線によって示されたように、プライマリディスプレイ102上でフォーカスされている。
図8Cは、図8Bにおいて上向きスワイプジェスチャを検出したことに応答して、ユーザの連絡先帳の「Family」グループに対応する複数の連絡先アフォーダンス5146(例えば、連絡先アフォーダンス5146-A~5146-F)、及び少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104も示す。図8Cは、ユーザの連絡先帳の「Family」グループ内の「James H.」という名前の連絡先に関連付けられた連絡先アフォーダンス5146-Dに対応する位置で接触5148(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図8Dは、図8Cにおいて連絡先アフォーダンス5146-Dの選択を検出したことに応答して、ウィンドウ580内の新しい電子メールを構成するためのサブウィンドウの「To:」フィールド内に「James H.」を表示するプライマリディスプレイ102を示す。図8Dは、図8Cにおいて連絡先アフォーダンス5146-Dの選択を検出したことに応答して、ユーザの連絡先帳の「Family」グループに対応する複数の連絡先アフォーダンス5146(例えば、連絡先アフォーダンス5146-A~5146-F)の表示を、新しい電子メールを構成することに対応するアフォーダンスのセット(例えば、アフォーダンス5114、5116、5118、5120、及び5122)と置き換える動的ファンクション行104も示す。図8Dは、少なくとも1つのシステムレベルのアフォーダンス542に対応する位置で接触5150(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図8Eは、図8Dにおいてアフォーダンス542の選択を検出したことに応答して、常駐コントロール(すなわち、アフォーダンス516及び534)、複数のシステムレベルのアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)、並びにメールアプリケーションに対応するアフォーダンス5152を表示する動的ファンクション行104を示す。図8Eは、再生/一時停止アフォーダンス530に対応する位置で接触5154(例えば、タップ接触)を受信し検出する動的ファンクション行104も示す。例えば、再生/一時停止アフォーダンス530の選択を検出したことに応答して、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200は、図6Cに関して記載された対話によって開始され、図7Bに関して記載された対話によってミュートされたポッドキャストJの再生を一時停止する。ポッドキャストJの再生は、図8Eにおいて再生/一時停止アフォーダンス530のその後の選択によって再開されてもよい。
図8Fは、ウィンドウ580をクローズするための終了アフォーダンスに対応する位置にカーソル504を表示するプライマリディスプレイ102を示す。図8Gは、図8Fにおいてカーソル504を用いた終了アフォーダンスの選択を検出したことに応答して、モードアラート5156を表示するプライマリディスプレイ102を示す。図8Gでは、モードアラート5156はプライマリディスプレイ102上でフォーカスされている。図8Gでは、プライマリディスプレイ102に表示されたモードアラート5156は、ウィンドウ580をクローズする前に下書きの電子メールを保存するようにユーザを促し、「Save」アフォーダンス、「Don't Save」アフォーダンス、及び「キャンセル」アフォーダンスを含む。図8Gは、「キャンセル」アフォーダンスに対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。動的ファンクション行上のモードアラートの表示は、ユーザがキーボードとスクリーンとの間で自分の視線を移動させる必要がなくなり、ユーザがキーボードからマウスなどの別の入力デバイスに自分の手を移動させる必要もなくなるので、効率を上げ、より良いユーザ体験を提供する。
図8Gは、図8Fにおいてカーソル504を用いた終了アフォーダンスの選択を検出したことに応答して、モードアラート5156及び少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104を更に示す。いくつかの実施形態では、モードアラートは、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200によって受信された電子メール、SMSなどに対応する通知、アプリケーションに関連付けられたアラート(例えば、保存ダイアログ、終了確認ダイアログ、又は電子メール送信確認ダイアログ)などである。図8Gでは、動的ファンクション行104に表示されたモードアラート5156は、ウィンドウ580をクローズする前に下書きの電子メールをSaveようにユーザを促し、「Save」アフォーダンス5158、「Don't Save」アフォーダンス5160、及び「Cancel」アフォーダンス5162を含む。アフォーダンス5158、5160、及び5162は例に過ぎず、モードアラートを制御するか、又はそれに応答するために、他のアフォーダンスが使用されてもよい。
図8Hは、図8Gにおいてカーソル504を用いた「Cancel」アフォーダンスの選択を検出したことに応答して、モードアラート5156を表示することを止め、(図8Fにおけるように)新しい電子メールを構成するためのサブウィンドウの表示を維持するプライマリディスプレイ102を示す。図8Hは、モードアラート5156及び図8Gにおいてカーソル504を用いた「Cancel」アフォーダンスの選択を検出したことに応答して、常駐コントロール(すなわち、アフォーダンス516及び534)、複数のシステムレベルのアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)、並びに(図8Fにおけるように)メールアプリケーションに対応するアフォーダンス5152を表示することを止める動的ファンクション行104も示す。
図9は、ポータブルコンピューティングシステム100(図1A~図1B)の物理キーのセット106から、又はデスクトップコンピューティングシステム200(図2A~図2D)の周辺キーボード206の物理キーのセット106から、指定された物理キーの組合せ(例えば、alt+tab)に対応する信号を受信したことに応答して、アプリケーション選択ウィンドウ5164を表示するプライマリディスプレイ102を示す。図9では、プライマリディスプレイ102に表示されたアプリケーション選択ウィンドウ5164は、(例えば、カーソル504による選択を介して)アクティブ化されると、前景内のメールアプリケーションに対応するウィンドウ580をプライマリディスプレイ102に表示させるメールアプリケーションアイコン506、(例えば、カーソル504による選択を介して)アクティブ化されると、前景内のメディアプレーヤアプリケーションに対応するウィンドウ554をプライマリディスプレイ102に表示させるメディアプレーヤアプリケーションアイコン510、及び(例えば、カーソル504による選択を介して)アクティブ化されると、前景内のアプリケーションAに対応するウィンドウ536をプライマリディスプレイ102に表示させるアプリケーションAアイコン512を含む。図9は、写真アプリケーションアイコン515に対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。
図9は、ポータブルコンピューティングシステム100(図1A~図1B)の物理キーのセット106から、又はデスクトップコンピューティングシステム200(図2A~図2D)の周辺キーボード206の物理キーのセット106から、指定された物理キーの組合せ(例えば、alt+tab)に対応する信号を受信したことに応答して、アプリケーション選択ウィンドウ5164及び少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104を更に示す。図9では、動的ファンクション行104に表示されたアプリケーション選択ウィンドウ5164は、(例えば、タップ接触を介して)アクティブ化されると、前景内のメールアプリケーションに対応するウィンドウ580をプライマリディスプレイ102に表示させるメールアプリケーションアイコン506、(例えば、タップ接触を介して)アクティブ化されると、前景内のメディアプレーヤアプリケーションに対応するウィンドウ554をプライマリディスプレイ102に表示させるメディアプレーヤアプリケーションアイコン510、及び(例えば、タップ接触を介して)アクティブ化されると、前景内のアプリケーションAに対応するウィンドウ536をプライマリディスプレイ102に表示させるアプリケーションAアイコン512を含む。
図10Aは、図9においてカーソル504を用いた写真アプリケーションアイコン515の選択を検出したことに応答して、写真アプリケーション用のウィンドウ5166を表示するプライマリディスプレイ102を示す。例えば、ウィンドウ5166はウィンドウ580、554、及び536の上に重なっている。図10Aでは、ウィンドウ5166は、ユーザの写真ライブラリのすべての写真サブセクションに関連付けられた複数の写真を表示する。図10Aでは、ユーザの写真ライブラリのすべての写真サブセクションは、太字で表示された「Photos」によって示されたようにプライマリディスプレイ102上でフォーカスされており、ウィンドウ5166に少なくとも部分的に表示された写真A~Lである。図10Aでは、ステータストレイ502は、写真アプリケーションが前景で実行中であることを示し、appトレイ514も、写真アプリケーション515の後の影に基づいて、写真アプリケーションが前景で実行中であることを示す。図10Aは、ウィンドウ5166内の写真Bに対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。
図10Aは、図9においてカーソル504を用いた写真アプリケーションアイコン515の選択を検出したことに応答して、ユーザの写真ライブラリのすべての写真サブセクションに対応する複数のアフォーダンス(例えば、アフォーダンス5168、5170、及び5172)、並びに少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104を更に示す。図10Aでは、動的ファンクション行104は、ユーザの写真ライブラリを検索するための検索アフォーダンス5168、(例えば、タップ接触を介して)アクティブ化されると、(例えば、図10Cに示された)フルスクリーンモードでユーザの写真ライブラリのすべての写真サブセクション内の選択された写真又はすべての写真のスライドショーを開始するスライドショーアフォーダンス5170、及びウィンドウ5166に表示されたユーザの写真ライブラリのすべての写真サブセクションから表示された写真をスクロールするためのスライダアフォーダンス5172を含む。
図10Bは、図10Aにおいてカーソル504を用いた写真Bの選択を検出したことに応答して、ウィンドウ5166に選択された写真Bを表示するプライマリディスプレイ102を示す。図10Bでは、選択された写真Bは、ウィンドウ5166内の写真Bを囲む太線によって示されたように、プライマリディスプレイ102上でフォーカスされている。図10Bは、スライドショーアフォーダンスに対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。
図10Bは、図10Aにおいてカーソル504を用いた写真Bの選択を検出したことに応答して、選択された写真Bに対応するアフォーダンスのセットを表示する動的ファンクション行104を更に示す。図10Bでは、選択された写真Bに対応するアフォーダンスのセットは、ユーザの写真ライブラリを検索するための検索アフォーダンス5168と、選択された写真Bにズームインするためのズームアフォーダンス5174と、選択された写真Bをいいねするためのいいねアフォーダンス5176と、(例えば、タップ接触を介して)アクティブ化されると、(例えば、図10Cに示された)フルスクリーンモードでユーザの写真ライブラリのすべての写真サブセクション内の選択された写真又はすべての写真のスライドショーを開始するスライドショーアフォーダンス5170と、動的ファンクション行104及び/又はプライマリディスプレイ102上に、サイズ、位置、時刻/日付などの、選択された写真Bに対応する情報を表示するための情報アフォーダンス5178と、(例えば、タップ接触を介して)アクティブ化されると、(例えば、図10Fに示された)選択された写真Bを編集するためのツールを動的ファンクション行104に表示させ、かつ/又は選択された写真Bを編集するための編集インタフェースをプライマリディスプレイ102に表示させる編集アフォーダンス5180と、選択された写真Bを写真アルバムに追加するための写真追加アフォーダンス5182と、1つ以上の通信モード(例えば、ソーシャルメディアネットワーク、SMS、電子メールなど)を介して選択された写真Bを共有するための共有アフォーダンス5184と、ユーザの写真ライブラリから選択された写真Bを削除するための削除アフォーダンス5186とを含む。
図10Cは、図10Bにおいてカーソル504を用いたスライドショーアフォーダンスの選択を検出したことに応答して、ウィンドウ5188内のユーザの写真ライブラリのすべての写真サブセクションからの写真のスライドショーを表示するプライマリディスプレイ102を示す。図10Cでは、プライマリディスプレイ102は、フルスクリーンモードモードの写真Bを有するウィンドウ5188を表示する。
図10Cは、図10Bにおいてカーソル504を用いたスライドショーアフォーダンスの選択を検出したことに応答して、ユーザの写真ライブラリのすべての写真サブセクション内の写真に対応する複数のサムネイル画像(例えば、サムネイル画像5192-Y、5192-Z、5192-A、5192-B、5192-C、5192-D、及び5192-E)を表示する動的ファンクション行104も示す。図10Cでは、サムネイル画像5192-Bを囲む太線は、プライマリディスプレイ102によって写真Bが現在表示されていることを示す。図10Cでは、動的ファンクション行104は、(例えば、タップ接触を介して)アクティブ化されると、スライドショーを一時停止させ、またプライマリディスプレイ102にフルスクリーンモードを終了させる、一時停止アフォーダンス5190も表示する。図10Cは、一時停止アフォーダンス5190に対応する位置で接触5194(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図10Dは、図10Cにおいて一時停止アフォーダンス5190の選択を検出したことに応答して、ウィンドウ5166内の拡張ビューに写真Bを表示するプライマリディスプレイ102を示す。図10Dでは、写真Bの拡張ビューは、ウィンドウ5166内の写真Bの拡張ビューを囲む太線によって示されたように、プライマリディスプレイ102上でフォーカスされている。
図10Dは、図10Cにおいて一時停止アフォーダンス5190の選択を検出したことに応答して、写真Bに対応するアフォーダンスのセットを表示する動的ファンクション行104も示す。図10Dでは、写真Bに対応するアフォーダンスのセットは、(例えば、タップ接触を介して)アクティブ化されると、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザが写真Bからズームイン又はズームアウトすることを可能にするズームコントロールを動的ファンクション行104及び/又はプライマリディスプレイ102に表示させるズームアフォーダンス5174と、(例えば、タップ接触を介して)アクティブ化されると、プライマリディスプレイ102にフルスクリーンモードで写真Bを表示させるフルスクリーンアフォーダンス5194と、(例えば、タップ接触を介して)アクティブ化されると、フルスクリーンモードでユーザの写真ライブラリのすべての写真サブセクション内の選択された写真又はすべての写真のスライドショーを開始するスライドショーアフォーダンス5170と、動的ファンクション行104及び/又はプライマリディスプレイ102上に、サイズ、位置、時刻/日付などの、選択された写真Bに対応する情報を表示するための情報アフォーダンス5178と、(例えば、タップ接触を介して)アクティブ化されると、選択された写真Bを編集するためのツールを動的ファンクション行104に表示させ、かつ/又は選択された写真Bを編集するための編集インタフェースをプライマリディスプレイ102に表示させる編集アフォーダンス5180と、選択された写真Bを写真アルバムに追加するための写真追加アフォーダンス5182と、1つ以上の通信モード(例えば、ソーシャルメディアネットワーク、SMS、電子メールなど)を介して選択された写真Bを共有するための共有アフォーダンス5184とを含む。図10Dは、フルスクリーンアフォーダンス5196に対応する位置で接触5196(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図10Eは、図10Dにおいてフルスクリーンアフォーダンス5196の選択を検出したことに応答して、ウィンドウ5200内でフルスクリーンモードで写真Bを表示するプライマリディスプレイ102を示す。図10Eは、図10Dにおいてフルスクリーンアフォーダンス5196の選択を検出したことに応答して、最小化アフォーダンス5198を表示する動的ファンクション行104も示す。(例えば、タップ接触を介して)アクティブ化されると、最小化アフォーダンス5198は、(図10Dに示されたように)ウィンドウ5166内の拡張ビュー内に写真Bをプライマリディスプレイ102に表示させる。図10Eは、編集アフォーダンス5180に対応する位置で接触5201(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図10Fは、図10Eにおいて編集アフォーダンス5180の選択を検出したことに応答して、編集ツールのセット5205を表示する動的ファンクション行104を示す。
図10Fは、図10Eにおいて編集アフォーダンス5180の選択を検出したことに応答して、アウトラインが厚くされた/太字の編集アフォーダンス5180、並びに半透明さが増した、図10Eに表示された他のアフォーダンス(例えば、ズームアフォーダンス5174、最小化アフォーダンス5198、情報アフォーダンス5178、写真追加アフォーダンス5182、及び共有アフォーダンス5184)を表示する動的ファンクション行104も示す。
図10Fでは、編集ツールのセット5205は、(例えば、タップ接触を介して)アクティブ化されると、ウィンドウ5200内で時計回り又は反時計回りに写真Bを回転させるためのコントロールを動的ファンクション行104に表示させる回転ツール5202と、(例えば、タップ接触を介して)アクティブ化されると、写真Bにフィルタを適用すること、写真Bの輝度を調整すること、写真Bの彩度を調整することなどの、写真Bを改良するためのコントロールを動的ファンクション行104に表示させる改良ツール5204と、(例えば、タップ接触を介して)アクティブ化されると、写真Bの中の人の赤目を軽減するためのコントロールを動的ファンクション行104に表示させる赤目軽減ツール5206と、(例えば、タップ接触を介して)アクティブ化されると、ウィンドウ5200内の写真Bの向きを矯正するためのコントロールを動的ファンクション行104に表示させる矯正ツール5208と、(例えば、タップ接触を介して)アクティブ化されると、ウィンドウ5200内の写真Bを切り抜くためのコントロールを動的ファンクション行104に表示させる切り抜きツール5210と、(例えば、タップ接触を介して)アクティブ化されると、除去及びぼかしの効果などの写真Bを修整するためのコントロールを動的ファンクション行104に表示させる修整ツール5212とを含む。図10Fは、矯正ツール5208に対応する位置で接触5214(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図10Gは、図10Fにおいて矯正ツール5208の選択を検出したことに応答して、ウィンドウ5200内の写真Bの向きを矯正するためのコントロールのセット5209を表示する動的ファンクション行104を示す。図10Gでは、矯正ツール2208に対応するコントロールのセット5209は、ウィンドウ5200内の写真Bの向きを調整するためのスライダ5210と、(例えば、タップ接触を介して)アクティブ化されると、コントロールのセット5209を表示することを止め、(図10Fに示されたように)編集ツールのセット5205を表示することを動的ファンクション行104に行わせる完了アフォーダンス5212を含む。図10Gは、エスケープアフォーダンス516に対応する位置で接触5216(例えば、タップ接触)を受信し検出する動的ファンクション行104も示す。
例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、スライダ5210上又はコントロールのセット5209内を起点とする位置で、左から右のスワイプ/ドラッグジェスチャ又は右から左のスワイプ/ドラッグジェスチャを実行することにより、ウィンドウ5200内の写真Bの向きを調整することができる。例えば、動的ファンクション行104上の上向きスワイプジェスチャを検出したことに応答して、動的ファンクション行104は、切り抜きツール5210に対応するコントロールのセットを表示する。別の例では、動的ファンクション行104上の下向きスワイプジェスチャを検出したことに応答して、動的ファンクション行104は、赤目軽減ツール5206に対応するコントロールのセットを表示する。
図10Hは、図10Gにおいてエスケープアフォーダンス516の選択を検出したことに応答して、ウィンドウ5166内の拡張ビューに写真Bを表示するプライマリディスプレイ102を示す。図10Hは、図10Gにおいてエスケープアフォーダンス516の選択を検出したことに応答して、(図10Dに示されたように)写真Bに対応するアフォーダンスのセットを表示する動的ファンクション行104を示す。図10Hでは、写真Bに対応するアフォーダンスのセットは、(例えば、タップ接触を介して)アクティブ化されると、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザが写真Bからズームイン又はズームアウトすることを可能にするズームコントロールを動的ファンクション行104及び/又はプライマリディスプレイ102に表示させるズームアフォーダンス5174と、(例えば、タップ接触を介して)アクティブ化されると、プライマリディスプレイ102にフルスクリーンモードで写真Bを表示させるフルスクリーンアフォーダンス5194と、(例えば、タップ接触を介して)アクティブ化されると、フルスクリーンモードでユーザの写真ライブラリのすべての写真サブセクション内の選択された写真又はすべての写真のスライドショーを開始するスライドショーアフォーダンス5170と、動的ファンクション行104及び/又はプライマリディスプレイ102上に、サイズ、位置、時刻/日付などの、選択された写真Bに対応する情報を表示するための情報アフォーダンス5178と、(例えば、タップ接触を介して)アクティブ化されると、選択された写真Bを編集するためのツールを動的ファンクション行104に表示させ、かつ/又は選択された写真Bを編集するための編集インタフェースをプライマリディスプレイ102に表示させる編集アフォーダンス5180と、選択された写真Bを写真アルバムに追加するための写真追加アフォーダンス5182と、1つ以上の通信モード(例えば、ソーシャルメディアネットワーク、SMS、電子メールなど)を介して選択された写真Bを共有するための共有アフォーダンス5184とを含む。
図10Hは、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200による通知5218の受信に応答して、アフォーダンス5178、5180、5182、及び5184の上に重なった通知5218を表示する動的ファンクション行104も示す。図10Hでは、通知5218は、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザにSuzie S.によって送られたSMS、インスタントメッセージなどに対応し、通知のコンテンツは「今夜の映画?」を尋ねている。図10Hは、通知5128内の第1の位置5222-Aから第2の位置5222-Bまでの接触5220を用いた左から右のスワイプジェスチャを検出する動的ファンクション行104を更に示す。
図11Aは、図10Hにおいて左から右のスワイプジェスチャを検出したことに応答して、通知5218を表示することを止める動的ファンクション行104を示す。図11Aは、ウェブブラウザアプリケーションアイコン508に対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。
図11Bは、図11Aにおいてカーソル504を用いたウェブブラウザアプリケーションアイコン508の選択を検出したことに応答して、ウェブブラウザアプリケーション用のウィンドウ5224を表示するプライマリディスプレイ102を示す。例えば、ウィンドウ5224はウィンドウ5166の上に重なっている。図11Bでは、ウィンドウ5224は、ブラウジングコントロール(例えば、前のウェブページ、次のウェブページ、リフレッシュ、及びお気に入りへの追加)、アドレスバー、検索バー、(例えば、開いた本に似ている)すべてのブックマークの表示アフォーダンス、すべてのオープンタブの表示アフォーダンス(例えば、6つの正方形のグリッド)、並びに特定のブックマークA、B、及びC用のアフォーダンスを含む、ウェブブラウザアプリケーションを含む。図11Bでは、ウィンドウ5224は、好みのウェブサイト又は最も頻繁に訪れたウェブサイトA~Hにリンクする複数のアフォーダンス5227を含むウェブブラウザアプリケーション用のホームインタフェースを示す。図11Bでは、アプリケーションA用のウィンドウ5224がプライマリディスプレイ102上でフォーカスされている。図11Bでは、ステータストレイ502は、ウェブブラウザアプリケーションが前景で実行中であることを示し、appトレイ514も、ウェブブラウザアプリケーション508の後の影に基づいて、ウェブブラウザアプリケーションが前景で実行中であることを示す。
図11Bは、図11Aにおいてカーソル504を用いたウェブブラウザアプリケーションアイコン508の選択を検出したことに応答して、常駐コントロール(すなわち、アフォーダンス516及び534)並びに複数のシステムレベルのアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)に加えて、アフォーダンス5226を表示する動的ファンクション行104も示す。(例えば、タップ接触を介して)アクティブ化されると、アフォーダンス5226は、ウェブブラウザアプリケーション用のコントロールのセット(例えば、図11Cに示されたようなアフォーダンス5230、5232、及び5238、並びにアドレスバー5234)を動的ファンクション行104に表示させる。図11Bは、アフォーダンス5226に対応する位置で接触5228(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図11Cは、図11Bにおいてアフォーダンス5226の選択を検出したことに応答して、ウェブブラウザアプリケーション用のコントロールのセットを表示する動的ファンクション行104を示す。図11Cでは、ウェブブラウザアプリケーション用のコントロールのセットは、ウィンドウ5224内のウェブブラウザアプリケーションによって現在表示されているウェブページの前に訪れたウェブページを表示するためのアフォーダンス5230と、ウィンドウ5224内のウェブブラウザアプリケーションによって現在表示されているウェブページの後に訪れたウェブページを表示するためのアフォーダンス5232と、ウェブブラウザアプリケーションによって現在表示されているウェブページをお気に入りリスト又はブックマークフォルダに追加するためのアフォーダンス5238と、ウェブブラウザアプリケーションによって現在表示されているウェブページのURLを表示するためのアドレスバー5234とを含む。図11Cでは、アドレスバー5234は、ウェブブラウザアプリケーションによって現在表示されているウェブページをリフレッシュするためのリフレッシュアフォーダンス5236も含む。図11Cは、ウェブサイトAにリンクするアフォーダンス5227-Aに対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。
図11Dは、図11Cにおいてカーソル504を用いたウェブサイトAに対応するアフォーダンス5227-Aの選択を検出した後、ウィンドウ5224内のタブA用のインタフェースを表示するプライマリディスプレイ102を示す。図11Dでは、タブAを囲む太線及びタブA用の太字テキストによって示されたように、タブA用のインタフェースがプライマリディスプレイ102上でフォーカスされている。図11Dでは、タブA用のインタフェースは、(例えば、URL:www.website_A.com/checkoutに関連付けられた)ウェブサイトAの支払いウェブページを示す。支払いウェブページは、購入するための品目A及びBを含むユーザの仮想ショッピングカートに対応する。図11Dは、ウィンドウ5224内の購入アフォーダンスに対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。図11Cは、アドレスバー5234内のウェブサイトAの支払いウェブページ用のURL(例えば、www.website_A.com/checkout)を表示する動的ファンクション行104を更に示す。
図11Eは、図11Dにおいてカーソル504を用いた購入アフォーダンスの選択を検出したことに応答して、ウィンドウ5224の上に重なったモードアラート5240を表示するプライマリディスプレイ102を示す。図11Eでは、プライマリディスプレイ102に表示されたモードアラート5240は、動的ファンクション行104上に自分の指紋を提供するように、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザを促し、(例えば、カーソル504による選択を介して)アクティブ化されると、購入のキャンセルをもたらすキャンセルアフォーダンス5242も含む。例えば、モードアラート5240は、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200によって開始された購入を検証するために指紋を必要とするセキュリティ設定(例えば、デフォルト又はユーザ指定)に従って表示される。例えば、いくつかの実施形態では、プライマリディスプレイ102及び/又は動的ファンクション行104は、アプリケーション又はウェブサイトにアクセスするためにパスワードを入力するとき、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200によって記憶されたデータを解読するためにパスワードを入力するとき、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200からフォルダ及び/又はデータを削除するとき、他の破壊的行動を取るときなどに、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200にログインすると、動的ファンクション行104上に自分の指紋を提供するように、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザを促すモードアラートを表示する。
図11Eは、図11Dにおいてカーソル504を用いた購入アフォーダンスの選択を検出したことに応答して、モードアラート5240を表示する動的ファンクション行104も示す。図11Eでは、動的ファンクション行104に表示されたモードアラート5240は、動的ファンクション行104の指紋領域5244に自分の指紋を提供するように、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザを促し、(例えば、タップ接触を介して)アクティブ化されると、購入のキャンセルをもたらすキャンセルアフォーダンス5242も含む。いくつかの実施形態では、動的ファンクション行104は、図5A~図11Dの電力コントロール534にも対応する、動的ファンクション行104の指紋領域5244内の指紋を検出するように構成されている。いくつかの実施形態では、動的ファンクション行104は、そのタッチ感知エリア内の任意の位置で指紋を検出するように構成されている。図11Eは、指紋領域5244内で接触5246(例えば、プレスアンドホールドジェスチャ)を受信し検出する動的ファンクション行104を更に示す。
図11Fは、図11Eにおいて指紋領域5244内の接触5246を検出した後、ウィンドウ5224内のタブA用のインタフェースを表示するプライマリディスプレイ102を示す。図11Fでは、タブA用のインタフェースは、図11Eにおいてポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザによって提供された指紋の検証後、購入が完了したことを示す(例えば、URL:www.website_A.com/reciept)に関連付けられた)ウェブサイトAのレシートウェブページを示す。
図11Fは、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200による着信音声通話の受信に応答して、少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)とともに、C.Cheungからの着信音声通話に関連付けられたインタフェース5248を表示する動的ファンクション行104も示す。図11Fでは、インタフェース5248は、着信通話に答えるための第1のアフォーダンス5250及び着信通話を断るための第2のアフォーダンス5252を含む。図11Fは、第1のアフォーダンス5250に対応する位置で接触5254(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。例えば、第1のアフォーダンス5250の選択を検出した後、C.Cheungとポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザとの間の通信接続(例えば、VoIP)が音声通話用に確立される。
図11Gは、図11Fにおいて第1のアフォーダンス5250の選択を検出した後、少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)とともに、C.Cheungとポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザとの間の進行中の音声通話に関連付けられたインタフェース5256を表示する動的ファンクション行104を示す。図11Gでは、インタフェース5256は、音声通話を終了するためのアフォーダンス5258及び合計音声通話時間(例えば、7分29秒)のインジケータを含む。いくつかの実施形態では、進行中の音声通話の間、プライマリディスプレイ102のフォーカスに関連付けられたアフォーダンスは動的ファンクション行104に表示されない。いくつかの実施形態では、音声通話が既定の時間続いた後、インタフェース5256がコンパクトモードで表示され、プライマリディスプレイ102のフォーカスに関連付けられたアフォーダンスが動的ファンクション行104に表示されてもよい。図11Gは、アフォーダンス5258に対応する位置で接触5260を受信し検出する動的ファンクション行104も示す。
図11Hは、ウィンドウ5224内のタブB用のインタフェースを表示するプライマリディスプレイ102を示し、タブA、B、及びCはウェブブラウザアプリケーション内でオープンされている。図11Hでは、タブB用のインタフェースは、(例えば、URL:www.website_B.com/homeに関連付けられた)ウェブサイトBのホームウェブページを示す。図11Hでは、タブBを囲む太線及びタブB用の太字テキストによって示されたように、タブB用のインタフェースがプライマリディスプレイ102上でフォーカスされている。
図11Hは、図11Gにおいてアフォーダンス5258の選択を検出した後、インタフェース5256を表示することを止める動的ファンクション行104も示す。図11Hでは、動的ファンクション行104は、アドレスバー5234内のウェブサイトBのホームウェブページ用のURL(例えば、www.website_B.com/home)を含む。図11Hでは、動的ファンクション行104は、(例えば、タップ接触によって)アクティブ化されると、タブA用のインタフェースをプライマリディスプレイ102に表示させ、またアドレスバー5234内のタブBに対応するURLを動的ファンクション行104に表示させるアフォーダンス5262-A、及び(例えば、タップ接触によって)アクティブ化されると、タブC用のインタフェースをプライマリディスプレイ102に表示させ、またアドレスバー5234内のタブCに対応するURLを動的ファンクション行104に表示させるアフォーダンス5262-Bも含む。
図12Aは、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200による通知5264の受信に応答して、ウィンドウ5264の上に重なった通知5264を表示するプライマリディスプレイ102を示す。図12Aでは、通知5264は、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザにMASによって送信されたSMS、インスタントメッセージなどに対応し、通知のコンテンツは「すでに着陸した?」を尋ねている。図12Aは、プライマリディスプレイ102の右下隅の既定の位置までカーソル504を用いて通知5264をドラッグするポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザを表示するプライマリディスプレイ102を示す。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、プライマリディスプレイ102上のその元の位置から既定の位置(例えば、右下隅又は別の同様の位置)まで、それぞれのメニュー、通知、モードアラートなどをドラッグしたことに応答して、動的ファンクション行104上のそれぞれのメニュー、通知、モードアラートなどの表示を引き起こすことができる。いくつかの実施形態では、既定の位置は、同様に動作する複数の既定の位置のうちの1つであり、複数の既定の位置はデフォルト又はユーザ固有の位置である。
図12Bは、図12A内のプライマリディスプレイ102の右下隅の既定の位置まで、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザがカーソル504を用いて通知5264をドラッグしたことに応答して、ウィンドウ5264の上に重なった通知5264の表示を止めるプライマリディスプレイ102を示す。図12Bは、図12A内のプライマリディスプレイ102の右下隅の既定の位置まで、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザがカーソル504を用いて通知5264をドラッグしたこと応答して、アフォーダンス5262-A及び5262-Bの上に重なった通知5264を表示する動的ファンクション行104も示す。図12Bは、通知5264内の位置で接触5266(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図12Cは、図12Bにおいて通知5264内の位置で接触5266を検出したことに応答して、応答ダイアログボックス5268を表示する動的ファンクション行104を示す。あるいは、いくつかの実施形態では、図12Bにおいて通知5264内の位置で接触5266を検出したことに応答して、通知5264に対応するアプリケーションがオープンされる。図12Cでは、応答ダイアログボックス5268は、図12A~図12Bに示された通知5264のコンテンツに対する複数の予測応答を含む。図12Cでは、応答ダイアログボックス5268は、第1の予測応答5270(「はい」)、第2の予測応答5272(「いいえ」)、及び第3の予測応答5274(「向かう途中!」)を含む。図12Cは、第1の予測応答5270に対応する位置で接触5276(例えば、タップ接触)を受信し検出する動的ファンクション行104も示す。例えば、第1の予測応答5270の選択に応答して、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200は、デフォルトの通信モード(例えば、SMS、インスタントメッセージなど)、又はそれによりポータブルコンピューティングシステム100若しくはデスクトップコンピューティングシステム200に通知5264が送信されたものと同じ通信モードを介して、第1の予測応答5270(「はい」)がMASに送信されるようにする。
図12Dは、ウィンドウ5224内のすべてのブックマークの表示アフォーダンスに対応する位置にカーソル504を表示するプライマリディスプレイ102を示す。図12Eは、図12Dにおいてカーソル504を用いたすべてのブックマークの表示アフォーダンスの選択を検出したことに応答して、ウィンドウ5224内のブックマークスライドバーを表示するプライマリディスプレイ102を示す。図12Eでは、ブックマークスライドバーを囲む太線によって示されたように、ブックマークスライドバーがプライマリディスプレイ102上でフォーカスされている。図12Eは、プライマリディスプレイ102の右下隅の既定の位置までカーソル504を用いてブックマークスライドバーをドラッグするポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザも示す。
図12Fは、図12E内のプライマリディスプレイ102の右下隅の既定の位置まで、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザがカーソル504を用いてブックマークスライドバーをドラッグしたこと応答して、前から存在するすべてのブックマークに対応するブックマークアフォーダンスのセット5278(例えば、ブックマークアフォーダンス5278-A~5278-G)を表示する動的ファンクション行104を示す。例えば、ブックマークアフォーダンスのセット5278のそれぞれのブックマークが(例えば、タップ接触を介して)アクティブ化されると、プライマリディスプレイ102は、ウィンドウ5224内の新しいタブにブックマークアフォーダンスのセット5278のそれぞれのブックマークに対応するウェブサイトを表示する。この例を続けて、ブックマークアフォーダンスのセット5278のそれぞれのブックマークが(例えば、タップ接触を介して)アクティブ化されると、動的ファンクション行104は、ブックマークアフォーダンスのセット5278の表示を止め、(例えば、図12Eに示されたように)ウェブブラウザアプリケーション用のコントロールのセット及びアドレスバー5234内のブックマークアフォーダンスのセット5278のそれぞれのブックマークに対応するウェブサイト用のURLを表示する。図12Fでは、動的ファンクション行104は、(例えば、タップ接触を介して)アクティブ化されると、ブックマークアフォーダンスのセット5278の表示を止め、図12Eに示されたようにウェブブラウザアプリケーション用のコントロールのセットを表示することを動的ファンクション行104に行わせる終了アフォーダンス5112も表示する。図12Fは、ウィンドウ5224をクローズするための終了アフォーダンスに対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。
図12Gは、図12Fにおいてカーソル504を用いた終了アフォーダンスの選択を検出したことに応答して、ブックマークアフォーダンスのセット5278の上に重なったモードアラート5280を表示する動的ファンクション行104を示す。図12Gでは、モードアラート5280は、ウェブブラウザアプリケーション内のすべてのオープンタブをクローズするつもりであることを確認するように、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザを促す。図12Gでは、モードアラート5280は、(例えば、タップ接触を介して)アクティブ化されると、ウィンドウ5224の表示をプライマリディスプレイ102に止めさせる終了アフォーダンス5282と、(例えば、タップ接触を介して)アクティブ化されると、モードアラート5280を片付け、ウィンドウ5224の表示をプライマリディスプレイ102に維持させるキャンセルアフォーダンス5284とを含む。図12Gは、終了アフォーダンス5282に対応する位置で接触5286(例えば、タップ接触)を受信し検出する動的ファンクション行104も示す。
図12Hは、図12Gにおいて終了アフォーダンス5282の選択を検出したことに応答して、ウィンドウ5224の表示を止め、写真アプリケーション用のウィンドウ5166を表示するプライマリディスプレイ102を示す。図12Hでは、ステータストレイ502は、システム/オペレーティングシステムがプライマリディスプレイ102上で現在フォーカスされていることを示す。図12Hは、ウィンドウ5166に対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。図12Hは、図12Gにおいて終了アフォーダンス5282の選択を検出したことに応答して、かつプライマリディスプレイ102の現在のフォーカス(例えば、システム/オペレーティングシステム)に基づいて、常駐コントロール(すなわち、アフォーダンス516及び534)並びに複数のシステムレベルのアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)を表示する動的ファンクション行104を更に示す。
図13Aでは、図12Hにおいてカーソル504を用いたウィンドウ5166の選択を検出したことに応答して、プライマリディスプレイ102のフォーカスは写真アプリケーションである。より具体的には、ユーザの写真ライブラリのすべての写真サブセクションは、太字で表示された「Photos」によって示されたようにプライマリディスプレイ102上でフォーカスされており、ウィンドウ5166に少なくとも部分的に表示された写真A~Lである。図13Aでは、ステータストレイ502は、写真アプリケーションが前景で実行中であることを示し、appトレイ514も、写真アプリケーション515の後の影に基づいて、写真アプリケーションが前景で実行中であることを示す。図13Aは、ステータストレイ502内のファイルメニューに対応する位置にカーソル504を表示するプライマリディスプレイ102も示す。図13Aは、図12Hにおいてカーソル504を用いたウィンドウ5166の選択を検出したことに応答して、ユーザの写真ライブラリのすべての写真サブセクションに対応する複数のアフォーダンス(例えば、アフォーダンス5168、5170、及び5172)、並びに少なくとも1つのシステムレベルのアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104を更に示す。
図13Bは、図13Aにおいてカーソル504を用いたファイルメニューの選択を検出したことに応答して、ファイルコントロールのメニュー5288を表示するプライマリディスプレイ102を示す。図13Bでは、ファイルコントロールのメニュー5288がプライマリディスプレイ102上でフォーカスされている。図13Bでは、ファイルコントロールのメニュー5288は、新しいアルバムのコントロール、新しいフォルダのコントロール、新しいカレンダーのコントロール、インポートコントロール、エクスポートコントロール、クローズウィンドウコントロール、及び印刷コントロールを含む。
図13Bは、図13Aにおいてカーソル504を用いたファイルメニューの選択を検出したことに応答して、第1の複数のアフォーダンス5290を表示する動的ファンクション行104を示す。図13Bでは、第1の複数のアフォーダンス5290は、プライマリディスプレイ102によって表示されたファイルコントロールのメニュー5288に示されたファイルコントロールに対応する。例えば、(例えば、タップ接触を介して)アクティブ化されると、(例えば、クローズウィンドウファイルコントロールに対応する)アフォーダンス5290-Gは、ウィンドウ5166の表示をプライマリディスプレイ102に止めさせ、また第1の複数のアフォーダンス5290の表示を動的ファンクション行104に止めさせる。図13Bは、第1の位置5294-Aから第2の位置5294-Bまで移動する接触5292を用いた上向きスワイプジェスチャを受信し検出する動的ファンクション行104を更に示す。
図13Cは、図13Bにおいて上向きスワイプジェスチャを検出したことに応答して、編集コントロールのメニュー5296を表示するプライマリディスプレイ102を示す。例えば、プライマリディスプレイ102は、図13Bにおいて動的ファンクション行上の下向きスワイプを検出したことに応答して、ヘルプコントロールのメニューを表示する。図13Cでは、編集コントロールのメニュー5296がプライマリディスプレイ102上でフォーカスされている。図13Bでは、編集コントロールのメニュー5296は、取消コントロール、やり直しコントロール、カットコントロール、コピーコントロール、ペーストコントロール、全選択コントロール、検索コントロール、フォントコントロール、及び特殊文字コントロールを含む。
図13Cは、図13Bにおいて上向きスワイプジェスチャを検出したことに応答して、第2の複数のアフォーダンス5298を表示する動的ファンクション行104も示す。図13Cでは、第2の複数のアフォーダンス5298は、プライマリディスプレイ102によって表示された編集コントロールのメニュー5296に示された編集コントロールに対応する。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、動的ファンクション行104上で左から右のスワイプジェスチャを実行することにより、動的ファンクション行104上で複数のアフォーダンス5298の残り(例えば、特殊文字アフォーダンス5289-I)を見ることができる。
図14Aは、動的ファンクション行104によって表示された現在のアフォーダンスをオーバーライドするための、指定された物理キー(例えば、ファンクションキー)又は指定された物理キーの組合せに対応する、ポータブルコンピューティングシステム100(図1A~図1B)の物理キーのセット106から、又はデスクトップコンピューティングシステム200(図2A~図2D)の周辺キーボード206の物理キーのセット106から信号を受信したことに応答して、常駐コントロール(例えば、アフォーダンス516及び534)とともに第1の複数のアフォーダンス5301を表示する動的ファンクション行104を示す。図14Aでは、動的ファンクション行104は、(例えば、F1~F12に対応する)第1の複数のアフォーダンス5301、及び動的ファンクション行104上の第1の複数のアフォーダンス5301の表示を止めるための終了アフォーダンス5112を表示する。図14Aでは、動的ファンクション行104は、第1の複数のアフォーダンス5301がアフォーダンスの4つのセットのうちの最初であることを示すナビゲーション支援5302も表示する。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、動的ファンクション行104上で左から右又は右から左のスワイプジェスチャを実行することにより、(例えば、F13、...に対応する)第1の複数のアフォーダンス5301内の更なるアフォーダンスを見せることができる。いくつかの実施形態では、第1の複数のアフォーダンス5301は、コンピューティングシステムのユーザによって設定されたカスタマイズされたシンボル行、又は最も頻繁に使用されるシンボル及び/若しくは特殊文字のセットを含む。
図14Bは、動的ファンクション行104によって表示された現在のアフォーダンスをオーバーライドするための、指定された物理キー(例えば、ファンクションキー)又は指定された物理キーの組合せに対応する、ポータブルコンピューティングシステム100(図1A~図1B)の物理キーのセット106から、又はデスクトップコンピューティングシステム200(図2A~図2D)の周辺キーボード206の物理キーのセット106から第2の信号を受信したことに応答して、常駐コントロール(例えば、アフォーダンス516及び534)とともに第2の複数のアフォーダンス5303を表示する動的ファンクション行104を示す。あるいは、いくつかの実施形態では、動的ファンクション行104は、図14Aにおいて動的ファンクション行104上の上向きスワイプジェスチャを検出したことに応答して、第2の複数のアフォーダンス5303を表示する。図14Bでは、動的ファンクション行104は、(例えば、`、1、2、3、...に対応する)第2の複数のアフォーダンス5301、及び動的ファンクション行104上の第2の複数のアフォーダンス5303の表示を止めるための終了アフォーダンス5112を表示する。図14Bでは、ナビゲーション支援5302は、第2の複数のアフォーダンス5302がアフォーダンスの4つのセットのうちの2番目であることを示す。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、動的ファンクション行104上で左から右又は右から左のスワイプジェスチャを実行することにより、第2の複数のアフォーダンス5302内の更なるアフォーダンスを見せることができる。
図14Cは、動的ファンクション行104によって表示された現在のアフォーダンスをオーバーライドするための、指定された物理キー(例えば、ファンクションキー)又は指定された物理キーの組合せに対応する、ポータブルコンピューティングシステム100(図1A~図1B)の物理キーのセット106から、又はデスクトップコンピューティングシステム200(図2A~図2D)の周辺キーボード206の物理キーのセット106から第3の信号を受信したことに応答して、常駐コントロール(例えば、アフォーダンス516及び534)とともに第3の複数のアフォーダンス5304を表示する動的ファンクション行104を示す。あるいは、いくつかの実施形態では、動的ファンクション行104は、図14Bにおいて動的ファンクション行104上の上向きスワイプジェスチャを検出したことに応答して、第3の複数のアフォーダンス5304を表示する。図14Cでは、動的ファンクション行104は、(例えば、~、!、@、#、...に対応する)第3の複数のアフォーダンス5304、及び動的ファンクション行104上の第3の複数のアフォーダンス5304の表示を止めるための終了アフォーダンス5112を表示する。図14Cでは、ナビゲーション支援5302は、第3の複数のアフォーダンス5302がアフォーダンスの4つのセットのうちの3番目であることを示す。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、動的ファンクション行104上で左から右又は右から左のスワイプジェスチャを実行することにより、第3の複数のアフォーダンス5304内の更なるアフォーダンスを見せることができる。
図14Dは、動的ファンクション行104によって表示された現在のアフォーダンスをオーバーライドするための、指定された物理キー(例えば、ファンクションキー)又は指定された物理キーの組合せに対応する、ポータブルコンピューティングシステム100(図1A~図1B)の物理キーのセット106から、又はデスクトップコンピューティングシステム200(図2A~図2D)の周辺キーボード206の物理キーのセット106から第4の信号を受信したことに応答して、常駐コントロール(例えば、アフォーダンス516及び534)とともに第4の複数のアフォーダンス5305を表示する動的ファンクション行104を示す。あるいは、いくつかの実施形態では、動的ファンクション行104は、図14Cにおいて動的ファンクション行104上の上向きスワイプジェスチャを検出したことに応答して、第4の複数のアフォーダンス5305を表示する。図14Dでは、動的ファンクション行104は、(例えば、[、]、{、}、...に対応する)第4の複数のアフォーダンス5305、及び動的ファンクション行104上の第4の複数のアフォーダンス5305の表示を止めるための終了アフォーダンス5112を表示する。図14Dでは、ナビゲーション支援5302は、第4の複数のアフォーダンス5305がアフォーダンスの4つのセットのうちの4番目であることを示す。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、動的ファンクション行104上で左から右又は右から左のスワイプジェスチャを実行することにより、第4の複数のアフォーダンス5305内の更なるアフォーダンスを見せることができる。図14Dは、電力コントロール534に対応する位置で接触5306(例えば、タップ接触)を受信し検出する動的ファンクション行104を更に示す。
図14Eは、図14Dにおいて電力コントロール534の選択を検出したことに応答して、モードアラート5308を表示する動的ファンクション行104を示す。例えば、モードアラート5308は第4の複数のアフォーダンス5305の上に重なっている。図14Eでは、モードアラート5308は、(例えば、タップ接触を介して)アクティブ化されると、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200(すなわち、図2A~図2Dのコンピューティングデバイス202)から、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザの現在のユーザをログアウトさせるログアウトアフォーダンス5310、(例えば、タップ接触を介して)アクティブ化されると、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200(すなわち、図2A~図2Dのコンピューティングデバイス202)のリスタートをもたらすリスタートアフォーダンス5312、(例えば、タップ接触を介して)アクティブ化されると、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200(すなわち、図2A~図2Dのコンピューティングデバイス202)を電源オフにする電源オフアフォーダンス5314、及び(例えば、タップ接触を介して)アクティブ化されると、モードアラート5308の表示を動的ファンクション行104に止めさせるキャンセルアフォーダンス5316を含む、複数のオプションのうちの1つを選択するようにポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザを促す。
いくつかの実施形態では、(本明細書では「タッチ感知式セカンダリディスプレイ104」とも呼ばれる)動的ファンクション行104は、プライマリディスプレイ102上にコンテンツをレンダリングするために使用される視覚的特性をユーザが容易に操作することを可能にするアフォーダンスで埋め込まれる。いくつかの例が図15A~図15Hに示される。詳細には、図15Aは、ユーザがプライマリディスプレイ102上の描画アプリケーションと対話していることを示す。描画アプリケーション内の編集可能部分の選択(例えば、ユーザは、入力デバイスを使用して頭の上にカーソル504を置くこと、クリック又は押圧することによって表示された棒線画の頭を選択する)に応答して、タッチ感知式セカンダリディスプレイ104は編集オプションを含むように更新される。図15Aに示されたように、ユーザが編集可能な描画オブジェクトの一部分を選択したことに応答して、タッチ感知式セカンダリディスプレイは、選択された編集可能オブジェクトのタイプに適用可能な様々な編集機能に各々が対応するアフォーダンスを含むように更新される(例えば、図24A~図24Nを参照して下記で詳細に説明されるように、グラフィック又はテキストのどちらのコンテンツがユーザによって選択されるかに応じて、異なるアフォーダンスが表示される)。
いくつかの実施形態では、様々な編集機能に各々が対応するアフォーダンスは、(i)選択されると、一般編集オプションをタッチ感知式セカンダリディスプレイに表示させる一般編集アフォーダンス5501と、(ii)選択されると、強調オプションの表示をタッチ感知式セカンダリディスプレイに開始させる強調スタイルアフォーダンス5502と、(iii)選択される(図15Aにおいて選択されたように示される)と、プライマリディスプレイ102上でコンテンツをレンダリングするために使用される視覚的特性を修正するためのオプションの表示をタッチ感知式セカンダリディスプレイに開始させるマークアップアフォーダンス5503とを含む。
いくつかの実施形態では、マークアップアフォーダンス5503の選択に応答して、タッチ感知式セカンダリディスプレイは、視覚的特性を修正するためのオプションの表示を開始する。いくつかの実施形態では、かつ図15Aに示されたように、これらのオプションはマークアップアフォーダンス5503の近傍に表示される(例えば、様々な編集機能に各々が対応するアフォーダンスはタッチ感知式セカンダリディスプレイの第1の領域に表示され、オプションは近傍の第2の領域に表示される)。いくつかの実施形態では、第1の領域及び第2の領域は、タッチ感知式セカンダリディスプレイのアプリケーション固有セクション内に含まれ、他のアフォーダンスはアプリケーション固有セクションの左側(例えば、図15Aに示された「esc」アフォーダンス)及び右側(例えば、輝度を修正すること、コンピューティングシステムの背景内のメディアコンテンツの再生及びボリュームを制御することを可能にするアフォーダンス)に示される。
いくつかの実施形態では、カラーピッカアフォーダンスの選択(例えば、図15Aの選択5010-A)を検出したことに応答して、タッチ感知式セカンダリディスプレイは、タッチ感知式セカンダリディスプレイ104のアプリケーション固有部分のほとんどを占めるようにカラーピッキングオプションが提示される、オーバーレイ表示モードを使用して示される。図15Bに示されたように、カラーピッキングオブジェクトは、プライマリディスプレイ上でコンテンツをレンダリングするために使用される視覚的特性(例えば、色)を修正するための(カラーピッカ5505とも呼ばれる)ユーザインタフェースコントロール5505内で提示される。他の例示的な視覚的特性には、色調、陰影、及び不透明度が挙げられる。
いくつかの実施形態では、ユーザがプレスアンドホールドジェスチャを開始した(例えば、ユーザがユーザインタフェース5505に示された特定の色に接触し、0.5秒、1秒、1.5秒、若しくは2秒などの閾値時間より長い間接触を維持した)場合、又はユーザが特定の色の上に接触し、その接触の特性強度が強度閾値を満たす場合、タッチ感知式セカンダリディスプレイに示されたユーザインタフェース5505は、特定の色に対応する追加オプションを含むように更新される。例えば、ピンク色の表現の上の入力5010-B(例えば、プレスアンドホールド入力又は強度閾値を満たす入力)に応答して、ユーザインタフェースコントロールは、選択に利用可能なピンクの追加陰影を含むように更新される。図15C~図15Dに示されたように、入力5010-Bに応答して、ピンクの追加陰影は、タッチ感知式セカンダリディスプレイ内の選択用に提示され、プライマリディスプレイ102上の描画アプリケーション内の編集可能オブジェクトの頭は、特定の色を使用してレンダリングされる。
いくつかの実施形態では、ユーザは、タッチ感知式セカンダリディスプレイ上のピンクの追加陰影の表現全体にわたって入力5010-Cをスライドすることができ、それに応答して、プライマリディスプレイ102上に示された編集可能オブジェクトの頭は、各接触されたピンクの陰影を使用してレンダリングされる。図15Dに示されたように、ユーザは、入力5010-Cを使用してピンクの異なる陰影に接触し、それに応答して、プライマリディスプレイ102は、ピンクの異なる陰影を使用してコンテンツをレンダリングする。いくつかの実施形態では、入力5010-A、5010-B、及び5010-Cは、1つの連続する入力に対応し、このようにして、ユーザは、特定の視覚的特性について様々な値を選択した後、オブジェクトがどのように見えるかを迅速かつ効率的にプレビューすることができる。
いくつかの実施形態では、ユーザインタフェースコントロール5505は、特定の視覚的特性のための基本機能と高度修正機能との間の選択を可能にする少なくとも2つの表示モードを有する。いくつかの実施形態では、ユーザは、モード切替えアフォーダンス5506を選択することにより、これらの少なくとも2つの表示モードの間をトグルすることができる。例えば、図15Bに示された入力5003に応答して、カラーピッカ5505は図15Eに示されたように(図15B~図15Cに示された基本表示モードとは異なる)高度表示モードで示され、モード切替えアフォーダンスは、カラーピッカ5505用の基本モードに対応する異なる表示状態で示される。いくつかの実施形態では、高度表示モードは、他の視覚的特性を修正することを可能にするユーザインタフェースコントロールを表示することも含む(それぞれ、色調、陰影、及び不透明度について、図15F~図15Hに例が示されている)。いくつかの実施形態では、ユーザは、それぞれのユーザインタフェースコントロールのいずれかを選択することができ、次いで、選択されたオブジェクトがどのように見えるかのプレビューのレンダリングをプライマリディスプレイ102に開始させるために、それぞれのユーザインタフェースコントロール全体にわたってスライドすることができる。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104のアプリケーション固有セクションは、ユーザが新しいアプリケーションを開始する(例えば、図15A~図15Dに示されたコンテンツ編集アプリケーションから切り替える)ときに、様々なアフォーダンスを含むように変化する。図16A~図16Mに示されたように、タッチ感知式セカンダリディスプレイ104は、ユーザがウェブコンテンツを迅速かつ効率的にナビゲートし、タッチ感知式セカンダリディスプレイ104から直接ブラウザ固有機能を実行することを可能にするアフォーダンスを含む。いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104のアプリケーション固有セクションは、プライマリディスプレイ102上のウェブブラウザに示されたタブに対応するタブの表現を表示する。図16Aは、ウェブブラウザが単一のタブのみを含む間にタッチ感知式セカンダリディスプレイ104に示された例示的なアフォーダンスを示す。ウェブブラウザが2つ以上のタブを含むとの判定に従って、タッチ感知式セカンダリディスプレイ104は、タブの各々に対応する表現を含むように更新される(例えば、それぞれ、図16B~図16C及び図16F~図16Lにおいて2~10個のタブについて例が示される)。いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、既定の数のタブ(例えば、図16Mに示された例に示されたように15個までのタブ)用の表現を表示するように構成されている。
タッチ感知式セカンダリディスプレイ104内に直接タブの各々の表現を提供することにより、ユーザは、非常に迅速に(例えば、トラックパッドを使用して、又は複雑なキーボード入力のシーケンスを使用して、タブを繰り返し表示する必要なく)、タブをナビゲートすることができる。いくつかの実施形態では、ユーザは、プライマリディスプレイ102に示されたタブの各々の間の迅速なナビゲーションを可能にする、タッチ感知式セカンダリディスプレイ104における単一のジェスチャを提供することができる。タッチ感知式セカンダリディスプレイ104に示されたアフォーダンスを使用してウェブコンテンツの3つの異なるタブの間のそのような迅速なナビゲーションの一例が図16C~図16Eに示されている。図16A~図16Mに関する更なる詳細は、方法1100及び図49を参照して下記に提供される。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイに示された表現は、プライマリディスプレイ102上のウェブブラウザ内の対応するタブに関連付けられたコンテンツの縮小/ミニビューを示す(例えば、図12Hに示されたように、それぞれのタブの表現の各々は、対応するタブについてのウェブコンテンツのミニビューを含む)。いくつかの実施形態では、ブランクタブ(図16N)、トップサイトタブ(図16O)、及びお気に入りタブ(図16P)について、タッチ感知式セカンダリディスプレイにも適切な表現が示される。
いくつかの実施形態では、ユーザは、タッチ感知式セカンダリディスプレイ104に示されたアフォーダンスを使用して、プライマリディスプレイ102に表示されたお気に入りサイトの階層をナビゲートすることができる。例えば、図16Qは、1つ以上のお気に入りサイトに各々が対応するアフォーダンスを有するタッチ感知式セカンダリディスプレイ104を示す。これらのアフォーダンスのうちの1つの選択(例えば、図16Qのお気に入りのフォルダ「News & Media」を選択する入力5013)に応答して、プライマリディスプレイ102は、タッチ感知式セカンダリディスプレイ104であるように(例えば、図16Rに示されたように、フォルダに含まれるお気に入りサイトの表現を含むように)更新される。
プライマリディスプレイ102上に示されたお気に入りサイトのうちの1つ以上が同じベースドメイン(例えば、URL)からであるとの判定に従って、タッチ感知式セカンダリディスプレイ104は、1つ以上のお気に入りサイトについての更なる詳細を含む。例えば「Design Milk」及び「Dwell」というお気に入りは、両方とも「twitter.com」ドメインからであり、そのため、タッチ感知式セカンダリディスプレイ104は、更なる詳細(例えば、図16Sに示されたように、TWITTER(登録商標)用のアイコンに加えてTWITTERハンドル)を含む。図16S~図16Tは、タッチ感知式セカンダリディスプレイ104がプライマリディスプレイ102を介して受信された入力に応答して更新されたことも示す。例えば、URLバーを選択する入力5014及びURLバー内の一部のテキストにおけるユーザタイピングに応答して、タッチ感知式セカンダリディスプレイ104は、テキスト完成オプション(例えば、図16Tに示されたように、ドメインネームをタイプする間にユーザを助けるために「.com」、「.net」、「.org」など)を含むように更新される。
図17A~図17Gは、タッチ感知式セカンダリディスプレイ104を介してユーザにコンテンツ(例えば、様々なフォーム要素を完成させるコンテンツ)及びアクション(例えば、支払を依頼するアクション)を提案する例を提供する。図17Aに示されたように、ユーザがプライマリディスプレイ102上のフォーム入力要素を含むウェブページと対話している間、タッチ感知式セカンダリディスプレイ104は、フォーム要素を完成させる際に使用するためのコンテンツを提案することを含むように更新される。例えば、ユーザは、「Home」又は「Work」のいずれかのアドレス情報を自動で完成させるためのアフォーダンスを提供される(図17A)。別の例として、初期フォーム要素を完成させ、支払入力ページにナビゲートした後、タッチ感知式セカンダリディスプレイ104は、(図17Bに示されたように)記憶されたクレジットカードの詳細に対応するアフォーダンスを含むように更新される(タッチ感知式セカンダリディスプレイ104における特定のアフォーダンスを選択すると、プライマリディスプレイ102は、特定のアフォーダンスに対応する記憶されたクレジットカードの詳細を含むように更新される)。別の非限定的な例は、提案又は記憶されたパスワードを入力するためのアフォーダンスを提供している(図17F~図17G)。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、(図17C~図17Eに示されたように)ユーザが認証された指紋を提供した後に支払を送るためのアフォーダンスも含む。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、メディアプレーヤアプリケーションを介して利用可能なオーディオ記録機能、ビデオ記録機能、及びスクリーン記録機能に対応するアフォーダンスも表示する。いくつかの例が図18A~図18Iに示されている。図18Aに示されたように、ユーザがプライマリディスプレイ102上にオーディオ記録ダイアログをオープンしたことに応答して、タッチ感知式セカンダリディスプレイ104は、オーディオ記録を開始するためのアフォーダンス5061及びオーディオオプションを構成するためのオプションのアフォーダンス5060を含むように更新される。
いくつかの実施形態では、アフォーダンス5060の選択に応答して、タッチ感知式セカンダリディスプレイ104は、利用可能な音声入力ごとの選択可能なオプション(例えば、図18Bに示されたような「Built-in Audio」用のオプション及び「Neumann KMS」用の別のオプション)を含むように更新される。いくつかの実施形態では、選択可能なオプションは、タッチ感知式セカンダリディスプレイ104内にオーバーレイ表示モードで表示され、タッチ感知式セカンダリディスプレイ104の左側に示された「×」アイコンの選択に応答して、オーバーレイ表示モードが終了し、タッチ感知式セカンダリディスプレイ104が図18Aに示されたように再び現れる。
次に図18Cを参照すると、ユーザがプライマリディスプレイ102上にスクリーン記録ダイアログをオープンしたことに応答して、タッチ感知式セカンダリディスプレイ104は、スクリーン記録を開始するための第1のアフォーダンス及びオーディオオプションを構成するためのオプションの第2のアフォーダンスを含むように更新される。第2のアフォーダンスの選択を検出したことに応答して、タッチ感知式セカンダリディスプレイ104は、オーディオオプションを提示するように更新される。いくつかの実施形態では、第1のアフォーダンスの選択を検出したことに応答して、タッチ感知式セカンダリディスプレイ104は、(図18Eのそこから記録するスクリーンを選択するためのオプションを含む)記録オプションを提示するように更新され、ユーザが記録オプションから選択した後、スクリーン記録が開始され、プライマリディスプレイ102はスクリーン記録が始まったことを示すように更新される。他の実施形態では、第1のアフォーダンスを選択した後直ちにスクリーン記録が始まる。
図18F~図18Gは、ユーザがビデオ記録ダイアログをオープンしたことに応答して、タッチ感知式セカンダリディスプレイ104に示された例示的なアフォーダンスを示す。いくつかの実施形態では、ユーザは、これらのアフォーダンスを利用して、(図18Gに示されたような)カメラオプション及びオーディオ入力オプションなどの記録オプションを迅速に(かつこれらのオプションの位置を特定するために複雑なメニュー階層をナビゲートする必要なしに)構成することができる。
いくつかの実施形態では、ユーザがオーディオ、ビデオ、又はスクリーンコンテンツの記録を開始し、ユーザがメディアアプリケーションを終了した場合、タッチ感知式セカンダリディスプレイ104は、(進行中の記録用のファイルサイズなどの)ステータスインジケータ及び進行中の記録を制御することを可能にするユーザインタフェースコントロールを含むように構成されている(図18H)。いくつかの実施形態では、ユーザが記録を開始し、ウェブブラウザアプリケーションをオープンすることによってメディアアプリケーションを終了し、次いで図18Hに示された「×」アイコン(例えば、入力5800)を選択した場合、それに応答して、タッチ感知式セカンダリディスプレイ104は、ウェブブラウザに対応するアフォーダンスを含むように更新され、進行中の記録に対応する記録ステータスインジケータ5801は、(例えば、図18Iに示されたように)タッチ感知式セカンダリディスプレイ104内に設けられる。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104内に提示されたコントロール及び/又はアフォーダンスは、メディアアイテムを再生しながら有用な機能への迅速かつ容易なアクセスを提供することも助ける。有用な機能のいくつかの例には、メディアアイテムを探索すること、字幕及びオーディオ構成オプションを選択すること、並びに/又はメディアアイテムをトリミングすることが挙げられる(例えば、有用な機能を実行するタッチ感知式セカンダリディスプレイ104内に示された例示的なユーザインタフェースが図19A~図19Kにおいて提供される)。
図19Aに示されたように、プライマリディスプレイ102がメディアアイテムを表示している間、タッチ感知式セカンダリディスプレイ104はメディアアイテムの部分の表現を含む。いくつかの実施形態では、ユーザはメディアアイテムを迅速にナビゲートするために入力を提供することができる。例えば、入力5015-A及びタッチ感知式セカンダリディスプレイ104全体にわたる実質的に右向きの入力5015-Aの移動に応答して、プライマリディスプレイは、(図19Aのシーン#1Aに対応するコンテンツを示すことから図19Bのシーン#4Aに対応するコンテンツを示すことに行くように)メディアアイテムを探索するように更新される。タッチ感知式セカンダリディスプレイ104はまた、入力5015-Aの移動に従ってメディアアイテムの部分の表現を探索する。図19Bに示されたように、入力5015-Aが時間ベース又は強度ベースの閾値を満たすとの判定に従って、タッチ感知式セカンダリディスプレイ104は、入力5015-Aによって現在接触されている表現のうちの1つのためのズームインビューを提供する。
いくつかの実施形態では、メディアアイテムの部分の表現はメディアアイテムのタイプに対応する。例えば、メディアアイテムが第1のタイプ(例えば、サムネイルが利用可能な記憶されたビデオコンテンツ又は他のビデオコンテンツ)であるとの判定に従って、タッチ感知式セカンダリディスプレイ104は、メディアアイテム内の特定のフレームのサムネイル表現を含む。メディアアイテムが第2のタイプ(例えば、サムネイルプレビューが利用できないストリーミングビデオコンテンツ)であるとの判定に従って、タッチ感知式セカンダリディスプレイ104は、(図16Rに示されたように)サムネイル表現を含まない。メディアアイテムが第3のタイプ(例えば、ライブビデオコンテンツ)であるとの判定に従って、タッチ感知式セカンダリディスプレイ104は、(図19Hに示されたように)サムネイル表現を含まない。メディアアイテムが第4のタイプ(例えば、オーディオのみのコンテンツ)であるとの判定に従って、タッチ感知式セカンダリディスプレイ104は、(図19Iに示されたように)メディアアイテムを表すオーディオグラフを含む。
いくつかの実施形態では、(例えば、メディアコンテンツプロバイダ又は他の関連するエンティティを介して)字幕が利用可能であるとの判定に従って、タッチ感知式セカンダリディスプレイ104は、(図19F及び図19G向けに示されたように)オーディオ構成アフォーダンス5805を含む。オーディオ構成アフォーダンス5805の選択を検出したことに応答して、タッチ感知式セカンダリディスプレイは、メディアアイテム用の利用可能な字幕及びオーディオ構成オプションを表示するように更新される(例えば、例が図19C及び図19Dに示されている)。
いくつかの実施形態では、上記で説明されたメディアアイテムも編集可能であり、タッチ感知式セカンダリディスプレイ104は、(例えば、図19J~図19Kに示されたようにメディアアイテムをトリミングするために)メディアアイテムを修正することを可能にするユーザインタフェースコントロールを含む。
次に図20A~図20Gを参照すると、高速データ入力を容易にする、詳細には、リマインダ(又は他のタイプのアプリケーション用の他のオブジェクトタイプ)の作成を速くすることを助けるために、タッチ感知式セカンダリディスプレイ104が使用される例示的なユーザインタフェースが提示される。いくつかの実施形態では、ユーザがリマインダアプリケーションを開始したことに応答して、タッチ感知式セカンダリディスプレイ104は、(例えば、図20Aの入力5016を使用して)選択されると、新しいリマインダ(又は他のタイプのアプリケーション用の他の何らかの新しいコンテンツアイテム)の作成をもたらす、新しいオブジェクトアフォーダンスを含むように埋め込まれる。
入力5016を検出したことに応答して、タッチ感知式セカンダリディスプレイ104は、非アクティブ状態で新しいオブジェクトアフォーダンスを表示し(すなわち、新しいオブジェクトアフォーダンスはグレーアウトされ、選択可能ではない)、リマインダ完了アフォーダンス(例えば、選択されると、プライマリディスプレイ102上で現在選択されているリマインダを完了として、タッチ感知式セカンダリディスプレイ104と通信しているコンピューティングデバイスにマークさせるチェックマークアイコン)、リマインダ詳細アフォーダンス(選択されると、現在選択されているリマインダに関連付けられた詳細を編集するためのオプションをコンピューティングデバイスに表示させる円内に含まれるi)、及び現在選択されているリマインダにテキストを追加するためのテキスト入力オプションを表示する。いくつかの実施形態では、リマインダ完了アフォーダンス及びリマインダ詳細アフォーダンスは、現在選択されているリマインダ用のタイトルをユーザが提供するまで、非アクティブ状態で当初示される。図20Cに示されたように、ユーザがタイトルを提供したとの判定に従って、タッチ感知式セカンダリディスプレイ104は、アクティブで選択可能な状態で、新しいオブジェクトアフォーダンス、リマインダ完了アフォーダンス、及びリマインダ詳細アフォーダンスを表示する。図20Cは、ユーザが追加テキストを提供するにつれてテキスト入力オプションが変化する(例えば、新しいテキスト入力オプションはユーザによって前に入力されたテキストに少なくとも部分的に基づいて選択される)ことも示す。
リマインダ詳細アフォーダンスにおける入力(例えば、入力5017)に応答して、タッチ感知式セカンダリディスプレイ104は、前に示されたテキスト入力オプションの代わりに、「Add Time」アフォーダンス及び「Add Location」アフォーダンス(図20D)を含むように埋め込まれる。
Add Timeアフォーダンスにおいて入力5018を検出したことに応答して、タッチ感知式セカンダリディスプレイ104は、プライマリディスプレイ102上で現在選択されているリマインダ用の日付及び時刻を選択するためのオプションを含むように埋め込まれる。図20E~図20Fに示されたように、プライマリディスプレイ102上に示されたリマインダアプリケーション用のユーザインタフェースは、(例えば、ユーザがリマインダ時刻を午後1時から午後1時45分に修正したことを反映するように)それに応じて更新される。
いくつかの実施形態では、(例えば、図20E内で「6月25日」を示す)日付アフォーダンスにおいてジェスチャ(例えば、0.5~1.5秒などの所定の時間を超えてタッチ感知式セカンダリディスプレイ104と接触したままであるプレスアンドホールドジェスチャ)に応答して、タッチ感知式セカンダリディスプレイは、新しい日付を選択することを可能にするコントロールを含むように更新される。いくつかの実施形態では、新しい日付を選択することを可能にするコントロールは、ジェスチャがタッチ感知式セカンダリディスプレイに接触したポイントに現れ、そこから延伸する。いくつかの実施形態では、ユーザは、次いで、コントロールを介してジェスチャをスライドさせ、リマインダで使用するための新しい日付を選択することができる。いくつかの実施形態では、コントロールを表示することとともに、図20Eに示された時間スライドは、選択された時間範囲のみが示された表示サイズよりも小さい表示サイズに縮小される。
Add Locationアフォーダンスの上の入力5019を検出したことに応答して、タッチ感知式セカンダリディスプレイ104は、(図20Gに示されたように)位置選択オプションを含むように埋め込まれる。図20Gに示されたように、位置選択オプションのうちの1つ(例えば、入力5020を使用する「Home」オプション)の選択に応答して、プライマリディスプレイ102は、(例えば、選択された位置に対応するアドレス及びマップ表現を含むように)それに応じて更新される。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、デスクトップ管理アプリケーション(例えば、FINDERアプリケーション)を介して利用可能な機能にアクセスすることを可能にするアフォーダンスを含むように埋め込まれる。図21A~図21Jは、選択されると、タッチ感知式セカンダリディスプレイ104と通信しているコンピューティングデバイスに(ファイルを検索すること、ファイル名及び他の特性を修正すること、ファイルを共有、ポスト、又は移動すること、並びにファイルを削除することを含む)様々なファイル管理機能を実行させる、タッチ感知式セカンダリディスプレイ104内に示された例示的なアフォーダンスを示す。
いくつかの実施形態では、ユーザが最初にデスクトップ管理アプリケーションにアクセスすると、タッチ感知式セカンダリディスプレイ104は、図21Aに示されたように、デスクトップ管理アプリケーション用のいかなるアプリケーション固有アフォーダンスも表示しない(他の実施形態では、タッチ感知式セカンダリディスプレイ104は、お気に入りフォルダにアクセスするためのオプションを含んでもよい)。プライマリディスプレイ102上に新しいウィンドウ(例えば、図21Bの「All My Files」ウィンドウ)を開始したことに応答して、かつ新しいウィンドウ内に示されたファイルを選択する前に、タッチ感知式セカンダリディスプレイ104は、様々なフォルダ、内部ディスクドライブ、リムーバブル/外部ディスクドライブなどをナビゲートするためのアフォーダンスを含むように埋め込まれる。例えば、図21Bに示されたように、タッチ感知式セカンダリディスプレイ104は、更なるアフォーダンスを見せるために右から左のスワイプジェスチャを実行することにより、「iCloud Drive」、「Home」、「Applications」、「Documents」、「Desktop」などにナビゲートするためのアフォーダンスを含む。
いくつかの実施形態では、示された新しいウィンドウ内に表示されているそれぞれのファイルの選択(例えば、図21Cの「読取り専用ファイル」の選択、又は図21Dの他の何らかのファイルの選択)に応答して、タッチ感知式セカンダリディスプレイは、それぞれのファイルと対話するためのオプションを含むように更新される。いくつかの実施形態では、それぞれのファイルが読取り専用ファイルであるとの判定に従って、タッチ感知式セカンダリディスプレイ104内に提示されたオプションのうちのいくつかは非アクティブ表示モードで示される(例えば、「New Folder with Selection」オプション、「Add Tags」オプション、及び「Move To」オプションは図21Cにおいてグレーアウトされる)。いくつかの実施形態では、それぞれのファイルが読取り専用ファイルではないとの判定に従って、すべてのオプションは(例えば、図21Dに示されたように)アクティブ表示モードで提示される。
いくつかの実施形態では、オプションのうちのいずれか1つの選択に応答して(例えば、入力5021、5022、及び5023のうちのいずれか1つに応答して)、タッチ感知式セカンダリディスプレイ104が更新される。例えば、入力5021に応答して、タッチ感知式セカンダリディスプレイ104は、(図21Eに示されたように)それぞれのファイルにタグ付けするためのオプションを含むように更新され、入力5022に応答して、タッチ感知式セカンダリディスプレイ104は、(図21Fに示されたように)それぞれのファイルを移動するためのオプションを含むように更新され、入力5023に応答して、タッチ感知式セカンダリディスプレイ104は、(図21Gに示されたように)それぞれのファイルを共有するためのオプションを含むように更新される。
いくつかの実施形態では(かつ図21Gに示されたように)、それぞれのファイルを共有するためのオプションは、メールアプリケーションを介してそれぞれのファイルを送信すること、近距離通信プロトコル(例えば、AIRDROP)を介してそれぞれのファイルを送信すること、及び/又は1つ以上のソーシャルネットワーキングアプリケーション(例えば、TWITTER、FACEBOOK(登録商標)、INSTAGRAMなど)を介してそれぞれのファイルをポストすることを含む。ユーザが図21Gに示された共有/送信/ポストオプションのうちの1つを選択した後、プライマリディスプレイ102は適切なアプリケーションを表示するように更新され、タッチ感知式セカンダリディスプレイ104は下位共有オプションを表示するように更新される。例えば、入力5025(図21G)に応答して、プライマリディスプレイ102は適切なアプリケーション(例えば、ポストされるそれぞれのファイルの表現を含むTWITTERアプリケーション)を表示するように更新され、タッチ感知式セカンダリディスプレイ104は、選択されると、それぞれのファイル及び任意の追加テキストをポストするボタン、並びにポストにテキストを追加するためのテキスト入力オプションを表示するように更新される。
別の例として、入力5024-A(図21G)に応答して、タッチ感知式セカンダリディスプレイ104は、それぞれのファイルが送信されるべきデバイスを選択するための下位共有オプションを含むように更新される(例えば、図21Iに示されたように、タッチ感知式セカンダリディスプレイは、それぞれのファイルが送信されてもよい複数の近隣デバイスの各々のためのアフォーダンスを含む)。入力5024-Bに応答して、コンピューティングデバイスは、それぞれのファイルの送信を開始し、タッチ感知式セカンダリディスプレイ104は、送信の進捗を反映するステータスインジケータ5092を含むように更新される(図21J)。
図22A~図22Cは、(階層メニューからごみ箱を空にする機能をナビゲートし、位置特定し、次いで選択する必要なしに)タッチ感知式セカンダリディスプレイ104を使用してごみ箱を空にする機能に迅速にアクセスする例を示し、これらの機能は、単一の入力を使用する選択用にタッチ感知式セカンダリディスプレイ104内に表示される。いくつかの実施形態では、ファイルが選択されていないときに「Trash」用のウィンドウを見ている間、タッチ感知式セカンダリディスプレイ104は、選択されると、コンピューティングシステムにごみ箱全体を空にさせるアフォーダンス(例えば、図22Aの「Empty Trash」アフォーダンス)を含む。いくつかの実施形態では(かつ図22Bに示されたように)、ファイルが選択されたときに「Trash」用のウィンドウを見ている間、タッチ感知式セカンダリディスプレイ104は、選択されると、コンピューティングシステムにごみ箱全体を空にさせるアフォーダンス(例えば、「Delete All」アフォーダンス)、選択されたファイルだけを削除させるアフォーダンス(例えば、「Delete Selection」アフォーダンス)、又はごみ箱から選択されたファイルを取り除かせるアフォーダンス(例えば、「Put Back」アフォーダンス)を含む。図22Cは、「Delete All」アフォーダンス又は「Empty Trash」アフォーダンスの選択に応答して、タッチ感知式セカンダリディスプレイ104が、プライマリディスプレイ102上のモーダルダイアログからのコントロールを表示してもよく、したがって、ユーザがタッチ感知式セカンダリディスプレイ104のみにおいて入力を提供することにより、ごみ箱を空にする機能を迅速かつ容易に完了することが可能になることを示す。
いくつかの実施形態では、ごみ箱ウィンドウを見ている間、又は他のウィンドウ(例えば、All My Filesウィンドウ)を見ている間、ユーザは、検索ボックスを選択することによってすべてのファイルの検索を開始することができる。検索ボックスの選択に応答して、タッチ感知式セカンダリディスプレイ104は、検索オプション(例えば、図23Aの検索が行われるべきディレクトリ若しくはフォルダを選択するためのオプション、又は図23Bの「Filename」若しくは「Everything」のいずれによって検索するかを選択するためのオプション)を含むように更新される。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、ドキュメント編集機能に迅速にアクセスすることを可能にするアフォーダンスを含むように埋め込まれる(いくつかの例が図24A~図24Nに提供されている)。
詳細には、図24Aに示されたように、ユーザがドキュメント編集アプリケーション(例えば、ワードプロセッシングアプリケーション)を開始したことに応答して、タッチ感知式セカンダリディスプレイ104は、ドキュメント編集機能を実行するためのアフォーダンスのセットを含むように埋め込まれる。いくつかの実施形態では、アフォーダンスのセットは、第1のアフォーダンス5501(例えば、一般編集アフォーダンス5501)、第2のアフォーダンス5502(例えば、強調スタイルアフォーダンス5502)、及び第3のアフォーダンス5503(例えば、マークアップアフォーダンス5503)を含む。いくつかの実施形態では、第1、第2、及び第3のアフォーダンスの各々は、ユーザ入力の後に表示される追加アフォーダンスに関連付けられる。例えば、第1のアフォーダンス5501の選択に応答して、タッチ感知式セカンダリディスプレイ104は、第1のアフォーダンスに関連付けられた追加アフォーダンスを含むように構成されている(図24A)。
図24Aに示されたように、第1のアフォーダンスに関連付けられた追加アフォーダンスは、(i)選択されると、プライマリディスプレイ102上の選択されたオブジェクトを反時計方向に90度回転させる反時計回転アフォーダンスと、(ii)選択されると、プライマリディスプレイ102上の選択されたオブジェクトを時計方向に90度回転させる時計回転アフォーダンスと、(iii)選択されると、プライマリディスプレイ102上の矩形選択ツールの使用を可能にする矩形選択ツールと、(iv)任意選択のテキストオプションアフォーダンスと、(v)選択されると、プライマリディスプレイ102に表示されたオブジェクトの選択された部分の切り抜きをもたらす切り抜きアフォーダンスとを含む。図24Aは、(例えば、入力5027を介した)タッチ感知式セカンダリディスプレイ104からの矩形選択ツールの選択も示す。
図24Bでは、ユーザは、プライマリディスプレイ102上の表示されたドキュメントの一部分を選択しており、(例えば、入力5028を介して)タッチ感知式セカンダリディスプレイ104から強調スタイルアフォーダンス5502も選択する。強調スタイルアフォーダンス5502の選択に応答して、タッチ感知式セカンダリディスプレイ104は、様々な色で強調するための5つの異なるアフォーダンス、アンダーラインアフォーダンス、及び取り消し線アフォーダンスを含む、強調スタイルアフォーダンスに関連付けられた追加アフォーダンスを含むように更新される(図24C)。
図24Cは、(例えば、入力5029を介した)マークアップアフォーダンス5503のユーザ選択も示し、それに応答して、タッチ感知式セカンダリディスプレイ104は、マークアップアフォーダンス5503に関連付けられたデフォルトのアフォーダンス(例えば、マークアップアフォーダンス5503の近傍の図19Kに示されたアフォーダンス)を含むように更新される。いくつかの実施形態では、デフォルトのアフォーダンスは、プライマリディスプレイ102が画像コンテンツを含む場合に表示される1つ以上のオプションのアフォーダンス5030を含む。いくつかの実施形態では、ユーザがプライマリディスプレイ102上のオブジェクトを選択すると、デフォルトのアフォーダンスは、プライマリディスプレイ102上で現在選択されているオブジェクトのタイプ(例えば、グラフィックオブジェクト又はテキストオブジェクト)に基づいて選択された追加アフォーダンスと置き換えられる。
例えば、プライマリディスプレイ102上で現在選択されているオブジェクトのタイプが第1のタイプである(例えば、図24Eに示された「**New Text Object」などのテキストオブジェクトである)との判定に従って、追加アフォーダンスは図24Eに示されたアフォーダンスを含む。追加アフォーダンスは、プライマリディスプレイ102で選択されたオブジェクトをレンダリングするために使用される視覚的特性の容易かつ迅速な修正を可能にする(例えば、図24F~図24Gに示されたように、ユーザはカラーピッカ用のコントロールを単に調整/スライドすることによって色特性を修正することができる)。プライマリディスプレイ102上で現在選択されているオブジェクトのタイプが第2のタイプである(例えば、図24Gに示された赤い線などの描画されたグラフィックオブジェクトである)との判定に従って、追加アフォーダンスは図24Gに示されたアフォーダンスを含む。
いくつかの実施形態では、ユーザが(例えば、図24Hにおいてプライマリディスプレイ102上に示されたドキュメント編集アプリケーションなどの)アプリケーションを終了しようと試みる場合、タッチ感知式セカンダリディスプレイ104は、モーダル保存ダイアログと対話するためのオプションを含むように更新される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104はまた、(例えば、図24Iに示されたように)プライマリディスプレイ102に現在表示中のドキュメントを印刷する要求に応答して、印刷オプションを表示するように構成されている。
図24J~図24Kは、ラインスタイルを修正するユーザ要求に応答して(例えば、図24J)、かつテキストスタイルを修正するユーザ要求に応答して(例えば、図24K)、タッチ感知式セカンダリディスプレイ104に表示される例示的なアフォーダンスを含む。
いくつかの実施形態では、ドキュメント編集機能は、メールメッセージ(例えば、電子メール、テキストメッセージなど)内に含まれるオブジェクトをマークアップするために利用可能である。図24L~図24Nは、タッチ感知式セカンダリディスプレイ104が上述されたドキュメント編集機能(詳細には、マークアップアフォーダンス5503に関連付けられた機能)のうちのいくつかを含むように埋め込まれる例を提供する。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、ロック解除動作を実行するためのアフォーダンスを含むように埋め込まれる。例えば、図25Aは、ロックされたオブジェクト(例えば、ロックされたノートファイルオブジェクト)にアクセスするように要求する入力5901を含む。入力5901を検出したことに応答して、タッチ感知式セカンダリディスプレイ104は、(図25Aに示されたように)テキスト編集オプション及びテキスト提案オプションの表示を止め、代わりに、タッチ感知式セカンダリディスプレイ104に(又はその近傍に)認可された指紋を提供することにより、ロックされたオブジェクトがロック解除され得るという指示を表示する。図25Bに示されたように、タッチ感知式セカンダリディスプレイ104は、ノートアプリケーション用のアイコン、及びどこに指紋が提供されるべきかをユーザに指示する矢印とともに「IDにタッチしてノートをロック解除する」指示を含む。このようにして、ユーザは、潜在的に非常に長いパスコードを入力する必要なしに、単一の入力(認可された指紋)を提供することにより、ロックされたオブジェクトをロック解除することができる。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104はまた、(i)ユーザが(例えば、図26Aに示されたように)ログイン画面にアクセスすること、又は(例えば、図26Cに示されたように)ログイン画面若しくは他から異なるユーザに切り替えるように試みること、(ii)ユーザが(例えば、図26Bに示されたように)ロックされたスクリーンセーバーから出ること、(iii)ユーザが(例えば、図26Dに示されたように)ロックされたシステムプリファレンスにアクセスするように試みること、及び(iv)ユーザが(例えば、図26Eに示されたように)新しいコンポーネントをインストールするように試みることに応答して、ロック解除機能を実行するための指示を含むように埋め込まれる。
いくつかの実施形態では、コンピューティングシステムが少なくとも2人のユーザに関連付けられている(例えば、コンピューティングシステムが少なくとも2人のユーザの各々のためのログインプロファイルを有するように構成されている)場合、コンピューティングシステムが最初に起動されると、少なくとも2人のユーザのうちの第1のユーザとしてログインするか、又は第2のユーザとしてログインするかを選択することを可能にするログイン画面が表示される。いくつかの実施形態では、それぞれのユーザが(例えば、指紋を受け入れるタッチ感知式セカンダリディスプレイ104の領域において)認可された指紋を提供していることを検出したことに応答して、コンピューティングシステムは、認可された指紋を第1のユーザ又は第2のユーザのうちの1人と照合し、次いで一致したユーザに固有の新しいログイン画面をプライマリディスプレイ102に表示させる(例えば、新しいログイン画面は、コンピューティングシステムにアクセスするためにパスワードを入力するようにそれぞれのユーザに依頼する)。このようにして、それぞれのユーザは、ログイン画面から少なくとも2人のユーザのうちの1人を選択するために、トラックパッド又はマウスを使用してナビゲートする必要なしに、指紋を提供するだけでよい。
いくつかの実施形態では、認可された指紋を提供することにより、それぞれのユーザがコンピューティングシステムに直ちにアクセスすることが可能になる。いくつかの実施形態では、最初のログインが既に行われており(例えば、最初のログイン中に、コンピューティングシステムにアクセスするためにパスワードが入力されており)、コンピューティングシステムは一定時間後にロックされている。次いで、ユーザが一定時間後にアクセスするために認可された指紋を提供した場合、認可された指紋がコンピューティングシステムの正規ユーザと一致するとの判定に従って、コンピューティングシステムへの即時アクセスが許可される。いくつかの実施形態では、コンピューティングシステムが一定時間後にロックされると、少なくとも2人のユーザは、コンピューティングシステムにおいてアクティブログインセッションを有する(これら2人のユーザのうちのいずれかがコンピューティングシステムに再アクセスするために、単に指紋を提供することができる)。コンピューティングシステムにアクセスし、コンピューティングシステムにおいて他の機能を実行するために生体センサを使用することに関する追加の詳細は、図66及び図67を参照して下記に記載される方法2800及び方法2900が下記に提供される。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、写真(又は他のメディアアイテム)をナビゲートするための、及び写真編集アプリケーション又は写真ブラウジングアプリケーションを介して利用可能な他の機能を実行するためのアフォーダンスを含むように埋め込まれる。いくつかの例が図27A~図29Tに示される。
詳細には、図27Aは、ユーザがプライマリディスプレイ102上で写真編集アプリケーションに関連付けられた複数の写真を見ている間、タッチ感知式セカンダリディスプレイ104が、(例えば、写真のうちの1つをお気に入りとしてフラグを立てる、写真を回転させる、かつ/又は写真を編集するために)複数の写真と対話するためのオプションの中でもとりわけ、複数の写真のうちの各々の表現(例えば、複数の写真のうちの各々のミニビュー5070-B、5071-Bなど)を含むように埋め込まれることを示す。図27Aは、写真編集アプリケーションが「写真E」を現在表示していること、及び、写真Eが現在表示されている写真であることの指示を提供するために、タッチ感知式セカンダリディスプレイ104内の写真E用のそれぞれの表現(例えば、表現5071-B)がより大きいフォーマットで表示されていることを示す。
タッチ感知式セカンダリディスプレイ104において入力(例えば、タップ又はスワイプジェスチャ)を提供することにより、ユーザは、プライマリディスプレイ102上の複数の写真を迅速にナビゲートすることができる。例えば、図27Bに示されたように、ユーザは、タッチ感知式セカンダリディスプレイ104において実質的に右から左の方向のスワイプジェスチャ5068を提供し、それに応答して、プライマリディスプレイ102とタッチ感知式セカンダリディスプレイ104の両方は、スワイプジェスチャ5068の移動に従って更新される。スワイプジェスチャ5068がタッチ感知式セカンダリディスプレイ104全体にわたって移動すると、プライマリディスプレイ102に表示される写真は、(図27Bに示されたように)タッチ感知式セカンダリディスプレイ104内でスワイプジェスチャ5068によってどの表現が接触されたかに基づいて更新される。
図27Bは、(例えば、入力5030を介した)タッチ感知式セカンダリディスプレイ104上の編集ボタンの選択も示す。入力5030に応答して、タッチ感知式セカンダリディスプレイ104は、プライマリディスプレイ102上に示された現在選択されている写真用の(例えば、図27Cに示されたような)写真編集オプションを含むように更新される。いくつかの実施形態では、それぞれの写真編集オプションの選択に応答して、タッチ感知式セカンダリディスプレイ104は、(例えば、向上アフォーダンス用に図27Dに示されたような)選択を反映するように更新される。
(例えば、図27Eの入力5031を介した)ツールナビゲーションアフォーダンスの選択に応答して、タッチ感知式セカンダリディスプレイ104は、「Crop」、「Filters」、「Adjust」、「Retouch」、及び「Red-eye」の編集機能を含む、追加の編集ツールを含むように更新される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、選択されると、重なったコンテンツの表示をタッチ感知式セカンダリディスプレイ104に止めさせる「×」アイコンも含む(例えば、図27Gに示されたように、「×」アイコンの選択に応答して重なったコンテンツはもはや表示されない)。
図27Fの説明に戻ると、ユーザは、タッチ感知式セカンダリディスプレイ104に表示された追加編集ツールのうちのいずれかを選択することができる。いくつかの実施形態では、選択は、(例えば、入力5032、5033、5034、5035、及び5036のうちのいずれか1つを使用して)追加編集ツールのうちの1つをタップすることによって実行される。いくつかの実施形態では、ユーザは、ツールナビゲーションアフォーダンスの上で入力(例えば、入力5031、図27Eはプレスアンドホールド入力である)を押下し保持することができ、ユーザは、次いで、追加編集ツールのうちの所望の1つに向けて入力5031をスライドする(例えば、入力5032~5036は入力5031のリフトオフ又は選択を示す任意の更なる押下のいずれかに対応する)。図27H~図27Kは、切り抜きツールの入力5032の後に利用可能な例示的なコントロールを示す(いくつかの実施形態では、これらのコントロールは、オブジェクトを回転させるためのコントロール(図27H~図27I)及びオブジェクト用のアスペクト比を修正するためのコントロール(図27J~図27K)を含む)。
次に図27L~図27Mを参照すると、フィルタツールの上の入力5033に応答して利用可能な例示的なコントロールがタッチ感知式セカンダリディスプレイ104内に示される。入力5035及び5036については、これらの入力に応答してタッチ感知式セカンダリディスプレイ104に表示される例示的なコントロールが、それぞれ、図27N(修整コントロール)及び図27O(赤目コントロール)において提供される。
次に図28Aを参照すると、タッチ感知式セカンダリディスプレイ104内で入力5034に応答して表示された例示的な調整コントロールが示される。図28Aに示されたように、調整コントロールは、画像の明るさ、色、及びコントラスト(「B&W」)のアスペクトを修正するためのコントロールを含む。入力5039、5040、及び5041(それぞれ、図28A、図28B、図28C)の各々に応答して、タッチ感知式セカンダリディスプレイ104は、画像に対して、それぞれ、明るさ、色、及びコントラストを修正することを可能にするスライダコントロールを含むように更新される(図28A~図28Cに示されたように、プライマリディスプレイ102に表示された写真は、タッチ感知式セカンダリディスプレイ104においてそれぞれのスライダコントロールが修正されるときに更新される)。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104内でそれぞれのスライダコントロールが修正された後、プライマリディスプレイ102に表示された写真が修正を使用してレンダリングされたことを示すために、青色を使用して強調されたチェックマークが表示される。いくつかの実施形態では、ユーザは、チェックマークにおいてタップすることによって修正を容易に戻すことができる(例えば、カラースライダコントロール用のチェックマークにおける入力5043に応答して、図28Fに示されたように、写真Eはもはや色の修正を使用してレンダリングされず、タッチ感知式セカンダリディスプレイ104における青色強調はもはや提示されない)。図28Gは、明るさ、色、及びコントラストのスライダコントロールの各々についての様々な提示状態の概観を提供する。
タッチ感知式セカンダリディスプレイ104に表示され、写真をブラウズするために使用されるコントロールの更なる例が図28H~図28Lに示されている。詳細には、図28Hは、年/コレクションレベルで写真をナビゲートするための、タッチ感知式セカンダリディスプレイ104に表示されたコントロールを示す。図28Iは、年/コレクションレベルで写真をブラウズする間の写真の選択に応答して、タッチ感知式セカンダリディスプレイ104が(お気に入りアイコン及び回転アイコンを含む)追加オプションを含むことを示す。図28Jは、個々の写真をブラウズする間のお気に入りアイコンの選択を示す。図28Kは、写真をナビゲートする間にライブ写真の表現が接触された場合(かつ、いくつかの実施形態では、ライブ写真の表現においてスクラバが停止した後)、異なるスクラバ表現が提示されることを示し、図28Lは、写真をナビゲートする間にビデオの表現が接触された場合(かつ、いくつかの実施形態では、ビデオの表現においてスクラバが停止した後)、別の異なるスクラバ表現が提示され、ビデオの再生を可能にするために再生ボタンが設けられることを示す。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104に表示される表現は、様々なタイプのビデオに対して異なって提示される(例えば、スローモーションビデオ用の例が図28Mに示され、通常ビデオ用の例が図28Nに示される)。いくつかの実施形態はまた、(例えば、図28O~図28Pに示されたように)タッチ感知式セカンダリディスプレイ104から直接ビデオをトリミングすることを可能にする。
いくつかの実施形態では、(例えば、図29A~図29Dに示されたように)写真アプリケーション内のアルバムタブをナビゲートする間、(例えば、図29Eに示されたように)写真アプリケーション内の共有タブをナビゲートする間、及び(例えば、図29F~図29Jに示されたように)写真アプリケーションのアクティビティタブをナビゲートする間、タッチ感知式セカンダリディスプレイ104内に表示されるコントロールが提供される。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104内に表示されるコントロールは、写真アプリケーションを介してアクセスされるスライドショー及び印刷製品のために提供され(例が図29K~図29Oに示されている)、したがって、ユーザが迅速かつ容易にスライドショーにテキスト又は写真を追加すること、並びに出荷明細を追加し、印刷注文用の注文オプションを構成することを可能にする。
いくつかの実施形態では、写真アプリケーション内の写真を検索する間に、タッチ感知式セカンダリディスプレイ104は、(例えば、図29Pの特定の位置の近くで撮られた写真の検索を絞り込むことを助けるために)地図表示オプションを選択するためのコントロール、検索パラメータを選択するためのコントロールを選択するためのコントロール(例えば、図29Q)、及び/又は写真アプリケーションにインポートするために写真を選ぶためのコントロール(例えば、図29R~図29T)で埋め込まれる。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、システムワイド検索機能を実行するためにアフォーダンスで埋め込まれる。いくつかの例が図30A~図30Fに示されている。いくつかの実施形態では、検索クエリにテキストを追加するユーザ入力に応答して(例えば、図30Aと図30Bとの間に追加されたテキスト「写真」)、タッチ感知式セカンダリディスプレイ104は、(図30Bに示されたように)テキスト完了オプションを含むように更新される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104はまた、テキスト完了オプションに加えてアプリケーション制御アフォーダンスを含むように埋め込まれる。例えば、図30Cは連絡先アプリケーション用のアプリケーション制御アフォーダンスを示し、図30D及び図30Eはメディア再生アプリケーション用のアプリケーション制御アフォーダンスを示し、図30Fは地図アプリケーション用のアプリケーション制御アフォーダンスを示す。いくつかの実施形態では、アプリケーション制御アフォーダンスは、プライマリディスプレイ102上の特定の検索結果の選択に応答して表示され、特定の検索結果に対応するコンテンツと対話するために使用されてもよいコントロールを含む。
いくつかの実施形態では、システムワイド検索機能は、タッチ感知式セカンダリディスプレイにおいてジェスチャを使用してアクティブ化される。例えば、タッチ感知式セカンダリディスプレイ104全体にわたる実質的に下向き垂直方向のスワイプジェスチャに応答して、プライマリディスプレイは、システムワイド検索用のユーザインタフェース(図30Aに示されたユーザインタフェース)を表示させられる。いくつかの実施形態では、システムワイド検索をアクティブ化するこのジェスチャは、プライマリディスプレイがデスクトップユーザインタフェース(例えば、FINDERのページ)を表示しているときに利用可能である。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、(例えば、いくつかのオペレーティングシステムを介して利用可能なMISSION CONTROL機能を使用して)様々なワークスペースの間を選択するアフォーダンスで埋め込まれる。いくつかの例が図31A~図31Bに示されている。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、プライマリディスプレイ102に表示された多数の検索結果をナビゲートするアフォーダンスで埋め込まれる。いくつかの例が図32A~図32Eに示されている(更なる詳細は方法1200及び図50を参照して下記に提供される)。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、プライマリディスプレイ102上のメッセージングアプリケーションを使用する間に機能に迅速にアクセスするアフォーダンスで埋め込まれる。例が図33A~図33Kに示されている。
図33Aに示されたように、ユーザがプライマリディスプレイ102上に示されたメッセージングアプリケーション内で新しいメッセージを作成したことに応答して(又は、ユーザが受信者エリア内のメッセージングアプリケーションに示された「+」アイコンを選択したことに応答して)、タッチ感知式セカンダリディスプレイ104は、新しいメッセージに予測受信者を追加するためのアフォーダンスを含むように更新される。例えば、図33Aは、第1の予測受信者(John Appleseedの自宅)用の第1のアフォーダンス及び第2の予測受信者(John Campbellの自宅)用の第2のアフォーダンスを含む。タッチ感知式セカンダリディスプレイ104から第1のアフォーダンスを選択する入力5045に応答して、プライマリディスプレイ102上のメッセージングアプリケーション内の新しいメッセージは、第1の予測受信者に対応するアドレスを表示するように更新される。事前/予測提案は、参照によりその全体が本明細書に組み込まれる、米国特許出願第15/167,713号においてより詳細に説明される。
いくつかの実施形態では、新しいメッセージ用のテキスト入力フィールド(例えば、入力5046-A)の選択に応答して、タッチ感知式セカンダリディスプレイ104は、(i)選択されると、メッセージングアプリケーションを介してオーディオを記録及び送信するためのオプションをタッチ感知式セカンダリディスプレイ104に表示させるマイクロフォンアフォーダンス(図33G~図33K)、(ii)選択されると、新しいメッセージに追加するために絵文字を選択するためのオプションをタッチ感知式セカンダリディスプレイに表示させる絵文字アフォーダンス(図33C~図33D、また方法1500及び図53を参照して下記で詳細に記載される)、(iii)選択されると、新しいメッセージに追加するために1つ以上の写真を選択するためのコントロールをタッチ感知式セカンダリディスプレイに提供させるピクチャピッカアフォーダンス(図33F、例示的な写真ピッキングコントロールが図27A~図27Bを参照して上記でも説明されている)、並びに(iv)予測テキスト入力オプションの、(図33Bのタッチ感知式セカンダリディスプレイ104内の左から右に示された)表示を開始する。
いくつかの実施形態では、マイクロフォンアフォーダンスを選択した後、タッチ感知式セカンダリディスプレイ104は、選択されると、オーディオの記録をコンピューティングシステムに開始させる記録アフォーダンスを含むように更新される。いくつかの実施形態では、オーディオが記録されている間、タッチ感知式セカンダリディスプレイ104は、(図33Hに示されたように)記録されたオーディオの表現を含むように更新される。いくつかの実施形態では、オーディオの記録が終了した後(又は、図33Hのタッチ感知式セカンダリディスプレイ104内に示された記録停止ボタンをユーザが選択した後)、(図33Iに示されたように)送信ボタンがアクティブ化される。
いくつかの実施形態では、マイクロフォンアフォーダンスとの入力による接触後、入力は(図33Jに示されたように)オーディオ記録を開始するマイクロフォンアフォーダンスと接触したままである。いくつかの実施形態では、オーディオ記録を終了するために、ユーザはタッチ感知式セカンダリディスプレイとの接触から入力を取り除き、それに応答して、タッチ感知式セカンダリディスプレイは、完了したオーディオ記録の表現、キャンセルボタン、及びアクティブ送信ボタンを含む。
いくつかの実施形態では、プライマリディスプレイ102上のメッセージングアプリケーション内に示された特定の会話スレッドに含まれるメッセージングバブル(例えば、他の何らかのユーザから受信されたコンテンツを含むメッセージングバブル)の選択に応答して、タッチ感知式セカンダリディスプレイ104は、バブル確認応答を選択するためのコントロールを含むように更新される(例えば、写真ピッカアフォーダンスの近隣はバブル確認応答を選択するための例示的なコントロールである)。いくつかの実施形態では、選択されたメッセージングバブルがユーザによって送信された(すなわち、他の何らかのユーザによって送信されていない)メッセージに対応する場合、タッチ感知式セカンダリディスプレイ104は、バブル確認応答を選択するためのコントロールを含まない。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、図34A~図34Cに示されたように、連絡先アプリケーションを制御するためのアフォーダンスで埋め込まれる。いくつかの実施形態では、プライマリディスプレイ102に表示するために連絡先アプリケーションをオープンしたことに応答して、タッチ感知式セカンダリディスプレイ104は、(「esc」アフォーダンスの後に左から右に示された)連絡先アプリケーションを制御するための以下のアフォーダンス:(i)選択されると、新しい連絡先を追加するためのプロセスを連絡先アプリケーションに開始させる「+」アフォーダンス、(ii)選択されると、プライマリディスプレイ102上の連絡先アプリケーション内で現在選択されている連絡先への電話呼出を開始するオプションの電話呼出アフォーダンス、(iii)選択されると、連絡先アプリケーション内で現在選択されている連絡先へのビデオ呼出を開始するオプションのビデオ呼出アフォーダンス、(iv)選択されると、連絡先アプリケーション内で現在選択されている連絡先にメッセージを送信するためのメッセージングアプリケーションの表示をプライマリディスプレイ102に開始させるオプションのインスタントメッセージングアフォーダンス、(v)選択されると、連絡先アプリケーション内で現在選択されている連絡先への電子メールを構成するための電子メールアプリケーションの表示をプライマリディスプレイ102に開始させるオプションの電子メールアフォーダンス、(vi)選択されると、連絡先アプリケーション内で現在選択されている連絡先を編集することを可能にするモードにプライマリディスプレイ102を入らせる編集オプションをタッチ感知式セカンダリディスプレイ104に表示させる編集アフォーダンス、(vii)選択されると、連絡先アプリケーション内で現在選択されている連絡先を共有するためのオプションをタッチ感知式セカンダリディスプレイ104に表示させる共有アフォーダンスを含むように更新される。
いくつかの実施形態では、オプションの電話呼出、ビデオ呼出、インスタントメッセージング、及び電子メールは、各々、現在選択されている(すなわち、プライマリディスプレイ102上でフォーカスセレクタを有する)連絡先が、(連絡先用の電話番号が記憶されている)電話呼出を申し込むこと、(連絡先用の適切なユーザ名又は電子メールが記憶されている)ビデオ呼出を申し込むこと、(連絡先用の適切なユーザ名又は電子メールが記憶されている)インスタントメッセージを送信すること、又は(連絡先用の適切な電子メールアドレスが記憶されている)電子メールを送信することを可能にする、連絡先詳細に関連付けられているとの判定に従って表示される。いくつかの実施形態では、この判定が満たされない場合、それぞれのオプションのアフォーダンスは、全く表示されないか、又は非アクティブ状態で表示される(すなわち、それぞれのアフォーダンスは、グレーアウト、非選択可能状態で表示される)。
図34Aは編集アフォーダンスの上の入力5049も示し、入力5049に応答して、タッチ感知式セカンダリディスプレイ104は編集コントロールを含むように更新され、プライマリディスプレイ102は、(図34Bに示すされたように)連絡先を編集することを可能にするモードに入る。いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104内に示された編集コントロールは、プライマリディスプレイ102上でどの連絡先詳細が編集されているかに基づいて選択される。例えば、名前フィールド、会社フィールド、又は部門フィールドが現在編集されている(例えば、図34Bの名前フィールドについて示されたように、プライマリディスプレイ102上でフォーカスセレクタを有する)との判定に従って、次いで、タッチ感知式セカンダリディスプレイ104は、新しい連絡先詳細(例えば、新しい電話番号、新しい電子メールアドレス、新しい実際の住所、及び/又は新しい誕生日など)を追加するためのコントロールを含むように更新される。
別の例として、電話番号フィールドが編集されている(例えば、図34Cに示されたように、プライマリディスプレイ102上のフォーカスセレクタを有する)との判定に従って、次いで、タッチ感知式セカンダリディスプレイ104は、(図34Cに示されたように)プライマリディスプレイ102上で選択された電話番号にラベルを割り当てるか、又はそれを削除するためのコントロールを含むように更新される。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、図35A~図35Bに示されたように、計算器アプリケーションを制御するためのアフォーダンスで埋め込まれる。例えば、プライマリディスプレイ102上で計算器アプリケーションをオープンしたことに応答して、タッチ感知式セカンダリディスプレイ104は、計算器機能を制御するためのアフォーダンスを含むように埋め込まれる(例えば、これらのアフォーダンスの例が図35Aに示されている)。いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、(例えば、図35Bに示されたように)様々な通貨の間を迅速に変換するためのコントロールも提供する。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、図36A~図36Wに示されたように、カレンダーアプリケーションを制御するためのアフォーダンス、及びカレンダーアプリケーションに関連付けられたイベントを修正するためのアフォーダンスで埋め込まれる。いくつかの実施形態では、アフォーダンスは、様々なカレンダービュー(例えば、図36A~図36D)をナビゲートすることを可能にするアフォーダンス、並びに(例えば、図36E~図36Tに示されたように)イベント詳細を迅速に編集することを可能にするアフォーダンス、及び(例えば、図36U~図36Wに示されたように)保留されたイベント招待に応答することを可能にするアフォーダンスを含む。図36A~図36Wに関する更なる詳細は、方法1300及び図51を参照して下記に提供される。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、図37A~図37Mに示されたように、メールアプリケーションを制御するためのアフォーダンスで埋め込まれる。いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、プライマリディスプレイ102上でフォーカスセレクタを有する電子メールに適用されたフラグを効率的に変更するために使用される。図30A~図37Cに示されたように、ユーザはフラグアフォーダンスの上でプレスアンドホールドジェスチャを開始することができ、それに応答して、タッチ感知式セカンダリディスプレイ104は、フォーカスセレクタを有する電子メール用のフラグオプションを表示するように更新され、次いで、ユーザは所望のフラグ(例えば、紫色のフラグ)の上で(プレスアンドホールドジェスチャの連続移動で)スライドする。タッチ感知式セカンダリディスプレイ104は、次いで所望のフラグが選択されていることを示すように更新される(図37C)。
いくつかの実施形態では、(プライマリディスプレイ102又はタッチ感知式セカンダリディスプレイ104のいずれかでの)移動オプションの選択に応答して、タッチ感知式セカンダリディスプレイ104は、異なるフォルダ又はリポジトリに電子メールを移動するためのコントロールを含むように更新される(例が図37D~図37Eに示されている)。
いくつかの実施形態では、ユーザが電子メールメッセージを編集又は構成している間、タッチ感知式セカンダリディスプレイ104は、テキスト完成用のアフォーダンス(図37Fに示された「I」オプション、「The」オプション、及び「it」オプション)、選択されたテキストを編集するためのアフォーダンス(図37G~図37H、かつ図37Gに示されたキーボードアフォーダンスはテキストを編集するためのアフォーダンスの代わりにテキスト完成オプションを再表示するために使用される)、絵文字を選択するためのアフォーダンス(図37I)、並びに/又はテキストコンテンツ及び/若しくはグラフィックコンテンツに適用するために色を選択するためのアフォーダンス(図37J~図37K)を含むように更新される。
いくつかの実施形態では、テキスト完成用のアフォーダンスは、単語予測(例が図37Lに示されている)、スペリング訂正、及び/又は事前提案(例が図37Mに示されている)を含む。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、図38A~図38Jに示されたように、電話アプリケーションを制御するためのアフォーダンスで埋め込まれる。いくつかの実施形態では、ユーザが第1のアプリケーション(例えば、ウェブブラウジングアプリケーション)と対話している間、着信呼(例えば、ビデオ呼出又はオーディオ呼出)が受信される。着信呼が受信されたことを検出したことに応答して、コンピューティングシステムは、着信呼に関連付けられたアフォーダンスでタッチ感知式セカンダリディスプレイ104を埋め込む。例えば、図38Aに示されたように、タッチ感知式セカンダリディスプレイ104は、(i)電話をかけてきた人用の表現(例えば、電話をかけてきた人用の写真及び電話をかけてきた人が通話を開始したいという指示)、(ii)選択されると、(例えば、タッチ感知式セカンダリディスプレイ104内から所定の応答メッセージを選択することにより、又はユーザが電話をかけてきた人に送信するメッセージを構成することができるようにプライマリディスプレイ102上でメッセージングアプリケーションを開始することにより)ユーザがテキストメッセージで着信呼に応答することを可能にするメッセージングアフォーダンス、(iii)選択されると、着信呼を拒絶する拒絶アフォーダンス(着信呼が拒絶されたことを検出したことに応答して、コンピューティングシステムは、例えば、図38Eに示されたように、タッチ感知式セカンダリディスプレイ104にウェブブラウジングアプリケーション用のアフォーダンスの表示に戻させる)、(iv)選択されると、コンピューティングデバイスに着信呼を受諾させる受諾アフォーダンス、及び(v)選択されると、着信呼用のリマインダオプションをタッチ感知式セカンダリディスプレイ104に表示させるリマインダアフォーダンス(リマインダアフォーダンスの選択に応答して表示される例示的なリマインダオプションが図38Bに示されている)で埋め込まれる。
いくつかの実施形態では、着信呼の受諾を検出したことに応答して、コンピューティングシステムは、図38C及び図38Dに示されたように、着信呼用のステータス情報、並びに着信呼を終了させるための終了アフォーダンス及び着信呼をミュートするためのミュートアフォーダンスをタッチ感知式セカンダリディスプレイ104に表示させる。いくつかの実施形態では、着信呼が受信されたときにユーザが異なるアプリケーション(例えば、上記で説明されたウェブブラウジングアプリケーション)を以前に見ていた場合、タッチ感知式セカンダリディスプレイ104はオーバーレイモードでステータス情報を表示し(図38C)、オーバーレイモードでは、オーバーレイモードを終了させ、異なるアプリケーション用のコントロールに戻ることを可能にする「×」アフォーダンスが表示される(図38Cにおいて「×」アフォーダンス「の選択を検出したことに応答して、タッチ感知式セカンダリディスプレイ104は、図38Eに示されたコントロールなどの、異なるアプリケーション用のコントロールの表示に戻る)。
いくつかの実施形態では、着信呼が受信されたときにユーザが電話アプリケーション(例えば、FACETIMEアプリケーション)を見ていた場合、タッチ感知式セカンダリディスプレイ104は図38Dに示されたようなステータス情報を表示し、そこでは、上記で説明された「×」アフォーダンスの代わりに「esc」アフォーダンスが表示される。プライマリディスプレイ102上に何が表示され、プライマリディスプレイ102と対話するかに応じて、タッチ感知式セカンダリディスプレイ104の最左領域内の「×」、「esc」、及び他のアフォーダンスの表示間の切替えに関する更なる詳細は、スマートラベルボタンに関して下記に提供される。
いくつかの実施形態では、着信呼がオーディオ呼出であるとの判定に従って、タッチ感知式セカンダリディスプレイ104は、選択されると、ビデオ呼出を始めるように電話をかけてきた人への要求を開始するビデオアフォーダンスで埋め込まれる(ビデオアフォーダンスの例が図38Fに示されている)。
いくつかの実施形態では、上記で説明された着信呼が進行中の間に新しい呼が受信された場合、タッチ感知式セカンダリディスプレイは、(図38G(新しい呼が受信されたときに表示されるアフォーダンス)~図38H(新しい呼が受諾されたときに表示されるアフォーダンス)に示されたように)新しい呼に対応する情報及びアフォーダンスを含むように埋め込まれる。いくつかの実施形態では、マージアフォーダンスの選択を検出したことに応答して、2つ以上の進行中の呼がマージされ、タッチ感知式セカンダリディスプレイは、2つ以上の進行中の呼がマージされたことを反映するように更新される(例えば、図38Iに示されたように、2つ以上の進行中の呼に対応する表現が分割される代わりに重なるように示される)。
いくつかの実施形態では、呼の障害が発生したとの判定に従って、タッチ感知式セカンダリディスプレイ104は、(例えば、図38Jに示されたように)失敗した呼からのメッセージング及び/又は別の当事者へのかけ直し用のアフォーダンスで埋め込まれる。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、図39に示されたように、アクティビティ監視アプリケーションを制御するためのアフォーダンスで埋め込まれる。例えば、これらのアフォーダンスは、アクティビティ監視アプリケーションの各タブの間を切り替えるためのアフォーダンスを含み、これらのアフォーダンスの各々は、(図39に示されたように)それぞれの対応するタブに関連付けられた現在のプロセッサアクティビティの表現とともに表示される。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、図40に示されたように、アクティビティロギングアプリケーションを制御するためのアフォーダンスで埋め込まれる。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、(コンピューティングシステムが図41A~図41Bのタッチ感知式セカンダリディスプレイ104における動的レンダリングコントロールと互換性がないオペレーティングシステム内でブートアップするモードなどの)異なるブートモードにある間いくつかの機能にアクセスするためのアフォーダンス、システムプリファレンスを見るためのアフォーダンス(例えば、図41Cの「Show All」アフォーダンス)、及びスクリーンショットを取り込むためのアフォーダンスで埋め込まれる(例えば、「command+shift+4」などのキーボード入力の既定のシーケンスに応答して、(又は図35Bのタッチ感知式セカンダリディスプレイの右側システムトレイ部分内に示された写真アイコンをユーザが選択することに応答して)タッチ感知式セカンダリディスプレイ104は、図41Eのスクリーンショットを取り込むためのコントロールで埋め込まれる)。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、図42A~図42Bに示されたように、仮想支援アプリケーションを制御するか、又はそれに追加情報を提供するためのアフォーダンスで埋め込まれる。いくつかの実施形態では、コンピューティングシステムは、ユーザからの口頭コマンドの受信に応答して、タッチ感知式セカンダリディスプレイ104を更新する。例えば、コンピューティングシステムは、(例えば、図42A~図42Bに示されたように)タッチ感知式セカンダリディスプレイ104が特定の口頭コマンドの曖昧さをなくすためのオプションを提示することを可能にするデータを、タッチ感知式セカンダリディスプレイ104に提供する。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、図43A~図43Dに示されたように、テキスト入力機能を制御するためのするためのアフォーダンス及び非英語文字のセットにアクセスするためのアフォーダンスで埋め込まれる。いくつかの実施形態では、非英語文字のセットにアクセスするためのアフォーダンスは、ユーザがメッセージングアプリケーション、ドキュメント編集アプリケーション、又はテキストの入力及び編集を可能にする他の何らかのアプリケーションと対話している間、タッチ感知式セカンダリディスプレイ104を介して利用可能である。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、タッチ感知式セカンダリディスプレイ104の最左領域を占めるスマートラベルボタンを含む。いくつかの実施形態では、スマートラベルボタンは、プライマリディスプレイ102上でユーザが何を見ているかに基づいて、いくつかの状況では、特定の時点においてタッチ感知式セカンダリディスプレイ104内で何のコントロールが利用可能であるかに基づいて変化する。例えば、スマートラベルボタンは、(ユーザがプライマリディスプレイ102上に示された現在表示されているアプリケーションを終了することを可能にする)「esc」、(ユーザがオーバーレイ表示モードを終了し、プライマリディスプレイ102上でフォーカスセレクタを有するアプリケーション用のコントロールの表示に戻ることを可能にする)「×」、(ユーザがタッチ感知式セカンダリディスプレイ104において様々なコントロールを使用して行われた変更をキャンセルする/戻すことを可能にする)「キャンセル」、(ユーザがタッチ感知式セカンダリディスプレイ104を介していくつかの変更を行うことが完了したことを示すことを可能にする)「完了」を表示することができる。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104は、複数の表示モードに関連付けられる。いくつかの実施形態では、複数のモードの各々の間を切り替えるためにタッチ感知式セカンダリディスプレイ104において3本指(又は2本指)のジェスチャが提供される。いくつかの実施形態では、ジェスチャは実質的に水平又は実質的に垂直の方向に提供される。いくつかの実施形態では、複数のモードには、(i)カスタマイズモードで使用するためのユーザによってカスタマイズされたアフォーダンスをタッチ感知式セカンダリディスプレイ104が表示するカスタマイズモード、(ii)プライマリディスプレイ及びシステムレベルの機能に対応するアフォーダンスをタッチ感知式セカンダリディスプレイ104が表示する現在コンテキストモード、並びに(iii)タッチ感知式セカンダリディスプレイ104がシステム機能のみを表示するシステム機能モードが挙げられる。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104に提示されるアフォーダンスはカスタマイズ可能であり、ユーザは、タッチ感知式セカンダリディスプレイ104からアフォーダンスを追加及び/又は削除することができる(いくつかの実施形態では、カスタマイズは、タッチ感知式セカンダリディスプレイ104が上記で説明されたカスタマイズモードにあるときのみ利用可能である)。例えば、ラップトップキーボードの上及びラップトップのプライマリディスプレイの下にタッチ感知式セカンダリディスプレイ104が表示される実施形態では、プライマリディスプレイに提示されたアフォーダンス(又は複数のアフォーダンスを含むメニュー)は、1つの連続ジェスチャを使用して、タッチ感知式セカンダリディスプレイにドラッグダウンされ、次いでタッチ感知式セカンダリディスプレイ内で水平に移動する。いくつかの実施形態では、アフォーダンスがタッチ感知式セカンダリディスプレイ内を動き回ると、タッチ感知式セカンダリディスプレイの様々なセクション(例えば、アプリケーション固有領域及びシステムレベル領域)が重視/強調される。
いくつかの実施形態では、ユーザは、コンピューティングシステムのトラックパッドに描画入力を提供することができ、描画入力を受信したことに応答して、コンピューティングシステムは、タッチ感知式セカンダリディスプレイ104にユーザによる選択のための候補形状を提示させる。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104用の輝度レベルは、プライマリディスプレイ102用の輝度レベルに少なくとも部分的に基づいて、かつコンピューティングシステムのまわりの周辺光状態に少なくとも部分的に基づいて決定される。
次に図70A~図70Dに着目する。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは、地図アプリケーションとともに使用するための様々なコントロールを含むように動的に更新される。これらのコントロールを含むようにタッチ感知式セカンダリディスプレイを動的に更新することは、マンマシンインタフェースを改善することにより、タッチ感知式セカンダリディスプレイを含む電子デバイスの操作性を改善することを助ける。例えば、ユーザは少ない対話を使用して操作を実行することを可能にされ(すなわち、所望のメニューオプション又はアフォーダンスは、容易なワンクリック選択のためにタッチ感知式セカンダリディスプレイにおいて動的に提供されるので、ユーザは、それらを検索して時間を浪費する必要がない)、ユーザは電子デバイスとの対話を持続することができる。
図70Aに示されたように、地図アプリケーションはプライマリディスプレイ102に提示され、タッチ感知式セカンダリディスプレイ104は、地図アプリケーションに対応するアフォーダンスを含むように更新される。例えば、タッチ感知式セカンダリディスプレイ104は、選択されると、地図アプリケーションにユーザの現在位置のインジケータ(例えば、ユーザの現在位置を反映するマップ上に表示されたピン)をプライマリディスプレイ上に表示させるアフォーダンス7001を含む。いくつかの実施形態では、タッチ感知式セカンダリディスプレイは、選択されると、地図アプリケーションに検索インタフェースをオープンさせるアフォーダンス7002も含む。このようにして、ユーザは、マウス、トラックパッド、又は他のデバイスを使用して検索インタフェースを起動する必要がなく、代わりに、アフォーダンス7002を選択して、所望の地理的位置を求めて地図アプリケーションの検索を開始するだけでよい。
いくつかの実施形態では、アフォーダンス7002におけるユーザ入力に応答して、プライマリディスプレイ102上の地図アプリケーションは、近くの場所のカテゴリ(例えば、近くのレストラン、コーヒーショップ、ショッピング先、観光スポット、サービス、楽しみ場所、健康場所、及び交通関連サービス)を選択するためのアフォーダンスを含むように更新される(図70B)。図70Bに示されたように、近くの場所のカテゴリを選択するためのアフォーダンスを含むように地図アプリケーションを更新することと連携して、タッチ感知式セカンダリディスプレイ104は、様々な近くの場所のカテゴリの迅速な選択を可能にするアフォーダンスを含むように動的に更新される。例えば、選択されると、地図アプリケーションに近くのレストランを検索させるアフォーダンス7003、選択されると、地図アプリケーションに近くのコーヒーショップを検索させるアフォーダンス7004、選択されると、地図アプリケーションに近くのショッピング先を検索させるアフォーダンス7005、選択されると、地図アプリケーションに近くのホテルを検索させるアフォーダンス7006、選択されると、地図アプリケーションに近くの(銀行又はATMなどの)金融機関を検索させるアフォーダンス7007、選択されると、地図アプリケーションに近くの映画館を検索させるアフォーダンス7008、選択されると、地図アプリケーションに近くの病院を検索させるアフォーダンス7009、及び、選択されると、地図アプリケーションに近くのガソリンスタンドを検索させるアフォーダンス7010。いくつかの実施形態では(かつ図70Bに示されたように)、タッチ感知式セカンダリディスプレイ104は、例えば、(その下に表示された地図を覆い隠すことなく)プライマリディスプレイ102に適合しない場合がある、追加の近隣検索オプションを含むことにより、限られたスクリーン上でも多くの情報を利用可能にすることができる。
次に図70Cを参照すると、いくつかの実施形態では、ユーザが特定の地理的位置を検索した後、又はユーザが上記で説明されたカテゴリから近くの観光スポットと対話した後に特定の地理的位置を選択した後、タッチ感知式セカンダリディスプレイ104は、選択されると、経路情報を提供するために地図アプリケーションによって使用される交通モードを地図アプリケーションに選択させるアフォーダンスを含むように更新される。例えば、タッチ感知式セカンダリディスプレイは、それぞれ、運転モード、歩行モード、又は交通機関モードを選択するためのアフォーダンス7011、7012、及び7013を含んでもよい。
図70Dに示された例では、ユーザは所望の地理的位置への移動の運転モードを選択しており、それに応答して、タッチ感知式セカンダリディスプレイ104は、その地理的位置への運転の道案内を開始することを可能にするアフォーダンス(例えば、アフォーダンス7014)を含むように更新される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104はまた、ユーザが、ウェブブラウザで地理的位置を検索すること(例えば、アフォーダンス7015)、地理的位置に関連付けられた電話番号に連絡を取ること(例えば、アフォーダンス7016)、地理的位置を第1の場所としてフラグを立てること(例えば、アフォーダンス7017)、地理的位置に関するより多くの情報を見つけること(例えば、アフォーダンス7018)、及びいくつかの様々な共有プラットフォームを介して地理的位置を共有すること(例えば、アフォーダンス7019)を可能にする追加のアフォーダンス(例えば、アフォーダンス7015~7019)を含むように更新される。いくつかの実施形態では、いくつかの様々な共有プラットフォームには、電子メール、ソーシャルメディア(例えば、TWITTER、FACEBOOKなどのソーシャルメディア共有プラットフォーム)、テキストメッセージングなどが挙げられてもよい。
次に図71A~図75を参照すると、様々なビデオ編集アプリケーションとともに使用するためのタッチ感知式セカンダリディスプレイにおけるコントロールを動的に提供することを示すために使用される、ディスプレイ(プライマリディスプレイ及びタッチ感知式セカンダリディスプレイ)の概略図が示されている。例えば、様々なビデオ編集アプリケーションには、すべてカリフォルニア州クパチーノのアップル社からのFINAL CUT PRO、MOTION、COMPRESSOR、及びIMOVIEが挙げられてもよい。ビデオ編集アプリケーションとともに使用するためのコントロールを含むようにタッチ感知式セカンダリディスプレイを動的に更新することは、マンマシンインタフェースを改善することにより、タッチ感知式セカンダリディスプレイを含む電子デバイスの操作性を改善することを助ける。例えば、ユーザは少ない対話を使用して操作を実行することを可能にされ(すなわち、所望のメニューオプション又はアフォーダンスは、容易なワンクリック選択のためにタッチ感知式セカンダリディスプレイにおいて動的に提供されるので、ユーザは、それらを検索して時間を浪費する必要がない)、ユーザは電子デバイスとの対話を持続することができる。
図71A~図71Mは、ビデオ編集アプリケーション用の例示的なユーザインタフェースを示すために使用されるプライマリディスプレイ102及びタッチ感知式セカンダリディスプレイ104の概略図である(示された例では、ビデオ編集アプリケーションはFINAL CUT PROである)。図71Aに示されたように、プライマリディスプレイ102は、ユーザがビデオプロジェクト用のタイムラインと対話しているビデオ編集アプリケーション用のユーザインタフェースを表示しており、タッチ感知式セカンダリディスプレイ104は、ビデオタイムラインを操作することを可能にするユーザインタフェースコントロールを表示している。詳細には、タッチ感知式セカンダリディスプレイは、ユーザインタフェースコントロール7102内の4つの異なる行に含まれる小さい矩形表現を含み、その中で、最初の行はビデオプロジェクトのタイトル部分に対応し、2番目の行はビデオプロジェクト用のビデオトラックに対応し、3番目の行はビデオプロジェクト用のオーディオトラックに対応し、4番目の行はビデオプロジェクト用の音楽トラックに対応する。いくつかの実施形態では、ユーザは、第1の端部7103又は第2の端部7104をドラッグすることによってビデオプロジェクトを迅速に操作することができ、それに応答して、プライマリディスプレイ102は、操作に従って(すなわち、上記で説明されたように、ビデオプロジェクト用の情報の行の各々に対応する情報のおおよそを示すように)更新される。
例えば、図71Bに示されたように、端部7103及び7104のユーザ操作(すなわち、タッチ感知式セカンダリディスプレイ104全体にわたって反対方向に各々をドラッグすること)に応答して、プライマリディスプレイは、(図71Bに示されたように)より多くのタイムラインが示されるように更新される。図71Bはまた、ユーザが左向きポイントキャレットアフォーダンス7105を選択して、(輝度アフォーダンス、再生アフォーダンス、ボリューム操作アフォーダンス、及びミュートアフォーダンスなどの)いくつかのシステムレベルのアフォーダンスをタッチ感知式セカンダリディスプレイ104に止めさせ、ユーザインタフェースコントロール7102内に示されたタイムライン表現の表示サイズを増大させることができることを示す(例えば、図71Bに示されたように、アフォーダンス7105が選択された後、タッチ感知式セカンダリディスプレイ104内により多くのタイムラインが今や示されている)。このようにして、限られた利用可能な画面資産を有するディスプレイにより多くの情報を表示することができる、すなわち、タッチ感知式セカンダリディスプレイ104は、システムレベルのアフォーダンスの表示を止めることによってより多くのタイムライン表現を示すことができる。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104はまた、ユーザインタフェースコントロール7102内に追加の行を含んでもよい。2つの例が図71C及び図71D1に示され、その中で、プライマリディスプレイ102上で編集されている(例えば、視覚転移、ビデオクリップの上に重なって見えるかも知れないテキスト、互いの上に重なる音声に対応する他のオーディオクリップ、別々に分割された1つのオーディファイルの表現などの)ビデオプロジェクトの追加の構成要素に対応する追加の行が示される。
図71D2~図71Mは、FINAL CUT PROなどのビデオ編集アプリケーション内で利用可能ないくつかの機能を制御するために表示されてもよい追加のユーザインタフェースコントロールを示すために使用されるタッチ感知式セカンダリディスプレイ104の概略図である。例えば、図71D2は新しいビデオプロジェクトを作成することに関連付けられた機能を制御するために表示されてもよい例示的なユーザインタフェースコントロールを示し、図71Eはビデオプロジェクト内の特定のクリップを選択することに関連付けられた機能を制御するために表示されてもよいユーザインタフェースコントロールを示し、図71Fはビデオプロジェクト用のボリュームレベルを操作することに関連付けられた機能を制御するために表示されてもよいユーザインタフェースコントロールを示し、図71Gは複数の要素(例えば、ビデオプロジェクトに関連付けられた複数のオーディオトラック又は音楽トラック)用のボリュームレベルを選択することに関連付けられた機能を制御するために表示されてもよいユーザインタフェースコントロールを示し、図71Hはビデオプロジェクトの構成要素(例えば、オーディオトラック、ビデオトラック、又は音楽トラック)をトリミングすることに関連付けられた機能を制御するためのユーザインタフェースコントロールを示す。
更なる例が図71I~図71Mにも示されている。例えば、図71Iは様々な編集ツールに関連付けられた機能を制御するために表示されてもよい例示的なユーザインタフェースコントロールを示し、図71Jはボリュームフェードコントロールに関連付けられた機能を制御するために表示されてもよい例示的なユーザインタフェースコントロールを示し、図71Kは複数の構成要素を選択し、次いでそれらの要素ごとにボリュームフェードコントロールを操作することに関連付けられた機能を制御するために表示されてもよい例示的なユーザインタフェースコントロールを示し、図71Lは(図71A~図71Bを参照して上記で説明されたように)ビデオプロジェクト用のタイムラインを操作することを示し、図71Mはビデオプロジェクト内の転移を編集することに関連付けられた機能を制御するためのユーザインタフェースコントロールを示す。
図71A~図71Mに示されたユーザインタフェースコントロール及びアフォーダンスに関する更なる詳細は、当業者によって諒解及び認識され、これらの詳細のうちのいくつかは、(公開されており、「final_cut_pro_x-10.1.1-user_guide.pdf」というタイトルの)アップル社から入手可能な「Final Cut Pro X User Guide」などのユーザマニュアル内に反映されている。米国特許公開番号2012/0210222、2012/0210231、2012/0210228、及び2014/0253560並びに米国特許番号8,849,028及び7,805,678も、図71A~図71Mに示されたユーザインタフェースコントロール及びアフォーダンスに関する詳細及び説明を提供し、これらの各々は参照によりその全体が本明細書に組み込まれている。
次に図72A~図72Pを参照すると、ビデオ編集アプリケーションに関連付けられたユーザインタフェースを示すために使用されるディスプレイ(プライマリディスプレイ及びタッチ感知式セカンダリディスプレイの両方)の概略図が示されている(これらの例では、ビデオ編集アプリケーションはMOTIONである)。図72Aに示されたように、ビデオ編集アプリケーション用のユーザインタフェースがプライマリディスプレイ102に表示され、タッチ感知式セカンダリディスプレイ104は、ビデオ編集アプリケーション内で利用可能な機能を制御するためのユーザインタフェースコントロールを含む(例えば、ユーザは、タッチ感知式セカンダリディスプレイ104において入力を提供することによってビデオプロジェクトに関連付けられたグラフィックを操作することができる)。例えば、ユーザは、ユーザインタフェースコントロールの第1の端部7202又は第2の端部7204を移動させて、ビデオプロジェクトの一部分を迅速に操作する(例えば、特定の時点でどの画像が表示されるかを操作する)ことができる。
いくつかの実施形態では、かつ上記で説明されたように、タッチ感知式セカンダリディスプレイ102における限られた表示画面資産を有効に利用することを助けるために、ユーザは、左向きポインティングカレットを選択して、システムレベルのアフォーダンスの表示を止め、代わりに、図72Aのタッチ感知式セカンダリディスプレイに示されたタイムラインビューなどのより多くの特定のユーザインタフェースコントロールを表示することをタッチ感知式セカンダリディスプレイ102に行わせることができる。例えば、カレットアフォーダンスの選択に応答して、図72Kに示されたように、より多くのタイムラインビューがタッチ感知式セカンダリディスプレイ104内に示される。
図72B~図72Kは、MOTIONなどのビデオ編集アプリケーション内で利用可能ないくつかの機能を制御するために表示されてもよい追加のユーザインタフェースコントロールを示すために使用されるタッチ感知式セカンダリディスプレイ104の概略図である。例えば、図72Bはオブジェクトが選択されていないとき(例えば、プライマリディスプレイ102においてビデオ編集アプリケーションが最初に起動された/オープンされたとき)にビデオ編集アプリケーション内で利用可能な機能を制御するためのユーザインタフェースコントロールを示し、図72C1はプライマリディスプレイ102上のビデオ編集アプリケーション内でオブジェクトが選択された後に利用可能な機能を制御するためのユーザインタフェースコントロールを示し、図72C21は複数のオブジェクトが選択された後に利用可能な機能を制御するためのユーザインタフェースコントロールを示し、図72Dは様々なタイミングオプションを操作するために利用可能な機能を制御するためのユーザインタフェースコントロールを示し、図72E及び図72Fは様々なツールオプションを選択するためのユーザインタフェースコントロールを示す(いくつかの実施形態では、示されたコントロールはグリフと呼ばれ、図75にも追加のグリフが示されている)。
ビデオ編集アプリケーション内のテキストを編集するための例示的なユーザインタフェースコントロールが図72G~図72Jに提供される。図72Gは(例えば、特定のビデオプロジェクト又は個々のフレームに関連付けられたタイトルなどの)テキストを編集するためのタッチ感知式セカンダリディスプレイ104において利用可能なユーザインタフェースコントロールを示し、図72Hはテキスト外観オプションを選択するためのユーザインタフェースコントロールを示し、図72Iはテキストサイジングオプションを選択するためのユーザインタフェースコントロールを示し、図72Jはテキストカーニングオプションを変更するためのユーザインタフェースコントロールを示す。
図72A~図72Kに示されたユーザインタフェースコントロール及びアフォーダンスに関する更なる詳細は、当業者によって諒解及び認識され、これらの詳細のうちのいくつかは、(公開されており、「motion_5.1.1_ug.pdf」というタイトルの)アップル社から入手可能な「Motion User Guide」などのユーザマニュアル内に反映されている。米国特許公開番号2013/0239057及び2009/0226080及び米国特許番号9,070,206も、図72A~図72Kに示されたユーザインタフェースコントロール及びアフォーダンスに関する詳細及び説明を提供し、これらの各々は参照によりその全体が本明細書に組み込まれている。
次に、ビデオ編集アプリケーション内で利用可能な機能を制御するためのタッチ感知式セカンダリディスプレイに設けられたユーザインタフェースコントロールの説明を提供する図73A~図73Nに着目する(この一連の図では、例示的なビデオ編集アプリケーションはCOMPRESSORである)。図73Aは新しいCOMPRESSORアイテム(すなわち、空バッチ)を追加するためのタッチ感知式セカンダリディスプレイ104に設けられたユーザインタフェースコントロールを示し、図73Bは新しいファイル、画像シーケンス、又はサラウンドサウンドオプションを追加するためのユーザインタフェースコントロールを示し、図73Cは新しい設定を追加するためのユーザインタフェースコントロールを示し、図73Dは新しい設定を構成するためのユーザインタフェースコントロールを示す。
更なる例が図73E~図73Iにも示されている。詳細には、図73Eは通常のバッチを構成するためのユーザインタフェースコントロールを示し、図73Fはマーカを制御するためのユーザインタフェースコントロールを示し、図73Gはビューワモードを制御するためのユーザインタフェースコントロールを示し、図73Hはビューワモードにいる間にマーカを選択するためのユーザインタフェースコントロールを示し、図73IはiTMSバッチアイテムを制御するためのユーザインタフェースコントロールを示す。図73J~図73Nは、iTMSバッチ機能、設定、アクティブ処理オプション(すなわち、処理が進行中の間にタッチ感知式セカンダリディスプレイ104において利用可能なユーザインタフェースコントロール)、アクティブ休止オプション(すなわち、処理が休止中の間にタッチ感知式セカンダリディスプレイ104において利用可能なユーザインタフェースコントロール)、及び完了オプション(すなわち、処理が完了した後にタッチ感知式セカンダリディスプレイ104において利用可能なユーザインタフェースコントロール)を制御するためのユーザインタフェースコントロールを含む追加のユーザインタフェースコントロールを示す。
図73A~図73Nに示されたユーザインタフェースコントロール及びアフォーダンスに関する更なる詳細は、当業者によって諒解及び認識され、これらの詳細のうちのいくつかは、(公開されており、「compressor_4.1.2_user_guide.pdf」というタイトルの)アップル社から入手可能な「Compressor User Guide」などのユーザマニュアル内に反映されている。米国特許公開番号2014/0344691も、図73A~図73Nに示されたユーザインタフェースコントロール及びアフォーダンスに関する詳細及び説明を提供し、参照によりその全体が本明細書に組み込まれている。
次に、様々なビデオ編集機能を制御するためのユーザインタフェースコントロールが示された図74A~図74Hに着目する(この一連の図では、ビデオ編集アプリケーションはIMOVIEである)。図74A~図74Dは、それぞれ、プロジェクト作成、プロジェクト再生、ビデオ編集、及びボリュームオプションを制御するための、タッチ感知式セカンダリディスプレイ104に表示されたユーザインタフェースコントロールを示す。図74E~図74Hは、様々なメディアブラウザ機能を制御するための、タッチ感知式セカンダリディスプレイ104に表示されたユーザインタフェースコントロールを示す。
図74A~図74Hに示されたユーザインタフェースコントロール及びアフォーダンスに関する更なる詳細は、当業者によって諒解及び認識され、これらの詳細のうちのいくつかは、(公開されており、「iMovie_08_Getting_Started.pdf」というタイトルの)アップル社から入手可能な「iMovie'08 Getting Started」などのユーザマニュアル内に反映されている。米国特許公開番号2012/0210230も、図74A~図74Hに示されたユーザインタフェースコントロール及びアフォーダンスに関する詳細及び説明を提供し、参照によりその全体が本明細書に組み込まれている。
次に図75を参照すると、いくつかのアプリケーション固有のビデオ編集グリフがその中に示され、それらの各々はタッチ感知式セカンダリディスプレイ104において表示されてもよい。最初の2つの行はFINAL CUT PROに関連付けられたグリフに対応し、次の3つの行はMOTIONに関連付けられたグリフに対応し、続く行はCOMPRESSORに関連付けられたグリフを示し、最後の行はIMOVIEに関連付けられたグリフを示す。いくつかの実施形態では、これらのグリフは、ユーザがタッチ感知式セカンダリディスプレイ104において単一の入力を使用して(かつ多数の階層メニューをナビゲートすることによってその制御を検索して時間を浪費する必要なしに)所望の制御にアクセスすることを可能にするために、タッチ感知式セカンダリディスプレイに設けられる。これらのグリフに関する更なる詳細は、当業者によって諒解及び認識され、これらの詳細のうちのいくつかは、図71A~図74Hを参照して上記と呼ばれる、ユーザマニュアル、特許出願公開、及び発行済み特許内で提供される。
図44A~図44Dは、いくつかの実施形態に従って、(例えば、図1A~図1B及び図2A~図2Dの動的ファンクション行104を含む)動的入出力デバイスを更新する方法のフロー図である。方法600は、プロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、(本明細書では物理入力機構とも呼ばれる)物理キーボード及びプライマリディスプレイとは異なるタッチ感知式セカンダリディスプレイを少なくとも部分的に含む第2の筐体とを含む、コンピューティングシステムにおいて実行される。方法600のいくつかの動作が任意選択で組み合わされ、かつ/又はいくつかの動作の順序が任意選択で変更される。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はディスクトップコンピューティングシステム200(図2A~図2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブル型コンピューティングシステム100(図1A)のディスプレイ部分110(ここでは、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)に実装されたプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(ここでは、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)に実装されたプライマリディスプレイ102(図2A~図2D)である。いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A~図1B)と物理キーボード(例えば、物理キーのセット106、図1A~図1B)を少なくとも部分的に含む、ポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2A~図2B)と物理キーボード(例えば、物理キーのセット106、図2A~図2B)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の外付けキーボード206(図2A~図2B)である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2C)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の第1の外付け入力メカニズム212(図2C)であり、第2の筐体は、入力メカニズム(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
コンピューティングシステムは、1つ以上のユーザインタフェース要素を含む、第1のユーザインタフェースを、プライマリディスプレイ上に表示する(602)。例えば、図5Bは、アプリケーションAが現在フォーカスが当たっていることを示すステータストレイ502を有する第1のユーザインタフェース、並びに、メールアプリケーションアイコン506、ウェブブラウザアプリケーションアイコン508、メディアプレーヤアプリケーションアイコン510、アプリケーションAアイコン512及び写真アプリケーションアイコン515を含む複数の実行可能な/選択可能なアプリケーションアイコンを有するアプリケーション(アプリ)トレイ514を表示するプライマリディスプレイ102を示す。プライマリディスプレイ102上に表示された第1のユーザインタフェースは、また、図5Bにおいて、アプリケーション(例えば、ファンタジロールプレイング(RPG)ゲーム)用ウィンドウ536も含む。例えば、図5Bにおいて、ウィンドウ536は、新たなゲームを始めるアフォーダンス、続けるアフォーダンス及びオプションアフォーダンスを含む複数のアフォーダンスを有するアプリケーション用メインメニューを含む。例えば、図6Aは、メディアプレーヤアプリケーション用ウィンドウ554を有する第1のユーザインタフェースを表示するプライマリディスプレイ102を示す。
いくつかの実施形態では、(i)プライマリディスプレイ、プロセッサ、メモリ及びプライマリコンピューティングデバイス通信回路を含むプライマリコンピューティングシステム及び(ii)筐体、タッチスクリーンディスプレイ、物理入力メカニズム及びプライマリコンピューティングデバイス通信回路と通信する入力デバイス通信回路を含む入力デバイスを、更に含む(604)。ここで、入力デバイスは、プライマリコンピューティングデバイスとは別個で分離している。いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A~図1B)のような、ラップトップコンピュータではなく、その代わりに、コンピューティングシステムは、コンピューティングデバイス202、外付けディスプレイデバイス204(コンピューティングデバイス202に任意選択的に統合される)、及びタッチスクリーンディスプレイ(例えば、動的ファンクション行104、図2A~図2B)に隣接する複数の物理キー(例えば、物理キーのセット106、図2A~図2B))を有する入力デバイス(例えば、外付けキーボード206、図2A~図2B)を有するディスクトップコンピューティングシステム200(図2A~図2D)である。代替として、いくつかの実施形態では、入力デバイス(例えば、第1の外付入力メカニズム212、図2C)は、タッチスクリーンディスプレイ(例えば、動的ファンクション行104、図2C)に隣接するタッチパッド又はテンキー(例えば、タッチパッド108、図2C)を含む。いくつかの実施形態では、入力デバイスは、有線接続(例えば、USB、PS/2など)又は無線接続(例えば、Bluetooth、Wi-Fiなど)を介して、プライマリコンピューティングデバイス(例えば、コンピューティングデバイス202、図2A~図2D)と通信する。
いくつかの実施形態では、物理入力メカニズムは、複数の物理キーを含む(606)。図1A~図1Bにおいて、ポータブルコンピューティングシステム100の本体部分120は、物理キー106のセットに隣接するタッチスクリーンディスプレイ(例えば、動的ファンクション行104)を少なくとも部分的に含む。
いくつかの実施形態では、物理入力メカニズムはタッチパッドを含む(608)。図1A~図1Bで、ポータブルコンピューティングシステム100の本体部分120は、物理キーのセット106に加えてタッチスクリーンディスプレイ(例えば、動的ファンクション行104)とタッチパッド108を少なくとも部分的に含む。
コンピューティングシステムは、プライマリディスプレイ上でフォーカスが当たっている1つ以上のユーザインタフェース要素の中でアクティブなユーザインタフェースを識別する(610)。いくつかの実施形態では、用語「フォーカスが当たっている」は、現在フォアグラウンドにありアクティブに動作している又はキー押圧、マウスクリック、音声コマンド、ジェスチャ動作又は同様のものなどのコンピューティングシステムのユーザから受ける入力によって制御される、ユーザインタフェース(例えば、アプリケーション、アプリケーションに関連付けられた特定のツールバーあるいはメニュー、又はオペレーティングシステム)アクティブな要素を意味することができる。
いくつかの実施形態では、コンピューティングシステム又はその構成要素(例えば、フォーカス判定モジュール351、図3A)は、フォーカスが当たっているプライマリディスプレイ上の第1のユーザインタフェースのユーザインタフェース要素を特定する。いくつかの実施形態では、フォーカスが当たっているユーザインタフェース要素は、アプリケーション、アプリケーションのウィンドウ(例えば、フィールド、サブウィンドウ、メニュー、ツール、ツールバー、ツールセットなど)の内に又は外にあるアプリケーションに対応するユーザインタフェース要素、又はデスクトップ/オペレーティングシステム関連インタフェースの一部(例えば、ボリュームコントロール、ファイル検索インタフェース又はコントロール/設定パネル)に対応するウィンドウである。いくつかの実施形態では、アクティブなユーザインタフェース要素は、プライマリディスプレイ上で強調表示され又はフォーカスが当たっていることを示すようにプライマリディスプレイ上のフォアグラウンド位置に表示される。いくつかの実施形態では、アクティブなユーザインタフェース要素の表示特性は、変更されて又は強調されて(例えば、色付けされたテキスト、太字テキスト、太い境界線など)フォーカスが当たっていることを示す。代替として及び/又は追加的に、いくつかの実施形態では、視覚的な及び/又は聴覚的な合図は、提供されて、フォーカスが当たっているアクティブなユーザインタフェース要素(例えば、フォーカスが変わったときにチャイムが表示される、フォーカスが当たっているアクティブなユーザインタフェース要素の上にバウンシングスターが表示される、又はフォーカスが当たっているアクティブなユーザインタフェース要素の表示特性がプライマリディスプレイ上に表示された第1のユーザインタフェースの残りとは異なる)を示す。
図5Bにおいて、例えば、アプリケーションA用のウィンドウ536は、プライマリディスプレイ102上でフォーカスが当たっている。図5Bにおいて、ステータストレイ502は、アプリケーションAがフォアグラウンドで動作していることを示し、アプリトレイ514もまた、アプリケーションAアイコン512の背後の影に基づいてアプリケーションAがフォアグラウンドで動作していることを示す。例えば、図6Aにおいて、ウィンドウ554内に示されたユーザのメディアライブラリの音楽サブセクションは、ウィンドウ554内に太字で表示された「音楽」と少なくとも部分的に表示されたアルバムA~Lによって示されたように、プライマリディスプレイ102上でフォーカスが当たっている。それに対して、図6Bにおいて、例えば、ウィンドウ554内に示されたユーザのメディアライブラリのポッドキャストサブセクションは、ウィンドウ554内に太字で表示された「ポッドキャスト」と少なくとも部分的に表示されたポッドキャストA~Lによって示されたように、プライマリディスプレイ102上でフォーカスが当たっている。例えば、図7Bでは、ウィンドウ580内の新しい電子メールを作成するためのサブウィンドウは、サブウィンドウを取り囲む太い線によって示されたように、プライマリディスプレイ102上でフォーカスが当たっている。例えば、図8Cでは、メニュー5134内のユーザのアドレス帳の「家族」グループタブは、メニュー5134の「家族」グループタブを取り囲む太い線で示されたように、プライマリディスプレイ102上でフォーカスが当たっている。例えば、図11Hでは、ウィンドウ5224内のタブB用のインタフェースは、タブBを取り囲む太い線とタブB用の太文字のテキストによって示されたように、プライマリディスプレイ102上でフォーカスが当たっている。例えば、図12Eでは、ウィンドウ5224内のブックマークサイドバーは、ブックマークサイドバーを取り囲む太い線によって示されたように、プライマリディスプレイ102上でフォーカスが当たっている。例えば、図13Cでは、編集コントロール5296のメニューは、プライマリディスプレイ102上でフォーカスが当たっている。
コンピューティングシステムは、プライマリディスプレイでフォーカスが当たっているアクティブなユーザインタフェース要素が、コンピューティングシステムによって実行されるアプリケーションに関連付けられているかどうかを判定する(612)。いくつかの実施形態では、アクティブなユーザインタフェース要素は、アプリケーション又はオペレーティングシステムのいずれかに関連付けられている。いくつかの実施形態では、コンピューティングシステム又はその構成要素(例えば、DFR判定モジュール352、図3A)は、プライマリディスプレイ102上でフォーカスが当たっているアクティブなユーザインタフェース要素に基づいて、動的ファンクション行104上の表示用のアフォーダンスのセットを判定し、また、アクティブなユーザインタフェース要素が特定のアプリケーション又はオペレーティングシステムに関連付けられているかどうかも判定する。
いくつかの実施形態では、アプリケーションは、第1のユーザインタフェースのフォアグラウンド内でプロセッサによって実行される(614)。例えば、アプリケーションは、電子メールアプリケーション、ワードプロセッシングアプリケーション、プレゼンテーションアプリケーション、写真編集アプリケーション、音楽アプリケーション、ゲームアプリケーション、スプレッドシートアプリケーションなどのうちの1つである。例えば、図5B~図5Eは、コンピューティングシステムによってフォアグラウンド内で実行されるアプリケーションA(例えば、ファンタジロールプレイングゲーム)に対応するウィンドウ536を含むプライマリディスプレイ102によって表示された第1のユーザインタフェースを示す。例えば、図6A~図6Dは、コンピューティングシステムによってフォアグラウンドで実行されるメディアプレーヤアプリケーションに対応するウィンドウ554を含むプライマリディスプレイ102によって表示される第1のユーザインタフェースを示す。例えば、図6E~図9は、コンピューティングシステムによってフォアグラウンド内で実行されるメールアプリケーションに対応するウィンドウ580を含むプライマリディスプレイ102によって表示された第1のユーザインタフェースを示す。例えば、図10A~図11Aは、コンピューティングシステムによってフォアグラウンド内で実行される写真アプリケーションに対応するウィンドウ5166を含むプライマリディスプレイ102によって表示された第1のユーザインタフェースを示す。例えば、図11B~図12Gは、コンピューティングシステムによってフォアグラウンド内で実行されるウェブブラウザアプリケーションに対応するウィンドウ5224を含むプライマリディスプレイ102によって表示された第1のユーザインタフェースを示す。
プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素がコンピューティングシステムによって実行されるアプリケーションに関連付けられるという判定に従って、コンピューティングシステムは、(A)アプリケーションに対応する1つ以上のアフォーダンスの第1のセット、及び(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む、第2のユーザインタフェースを、タッチスクリーンディスプレイ上に表示する(616)。いくつかの実施形態では、1つ以上のアフォーダンスの第1のセットは、ユーザ選択可能なシンボル/アイコン及び/又はインジケータ並びに選択可能であるか又は選択可能ではない情報を含む。いくつかの実施形態では、1つ以上のアフォーダンスの第1のセットは、アプリケーション用の基本的なコントロールに対応する。いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、1つ以上のアフォーダンスの第1のセットと共に表示される。1つの実施例では、図5A~図14Eで、少なくとも1つのシステムレベルアフォーダンスは、常駐アフォーダンス516と534を含む。他の実施例では、図5Cで、少なくとも1つのシステムレベルアフォーダンスは、起動させられた(例えば、タップ接触で)とき、複数のシステムレベルアフォーダンスの表示を引き起こすアフォーダンス542を含む(例えば、図5Aに示されたアフォーダンス518、520、522、524、526、528、530及び532)。
例えば、図11Cは、図11Bにおけるアフォーダンス5226の選択を検出することに応答して、少なくとも1つのシステムレベルアフォーダンス542と共に、プライマリディスプレイ102上でフォーカスが当たっている、ウェブブラウザアプリケーション用の基本的なコントロールとインジケータの組(例えば、アフォーダンス5230、5232及び5238、並びにアドレスバー5234)を表示する動的ファンクション行104を示す。いくつかの実施形態では、1つ以上のアフォーダンスの第1のセットは、フォーカスが当たっているアクティブなユーザインタフェース要素に関連付けられたコントロールに対応する。したがって、コンピューティングシステムのユーザは、そのような選択可能なコントロールがプライマリディスプレイ上に表示されているときにユーザの手を物理キーの組から離して他の入力デバイス(例えば、マウス)へ移すことなくアプリケーションに入力を提供する及びその機能をコントロールするための1つ以上のアフォーダンスの第1のセットからコントロールを選択することができる。例えば、ユーザの手に対するキーボードとマウスとの間の、及びユーザの目に対するキーボードとディスプレイとの間の、モード切替のこの削減は、より直感的なユーザエクスペリエンス及びより効率的なヒューマンマシンインタフェースを提供する。例えば、図6Eは、図6Dでカーソル504用いたメールアプリケーションアイコン506の選択を検出することに応答して、少なくとも1つのシステムレベルアフォーダンス542と共に、プライマリディスプレイ102上でフォーカスが当たっている、電子メールAに対応する複数のアフォーダンス(例えば、アフォーダンス582、584、586、588、590、592、594、596及び598)を表示する動的ファンクション行104を示す。
プライマリディスプレイ上でなされたフォーカスが当たることの変化に応答してタッチ感知式セカンダリディスプレイ内にアプリケーションに特定の及びシステムレベルアフォーダンスを表示することは、タッチ感知式セカンダリディスプレイを介して直接的に利用可能であるアクセス可能なアフォーダンスをユーザに提供する。タッチ感知式セカンダリディスプレイを介して直接的に利用可能であるアクセス可能なアフォーダンスをユーザに提供することは、コンピューティングシステムの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする(例えば、必要とされる機能を探し出すためにより少ないインタラクションでかつ階層構造のメニューを調べる時間を浪費する必要なしにタッチ感知式セカンダリディスプレイを通して直接的に必要とされる機能をユーザがアクセスすることを助けることによって)。これは、更に加えて、必要とされる機能をより迅速にかつ効率的にユーザがアクセスすることを可能にすることによって装置の電力使用量を低減しバッテリ寿命を向上させる。その上、タッチ感知式セカンダリディスプレイ上のアプリケーションに特定のアフォーダンスの表示は、プライマリディスプレイ上で現在フォーカスが当たっているアプリケーションに関連付けられたアフォーダンスを提供することによって装置の内部状態を示す。
いくつかの実施形態では、コンピューティングシステムのユーザは、1つ以上のアフォーダンスの第1のセットに含まれるアフォーダンスを修正すること又はカストマイズすることができる。いくつかの実施形態では、プライマリディスプレイ102上でフォーカスが当たっているアクティブなユーザインタフェース要素を識別すること及び1つ以上のアフォーダンスの第1のセットを表示することの前に、動的ファンクション行104は、コンピューティングシステムのユーザによって設定された又はソフトウェアで設定されたデフォルトのインタフェースを表示する。例えば、デフォルトのインタフェースは、複数のファンクションキー(例えば、F1、F2、F3、・・・、F12)、株式相場表示、スポーツのスコアをスクロールすること、天気予報や情報をスクロールすることなど及び/又は同様のもののうちの1つを含む。
いくつかの実施形態では、第1の所定の時間の長さ(例えば、30、60、90その他の秒)の間1つ以上のアフォーダンスの第1のセットを表示することの後、動的ファンクション行104は、コンピューティングシステムのユーザによって設定された又はソフトウェアで設定されたデフォルトのインタフェースを再表示する。いくつかの実施形態では、第1の所定の時間の長さ(例えば、30、60、90、その他の秒)の間1つ以上のアフォーダンスの第1のセットを表示することの後、動的ファンクション行104は、動的ファンクション行104又はコンピューティングシステムに関連付けられたキーボードあるいはタッチパッドによって接触が検出されるまで消える。いくつかの実施形態では、第1の所定の時間の長さ(例えば、30、60、90その他の秒)の間1つ以上のアフォーダンスの第1のセットを表示することの後、動的ファンクション行104は、電源に接続される(例えば、動的ファンクション行がバッテリ電力作動の外付けキーボード206に実装されるとき、図2A~図2B)まで消える。いくつかの実施形態では、第2の所定の時間の長さ(例えば、30、60、90その他の秒)の間1つ以上のアフォーダンスの第1のセットを表示することかつ1つ以上のアフォーダンスの第1のセットについてユーザの入力を検出しないことの後、動的ファンクション行104は、コンピューティングシステムのユーザによって設定された又はソフトウェアで設定されたデフォルトのインタフェースを再表示する。いくつかの実施形態では、オペレーティングシステムにフォーカスが当たっているか又はアクティブなユーザインタフェース要素がフォアグラウンド内で動作しているアプリケーションに関連付けられていないとき、動的ファンクション行104は、コンピューティングシステムのユーザによって設定された又はソフトウェアで設定されたデフォルトのインタフェースを再表示する。
いくつかの実施形態では、第1の所定の時間の長さ(例えば、30、60、90その他の秒)の間1つ以上のアフォーダンスの第1のセットを表示することの後かつコンピューティングシステムが低電力モードに設定されたとき、動的ファンクション行104は、例えば、時刻、残存バッテリ量、Wi-Fi信号強度など及び/又は同様のものなどを含む、アフォーダンスの限定されたセットを表示する。例えば、アフォーダンスの限定されたセットは、コンピューティングシステムのユーザによって選択され又はソフトウェアで設定され、コンピューティングシステムのユーザは、システム設定パネルを通してコンピューティングシステムを低電力モードに設定できる。
いくつかの実施形態では、第2のユーザインタフェース上に表示されたアフォーダンスのうちの少なくとも1つは、多機能アフォーダンスである(618)。いくつかの実施形態では、多機能アフォーダンスは、多機能アフォーダンスに対応する場所で実行される異なる入力を検出することに応答して2つ以上の機能/動作を実行することが可能である。例えば、図6Eで、第2のユーザインタフェース内に動的ファンクション行104によって表示された常駐ボリュームコントロール568は、多機能アフォーダンスである。
いくつかの実施形態では、コンピューティングシステムは、多機能アフォーダンスを選択するユーザタッチ入力を検出する(620)。ユーザタッチ入力が第1のタイプに対応するという判定に従って、コンピューティングシステムは、多機能アフォーダンスに関連付けられた第1の機能を実行する。ユーザタッチ入力が第1のタイプとは別個の第2のタイプに対応するという判定に従って、コンピューティングシステムは、多機能アフォーダンスに関連付けられた第2の機能を実行する。例えば。第1の機能/動作(例えば、メディアアイテムをミュートする)は、多機能アフォーダンスに対応する場所で第1のジェスチャ(例えば、タップ接触)を検出することに応答して実行され、第2の機能/動作(例えば、ボリュームスライドバー又はメディアアイテムに対する再生コントロールを表示する)は、多機能アフォーダンスに対応する場所で第2のジェスチャ(例えば、長い押圧ジェスチャ)を検出することに応答して実行される。例えば、第1のジェスチャタイプは、1つ以上の接触が所定の時間の長さ(例えば、500ms、1sなど)より短い間検出されるタッチ入力(例えば、タップ接触)に対応し、第2のジェスチャタイプは、1つ以上の接触が所定の時間の長さ(例えば、500ms、1sなど)よりも長いか又は等しい間検出されるタッチ入力(例えば、長い押圧ジェスチャ)に対応する。
例えば、図6Eは、常駐ボリュームコントロール568に対応する場所で接触599(長い押圧接触)を受ける及び検出する動的ファンクション行104を示す。この実施例を続けると、図6Fは、図6Eで常駐ボリュームコントロール568に対応する場所で長い押圧ジェスチャを検出することに応答して、図6Cで開始された、ポッドキャストJの再生ボリュームを調節するボリュームスライダ5100を表示する動的ファンクション行104を示す。代替として、いくつかの実施形態では、動的ファンクション行104は、図6Eで常駐ボリュームコントロール568に対応する場所で長い押圧ジェスチャを検出することに応答して、図6Cで開始された、ポッドキャストJの再生をコントロールする再生コントロール(例えば、ポーズ、早送り、巻き戻し、次トラック、前トラックなど)を表示する。例えば、図7Bは、常駐ボリュームコントロール568に対応する場所で接触5124(例えば、タップ接触)を受ける及び検出する動的ファンクション行104を示す。この例を続けると、図7Cは、図7Bで常駐ボリュームコントロール568に対応する場所でタップ接触を検出することに応答してポッドキャストJがミュートされたことを示す常駐ボリュームコントロール568を表示する動的ファンクション行104を示す。
いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、選択されると、タッチスクリーンディスプレイ上のシステムレベル機能に対応する複数のシステムレベルアフォーダンスの表示を引き起こす、構成されている(622)。いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、ボリュームや輝度のコントロールなどの複数のシステムレベルコントロール/アフォーダンス、及び他のシステムレベル機能へのアクセスを可能とする。例えば、図5Dで、動的ファンクション行104は、アプリケーションAに対応するアフォーダンス及び/又はインジケータ(例えば、コントロールセットB)の第2のセットと少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示する。図5Cで、動的ファンクション行104は、また、アフォーダンス542に対応する場所で接触552(例えば、タップ接触)を検出する。この実施例を続けると、図5Eは、図5Dでアフォーダンス542の選択を検出することに応答して、常駐コントロール(すなわち、アフォーダンス516と534)、複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530及び532)、及びアプリケーションAに対応するアフォーダンス538を表示する動的ファンクション行104を示す。
いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、電源コントロール又はエスケープコントロールのうちの1つに対応する(624)。いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、プライマリディスプレイ102のフォーカスに関わらず動的ファンクション行104上に表示される常駐コントロールを含む(例えば、エスケープアフォーダンス516や電源コントロール534、図5A~図14E)。起動された(例えば、タップ接触を介して)とき、エスケープアフォーダンス516は、対応する機能の実行をさせる(例えば、プライマリディスプレイ102上で現在フォーカスが当たっているアプリケーションを出ること)。起動された(例えば、タップ接触を介して)とき、電源コントロール534は、動的ファンクション行104上に、コンピューティングシステムをログアウトする、再起動する、又は電源を切るためのモードアラートの表示(例えば、モードアラート5308、図14E)を引き起こす。
いくつかの実施形態では、コンピューティングシステムは、アフォーダンスの第1のセットのうちの1つを選択するユーザタッチ入力を検出し(626)、ユーザタッチ入力を検出することに応答して、コンピューティングシステムは、アプリケーションの機能に対応するアフォーダンスの異なるセットを表示し、少なくとも1つのシステムレベルアフォーダンスの表示を維持する。いくつかの実施形態では、アプリケーションに対応する1つ以上のアフォーダンスの第1のセットは、そのアプリケーションに関連付けられたツール又は機能の組をアクセスする単一のアフォーダンスを含む。例えば、図5Bは、図5Aでカーソル504を用いたアプリケーションAアイコン512の選択を検出することに応答して、常駐コントロール(すなわち、アフォーダンス516と534)と複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530及び532)に加えて、プライマリディスプレイ102上でフォーカスが当たっている、アプリケーションAに対応するアフォーダンス538を表示する動的ファンクション行104を示す。この実施例を続けると、図5Cは、図5Bでアフォーダンス538の選択を検出することに応答して、アプリケーションAに対応するアフォーダンス及び/又はインジケータ(例えば、コントロールセットA)の第1のセットを表示する動的ファンクション行104を示す。
いくつかの実施形態では、コンピューティングシステムは、少なくとも1つのシステムレベルアフォーダンスを選択する後続のユーザタッチ入力を検出し(628)、そして、後続のユーザタッチ入力を検出することに応答して、コンピューティングシステムは、システムレベル機能に対応する複数のシステムレベルアフォーダンスとアプリケーションに対応する少なくとも1つのアプリケーションレベルアフォーダンスを表示する。例えば、図5Dは、プライマリディスプレイ102上でフォーカスが当たっている、アプリケーションAに対応するアフォーダンス及び/又はインジケータ(例えば、コントロールセットB)の第2のセット、及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104を示す。この実施例を続けると、図5Dでアフォーダンス542の選択を検出することに応答して、図5Eは、常駐コントロール(すなわち、アフォーダンス516と534)、複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530及び532)、及びアプリケーションAに対応するアフォーダンス538を表示する動的ファンクション行104を示す。
いくつかの実施形態では、タッチスクリーンディスプレイ上に第2のユーザインタフェースを表示することの後、コンピューティングシステムは、プライマリディスプレイ上でフォーカスが当たっている1つ以上のユーザインタフェース要素の中で第2のアクティブなユーザインタフェース要素を識別し(630)、第2のアクティブなユーザインタフェース要素がコンピューティングデバイスによって実行される異なるアプリケーションに対応するかどうかを判定する。第2のアクティブなユーザインタフェース要素が異なるアプリケーションに対応するという判定に従って、コンピューティングシステムは、(D)異なるアプリケーションに対応する1つ以上のアフォーダンスの第3のセット、及び(E)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む、第4のユーザインタフェースを、タッチスクリーンディスプレイ上に表示する。例えば、図6Aは、プライマリディスプレイ102上でフォーカスが当たっているユーザのメディアのサブセクションに対応する複数のアルバムアフォーダンス558(例えば、アルバムアフォーダンス558-Aから558-G)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104を示す。図6Aは、また、ユーザのメディアライブラリのポッドキャストサブセクションに対応する場所にカーソル504を表示するプライマリディスプレイ102を示す。この実施例を続けると、図6Aでカーソル504を用いてポッドキャストサブセクションの選択を検出することに応答して、図6Bは、プライマリディスプレイ102上でフォーカスが当たっているユーザのメディアライブラリのポッドキャストサブセクションに対応する第1の複数のポッドキャストアフォーダンス560(例えば、ポッドキャストアフォーダンス560-Aから560-G)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示する動的ファンクション行104を示す。
いくつかの実施形態では、コンピューティングシステムは、フォーカスが当たっている異なるユーザインタフェース要素を示す可聴の合図を提供する。いくつかの実施形態では、プライマリディスプレイ102は、フォーカスが当たっている異なるユーザインタフェース要素を示す視覚的な合図を表示する。例えば、図6Bについては、プライマリディスプレイ102は、ウィンドウ554内の左手のコラム内の「ポッドキャスト」テキストの上にスターインジケータ(図示されていない)を表示し、ウィンドウ554内の左手のコラム内の「ポッドキャスト」テキストを太字にし、ウィンドウ554内の左手のコラム内の「ポッドキャスト」テキストを異なる色又は同じ色に書き換え、又はそうでなければ、ポッドキャストサブセクションがプライマリディスプレイ102上で今フォーカスが当たっていることを示す。いくつかの実施形態では、動的ファンクション行104は、遷移アニメーションを表示し、これによって、複数のアルバムアフォーダンス558(図6Aに示された)がロールオーバーされ又は邪魔にならないようにスライドさせられてポッドキャスト560の第1の複数のアフォーダンス(図6Bに示された)を表示する。
いくつかの実施形態では、第2のアクティブなユーザインタフェース要素を識別することの後、コンピューティングシステムは、メディア(例えば、音声又はビデオ)項目がコンピューティングシステムによって表示されているかどうかを判定する(632)。ここで、メディアアイテムは、異なるアプリケーションに関連付けられてはおらず、メディアアイテムがコンピューティングシステムによって表示されているという判定に従って、コンピューティングシステムは、タッチスクリーンディスプレイ上にメディアアイテムをコントロールするための(例えば、ボリューム及び/又は再生コントロール)少なくとも1つの常駐アフォーダンスを表示する。いくつかの実施形態では、少なくとも1つのアフォーダンスは、フォーカスが変化し又はメディアがミュートされ及び/又はバックグラウンドに表示されていても、コンピューティングシステムのユーザがタッチスクリーンディスプレイからメディアアイテムをミュートすること/ミュート解除することを可能にする常駐コントロールである。例えば、図6Dは、ポッドキャストJの再生を起動する、図6Cでポッドキャストアフォーダンス560-Jの選択を検出することに応答して、常駐ボリュームコントロール568を表示する動的ファンクション行104を示し、例えば、図7Aは、アプリケーションの電子メールAがプライマリディスプレイ102上でフォーカスが当たっている間でさえも常駐ボリュームコントロール568を表示する動的ファンクション行104を示す。
いくつかの実施形態では、少なくとも1つの常駐アフォーダンスは、メディアアイテム(例えば、イコライザ(EQ)バー、ランタイムインジケータなど)に対応するフィードバックを表示し(634)、図6Dは、例えば、ポッドキャストJの再生に対応するイコライザバーを有する常駐ボリュームコントロール568を表示する動的ファンクション行104を示す。同様に、例えば、図7Cは、ポッドキャストJの再生がミュートされている間であってもイコライザを有する常駐ボリュームコントロール568を表示する動的ファンクション行104を示す。いくつかの実施形態では、動的ファンクション行104は、プレイされているメディアアイテム又は天気インジケータ、マイクロフォンキャプチャインジケータ若しくはWi-Fi信号強度インジケータなどのリアルタイム情報に基づいて継続的に更新されるアフォーダンスを含む。
いくつかの実施形態では、コンピューティングデバイスは、取消キーに対応するユーザ入力を検出し(636)、ユーザ入力を検出することに応答して、コンピューティングシステムは、タッチスクリーンディスプレイ上の少なくとも第2のユーザインタフェースの1つ以上のアフォーダンスの第1のセットを停止し、デフォルトファンクションキーの第1のセットを表示する。いくつかの実施形態では、取消キーに対応するユーザ入力は、入力メカニズム(例えば、ファンクションキーなどの特定の物理キーの作動)から又は動的ファンクション行(例えば、「エスケープ」アフォーダンス516などの仮想キーの選択)から信号を受けることに応答して検出される。例えば、ユーザは、「fn」キーを作動させて、動的ファンクション行104によって表示された現在のアフォーダンスを解除しデフォルトのF1、F2、F3、・・・、F12行を表示する。例えば、図14Aは、動的ファンクション行104を取り消す特定の物理キー(例えば、ファンクションキー)に対応する、ポータブルコンピューティングシステム100(図1A~図1B)の物理キーのセット106から又はデスクトップコンピューティングシステム200(図2A~図2D)の外付けキーボード206の物理キーのセット106から信号を受けることに応答して、常駐コントロール(例えば、アフォーダンス516と534)と共に、アフォーダンス5301(例えば、F1、F2、F3、・・・、F12に対応する)を有するインタフェース5300を表示する動的ファンクション行104を示す。
いくつかの実施形態では、取消キーに対応するユーザ入力を検出することに応答して、動的ファンクション行104は、コンピューティングシステムのユーザによって設定されたか又はソフトウェアで設定されたデフォルトインタフェースを表示する。例えば、デフォルトインタフェースは、複数のファンクションキー(例えば、F1、F2、F3、・・・、F12)、株s器相場表示、スポーツスコアをスクロールすること、天気予報をスクロールすることなどのうちの1つを含む。
いくつかの実施形態では、デフォルトファンクションキーの第1のセットを表示することの後、コンピューティングシステムは、タッチスクリーンディスプレイの主方向に実質的に平行な方向のジェスチャタイプを検出し(638)、スワイプジェスチャを検出することに応答して、少なくとも1つの別個のファンクションキー(例えば、前に表示されていなかったファンクションキー)を有するデフォルトファンクションキーの第2のセットを表示する。例えば、図14Aについては、コンピューティングシステムのユーザは、動的ファンクション行104上で実質的に横方向のスワイプジェスチャを実行すること(例えば、右から左への又は左から右へのスワイプジェスチャ)によって、動的ファンクション行104上のインタフェース5300内の追加のファンクションキー(例えば、F13、F14、F15、・・・)を見えるようにすることができる。
いくつかの実施形態では、アクティブなユーザインタフェース要素がコンピューティングシステムによって実行されたアプリケーションに関連付けられていないという判定に従って、コンピューティングシステムは、(C)コンピューティングシステムのオペレーティングシステムコントロールに対応する1つ以上のアフォーダンスの第2のセットを含んで、タッチスクリーンディスプレイ上に第3のユーザインタフェースを表示する(640)。ここで、1つ以上のアフォーダンスの第2のセットは、1つ以上のアフォーダンスの第1のセットとは別個である。例えば、図5Aで、システム/オペレーティングシステムは、プライマリディスプレイ102上で現在フォーカスが当たっている。例えば、プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素は、ボリュームコントロール、システムコントロール(例えば、輝度又はボリュームコントロール)、システム設定、スタートメニュー、ファイルエクスプローラ、システム探索などのオペレーティングシステムに関連付けられる。図5Aは、常駐アフォーダンス(例えば、アフォーダンス516と534)と共に複数のシステムレベルアフォーダンス(例えば、アフォーダンス518、520、522、524、526、528、530及び532)を表示する動的ファンクション行104を示す。
いくつかの実施形態では、1つ以上のアフォーダンスの第2のセットは、(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含むオペレーティングシステムコントロールの拡張された組である(642)。例えば、図8Eは、図8Dでアフォーダンス542の選択を検出することに応答して、常駐アフォーダンス(例えば、アフォーダンス516と534)と共に、複数のシステムレベルアフォーダンス(例えば、アフォーダンス518、520、522、524、526、528、530及び532を含む、オペレーティングシステムコントロールの拡張された組)を表示する動的ファンクション行104を示す。
図44A~図44Dにおける動作が説明された特定の順序は、単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作を再順序付ける様々な方法を認識するであろう。更に、本明細書に記載の他の方法(例えば、方法700、800、900、及び1000)に関して本明細書に記載された他のプロセスの詳細はまた、図44A~図44Dに関連して上述された方法600に類似の方法で適用可能であることも留意されたい。
図45A~図45Cは、いくつかの実施形態に従う、動的入出力デバイス(例えば、動的ファンクション行104を含む、図1A~図1B及び図2A~図2D)を更新する方法のフロー図である。方法700は、プロセッサ、メモリ、プライマリディスプレイを含む第1の筐体、及び物理キーボード(ここでは、物理入力メカニズムとも呼ばれる)とプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを含む第2の筐体を少なくとも部分的に含むコンピューティングシステムにおいて実行される。方法700のいくつかの動作は、任意選択的に、組み合わせられ、及び/又は、いくつかの動作の順序は、任意選択的に、変更される。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(ここでは、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)に実装されたプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(ここでは、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)に実装されたプライマリディスプレイ102(図2A~図2D)である。いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A~図1B)と物理キーボード(例えば、物理キーの組106、図1A~図1B)を少なくとも部分的に含む、ポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2A~図2B)と物理キーボード(例えば、物理キーの組106、図2A~図2B)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の外付けキーボード206(図2A~図2B)である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2C)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の第1の外付け入力メカニズム212(図2C)であり、第2の筐体は、入力メカニズム(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
コンピューティングシステムは、プライマリディスプレイ上にコンピューティングシステムによって実行されるアプリケーション用の第1のユーザインタフェースを表示する(702)。例えば、図8Aは、ユーザのアドレス帳に対応するメニュー5134を有する第1のユーザインタフェースを表示するプライマリディスプレイ102を示す。図8Aで、メニュー5134は、メニュー5134内で「全ての連絡先」グループを取り囲む太い線によって示されたようにプライマリディスプレイ102上でフォーカスが当たっている、ユーザのアドレス帳の「全ての連絡先」グループ(例えば、既存の又は自動的に加えられた連絡先)に対応する複数の連絡先のリストを含む。例えば、図13Bは、ファイルコントロールのメニュー5288がプライマリディスプレイ102上でフォーカスが当たっており、ウィンドウ5166上に重ね合わせられたファイルコントロールのメニュー5288を有する第1のユーザインタフェースを表示するプライマリディスプレイ102を示す。
コンピューティングシステムは、アプリケーションに対応する1つ以上のアフォーダンスの第1のセットを含む、第2のユーザインタフェースを、タッチスクリーンディスプレイ上に表示する(704)。ここで、1つ以上のアフォーダンスの第1のセットは、アプリケーションの第1の部分に対応する。いくつかの実施形態では、1つ以上のアフォーダンスの第1のセットは、アプリケーションのトップメニュー又はファイルメニュー(すなわち、第1の部分又はサブセクション)に関連付けられる。例えば、図8Aは、プライマリディスプレイ上102でフォーカスが当たっているユーザのアドレス帳の「全ての連絡先」グループに対応する第1の複数の連絡先アフォーダンス5136-A~5136-F(すなわち、アフォーダンスの第1のセット)を有する第2のユーザインタフェースを表示する動的ファンクション行104を示す。例えば、図13Bは、プライマリディスプレイ102上でフォーカスが当たっているファイルコントロールのメニュー5288に対応する第1の複数のアフォーダンス5290(すなわち、アフォーダンスの第1のセット)を有する第2のユーザインタフェースを表示する動的ファンクション行104を示す。
コンピューティングシステムは、タッチスクリーンディスプレイ上のスワイプジェスチャを検出する(706)。第1の実施例で、図8Aは、第1の場所5140-Aから第2の場所5140-Bに動く接触5138を有する右から左へのスワイプジェスチャを検出する動的ファンクション行104を示す。他の実施例では、図13Bは、第1の場所5294-Aから第2の場所5294-Bに動く接触5292を有する上向きのスワイプジェスチャを検出する動的ファンクション行104を示す。
スワイプジェスチャが第1の方向(例えば、横方向の)に実行されたという判定に従って、コンピューティングシステムは、タッチスクリーンディスプレイ上のアプリケーションに対応する1つ以上のアフォーダンスの第2のセットを表示する(708)。ここで、1つ以上のアフォーダンスの第2のセット内の少なくとも1つのアフォーダンスは、1つ以上のアフォーダンスの第1のセットとは別個であり、1つ以上のアフォーダンスの第2のセットはまたアプリケーションの第1の部分に相当する。いくつかの実施形態では、第1の方向のスワイプジェスチャを検出することに応答して、動的ファンクション行は、アプリケーションの第1の部分にも対応するアフォーダンスの第1のセットと比較して、少なくとも1つのアフォーダンス(例えば)、ツール又は項目)を有するアプリケーションの第1の部分(例えば、ツールセット又はメニュー)に対応するアフォーダンスの第2のセットを異なるように表示する。例えば、図8Aで右から左へのスワイプジェスチャを検出することに応答して、図8Bは、ユーザのアドレス帳の「全ての連絡先」グループに対応する第2の複数の連絡先アフォーダンス5136-E~5136-J(すなわち、アフォーダンスの第2のセット)を表示する動的ファンクション行104を示す。
いくつかの実施形態では、第1の方向は、タッチスクリーンディスプレイの主寸法に実質的に平行である(710)。例えば、ポータブルコンピューティングシステム100(図1A~図1B)を参照すると、第1の方向は、動的ファンクション行104の主寸法及び/又は物理キーの組106に相対的に実質的に垂直(すなわち、縦方向)である。
いくつかの実施形態では、第1の方向は、タッチスクリーンディスプレイの主寸法に実質的に垂直である(712)。例えば、ポータブルコンピューティングシステム100(図1A~図1B)を参照すると、第1の方向は、動的ファンクション行104の主寸法及び/又は物理キーの組106に相対的に実質に平行(例えば、横方向の)である。
スワイプジェスチャが第1の方向に実質的に垂直な第2の方向に行われたという判定に従って、コンピューティングシステムは、タッチスクリーンディスプレイ上にアプリケーションに対応する1つ以上のアフォーダンスの第3のセットを表示する(714)。ここで、1つ以上のアフォーダンスの第3のセットは、1つ以上のアフォーダンスの第2のセットとは別個であり、1つ以上のアフォーダンスの第3のセットは、アプリケーションの第1の部分とは別個であるアプリケーションの第2の部分に対応する。いくつかの実施形態では、第2の方向のスワイプジェスチャを検出することに応答して、動的ファンクション行は、アフォーダンスの第1のセットに関連付けられたアプリケーションの第1の部分と比較して、アプリケーションの第2の部分(例えば、異なるツールセット又はメニュー)に対応するアフォーダンスの第3のセットを異なるように表示する。例えば、図13Bで上向きのスワイプジェスチャを検出することに応答して、図13Cは、プライマリディスプレイ102上でフォーカスが当たっている編集コントロールのメニュー5296に対応する第2の複数のアフォーダンス5298(すなわち、アフォーダンスの第3のセット)を表示する動的ファンクション行104を示す。いくつかの実施形態では、動的ファンクション行104は、遷移アニメーションを表示する。これによって、アフォーダンスの第1のセット5290(図13Bに示された)は、ロールオーバーされるか又は邪魔にならないようにスライドさせられて第2の複数のポッドキャストアフォーダンス598(図13Cに示された)を表示する。
したがって、一実施形態では、動的ファンクション行104上検出された横方向のスワイプは、グループ又はカテゴリ内で動き又はスクラブし、縦のスワイプは、カテゴリ/フィルタを変更する。その結果、コンピューティングシステムのユーザは、手をキーボードからはなしてマウスへ動かすことなく、ナビゲートツール及びメニューを容易に動かすことができる。これはまた、より効率的な情報の表示を可能とし、より効率的なマン-マシンインタラクションを可能にする。
スワイプジェスチャに応答してタッチ感知式セカンダリディスプレイ内のアプリケーションに特定のアフォーダンスを迅速にナビゲートすることをユーザに可能にすることは、タッチ感知式セカンダリディスプレイを介してスクロールし所望の機能を迅速に探し出す便利な方法をユーザに提供する。タッチ感知式セカンダリディスプレイを介してスクロールし所望の機能を迅速に探し出す便利な方法をユーザに提供することは、コンピューティングシステムの操作性を向上させ、ユーザデバイスインタフェースをより便利にする(例えば、必要とされる機能を探し出すためにより少ないインタラクションでかつ階層構造のメニューを調べる時間を浪費する必要なしにタッチ感知式セカンダリディスプレイを通して直接的に必要とされる機能をユーザがアクセスすることを助けることによって)。これは、更に加えて、必要とされる機能をより迅速にかつ効率的にユーザがアクセスすることを可能にすることによって装置の電力使用量を低減しバッテリ寿命を向上させる。更に、タッチ感知式セカンダリディスプレイにおけるスワイプジェスチャに応答してタッチ感知式セカンダリディスプレイ内に表示されるアフォーダンスを動的に更新することによって、セカンダリディスプレイは、限られたスクリーン上でより多くの情報を利用可能にすることができ、ユーザが所望のオプションをそれらのオプションが必要とされるときに提供されること確実にすることを助ける(これによって、電力使用量を減少させバッテリ寿命を延ばす、なぜならばユーザはこれらの所望のオプションを探し出すために階層メニューを探して電力とバッテリ寿命を浪費する必要がないからである)。
いくつかの実施形態では、第2の部分は、スワイプジェスチャを検出する前に第1のユーザインタフェース内にコンパクトビューでプライマリディスプレイ上に表示され(716)、システムは、スワイプジェスチャが第1の方向に実質的に垂直な第2の方向で行われたという判定に従って第1のユーザインタフェース内に拡張されたビューでプライマリディスプレイ上に第2の部分を表示する。例えば、図13Bで、写真アプリケーション用のステータストレイ502の第1の部分(例えば、ファイルコントロールのメニュー5288)は、プライマリディスプレイ102によって拡張モードで表示され、写真アプリケーション用のステータストレイ502の第2の部分(例えば、編集コントロールのメニュー5296)は、プライマリディスプレイ102によってコンパクトモードで表示される。この実施例を続けると、図13Bで第2の方向に行われたスワイプジェスチャ(例えば、接触5292を用いた上向きスワイプジェスチャ)を検出することに応答して、写真アプリケーション用のステータストレイ502の第2の部分は、図13Cでプライマリディスプレイ102によって拡張モードで表示され、写真アプリケーション用のステータストレイ502の第1の部分は、プライマリディスプレイ102によってコンパクトモードで表示される。
別の実施例では、図8Bで、メールアプリケーションのメニュー5134の第1の部分(例えば、メニュー5134内のユーザのアドレス帳の「全ての連絡先」グループ)は、プライマリディスプレイ102によって拡張モードで表示され、メールアプリケーションのメニュー5134の第2の部分(例えば、メニュー5134内のユーザのアドレス帳の「家族」グループ)は、プライマリディスプレイ102によってコンパクトモードで表示される。この実施例を続けると、図8Bで第2の方向に行われたスワイプジェスチャ(例えば、接触5142を用いた上向きスワイプジェスチャ)を検出することに応答して、メールアプリケーションのメニュー5134の第2の部分は、図8Cでプライマリディスプレイ102によって拡張モードで表示され、メールアプリケーションのメニュー5134の第1の部分は、プライマリディスプレイ102によってコンパクトモードで表示される。
いくつかの実施形態では、第1の部分は、アプリケーションのメニュー、タブ、フォルダ、ツールセット又はツールバーのうちの1つであり(718)、第2の部分は、アプリケーションのメニュー、タブ、フォルダ、ツールセット又はツールバーのうちの1つである。図8A~図8Cで、例えば、メールアプリケーションのメニュー5134の第1の部分は、メニュー5134内のユーザのアドレス帳の「全ての連絡先」グループに対応し、メールアプリケーションのメニュー5134の第2の部分は、メニュー5134内のユーザのアドレス帳の「家族」グループに対応する。図13B~図13Cで、例えば、写真アプリケーション用のステータストレイ502の第1の部分は、ファイルコントロールのメニュー5288に対応し、写真アプリケーション用のステータストレイ502の第2の部分は、編集コントロールのメニュー5296に対応する。
いくつかの実施形態では、タッチスクリーンディスプレイ上に1つ以上のアフォーダンスの第3のセットを表示することの後、コンピューティングシステム(720)は、第1のユーザインタフェース上で第1の部分を選択するユーザ入力を検出し、タッチスクリーンディスプレイ上に1つ以上のアフォーダンスの第3のセットを表示することを止め、ここで、1つ以上のアフォーダンスの第3のセットはアプリケーションの第2の部分に対応し、コンピューティングシステムは、1つ以上のアフォーダンスの第2のセットを表示し、ここで、1つ以上のアフォーダンスの第2のセットはアプリケーションの第1の部分に対応する。例えば、図13Cについては、プライマリディスプレイ102上でフォーカスが当たっている編集コントロールのメニュー5296に対応する動的ファンクション行104上の第2の複数のアフォーダンス5298(すなわち、アフォーダンスの第3のセット)を表示することの後、プライマリディスプレイ102は、ステータストレイ502内のファイルメニューに対応する場所(図示されていない)にカーソル504を表示する。実施例を続けると、カーソル504を用いてステータストレイ502内でファイルメニューを選択することに応答して、動的ファンクション行104は、第2の複数のアフォーダンス5298(すなわち、アフォーダンスの第3のセット)を表示することを止め、それにかえて、ファイルコントロールのメニュー5288(すなわち、アフォーダンスの第2のセット)を表示する。
いくつかの実施形態では、1つ以上のアフォーダンスの第2のセットと1つ以上のアフォーダンスの第3のセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む(722)。例えば、図8Bで、動的ファンクション行104は、少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)と共に、ユーザのアドレス帳の「全ての連絡先」グループに対応する第2の複数の連絡先アフォーダンス5136-E~5136-J(すなわち、アフォーダンスの第2のセット)を表示する。図13Cで、例えば、動的ファンクション行104は、少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)と共に、プライマリディスプレイ102上でフォーカスが当たっている編集コントロールのメニュー5296に対応する第2の複数のアフォーダンス5298(すなわち、アフォーダンスの第3のセット)を表示する。
いくつかの実施形態では、コンピューティングシステムによって実行されるアプリケーション用の第1のユーザインタフェースは、プライマリディスプレイ上にフルスクリーンモードで表示され(724)、タッチスクリーンディスプレイ上に表示される1つ以上のアフォーダンスの第1のセットは、フルスクリーンモードに対応するコントロールを含む。例えば、図10Gは、ウィンドウ5200内にフルスクリーンモードで写真Bを表示するプライマリディスプレイ102を示し、また、ウィンドウ5200内に写真Bの向きを整えるコントロールの組5209を表示する動的ファンクション行104も示す。例えば、第2の方向(例えば、動的ファンクション行104の主寸法に相対的に縦の)のスワイプジェスチャを検出することに応答して、動的ファンクション行104は、切り抜きツール5210に対応するコントロールの組(例えば、スワイプジェスチャが上向きスワイプジェスチャである場合)又は赤目軽減ツール5206に対応するコントロールの組(例えば、スワイプジェスチャが下向きスワイプジェスチャである場合)を表示する。この実施例を続けると、第1の方向の(例えば、動的ファンクション行104の主寸法に対し相対的に横の)スワイプジェスチャを検出することに応答して、動的ファンクション行104は、ウィンドウ5200内で写真Bの向きを調整する。
別の実施例では、図10Gについては、第2の方向の(例えば、動的ファンクション行104の主寸法に対し相対的に縦の)スワイプジェスチャを検出することに応答して、動的ファンクション行104は、情報アフォーダンス5178に関連付けられたコントロールの組(例えば、スワイプジェスチャが上向きスワイプジェスチャである場合)又は写真追加アフォーダンス5182に関連付けられたコントロールの組(例えば、スワイプジェスチャが下向きスワイプジェスチャである場合)を表示する。この実施例を続けると、第1の方向の(例えば、動的ファンクション行104の主寸法に対し相対的に横の)スワイプジェスチャを検出することに応答して、動的ファンクション行104は、切り抜きツール5210に対応するコントロールの組(例えば、スワイプジェスチャが右から左へのスワイプジェスチャである場合)又は赤目軽減ツール5206に対応するコントロールの組(例えば、スワイプジェスチャが左から右へのスワイプジェスチャである場合)を表示する。
図45A~図45Cにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法600、800、900、及び1000)に関して本明細書で記載されている他のプロセスの詳細は、また、図45A~図45Cに関連して上述された方法700に類似の方法で適用可能であることも留意されたい。
図46A~図46Bは、いくつかの実施形態に従うフルスクリーンモードにある間アプリケーションの機能を維持する方法のフロー図である。方法800は、プロセッサ、メモリ、プライマリディスプレイを含む第1の筐体、及び物理キーボード(ここでは、物理入力メカニズムとも呼ばれる)とプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含む第2の筐体を含むコンピューティングシステムにおいて実行される。方法800のいくつかの動作は任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は任意選択的に変更される。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(ここでは、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)に実装されたプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(ここでは、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)に実装されたプライマリディスプレイ102(図2A~図2D)である。いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A~図1B)と物理キーボード(例えば、物理キーの組106、図1A~図1B)を少なくとも部分的に含む、ポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2A~図2B)と物理キーボード(例えば、物理キーの組106、図2A~図2B)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の外付けキーボード206(図2A~図2B)である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2C)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の第1の外付け入力メカニズム212であり(図2C)、第2の筐体は、入力メカニズム(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
コンピューティングシステムは、ノーマルモードにあるプライマリディスプレイ上に、コンピューティングシステムによって実行されるアプリケーション用の第1のユーザインタフェース、アプリケーションに関連付けられた1つ以上のアフォーダンスの少なくとも第1のセットを含む第1のユーザインタフェースを表示する(802)。例えば、図10Bは、ノーマルディスプレイモードで写真アプリケーション用のウィンドウ5166を有する第1のユーザインタフェースを表示するプライマリディスプレイ102を示す。図10Bで、ウィンドウ5166内の選択された写真Bは、プライマリディスプレイ102上でフォーカスが当たっており、ウィンドウ5166は、選択された写真Bに機能/操作、すなわち、サーチ、ズーム、スライドショー、シェア及び設定を行う選択可能なアフォーダンス(すなわち、アフォーダンスの第1のセット)を含む。
コンピューティングシステムは、プライマリディスプレイ上でフルスクリーンモードのアプリケーション用の第1のユーザインタフェースの少なくとも部分を表示するユーザ入力を検出する(804)。例えば、検出されたユーザ入力は、フルスクリーンビューアフォーダンスの選択又はプライマリディスプレイ102上に表示されるスライドショーアフォーダンス又は動的ファンクション行104に対応する。
いくつかの実施形態では、プライマリディスプレイ上にフルスクリーンモードでアプリケーション用の第1のユーザインタフェースの少なくとも部分を表示するユーザ入力は、タッチスクリーンディスプレイ上で検出されたタッチ入力とプライマリディスプレイ上の第1のユーザインタフェース内で選択されたコントロールのうちの少なくとも1つである(806)。第1の実施例では、図10Bは、スライドショーアフォーダンスに対応する場所にカーソル504を表示するプライマリディスプレイ102を示す。第2の実施例で、図10Dは、フルスクリーンアフォーダンス5196に対応する場所に接触5196(例えば、タップ接触)を受ける及び検出する動的ファンクション行104を示す。
ユーザ入力を検出することに応答して、コンピューティングシステム(808)は、プライマリディスプレイ上に第1のユーザインタフェース内のアプリケーションに関連付けられた1つ以上のアフォーダンスの第1のセットを表示することを止め、フルスクリーンモードのプライマリディスプレイに、アプリケーション用の第1のユーザインタフェースの部分を表示し、自動的に、人間の介入なしに、アプリケーションをコントロールする1つ以上のアフォーダンスの第2のセットを表示する。ここで、1つ以上のアフォーダンスの第2のセットは、1つ以上のアフォーダンスの第1のセットに対応する。上の第1の実施例を続けると、図10Cは、図10Bでカーソル504を用いてスライドショーアフォーダンスの選択を検出することに応答して、ウィンドウ5188内にユーザの写真ライブラリの全ての写真サブセクションから写真のスライドショーを表示するプライマリディスプレイ102を示す。図10Cは、また、図10Bでカーソル504を用いてスライドショーアフォーダンスの選択を検出することに応答して、サムネイル画像5192-Y、5192-Z、5192-A、5192-B、5192-C、5192-D及び5192-E(すなわち、アフォーダンスの第2のセット)を表示する動的ファンクション行104を示す。サムネイル画像5192-Y、5192-Z、5192-A、5192-B、5192-C、5192-D及び5192-Eは、ユーザの写真ライブラリの全ての写真サブセクションに関連付けられているスライドショー用の一連の写真に対応する。図10Cで、写真Bに対応するアフォーダンス5192-Bは、動的ファンクション行104によって目立つように表示されて(例えば、太文字のテキストや太い境界線)、写真Bがプライマリディスプレイ102上で現在フォーカスが当たっていることを示す。
上の第2の実施例を続けると、図10Eは、図10Dでフルスクリーンアフォーダンス5196の選択を検出することに応答して、ウィンドウ5200内にフルスクリーンモードで写真Bを表示するプライマリディスプレイ102を示す。図10Fもまた、図10Eで編集アフォーダンス5180の選択を検出することに応答して、編集ツールの組5205(すなわち、アフォーダンスの第2のセット)を表示する動的ファンクション行104を示す。
他の実施例では、ウェブブラウザアプリケーション又はウェブブラウザアプリケーションに対応するユーザインタフェースの部分がプライマリディスプレイ102上でフォーカスが当たっておりかつコンピューティングシステムがフルスクリーンモードに入るユーザ入力を検出するとき、プライマリディスプレイ102は、現在アクティブなタブをフルスクリーンモードで表示し、動的ファンクション行104は、少なくとも1つのシステムレベルアフォーダンスと共に、ウェブブラウザアプリケーション内で開いているタブに対応するサムネイル画像を表示する。例えば、コンピューティングシステムのユーザは、動的ファンクション行104上で対応するタブに対応するサムネイルを選択することによってフルスクリーンモードでプライマリディスプレイ102上に対応するタブを表示することができる。
いくつかの実施形態では、1つ以上のアフォーダンスの第2のセットは、1つ以上のアフォーダンスの第1のセットである(810)。例えば、アフォーダンスの第2のセットは、アプリケーションに関連付けられたアフォーダンスの第1のセットのうちの少なくとも部分を含む。別の実施例では、アフォーダンスの第2のセットは、アプリケーションに関連付けられたアフォーダンスの第1のセットを含む。別の実施例では、アフォーダンスの第2のセットは、アプリケーションに関連付けられたアフォーダンスの第1のセットと同じである。例えば、アフォーダンスの第2のセットは、写真編集コントロール、ゲームコントロール、スライドショーコントロールとプレビュー、ウェブブラウザに対して現在開かれているウェブページタブその他などの、コンピューティングシステムによって実行されるアプリケーションに関連付けられたコントロールを含む。
いくつかの実施形態では、1つ以上のアフォーダンスの第2のセットは、フルスクリーンモードに対応するコントロールを含む(812)。例えば、図10Cは、ユーザの写真ライブラリの全ての写真サブセクションに関連付けられているスライドショー用の一連の写真に対応するサムネイル画像5192-Y、5192-Z、5192-A、5192-B、5192-C、5192-D及び5192-E(すなわち、アフォーダンスの第2のセット)を表示する動的ファンクション行104を示す。例えば、コンピューティングシステムのユーザは、アフォーダンス5192のうちの1つを選択することによって特定の写真へ前にスキップすること又は特定の写真へ後ろにスキップしたりすることができる。更に、例えば、コンピューティングシステムのユーザは、動的ファンクション行104上で右から左へのスワイプジェスチャを行うことによって前にブラウズすること又は動的ファンクション行104上で左から右へのスワイプジェスチャを行うことによって一連の写真を後ろにブラウズすることができる。また、図10Cで、動的ファンクション行104は、起動されたとき(例えば、タップ接触を介して)、スライドショーをポーズさせ、またプライマリディスプレイ102をフルスクリーンモードから出させる、ポーズアフォーダンス5190を表示する。
いくつかの実施形態では、1つ以上のアフォーダンスの第2のセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む(814)。例えば、図10Cは、少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)と常駐コントロール(例えば、アフォーダンス516と534)と共に、サムネイル画像5192とポーズアフォーダンス5190を表示する動的ファンクション行104を示す。
アプリケーションの部分がプライマリディスプレイ上にフルスクリーンモードで表示されながら、タッチ感知式セカンダリディスプレイを介してアプリケーションをコントロールするアフォーダンスを提供することは、プライマリディスプレイ上にもはや直接的に表示されていない可能性がある機能をアクセスすることを続けることをユーザに可能にする。プライマリディスプレイ上にもはや直接的に表示されていない可能性がある機能をアクセスすることを続けることをユーザに可能にすることは、プライマリディスプレイ上で埋まってしまった可能性のある機能をアクセスする迅速でかつ便利な方法をユーザに提供し、これによって、コンピューティングシステムの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする(例えば、必要とされる機能を探し出すためにより少ないインタラクションでかつ階層構造のメニューを調べる時間を浪費する必要なしにタッチ感知式セカンダリディスプレイを通して直接的に必要とされる機能にユーザがアクセスすることを助けることによって)。これは、更に加えて、必要とされる機能をより迅速にかつ効率的にユーザがアクセスすることを可能にすることによって装置の電力使用量を低減しバッテリ寿命を向上させる。よって、コンテンツが(障害なしに)フルスクリーンモードで表現されることもできることを確実にするためにメニューオプションをプライマリディスプレイからタッチ感知式セカンダリディスプレイへシフトさせることによって、ユーザは、装置とのインタラクションを持続させることができ、フルスクリーンモードにシフトするときユーザの仕事の流れは中断させられない。また、プライマリディスプレイ上でコンテンツの裏に埋もれてしまっている可能性のあるメニューオプションが、容易でかつ迅速なアクセスのために(かつフルスクリーンモードを出てメニューオプションを求めて探し回る必要なしに)タッチ感知式セカンダリディスプレイ上に表現されるので、フルスクリーンコンテンツを見ながらメニューオプションをアクセスするために、より少ないインタラクションが要求される。これによって、装置に対して電力消費量を減少させバッテリ寿命を向上させる。
いくつかの実施形態では、コンピューティングシステムは、タッチスクリーンディスプレイ上に表示されたアフォーダンスの第2のセットのうちの1つを選択するユーザタッチ入力を検出し(816)、ユーザタッチ入力を検出することに応答して、コンピューティングシステムは、アフォーダンスの第2のセットのうちの選択された1つに従ってプライマリディスプレイ上でフルスクリーンモードで表示されているアプリケーション用の第1のユーザインタフェースの部分を変更する。図10Gで、例えば、コンピューティングシステムのユーザは、スライダ5210上で生じる場所で又はコントロールの組5209内で左から右へのスワイプ/ドラッグジェスチャ又は右から左へのスワイプ/ドラッグジェスチャを行うことによって、プライマリディスプレイ102によって表示されたウィンドウ5200内の写真Bの向きを調整することができる。
いくつかの実施形態では、プライマリディスプレイ上にフルスクリーンモードでアプリケーション用の第1のユーザインタフェースの部分を表示することの後、コンピューティングシステム(818)は、フルスクリーンモードを出るための後続のユーザ入力を検出し、後続のユーザ入力を検出することに応答して、ノーマルモードのプライマリディスプレイ上に、コンピューティングシステムによって実行されたアプリケーション用の、アプリケーションに関連付けられた1つ以上のアフォーダンスの第1のセットを含む、第1のユーザインタフェースを表示し、タッチスクリーンディスプレイ上にアプリケーションをコントロールする1つ以上のアフォーダンスの第2のセットのうちの少なくともサブセットの表示を維持する。ここで、1つ以上のアフォーダンスの第2のセットは、1つ以上のアフォーダンスの第1のセットに対応する。一実施例では、図10Cは、ポーズアフォーダンス5190に対応する場所で接触5194(例えば、タップ接触)を受ける及び検出する動的ファンクション行104を示す。この実施例を続けると、プライマリディスプレイ102は、フルスクリーンモードを出て、図10Dは、図10Cでポーズアフォーダンス5190の選択を検出することに応答してウィンドウ5166内に拡張されたビューで写真Bを表示するプライマリディスプレイ102を示す。他の実施例では、図10Gは、エスケープアフォーダンス516に対応する場所に接触5216(例えば、タップ接触)を受ける及び検出する動的ファンクション行104を示す。この実施例を続けると、プライマリディスプレイ102は、フルスクリーンモードを出て、図10Hは、図10Gでエスケープアフォーダンス516の選択を検出することに応答してウィンドウ5166内に拡張されたビューで写真Bを表示するプライマリディスプレイ102を示す。この実施例を続けると、図10Hは、また、図10Gに表示されたアフォーダンスの第2のセットのうちの少なくともサブセットの表示を維持する動的ファンクション行104を示す。
図46A~図46Bにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法600、700、900及び1000)に関して本明細書で記載された他のプロセスの詳細はまた、図46A~図46Bに関連して上述された方法800に類似の方法で適用可能であることも留意されたい。
図47A~図47Bは、いくつかの実施形態に実施形態に従う、タッチスクリーンディスプレイ上に通知を表示する方法のフロー図である。方法900は、プロセッサ、メモリ、プライマリディスプレイを含む第1の筐体、及び物理キーボード(ここでは、物理入力メカニズムとも呼ばれる)とプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含む第2の筐体を含むコンピューティングシステムにおいて実行される。方法900のいくつかの動作は任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は任意選択的に変更される。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(ここでは、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)に実装されたプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(ここでは、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)に実装されたプライマリディスプレイ102(図2A~図2D)である。いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A~図1B)と物理キーボード(例えば、物理キーの組106、図1A~図1B)を少なくとも部分的に含む、ポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2A~図2B)と物理キーボード(例えば、物理キーの組106、図2A~図2B)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の外付けキーボード206(図2A~図2B)である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2C)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の第1の外付け入力メカニズム212(図2C)であり、第2の筐体は、入力メカニズム(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
コンピューティングシステムは、プライマリディスプレイ上に、コンピューティングシステムによって実行されるアプリケーション用の第1のユーザインタフェースを表示する(902)。例えば、図12Fは、ウィンドウ5224内にブックマークサイドバーと共にタブB(例えば、www.website_B.com/homeに対応する)用のインタフェースを有する第1のユーザインタフェースを表示するプライマリディスプレイ102を示す。図12Fで、ブックマークサイドバーは、ブックマークサイドバーを取り囲む太い線によって示されたように、プライマリディスプレイ102上でフォーカスが当たっている。
コンピューティングシステムは、タッチスクリーンディスプレイ上に、アプリケーションに対応する1つ以上のアフォーダンスのセットを含む第2のユーザインタフェースを表示する(904)。上の実施例を続けると、図12Fは、プライマリディスプレイ102上でフォーカスが当たっているブックマークサイドバーの結果として全ての前から存在するブックマークに対応するブックマークアフォーダンスのセット5278を有する第2のユーザインタフェースを表示する動的ファンクション行104を示す。
いくつかの実施形態では、通知の検出の前に、コンピューティングシステムは、タッチスクリーンディスプレイ上に通知を表示しプライマリディスプレイ上に通知を表示しないように、通知設定を選択するユーザ入力を検出する(906)。いくつかの実施形態では、コンピューティングシステムのユーザは、受信された通知が1つ以上のプライマリディスプレイ102及び動的ファンクション行104上に表示されるべきかどうかを設定パネル内で指定することができる。いくつかの実施形態では、コンピューティングシステムは、デフォルトによるプライマリディスプレイ102上ではなく、動的ファンクション行104上に、受けた通知を表示する。
コンピューティングシステムは、通知を検出する(908)。いくつかの実施形態では、通知は、アプリケーション(例えば、図12Fにおけるウェブブラウザアプリケーション)に関連付けられる。いくつかの実施形態では、通知は、フォアグラウンドで現在実行されているアプリケーションに又はバックグラウンドのアプリケーションに関連付けられる。例えば、通知は、新しく受信された電子メール、インスタントメッセージ又はSMSなどのモードアラート又はリアルタイム通知、ソーシャルメディアアプリケーション内のポスト又は応答などのアプリケーション内で新たに検出された出来事に関付けられた通知、保存/イグジットダイアログボックス又は他のプロンプトなどのコンピューティングシステムによって実行されるアプリケーションに関連付けられたモードアラート、又は同様のもののうちの1つである。
通知を検出することに応答して、コンピューティングシステムは、第2のユーザインタフェース内に、アプリケーションに対応する1つ以上のアフォーダンスのセットとタッチスクリーンディスプレイ上の検出された通知の少なくとも部分を、同時に表示する(910)。ここで、検出された通知は、プライマリディスプレイ上に表示されない。例えば、いくつかの実施形態では、動作906で考察された通知設定に基づいて、検出された通知のうちの少なくとも部分は、動的ファンクション行104上に表示された第2のユーザインタフェース上に重ね合わせられる。追加として及び/又は代替として、いくつかの実施形態では、通知は、プライマリディスプレイ102によって表示された第1のユーザインタフェース上に重ね合わせられる。したがって、コンピューティングシステムのユーザは、そのような選択可能なコントロールがプライマリディスプレイ上に表示されているときに物理キーの組から他の入力デバイス(例えば、マウス)へユーザの手を移すことなく、通知を見ること及び応答することができる。例えば、ユーザの手に対するキーボードとマウスとの間の、及びユーザの目に対するキーボードとディスプレイとの間の、モード切替のこの削減は、より直感的なユーザエクスペリエンス及びより効率的なヒューマン-マシンインタフェースを提供する。
例えば、図8Gは、プライマリディスプレイ102と図8Fでカーソル504を用いてイグジットアフォーダンスの選択を検出することに応答してモードアラート5156を表示する動的ファンクション行104を示す。図8Gで、モードアラート5156は、ウィンドウ580を閉じる前にドラフトの電子メールを保存することをユーザに促し、「保存」アフォーダンス5158、「保存しない」アフォーダンス5160及び「取り消し」アフォーダンス5162を含む。他の実施例では、図9は、プライマリディスプレイ102とポータブルコンピューティングシステム100(図1A~図1B)の物理キーの組106からの又はデスクトップコンピューティングシステム200(図2A~図2D)の外付けキーボード206の物理キーの組106からの指定された物理キー組合せ(例えば、alt+tab)に対応する信号を受けることに応答してアプリケーション選択ウィンドウ5164表示する動的ファンクション行104を示す。図9で、アプリケーション選択ウィンドウ5164は、コンピューティングシステムのユーザが、バックグラウンドにある可能性のある現在動いているアプリケーションの間を切り替えることを可能にする。
更に別の実施例では、図10Hは、コンピューティングシステムによる通知5218の受け取りに応答して、アフォーダンス5178、5180、5182及び5184上に重ね合わせられた通知5218を表示する動的ファンクション行104を示す。図10Hで、通知5218は、Suzie S.によってコンピューティングシステムのユーザに送られた、SMS、インスタントメッセージなどに対応する。ここで、通知のコンテンツは「今夜映画はいかが?」と問い合わせている。更に他の実施例では、図11Eは、プライマリディスプレイ102と図11Dでカーソル504を用いた購入アフォーダンスの選択を検出することに応答してモードアラート5240を表示する動的ファンクション行104を示す。図11Eで、動的ファンクション行104上に表示されたモードアラート5240は、コンピューティングシステムのユーザに、動的ファンクション行104の指紋領域5244内にユーザの指紋を提供することを促し、また、起動されたとき(例えば、タップ接触を介して)、購入の取り消しを生じさせる、取り消しアフォーダンス5242を含む。
更に他の実施例では、図12Aは、コンピューティングシステムによる通知5264の受け取りに応答して、ウィンドウ5264上に重ね合わせられた通知5264を表示するプライマリディスプレイ102を示す。図12Aで、通知5264は、MASによってコンピューティングシステムのユーザに送られたSMS、インスタントメッセージなどに対応する。ここで、通知のコンテンツは、「もう着陸した?」と問い合わせている。更に他の実施例では、図12Gは、図12Fでカーソル504を用いたイグジットアフォーダンスの選択を検出することに応答してブックマークアフォーダンスのセット5278上に重ね合わせられたモードアラート5280を表示する動的ファンクション行104を示す。図12Gで、モードアラート5280は、ウェブブラウザアプリケーション内で、全ての開いているタブを閉じようとコンピューティングシステムのユーザが意図していることを確認することをユーザに促す。更に他の実施例では、図14Bは、図14Dで電源コントロール534の選択を検出することに応答してモードアラート5308を表示する動的ファンクション行104を示す。図14Eで、モードアラート5308は、ログアウトアフォーダンス5310、再起動アフォーダンス5312、電源を切るアフォーダンス5314及び取り消しアフォーダンス5316のうちの1つからログアウト/電源を切るオプションを選択することを、コンピューティングシステムのユーザに促す。
受信された通知をタッチ感知式セカンダリディスプレイ上に表示することは、ユーザが中断されない仕方でプライマリディスプレイ上でユーザの仕事を続けることを可能にし、ユーザがタッチ感知式セカンダリディスプレイを介して受けた通知と相互作用することを可能にする。ユーザが中断されない仕方でプライマリディスプレイ上でユーザの仕事を続けることを可能にすること及びユーザがタッチ感知式セカンダリディスプレイを介して受けた通知と相互作用することを可能にすることは、受けられた通知を見る及びそれと相互作用する迅速でかつ便利な方法をユーザに提供し、これによって、コンピューティングシステムの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする(例えば、タッチ感知式セカンダリディスプレイを直接的に通して、受けられた通知を扱うユーザの仕事の流れを中断する必要なしに、受けられた通知に便利よくアクセスすることを助けることによって)。更に、タッチ感知式セカンダリディスプレイに通知を受けることを表示することは、受けられた通知が、いくつかの実施形態では、タッチ感知式セカンダリディスプレイ内で他のアフォーダンスに重なり合うように表示されるので、タッチ感知式セカンダリディスプレイにおいて受けられた通知に対する強調する効果を提供し、したがって、タッチ感知式セカンダリディスプレイで目に見えかつ容易にアクセス可能であることを確実にする。
いくつかの実施形態では、タッチスクリーンディスプレイ上に表示された通知の部分は、コンピューティングシステムのユーザに、検出された通知に応答する複数のオプションのうちの1つを選択するように促す(912)。例えば、プライマリディスプレイ102によって表示されたモードアラート5156と動的ファンクション行104は、図8Gで、ウィンドウ580を閉じる前にドラフトの電子メールを保存することをユーザに促し、「保存する」アフォーダンス5158、「保存しない」アフォーダンス5160及び「取り消し」アフォーダンス5162を含む。他の実施例では、動的ファンクション行5280によって表示されたモードアラート104は、図12Gで、ユーザがウェブブラウザアプリケーション内の全ての開いているタブを閉じることを意図していることを確認することをコンピューティングシステムのユーザに促す。更に他の実施例では、動的ファンクション行104によって表示されたモードアラート5308は、図14Eで、コンピューティングシステムのユーザに、ログアウトアフォーダンス5310、再起動アフォーダンス5312、電源を切るアフォーダンス5314及び取り消しアフォーダンス5316のうちの1つからログアウト/電源を切るオプションの選択を促す。
いくつかの実施形態では、タッチスクリーンディスプレイ上に表示された通知の部分は、検出された通知に対する1つ以上の提案された応答を含む(914)。例えば、図12Cは、図12Bで通知5264内の場所で接触5266を検出することに応答して応答ダイアログボックス5268を表示する動的ファンクション行104を示す。図12Cで、応答ダイアログボックス5268は、図12A~図12Bに示された通知5264のコンテンツに対する複数の予測応答を含む。図12Cで、応答ダイアログボックス5268は、第1の予測応答5270(「はい。」)、第2の予測応答5272(「いいえ。」)、及び第3の予測応答5274(「途中!」)を含む。図12Cは、また、第1の予測応答5270に対応する場所において接触5276(例えば、タップ接触)を受ける及び検出する動的ファンクション行104を表す。例えば、第1の予測応答5270の選択に応答して、コンピューティングシステムは、通知5264がコンピューティングシステムのユーザへ送られたと同じ通信モード(例えば、SMS、インスタントメッセージなど)を介して第1の予測応答5270(「はい。」)をMASに送られるようにする。他の実施例では、第1の予測応答5270の選択に応答して、コンピューティングシステムは、第1の予測応答5270(「はい。」)をデフォルトの通信モード(例えば、ユーザによって選択された又はソフトウェアで設定された)を介してMASにおくられるようにする。
いくつかの実施形態では、通知は、着信した、インスタントメッセージ、SMS、電子メール、ボイスメール又はビデオコールのうちの少なくとも1つに対応する(916)。図10Hで、例えば、通知5218は、Suzie S.によってコンピューティングシステムのユーザへ送られた、SMS、インスタントメッセージなどに対応する。他の実施例では、図11Fで、インタフェース5248は、C.Cheungから着信の音声呼出に対応し、図11Gで、インタフェース5256は、C.Cheungとコンピューティングシステムのユーザとの間の発呼の音声呼び出しに対応する。更に他の実施例では、通知5264は、図12A~図12Bで、MASによってコンピューティングシステムのユーザに送られた、SMS、インスタントメッセージなどに対応する。
いくつかの実施形態では、通知は、アプリケーションを閉じる又はアプリケーション内でアクションを行うユーザ入力に応答してコンピューティングシステムのプロセッサによって実行されているアプリケーションによって発せられたモードアラートに対応する(918)。第1の実施例で、図8Gは、図8Fでカーソル504を用いたイグジットアフォーダンスの選択を検出することに応答してウィンドウ580を閉じる前にドラフトの電子メールを保存するようコンピューティングシステムのユーザに促すモードアラート5156を示す。第2の実施例で、図11Eは、図11Dでカーソル504を用いた購入アフォーダンスの選択を検出することに応答して指紋を提供して購入を有効にすることをコンピューティングシステム100のユーザに促すモードアラート5240を示す。第3の実施例で、図12Gは、図12Fでカーソル504を用いたイグジットアフォーダンスの選択を検出することに応答して、ユーザがウェブブラウザアプリケーション内の全ての開いているタブを閉じる意図であることを確認することをコンピューティングシステムのユーザに促すモードアラート5280を示す。
いくつかの実施形態では、1つ以上のアフォーダンスのセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含み(920)、通知は、入力メカニズムの1つ以上の部分(例えば、alt+tab又は他のキーボードの組合せ)又は少なくとも1つのシステムレベルアフォーダンス(例えば、電力コントロールアフォーダンス)を選択するユーザ入力に対応する。一つの実施例では、図9は、ポータブルコンピューティングシステム100(図1A~図1B)の物理キーの組106からの又はデスクトップコンピューティングシステム200(図2A~図2D)の外付けキーボード206の物理キーの組106からの指定された物理キーの組合せ(例えば、alt+tab)に対応する信号を受けることに応答して、アプリケーション選択ウィンドウ5164表示する動的ファンクション行104を示す。他の実施例では、図14Eは、図14Dで電力コントロール534の選択を検出することに応答してモードアラート5308を表示する動的ファンクション行104を示す。
いくつかの実施形態では、コンピューティングシステムは、検出された通知の部分に対応するタッチスクリーンディスプレイ上のユーザタッチ入力を検出する(922)。ユーザタッチ入力が第1のタイプ(例えば、スワイプして捨てる)に対応するという判定に従って、コンピューティングシステムは、タッチスクリーンディスプレイ上で検出された通知のオプションを第2のユーザインタフェース内に表示することを止める。ユーザタッチ入力が第1のタイプとは別個の第2のタイプ(例えば、タップしてアクションを行う)に対応するという判定に従って、コンピューティングシステムは、検出された通知に関連付けられたアクションを実行する(例えば、新しく受けられた電子メール、SMS又はIMに応答するためのダイアログを開く、文書を保存する、プログラムを出る、など)。例えば、図10Hは、通知5128内の第1の場所5222-Aから第2の場所5222-Bへの接触5220を用いた左から右へのスワイプジェスチャを検出する動的ファンクション行104を示す。この実施例を続けると、図11Aは、図10Hで左から右へのスワイプジェスチャを検出することに応答して通知5218を表示することを止める動的ファンクション行104を示す。別の実施例では、図12Bは、通知5264内の場所で接触5266(例えば、タップ接触)を受ける及び検出する動的ファンクション行104を示す。この実施例を続けると、図12Cは、図12Bで通知5264内の場所で接触5266を検出することに応答して応答ダイアログボックス5268を表示する動的ファンクション行104を示す。
図47A~図47Bにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法600、700、800、及び1000)に関して本明細書で記載されている他のプロセスの詳細は、また、図47A~図47Bに関連して上述されている方法900に類似の方法で適用可能であることも留意されたい。
図48A~図48Cは、いくつかの実施形態に従う、ユーザインタフェースの部分を動かす方法のフロー図である。方法1000は、プロセッサ、メモリ、プライマリディスプレイを含む第1の筐体、及び物理キーボード(ここでは、物理入力メカニズムとも呼ばれる)とプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含む第2の筐体を含むコンピューティングシステムにおいて実行される。方法1000のいくつかの動作は任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は任意選択的に変更される。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(ここでは、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)に実装されたプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(ここでは、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)に実装されたプライマリディスプレイ102(図2A~図2D)である。いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A~図1B)と物理キーボード(例えば、物理キーの組106、図1A~図1B)を少なくとも部分的に含む、ポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2A~図2B)と物理キーボード(例えば、物理キーの組106、図2A~図2B)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の外付けキーボード206(図2A~図2B)である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2C)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の第1の外付け入力メカニズム212(図2C)であり、第2の筐体は、入力メカニズム(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
コンピューティングシステムは、プライマリディスプレイ上に、1つ以上のユーザインタフェース要素を含むユーザインタフェースを表示する(1002)。例えば、図12Aは、ウィンドウ5224内のタブB用のインタフェースとウィンドウ5224に重ね合わせられた通知5264を表示するプライマリディスプレイ102を示す。図12Aで、タブB用インタフェースは、ウェブサイトBのホームウェブページ(例えば、www.website_B.com/homeというURLに関連付けられた)を示す。
コンピューティングシステムは、プライマリディスプレイ上でフォーカスが当たっている1つ以上のユーザインタフェース要素のうちのアクティブなユーザインタフェース要素を識別する(1004)。ここで、アクティブなユーザインタフェース要素は、コンピューティングシステムによって実行されるアプリケーションに関連付けられている。例えば、図12Aで、タブB用インタフェースは、タブBを取り囲む太い線とタブBに対して太文字のテキストによって示されたように、プライマリディスプレイ102上でフォーカスが当たっている。
プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素を識別することに応答して、コンピューティングシステムは、アプリケーションに対応する1つ以上のアフォーダンスのセットを、タッチスクリーンディスプレイ上に、表示する(1006)。例えば、図12Aで、動的ファンクション行104は、アドレスバー5234内のウェブサイトBのホームウェブページ(例えば、www.website_B.com/home)、最近見られたウェブページの間をナビゲートするアフォーダンス5230と5232、現在のウェブページをお気に入り又はブックマークリストに加えるアフォーダンス5238、及びタブAとCをアクセスするアフォーダンス5262-Aと5262-Bをそれぞれ含む、ウェブブラウザアプリケーション用のコントロール(すなわち、1つ以上のアフォーダンスのセット)を表示する。
コンピューティングシステムは、ユーザインタフェースの対応する部分を動かすユーザ入力を検出する(1008)。いくつかの実施形態では、ユーザインタフェースの部分は、メニュー、ツールバー、ツールセット、通知などである。例えば、コンピューティングシステムは、右クリックアクション又は他の対応するアフォーダンスを介してプライマリディスプレイ102の底部(又は他のユーザ規定の場所)へメニューをドラッグする又は動的ファンクション行104へそのメニュー動かす命令をドラッグするジェスチャを検出する。一つの実施例では、図12Aは、コンピューティングシステムのユーザがカーソル504を用いて通知5264をプライマリディスプレイ102の右下隅内の既定の場所へドラッグすることを表示するプライマリディスプレイ102を示す。他の実施例では、図12Eは、コンピューティングシステムのユーザがカーソル504を用いてブックマークをプライマリディスプレイ102の右下隅内の既定の場所へドラッグすることを表示するプライマリディスプレイ102を示す。
いくつかの実施形態では、ユーザインタフェースの対応する部分は、コンピューティングシステムによって実行されるアプリケーションに対応するメニューである(1010)。例えば、ユーザインタフェースの対応する部分は、ワードプロセッシングアプリケーション用のメニュー又はツールバーである。例えば、カーソル504によってドラッグされている対応するユーザインタフェースの対応する部分は、図12Eで、ウィンドウ5224内のブックマークサイドバーである。
いくつかの実施形態では、ユーザインタフェースの対応する部分は、通知又はモードアラートのうちの少なくとも1つである(1012)。例えば、カーソル504によってドラッグされている対応するユーザインタフェースの対応する部分は、図12Aで、通知5264である。
ユーザがプライマリディスプレイからタッチ感知式セカンダリディスプレイへ迅速にユーザインタフェースの部分を動かすことを可能にすることは、ユーザインタフェースの部分をアクセスする便利なかつカストマイズされた方法をユーザに提供する。タッチ感知式セカンダリディスプレイを介してユーザインタフェースの部分をアクセスする便利なかつカストマイズされた方法をユーザに提供することは、コンピューティングシステムの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする(例えば、より少ないインタラクションでかつ以前に見た(場合によっては埋もれた)ユーザインタフェースの部分を探す時間を浪費する必要なしにタッチ感知式セカンダリディスプレイを通して直接的にユーザインタフェースの部分をユーザがアクセスすることを助けることによって)。これは、更に加えて、必要とされるユーザインタフェースの部分をより迅速にかつ効率的にユーザがアクセスすることを可能にすることによって装置の電力使用量を低減しバッテリ寿命を向上させる。更に、ユーザ入力に応答してタッチ感知式セカンダリディスプレイにユーザインタフェースの部分を表示することは、対応するユーザインタフェースの部分が、いくつかの実施形態では、タッチ感知式セカンダリディスプレイ内の他のアフォーダンスに重なり合うように表示されるので、タッチ感知式セカンダリディスプレイにおいてユーザインタフェースの部分に対して強調する効果を提供し、したがって、対応するユーザインタフェースの部分がタッチ感知式セカンダリディスプレイで目に見え容易にアクセス可能であることを確実にする。
ユーザ入力を検出することに応答して、かつ、ユーザ入力が所定のアクション基準を満たすという判定に従って、コンピューティングシステム(1014)は、プライマリディスプレイ上にユーザインタフェースの対応する部分を表示し、タッチ感知式セカンダリディスプレイ上の1つ以上のアフォーダンスのセットのうちの少なくともサブセットを表示することを止め、タッチ感知式セカンダリディスプレイ上に、ユーザインタフェースの対応する部分の表現を表示する。一の実施例では、図12Bは、通知5264及び図12Aでコンピューティングシステムのユーザがカーソル504を用いてプライマリディスプレイ102の右下隅内の所定の場所へ通知5264をドラッグすることに応答してアフォーダンス5262-Aと5262-B上に重ね合わせられた通知5264を表示する動的ファンクション行104を表示することを止めるプライマリディスプレイを示す。他の実施例では、図12Fは、図12Eに示されたようにウェブブラウザアプリケーションに関連付けられたコントロールを表示することを止める及び図12Eでコンピューティングシステムのユーザがカーソル504を用いてブックマークサイドバーをプライマリディスプレイ102の右下隅内の所定の場所へドラッグすることに応答して全ての既存のブックマークに対応するブックマークアフォーダンスのセット5278を表示する動的ファンクション行104を示す。
いくつかの実施形態では、所定のアクション基準は、ユーザ入力がユーザインタフェースの対応する部分をプライマリディスプレイの所定の場所へドラッグするドラッグジェスチャであるときに、満たされる(1016)。いくつかの実施形態では、所定の場所は、コンピューティングシステムのユーザによって設定された又はソフトウェアで設定された複数の所定の場所のうちの1つである。一つの実施例では、図12Bで、コンピューティングシステムのユーザは、カーソル504を用いて通知5264を所定の場所(例えば、プライマリディスプレイ102の右下隅)へドラッグする。他の実施例では、図12Eで、コンピューティングシステムのユーザは、カーソル504を用いてブックマークサイドバーを所定の場所(例えば、プライマリディスプレイ102の右下隅)へドラッグする。
いくつかの実施形態では、所定のアクション基準は、ユーザ入力がユーザインタフェースの対応する部分をタッチスクリーンディスプレイへ動かすことに対応する所定の入力である(1018)ときに、満たされる。例えば、プライマリディスプレイ102は、ワードプロセッシングアプリケーション用のウィンドウ上に重ね合わせられたフォーマッティングツールバーと共にワードプロセッシングアプリケーション用のウィンドウを表示する。この実施例を続けると、フォーマッティングツールバーを右クリックすることか又はそのフォーマッティングツールバーがプライマリディスプレイ102上でフォーカスが当たっている間に特定の表示オプションを選択することの後その特定の表示オプションを選択することに応答して、プライマリディスプレイ102は、そのフォーマッティングツールバーを表示することを止め、動的ファンクション行は、フォーマッティングツールバーを表示する。
いくつかの実施形態では、ユーザインタフェースの対応する部分の表現は、タッチスクリーンディスプレイ上の1つ以上のアフォーダンスのセット上に重ね合わせられる(1020)。例えば、図12Bは、図12Aでコンピューティングシステムのユーザがカーソル504を用いてプライマリディスプレイ102の右下隅内の所定の場所へ通知5264をドラッグすることに応答して、アフォーダンス5262-Aと5262-B上に重ね合わせられた通知5264を表示する動的ファンクション行104を示す。
いくつかの実施形態では、1つ以上のアフォーダンスのセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含み(1022)、タッチスクリーンディスプレイ上にユーザインタフェースの対応する部分の表現を表示することの後、コンピューティングシステムは、タッチスクリーンディスプレイ上に少なくとも1つのシステムレベルアフォーダンスの表示を維持する。図12Bで、例えば、動的ファンクション行104は、少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)と常駐コントロール(例えば、エスケープアフォーダンス516と電源コントロール534)と共にアフォーダンス5262-Aと5262-B上に重ね合わせられた通知5264を表示する。図12Fで、例えば、動的ファンクション行104は、少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)と常駐コントロール(例えば、エスケープアフォーダンス516と電源コントロール534)と共にブックマークアフォーダンスのセット5278を表示する。
いくつかの実施形態では、ユーザ入力を検出することに応答して、かつ、ユーザ入力が所定のアクション基準を満たさないという判定に従って、コンピューティングシステム(1024)は、プライマリディスプレイ上のユーザインタフェースの対応する部分の表示を維持し、タッチスクリーンディスプレイ上の1つ以上のアフォーダンスのセットの表示を維持する。例えば、図12Aについては、コンピューティングシステムのユーザがカーソル504を用いてプライマリディスプレイ102の左下隅へ通知5264をドラッグする場合、通知5264は、プライマリディスプレイ102の左下隅に表示されるであろうし、動的ファンクション行104は、左下隅が所定の場所ではない(例えば、右下隅が所定の場所である)ため、通知5264を表示しないであろう。
図48A~図48Cにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法600、700、800、及び900)に関して本明細書で記載された他のプロセスの詳細はまた、図48A~図48Cに関連して上述された方法1000に類似の方法で適用可能であることも留意されたい。
図49は、いくつかの実施形態に従う、タッチ感知式セカンダリディスプレイにおいて入力を提供することによってプライマリディスプレイ上のユーザインタフェースオブジェクトをブラウズする方法1100を表すフロー図である。方法1100は、プロセッサ、メモリ、プライマリディスプレイを含む第1の筐体、及び物理キーボード(ここでは、物理入力メカニズムとも呼ばれる)とプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含む第2の筐体を含むコンピューティングシステムにおいて実行される(1102)。方法1100のいくつかの動作は任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は任意選択的に変更される。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(ここでは、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)に実装されたプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(ここでは、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)に実装されたプライマリディスプレイ102(図2A~図2D)である。いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A~図1B)と物理キーボード(例えば、物理キーの組106、図1A~図1B)を少なくとも部分的に含む、ポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2A~図2B)と物理キーボード(例えば、物理キーの組106、図2A~図2B)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の外付けキーボード206(図2A~図2B)である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2C)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の第1の外付け入力メカニズム212(図2C)であり、第2の筐体は、入力メカニズム(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
以下に説明されるように、方法1100(及び関連するインタフェース)は、タッチ感知式セカンダリディスプレイにおいて入力を提供することによって、プライマリディスプレイ上のユーザインタフェースオブジェクトをブラウズする直感的にわかりやすい方法を提供する。方法1100は、タッチ感知セカンダリディスプレイにおけるユーザインタフェースコントロールへの迅速なアクセスをユーザに提供するので、ユーザは、物理入力メカニズム上のキー上の位置から指を動かす必要がなく、それどころか、作業を継続するために指の位置を調整してトラックパッドへ動かし次に指の位置を動かして物理入力メカニズムに戻す必要なしにセカンダリディスプレイ上のコントロールを簡単に選択できる。
図49に示されたように、方法1100は、アプリケーションを開く要求を受けることを含む。例えば、ユーザは、ウェブブラウザアプリケーション又はコンピューティングシステム上で既に実行されているウェブブラウザアプリケーションを開く要求用のアイコンをクリックする。いくつかの実施形態では、ユーザは、アプリケーション(例えば、SIRIなどのバーチャルアシスタントに出される口頭の命令)を開くためにコンピューティングシステムに口頭の指示を提供する。
要求を受けることに応答して、コンピューティングシステムは、コンピューティングシステム上で動くアプリケーションに関連付けられた複数のユーザインタフェースオブジェクトを、プライマリディスプレイ上に、表示する(1106)。例えば、複数のユーザインタフェースオブジェクトは、ウェブブラウジングアプリケーションにおけるタブ、フォトブラウジングアプリケーションにおける個々の写真、ビデオ編集アプリケーションにおけるビデオの個々のフレームなどに対応する。
いくつかの実施形態では、複数のユーザインタフェースオブジェクトは、その関連するコンテンツと共に表示された第1のユーザインタフェースと関連するコンテンツなしに表示された他のユーザインタフェースオブジェクトを含む。例えば、図16Cに示されたように、複数のユーザインタフェースオブジェクトは、ブラウザアプリケーションおけるウェブブラウジングタブに対応し、第1のユーザインタフェースオブジェクトは、プライマリディスプレイ102上で現在フォーカスが当たっているタブ5052-Aに対応する。図16Cに示されたように、タブ5052-Aは、関連するウェブコンテンツと他のユーザインタフェースオブジェクトと共に表示される(例えば、タブ5050-A、5051-Aは、それらの関連するウェブコンテンツなしに表示される)。
要求を受けることに応答して、コンピューティングシステムは、また、それぞれが複数のユーザインタフェースオブジェクトのうちの1つを表現する(すなわち、対応する)アフォーダンスのセットを、タッチ感知式セカンダリディスプレイ上に、表示する(1108)。例えば、第1のアフォーダンス5052-Bは、第1のユーザインタフェースオブジェクト5052-A、図16Cに対応する。いくつかの実施形態では、アフォーダンスのセットは、システムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスの隣に表示される(例えば、システムレベルアフォーダンスは、上で詳細に考察されており、図16Cに示されたように、輝度、再生及びボリュームコントロールをアクセスするシステムレベルアフォーダンスは、タッチ感知式セカンダリディスプレイ104内でアフォーダンスのセットに隣接して表示される)。
いくつかの実施形態では、第1のタブに対応するアフォーダンスのセット内の第1のアフォーダンスは、その組内の他のアフォーダンスよりも大きな表示寸法で表示される(例えば、第1のアフォーダンス5052-Bは、他のアフォーダンス5050-Bや5051-Bに対し相対的により大きな表示寸法で表示される)。いくつかの実施形態では、他のアフォーダンスは、また、第1のアフォーダンス5052-Bの輝度のレベルに対し相対的により低い輝度のレベルで表示される。
いくつかの実施形態では、アプリケーションを開く要求を受けることの前に、タッチ感知式セカンダリディスプレイは、タッチ感知式セカンダリディスプレイのアプリケーションに特定の領域内にアフォーダンスの異なるセットを含んでいた(図21Bでタッチ感知式セカンダリディスプレイ104内に示されたアフォーダンスなどのファインダアプリケーション内のさまざまなフォルダをアクセスするアフォーダンスのような)。
コンピューティングシステムは、方法1100に従って、タッチ感知式セカンダリディスプレイを介して、アフォーダンスのセットのうちの第1のアフォーダンスからアフォーダンスのセットのうちの第2のアフォーダンスへ向かう方向のスワイプジェスチャ(例えば、5011-A、図16C)を検出する(1110)。いくつかの実施形態では、第1のアフォーダンスは、第1のユーザインタフェースオブジェクトを表現し(例えば、第1のアフォーダンス5052-Bは第1のユーザインタフェースオブジェクト5052-Aを表現する)、第2のアフォーダンスは、第1のユーザインタフェースオブジェクトとは異なる第2のユーザインタフェースオブジェクトを表現する(例えば、第2のアフォーダンス5051-Bは第2のユーザインタフェースオブジェクト5051-Aを表現する)。
スワイプジェスチャを検出することに応答して、コンピューティングシステムは、プライマリディスプレイを更新して(例えば、スワイプジェスチャの間に)第1のユーザインタフェースオブジェクト用の関連するコンテンツを表示することを止め、第2のユーザインタフェースオブジェクト用の関連するコンテンツを表示する。例えば、図16Dに示されたように、スワイプジェスチャが第2のアフォーダンス5051-Bに向かって動き第2のアフォーダンス5051-B(例えば、入力5011-B、図16D)に接触すると、プライマリディスプレイは、更新されて、第2のユーザインタフェースオブジェクト5051-A用の関連するコンテンツを含む。いくつかの実施形態では、第2のアフォーダンス5051-Bもまた、タッチ感知式セカンダリディスプレイ104上で更新されて、より大きな表示寸法と増加した輝度レベルをもつ。
いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104上に表示された対応するアフォーダンス上のタップはまた、プライマリディスプレイ上の複数のユーザインタフェースオブジェクトのナビゲートを容易にするために用いられてもよい(スワイプジェスチャに代えて又はスワイプジェスチャに加えて)。例えば、入力5011-A、5011-B及び5011-Cのそれぞれは、別々の入力に対応してもよいし又はタッチ感知式セカンダリディスプレイ104にわたる連続的なスワイプジェスチャに対応してもよい。
いくつかの実施形態では、コンピューティングシステムは、第3のユーザインタフェースオブジェクトを表現する第3のアフォーダンスに接触するスワイプジェスチャ(図16Eに示されたように、5011-Cは第3のアフォーダンス5050-Bに接触している)を含む、タッチ感知式セカンダリディスプレイにわたるスワイプジェスチャの連続的な移動を検出する。スワイプジェスチャが第3のアフォーダンスに接触することを検出することに応答して、コンピューティングシステムは、プライマリディスプレイを更新して第3のユーザインタフェースオブジェクト用の関連するコンテンツを表示する(図16Eに示されたように)。
いくつかの実施形態では、アフォーダンスのセット内の各アフォーダンスは、複数のユーザインタフェースオブジェクトのうちの対応するユーザインタフェースオブジェクト用の対応する関連するコンテンツの表現を含む。例えば、アフォーダンス5050-B、5051-B及び5052-Bのそれぞれは、プライマリディスプレイ102上に示された対応するタブ用のコンテンツのミニビュー/縮小ビューを含む(例えば、図16Cに示されたように)。
タッチ感知式セカンダリディスプレイにおいて入力を提供することによってプライマリディスプレイ上でユーザインタフェースオブジェクト(例えば、ブラウザタブ)を迅速にナビゲートすることをユーザに可能にすることは、ユーザインタフェースオブジェクトを迅速にナビゲートする便利な方法をユーザに提供する。タッチ感知式セカンダリディスプレイを介してユーザインタフェースオブジェクトを迅速にナビゲートする便利な方法をユーザに提供すること(及びユーザインタフェースオブジェクトナビゲートするために必要とされる入力の数を減少させ、したがって、ユーザインタフェースオブジェクトをナビゲートするするためのより少ないインタラクションを要求すること)は、コンピューティングシステムの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする(例えば、プライマリディスプレイ上でユーザインタフェースオブジェクトをナビゲートする、タッチ感知式セカンダリディスプレイにおけるただ1つの入力又はジェスチャを要求することによって)。これは、更に加えて、ユーザがプライマリディスプレイ上でユーザインタフェースオブジェクトをより迅速にかつ効率的にナビゲートすることを可能にすることによって、装置の電力使用量を減少させバッテリ寿命を向上させる。更に、ユーザはプライマリディスプレイ上でユーザインタフェースオブジェクトをナビゲートする、タッチ感知式ディスプレイにおける入力(例えば、スワイプジェスチャ)を提供するので、タッチ感知ディスプレイにおけるそれぞれの接触されたアフォーダンス(ユーザインタフェースオブジェクトのうちの1つに対応する)は、他のアフォーダンスから視覚的に区別され(例えば、対応する接触されたアフォーダンスは拡大され、境界は強調されてもよい)、したがってタッチ感知式セカンダリディスプレイ上に表示された情報をユーザにより認識できるようにする。
いくつかの実施形態では、コンピューティングシステムは、スワイプジェスチャを検出することの前に(又は、スワイプジェスチャの動きを検出することの前に)、第1のアフォーダンス上でタッチ感知式セカンダリディスプレイに対する最初の接触を検出する。最初の接触を検出することに応答して、コンピューティングシステムは、第1のアフォーダンスの倍率レベル(又は表示寸法)を増大させる。いくつかの実施形態では、ユーザがプライマリディスプレイ102上でフォーカスが当たっているユーザインタフェースオブジェクト以外の対応するユーザインタフェースオブジェクトに対応する対応するアフォーダンスにおいて入力を提供したという判定に従って、コンピューティングデバイスは、対応するアフォーダンスの倍率レベルを増大させる。
いくつかの実施形態では、アプリケーションは、ウェブブラウジングアプリケーションであり、複数のユーザインタフェースオブジェクトは、それぞれウェブブラウジングタブに対応する。
いくつかの実施形態では、コンピューティングシステムは、プライマリディスプレイ上でウェブブラウジングアプリケーションのURL入力部分における入力を検出する。入力を検出することに応答して、コンピューティングシステムは、タッチ感知式セカンダリディスプレイをお気に入りのURLの表現を含むように更新する。一実施例が図16Pに示されている。
いくつかの実施形態では、アプリケーションは、写真ブラウジングアプリケーションであり、複数のユーザインタフェースオブジェクトは、それぞれ個々の写真に対応する(図27Bに示されたように)。いくつかの実施形態では、アフォーダンスのセットは、ユーザインタフェースオブジェクトのそれぞれ用のコンテンツのタイプに基づいた異なる表現タイプを含む。例えば、UIオブジェクトのうちの1つがライブ写真に対応する場合には、適切な指示を表示する(図28Kに示されたように)。
いくつかの実施形態では、アプリケーションは、ビデオ編集(又はビデオ再生)アプリケーションであり、複数のユーザインタフェースオブジェクトは、それぞれ対応するビデオ内の個々のフレームに対応する。図19A~図19Bに、実施例が示されている。ここでは、ユーザは、対応するビデオの個々のフレームを迅速にナビゲートするための入力5015-Aを提供することができる。
図49における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作を再順序付けるための様々な方法を認識するであろう。
図50は、いくつかの実施形態に従う、タッチ感知式セカンダリディスプレイにおいて入力を提供することによって、プライマリディスプレイ上で検索結果をブラウズする方法1200を表すフロー図である。方法1200は、プロセッサ、メモリ、プライマリディスプレイを含む第1の筐体、及び物理キーボード(ここでは、物理入力メカニズムとも呼ばれる)とプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含む第2の筐体を含むコンピューティングシステムにおいて実行される(1202)。方法1200のいくつかの動作は任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は任意選択的に変更される。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(ここでは、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)に実装されたプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(ここでは、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)に実装されたプライマリディスプレイ102(図2A~図2D)である。いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A~図1B)と物理キーボード(例えば、物理キーの組106、図1A~図1B)を少なくとも部分的に含む、ポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2A~図2B)と物理キーボード(例えば、物理キーの組106、図2A~図2B)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の外付けキーボード206(図2A~図2B)である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2C)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の第1の外付け入力メカニズム212(図2C)であり、第2の筐体は、入力メカニズム(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
以下に説明されるように、方法1200(及び関連するインタフェース)は、タッチ感知式セカンダリディスプレイにおいて入力を提供することによって、プライマリディスプレイ上でブラウズし検索結果を探し出す直感的にわかりやすい方法を提供する。方法1200は、タッチ感知セカンダリディスプレイにおける、検索結果の間をナビゲートするためのユーザインタフェースコントロールへの迅速なアクセスをユーザに提供するので、ユーザは、物理入力メカニズム上のキー上の位置から指を動かす必要がなく、それどころか、作業を継続するために指の位置を調整してトラックパッドへ動かし次に指の位置を動かして物理入力メカニズムに戻す必要なしにセカンダリディスプレイ上のコントロールを簡単に選択できる。
方法1200に従って、コンピューティングシステムは、コンピューティングデバイスのプライマリディスプレイ上に表示されたコンテンツ内で検索をする要求を受ける(1204)。例えば、要求は、図32A~図32Bに示されたように、ウェブページ上のテキストの検索に対応し、要求は、図32C~図32Eに示されたように、文書内のテキストの検索に対応する。
要求を受けることに応答して、コンピューティングシステムは、その検索に応答する複数の検索結果を、プライマリディスプレイ上に、表示する(1206)。いくつかの実施形態では、コンテンツ内で検索する要求は、コンテンツ内の検索ストリングを探し出す要求であり、複数の検索結果はそれぞれ、少なくとも検索文字列を含む(例えば、図32A~図32Eに示されたように、検索文字列は、「the」である)。いくつかの実施形態では、複数の検索結果を表示することは、複数の検索結果のそれぞれに対して検索文字列を強調することを含む(例えば、図32A~図32Eに示されたように、検索文字列「the」は、ウェブブラウザ及びノートアプリケーションユーザインタフェース内で強調されている)。
いくつかの実施形態では、(プライマリディスプレイ102の)フォーカスは、複数の検索結果のうちの第1の検索結果である(例えば、図32Aに示されたように、第1の検索結果は、検索結果の残りの部分を強調するために用いられたのとは異なる色を用いて強調される)。
要求を受けることに応答して、コンピューティングシステムはまた、それぞれが複数の検索結果の対応する検索結果に対応するそれぞれの表現を、タッチ感知式セカンダリディスプレイ上に、表示する(1208)。例えば、表現は、それぞれが検索結果のうちの対応する検索結果に対応するティックマークである(図32Aに示されたように)。いくつかの実施形態では、ティックマークは、(図32Aに示されたように)プライマリディスプレイ上の検索結果の順序付けに対応する順序でタッチ感知式セカンダリディスプレイ上に行で表示される。いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104はまた、選択された検索結果の現在の場所を示すテキストを含む(例えば、図32Aに示されたように「29のうちの1」)。
方法1200によれば、コンピューティングシステムは、タッチ感知式セカンダリディスプレイを介して、それぞれの表現のうちの、第1の検索結果とは別個の複数の検索結果のうちの第2の検索結果に対応する表現を選択するタッチ入力(例えば、タップ又はスワイプ)を検出する(1210)。例えば、図32Bと32Dに示されたように、タッチ入力は、それぞれ、10番目の表現及び13番目の表現を選択する。
入力を検出することに応答して、コンピューティングシステムは、プライマリディスプレイ上でフォーカスを第2の検索結果へ変更する(1212)。例えば、図32Bに示されたように、タッチ感知式セカンダリディスプレイ内に示された13番目の表現を選択するタッチ入力に応答して、コンピューティングシステムは、プライマリディスプレイ上でフォーカスを第2の検索結果へ変更する。このようにして、ユーザは、タッチ感知式セカンダリディスプレイ104内でスクラブする/スワイプする/ジェスチャすると、各検索結果を迅速にかつ容易に探し出して調べることができる。
タッチ感知式セカンダリディスプレイにおいて入力を提供することによってプライマリディスプレイ上の検索結果を迅速にナビゲートすることをユーザに可能にすることは、検索結果を迅速にナビゲートする便利な方法をユーザに提供する。タッチ感知式セカンダリディスプレイを介して検索結果を迅速にナビゲートする便利な方法をユーザに提供すること(及び検索結果をナビゲートするために必要とされる入力の数を減少させ、したがって、多くの検索結果をナビゲートするするためにより少ないインタラクションを要求すること)は、コンピューティングシステムの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする(例えば、プライマリディスプレイ上で数多くの検索結果をナビゲートするためにタッチ感知式セカンダリディスプレイにおけるただ1つの入力又はジェスチャを要求することによって)。これは、更に加えて、ユーザがプライマリディスプレイ上で検索結果をより迅速にかつ効率的にナビゲートすることを可能にすることによって装置の電力使用量を減少させバッテリ寿命を向上させる。更に、ユーザはプライマリディスプレイ上で検索をナビゲートする、タッチ感知ディスプレイにおける入力(例えば、スワイプジェスチャ)を提供すると、タッチ感知ディスプレイにおけるそれぞれの接触されたアフォーダンス(検索結果のうちの1つに対応する)は、他のアフォーダンスから視覚的に区別され(例えば、対応する接触されたアフォーダンスは拡大され、そして境界は強調されてもよい)、したがって、タッチ感知式セカンダリディスプレイ上に表示された情報をユーザに対しより認識できるようにする。
いくつかの実施形態では、フォーカスを変更することは、プライマリディスプレイ上で、第2の検索結果の視覚的特性(例えば、レンダリングするために用いられる視覚的特性)を修正することを含む(例えば、第2の検索結果をより大きなフォントサイズで表示すること又は第2の検索結果を異なる強調色で表示すること)。
いくつかの実施形態では、コンピューティングシステムは、タッチ感知式セカンダリディスプレイ上でそれぞれの表現のうちの少なくとも2つにわたって動くジェスチャを検出する。ジェスチャを検出することに応答して、コンピューティングシステムは、スワイプジェスチャがそれぞれの表現のうちの少なくとも2つにわたって動くようにプライマリディスプレイ上のフォーカスをそれぞれの表現のうちの少なくとも2つに対応するそれぞれの検索結果へ変更する(例えば、接触が、それぞれの表現の何れにもわたって動くとき、プライマリディスプレイは、更新されて適切な検索結果を示して、ただ1つのスワイプジェスチャで検索結果の全てに対して迅速なかつ容易なナビゲーションを可能にする)。
いくつかの実施形態では、ジェスチャの速度が閾値速度を上回るという判定に従って、コンピューティングシステムは、プライマリディスプレイ上でフォーカスをそれぞれの表現のうちの少なくとも2つに対応する検索結果に加えてそれぞれの検索結果へ変更する。例えば、ジェスチャが閾値速度を上回って動く場合、コンピューティングシステムは、ジェスチャの間に接触された検索結果に加えてより多くの検索結果をプライマリディスプレイ102に循環させる。いくつかの実施形態では、ジェスチャは、スワイプジェスチャ又はフリックジェスチャである。
いくつかの実施形態では(及び、図32C~図32Dに示されたように)、タッチ感知式セカンダリディスプレイ104は、選択されたとき、コンピューティングシステムに、現在選択されている検索結果を置換させるか又はプライマリディスプレイ102上に示された検索結果の全てを置換させる、「置換」アフォーダンスを含む。いくつかの実施形態では、「置換」アフォーダンスの選択に応答して、コンピューティングシステムは、現在の選択又は全ての検索結果を置換するかどうかを選択するための追加のオプションを含むように(図32Eに示されたように)、タッチ感知式セカンダリディスプレイ104を更新する。
図50における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作を再順序付けるための様々な方法を認識するであろう。
図51は、いくつかの実施形態に従う、タッチ感知式セカンダリディスプレイにおいて入力を提供することによってプライマリディスプレイ上に表示されるイベント用の詳細を修正する方法のうちの方法1300を表すフロー図である。方法1300は、プロセッサ、メモリ、プライマリディスプレイを含む第1の筐体、及び物理キーボード(ここでは、物理入力メカニズムとも呼ばれる)とプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含む第2の筐体を含むコンピューティングシステムにおいて実行される(1302)。方法1300のいくつかの動作は任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は任意選択的に変更される。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(ここでは、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)に実装されたプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(ここでは、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)に実装されたプライマリディスプレイ102(図2A~図2D)である。いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A~図1B)と物理キーボード(例えば、物理キーの組106、図1A~図1B)を少なくとも部分的に含む、ポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2A~図2B)と物理キーボード(例えば、物理キーの組106、図2A~図2B)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の外付けキーボード206(図2A~図2B)である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2C)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の第1の外付け入力メカニズム212(図2C)であり、第2の筐体は、入力メカニズム(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
以下に説明されるように、方法1300(及び関連するインタフェース)は、タッチ感知式セカンダリディスプレイにおいて入力を提供することによって、プライマリディスプレイ上に表示されるイベント用の詳細を修正する直感的にわかりやすい方法を提供する。方法1300は、タッチ感知式セカンダリディスプレイにおける(イベントの詳細を修正するための)ユーザインタフェースコントロールへの迅速なアクセスをユーザに提供するので、ユーザは、物理入力メカニズム上のキー上の位置から指を動かす必要がなく、それどころか、作業を継続するために指の位置を調整してトラックパッドへ動かし次に指の位置を動かして物理入力メカニズムに戻す必要なしにセカンダリディスプレイ上のコントロールを簡単に選択できる。
方法1300によれば、コンピューティングシステムは、プライマリディスプレイ上に、カレンダーアプリケーションを表示する(1304)(例えば、カレンダーアプリケーション用の様々なユーザインタフェースが図36A~図36Jに示されている)。いくつかの実施形態では、タッチ感知式セカンダリディスプレイ104で利用可能なコントロールは、プライマリディスプレイ上のカレンダーアプリケーションに関連付けられた現在のビューに基づいて変化する(図36A~図36Dに示されたように、日、週、月又は年のビューがカレンダーアプリケーションを見るために用いられるかどうかに依存して)。
コンピューティングシステムは、カレンダーアプリケーションに関連付けられたイベントについての情報を表示する要求を受ける(1306)。要求を受けることに応答して、コンピューティングシステムは、プライマリディスプレイ上に、第1のイベントに対する、イベント用の開始時間と終了時間を含むイベント詳細を表示する(1308)。例えば、要求は、プライマリディスプレイ上のカレンダーアプリケーション内に表示されるイベントの選択に対応する(図36Iに示されたように、「朝食」とラベルが付されたイベントに対するイベント詳細はプライマリディスプレイ102上でカレンダーアプリケーション内に表現される)。図36Iに示されたように、イベント詳細は、「朝食」イベントが2015年6月24日午前10時から11時までであることを示す。
要求を受けることに応答して、コンピューティングシステムは、タッチ感知式セカンダリディスプレイ上に、アフォーダンス、少なくとも開始時間と終了時間を含む時間の範囲を示すアフォーダンスを表示する(図36Iに示されたように、アフォーダンスが示され、イベントの現在の開始時間と終了時間が青で強調されている(1310)。
いくつかの実施形態では、コンピューティングシステムは、タッチ感知式セカンダリディスプレイを介して、時間の範囲を修正するアフォーダンスにおける入力を検出する。いくつかの実施形態では、時間の範囲を修正する入力は、時間の閾値長よりも長い間アフォーダンスに対する接触を維持し次にタッチ感知式セカンダリディスプレイにわたってアフォーダンスの少なくとも部分を動かす押圧入力である(例えば、図36Jに示されたように、この押圧入力はまたイベントに対する終了時間を午後3時に動かすドラッグジェスチャと呼ばれてもよい)。
入力を検出することに応答して、コンピューティングシステムは、(i)入力に従ってイベントに対する開始時間と終了時間の少なくとも1つを修正し、(ii)プライマリディスプレイ上に、入力に従ってイベントに対する修正された時間の範囲を表示する(例えば、図36Jに示されたように、プライマリディスプレイ102は、更新されて今度はイベントが午後3時に終了することになっていることを反映する)。
いくつかの実施形態では、時間の範囲を変更する入力は、タッチ感知式セカンダリディスプレイにわたって動きコンピューティングシステムにイベントに対する新しい開始時間と新しい終了時間を選択させるスワイプジェスチャである。いくつかの実施形態では、新しい、開始時間と終了時間は、開始時間と終了時間によってカバーされるのと同じ持続時間のタイムスロットに対応する。例えば、コンピューティングデバイスは、タッチ感知式セカンダリディスプレイ104に、以前の開始と終了の時間と同じ持続時間である次の利用可能な時間の区画へジャンプさせる。例えば、既存の開始/終了時間が午後1時~2時である場合、スワイプは新しい開始と終了の時間を午後2時~3時に選択されるようにもできる。
いくつかの実施形態では、コンピューティングシステムは、修正された開始及び/又は終了の時間を有するイベントをコンピューティングシステムのメモリへ保存する。
ユーザがタッチ感知式セカンダリディスプレイにおいてイベント詳細を迅速かつ容易に編集することができるようにすることは、余分な入力を行う必要(例えば、イベント詳細を修正するためにキーボードを使用することとトラックパッドを使用することとの間を行ったり来たりジャンプする必要)なしにイベント詳細を迅速に編集する便利な方法をユーザに提供する。タッチ感知式セカンダリディスプレイを介してイベント詳細を迅速に編集する便利な方法をユーザに提供すること(及び、イベント詳細を編集するするために必要とされる入力の数を減少させ、したがって、イベント詳細を編集することの所望の結果を得るためにより少ないインタラクションを要求すること)は、コンピューティングシステムの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする(例えば、イベント詳細を迅速に編集するためにタッチ感知式セカンダリディスプレイにおいてただ1つの入力又はジェスチャを要求することによって)。これは、更に加えて、ユーザがイベント詳細をより迅速にかつ効率的に編集することを可能にすることによって装置の電力使用量を減少させバッテリ寿命を向上させる。そのうえ、タッチ感知式セカンダリディスプレイにおける入力に応答してプライマリディスプレイを更新すること(例えば、イベントに対する更新された開始と終了の時間を示すこと)によって、ユーザは、イベントを修正する入力を提供して次にプライマリディスプレイ上に反映されたそれらの修正を直ちに見ることによって、効率的な方法で装置とのインタラクションを持続させることができるので、ユーザは次に追加の入力を提供するかしないかを決定できる。
図51における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作を再順序付けるための様々な方法を認識するであろう。
図52は、いくつかの実施形態に従う、タッチ感知式セカンダリディスプレイを含むコンピューティングシステムに接続される外部デバイスについてタッチ感知式セカンダリディスプレイにおいて実行可能な情報を提示する方法のうちの方法1400を表すフロー図である。方法1400は、プロセッサ、メモリ、プライマリディスプレイを含む第1の筐体、及び物理キーボード(ここでは、物理入力メカニズムとも呼ばれる)とプライマリディスプレイとは別個のタッチ感知式セカンダリディスプレイを少なくとも部分的に含む第2の筐体を含むコンピューティングシステムで実行される(1402)。方法1400のいくつかの動作は任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は任意選択的に変更される。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(ここでは、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)に実装されたプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(ここでは、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)に実装されたプライマリディスプレイ102(図2A~図2D)である。いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図1A~図1B)と物理キーボード(例えば、物理キーの組106、図1A~図1B)を少なくとも部分的に含む、ポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2A~図2B)と物理キーボード(例えば、物理キーの組106、図2A~図2B)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の外付けキーボード206(図2A~図2B)である。代替として、いくつかの実施形態では、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、動的ファンクション行104、図2C)を少なくとも部分的に含む、デスクトップコンピューティングシステム200の第1の外付け入力メカニズム212(図2C)であり、第2の筐体は、入力メカニズム(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
以下に説明されるように、方法1400(及び関連するインタフェース)は、タッチ感知式セカンダリディスプレイを含むコンピューティングシステムに接続された外部デバイスについてタッチ感知式セカンダリディスプレイにおいて実行可能な情報を提示する直感的にわかりやすい方法を提供する。方法1400は、タッチ感知式セカンダリディスプレイにおける(外部デバイスをコントロールするための)ユーザインタフェースコントロールへの迅速なアクセスをユーザに提供するので、ユーザは、物理入力メカニズム上のキー上の位置から指を動かす必要がなく、それどころか、作業を続けるために指の位置を調整してトラックパッドへ動かし次に指の位置を動かして物理入力メカニズムに戻す必要(例えば、外部デバイスをコントロールするために必要とされる機能を探し出すために複雑なメニュー階層をナビゲートする時間を浪費すること)なしに、セカンダリディスプレイ上でコントロールを簡単に選択できる。
方法1400によれば、コンピューティングシステムは、コンピューティングシステムとコンピューティングシステムとは別個の外部デバイスとの間の新しい接続を検出する(1404)(例えば、追加のモニタは、物理的ケーブルを用いて接続され、ヘッドフォンはBluetoothを介して又はヘッドフォンジャックを介して接続される、など)。新しい接続を検出することに応答して、コンピューティングシステムは、タッチ感知式セカンダリディスプレイ上に、外部デバイスを介して利用可能な機能に対応する複数のアフォーダンスを表示する(1406)。
このようにして、ユーザは、タッチ感知式セカンダリディスプレイからオプションを簡単に選択することによって新たに接続された外部デバイスについてすべきことを迅速に決定することができる。よって、ユーザは、(例えば、メニューへナビゲートし次に新しい外部デバイスに対するオプションを選択する必要によって又はトラックパッドと相互作用するためにユーザの手の位置を変える必要によって)新しい外部デバイスについてすべきことを決定するためにユーザの現在の仕事の流れを中断する必要がない。
いくつかの実施形態では、コンピューティングデバイスは、タッチ感知式セカンダリディスプレイを介して、外部デバイスを介して利用可能な第1の機能に対応する第1のアフォーダンスの選択を受ける。選択を受けることに応答して、コンピューティングシステムは、第1の機能の実行を開始する(例えば、コンピューティングデバイスはヘッドフォンへ音声を出力することを始め又はコンピューティングデバイスは外部モニタを用いてミラーリング表示することを始める)。
いくつかの実施形態では、外部デバイスは、プライマリディスプレイやタッチ感知式セカンダリディスプレイとは別個の、追加のディスプレイである。いくつかの実施形態では、複数のアフォーダンスは、選択されたときに、追加のディスプレイを介して表示ミラーリング機能のディスプレイの実行をコンピューティングシステムに開始させる、第1のアフォーダンスを含む。
ユーザがタッチ感知式セカンダリディスプレイを介して外部デバイスを効率的に利用することを可能にすることは、そうでなければメニューに埋もれてしまう可能性もある機能をアクセスする便利な方法をユーザに提供する。そうでなければメニューに埋もれてしまう可能性もある外部デバイス用の機能にアクセスする便利な方法をユーザに提供する(及び、それによって、機能をアクセスするために必要とされる入力の数を減少させ、したがって、外部デバイスを使用するためにより少ないインタラクションを要求する)ことは、コンピューティングシステムの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする(例えば、外部デバイス用のある機能を実行するためにタッチ感知式セカンダリディスプレイにおいてただ1つの入力又はジェスチャを要求することによって)。これは、更に加えて、ユーザが外部デバイスとより迅速にかつ効率的に相互作用することを可能にすることによって装置の電力使用量を減少させバッテリ寿命を向上させる。このようにして、タッチ感知式セカンダリディスプレイは、また、(装置と外部デバイスとの間の接続状態を反映すること、及びユーザが外部デバイスと容易に相互作用することができるようにすることによって)装置の内部状態について情報を伝える。
図52における動作について説明された特定の順序は単なる例示であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載された動作を再順序付けるための様々な方法を認識するであろう。
図53は、一部の実施形態による、タッチ感知式セカンダリディスプレイにおいて入力を与えることによってプライマリディスプレイ上のアプリケーション内に表示された文字をプレビューする方法1500を示すフロー図である。方法1500は、プロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード(本明細書において物理入力機構とも呼ばれる)、及びプライマリディスプレイとは別のタッチ感知式セカンダリディスプレイを少なくとも部分的に包含する第2の筐体とを含むコンピューティングシステムにおいて実行される(1502)。方法1500におけるいくつかの動作は、任意選択的に組み合わされ、かつ/又はいくつかの動作の順序が、任意選択的に変更される。
一部の実施形態において、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。一部の実施形態において、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(本明細書において、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)において実装されるプライマリディスプレイ102(図1A)である。代替として、一部の実施形態において、プライマリディスプレイは、外付けディスプレイデバイス204(本明細書において、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)において実装されるプライマリディスプレイ102(図2A~図2D)である。一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図1A~図1B)と、物理キーボード(例えば、物理キーのセット106、図1A~図1B)とを少なくとも部分的に包含するポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図2A~図2B)と、物理キーボード(例えば、物理キーのセット106、図2A~図2B)とを少なくとも部分的に包含するデスクトップコンピューティングシステム200の周辺キーボード206(図2A~図2B)である。代替として、一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図2C)を少なくとも部分的に包含するデスクトップコンピューティングシステム200の第1の周辺入力機構212(図2C)であり、第2の筐体は、入力機構(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
後段で説明されるとおり、方法1500(及び関連付けられたインタフェース)は、タッチ感知式セカンダリディスプレイにおいて入力を与えることによってプライマリディスプレイ上のアプリケーション内に表示された文字をプレビューする直観的な方法を提供する。方法1500は、タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールへの迅速なアクセスをユーザに提供して(文字を容易にプレビューするために)、ユーザが、物理入力機構上のキーの上の位置から指を動かす必要がなく、トラックパッドに移動するように指の位置を調整し(例えば、所望される文字を探し出すのに複雑なメニュー階層を移動して時間を浪費して)、次に、作業を続けるために物理入力機構に指の位置を戻すことを必要とすることなしに、代わりに、セカンダリディスプレイ上のコントロールを単に選択することができる。
方法1500によれば、コンピューティングシステムは、プライマリディスプレイ上に、コンピューティングシステム上で実行されているアプリケーションのためのユーザインタフェース(例えば、ユーザインタフェースは、図33Aに示されるようなメッセージングアプリケーションのためのものである)を表示する(1504)。コンピューティングシステムが、ユーザインタフェース内の特定の位置において第1の入力(例えば、入力5046-A、図32E)を検出する(1506)。例えば、第1の入力は、文書を作成する、若しくは編集する要求、テキストメッセージを作成すること、若しくは編集することを開始する要求、その他に対応する。一部の実施形態において、第1の入力は、コンピューティングシステムに、表示されたカーソルの位置を更新するようにさせて、カーソルが、その入力が検出された特定の位置に移動するようにする。
第1の入力を検出することに応答して、コンピューティングシステムが、タッチ感知式セカンダリディスプレイ上に、別々の文字にそれぞれが対応するアフォーダンスのセット(例えば、図33Aに示されるとおり、アフォーダンスのセットは、個々の絵文字にそれぞれ対応する)を表示する(1506)。
一部の実施形態において、第1の入力は、タッチ感知式セカンダリディスプレイにおけるアフォーダンスのセットの表示をアクティブ化するためにタッチ感知式セカンダリディスプレイにおいて与えられてもよい(例えば、第1の入力は、入力5046-Bに対応する、図33B)。
一部の実施形態において、アプリケーションのためのユーザインタフェースを表示することは、アフォーダンスのセットを含むようにタッチ感知式セカンダリディスプレイを更新することを含む。例えば、アプリケーションが開き、ユーザが文書を作成する、若しくは編集するのを開始することを許す場合、タッチ感知式セカンダリディスプレイがアフォーダンスのセットを含むようにさせるのに更なる入力はまったく必要とされない。
一部の実施形態において、コンピューティングシステムは、ユーザインタフェースに含まれるテキストコンテンツに少なくとも部分的に基づいて、アフォーダンスのセットに含めるべきアフォーダンスを判定する(例えば、アフォーダンスのセットの中で表示される絵文字が、既にタイプ入力されているもの、特定の語が既にタイプ入力されている場合に選択された以前の絵文字、その他に基づいて変化する)。一部の実施形態において、判定することは、ユーザが、ユーザインタフェースに含まれるテキストコンテンツを変更したことを検出することに応答して行われる(例えば、ユーザがテキストをタイプ入力する、又は除去するにつれ、タッチ感知式セカンダリディスプレイにおいて表示される示唆される絵文字が変化し得る)。
一部の実施形態において、コンピューティングシステムは、タッチ感知式セカンダリディスプレイを介して、別々の文字のうちの第1の文字に対応する第1のアフォーダンス上の第2の入力(例えば、入力5047、図33C)を検出する(例えば、第1のアフォーダンスが第1の絵文字文字に対応する)。第2の入力を検出することに応答して、コンピューティングシステムは、入力が第1のアフォーダンスと接触したままである間、プライマリディスプレイ上に、特定の位置において第1の文字のプレビューを表示する。例えば、図33Cに示されるとおり、入力5047によって接触される第1の絵文字文字のプレビューが、メッセージングアプリケーションのためのユーザインタフェース内でプライマリディスプレイ102上に提示される。
一部の実施形態において、コンピューティングシステムは、タッチ感知式セカンダリディスプレイを介して、第1のアフォーダンスから、別々の文字のうちの第2の文字に対応する第2のアフォーダンスへの第2の入力の移動も検出する(例えば、入力5047が、入力5048に対応するタッチ感知式セカンダリディスプレイ上の位置に移動する、図33D)。第1のアフォーダンスから第2のアフォーダンスへの第2の入力の移動を検出することに応答して、コンピューティングシステムは、第1の文字のプレビューを第2の文字のプレビューで置き換える(図33Dに示されるとおり)。一部の実施形態において、第2の入力がタッチ感知式セカンダリディスプレイを横切って移動するにつれ、コンピューティングシステムは、アフォーダンスのセットの中の対応するアフォーダンスが第2の入力によって接触されるにつれ、別々の文字のそれぞれの文字に関するプレビューを表示する(例えば、プレビューは、入力5047と入力5048の間でタッチ感知式セカンダリディスプレイ上に位置する絵文字のそれぞれを示すようにプライマリディスプレイ102上で更新される)。
一部の実施形態において、第2の文字のプレビューは、第2の入力が第2のアフォーダンスと接触したままである間、プライマリディスプレイ上に表示されたままである。
一部の実施形態において、第2の入力が第2のアフォーダンスと接触したままである間、コンピューティングシステムは第2の入力のリフトオフが行われたことを検出する。リフトオフを検出することに応答して、コンピューティングシステムは、第2のユーザインタフェース要素の永久表示(すなわち、プレビューではなく)を含むようにユーザインタフェースを更新する。
一部の実施形態において、コンピューティングシステムは、第2の入力が第2のアフォーダンスと接触している間に更なる入力(例えば、第2のアフォーダンスにおける第2の入力の間中、より強く押圧すること)を検出する。更なる入力を検出することに応答して、コンピューティングシステムは、第2のユーザインタフェース要素の永久表示(すなわち、プレビューではなく)を含むようにユーザインタフェースを更新する。
タッチ感知式セカンダリディスプレイにおいて直観的な入力を与えることによってプライマリディスプレイ上のアプリケーション内で文字がどのように見えるかを迅速に、かつ容易にプレビューすることをユーザに許すことは、アプリケーション内で文字がどのように見えるかを迅速にプレビューする便利な方法をユーザに提供する。アプリケーション内で文字がどのように見えるかを迅速にプレビューする便利な方法をユーザに提供することは、コンピューティングシステムの動作性を高め、ユーザデバイスインタフェースをより効率的にし(例えば、文字がどのように見えるかを迅速にプレビューするのにタッチ感知式セカンダリディスプレイにおいて単一の入力又はジェスチャを要求し、したがって、これらの文字がプライマリディスプレイ上でどのように見えるかをプレビューするのに要求される対話がより少なくなることによって)、このことが、更に、ユーザが文字をより迅速に、かつより効率的にプレビューすることを可能にすることによって電力使用を低減して、デバイスのバッテリ寿命を向上させる。このようにして、ユーザは、文字をプレビューすることを続けて、所望される文字が探し出されるまで入力を与え続けることを許されるので、ユーザに、ユーザのデバイスとの効率的、かつ持続した対話が提供される。
一部の実施形態において、タッチ感知式セカンダリディスプレイにおけるスワイプジェスチャを介する絵文字プレビューに関して前段で説明される機能はまた、アプリケーションのためのユーザインタフェース内に表示されたテキストに対して他の変更を実行するのにも利用される。例えば、タッチ感知式セカンダリディスプレイが、カラーピッカ(例えば、図15Bに示され、かつ方法1600を参照して後段でより詳細に説明されるカラーオプションの並び)を表示することが可能であり、ユーザがカラーピッカ内の様々なカラーオプションをスワイプするにつれ、選択されたテキストがプライマリディスプレイ上で動的に変更されて、スワイプジェスチャと連携して接触された様々なカラーオプションのそれぞれに関してテキストがどのように見えるかのプレビューをユーザに提供する。
図53における動作が説明されてきた特定の順序は、例示的であるに過ぎず、説明される順序が、動作が実行され得る唯一の順序であることを示すことは意図されないことを理解されたい。当業者には、説明される動作を再順序付けする様々な方法が認識されよう。
図54は、一部の実施形態による、タッチ感知式セカンダリディスプレイにおいて入力を与えることによってプライマリディスプレイ上のコンテンツ編集アプリケーション内でコンテンツをレンダリングするのに使用される視覚的特性を変更する方法1600を示すフロー図である。方法1600は、プロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード(本明細書において物理入力機構とも呼ばれる)、及びプライマリディスプレイとは別のタッチ感知式セカンダリディスプレイを少なくとも部分的に包含する第2の筐体とを含むコンピューティングシステムにおいて実行される(1602)。方法1600におけるいくつかの動作は、任意選択的に組み合わされ、かつ/又はいくつかの動作の順序が、任意選択的に変更される。
一部の実施形態において、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。一部の実施形態において、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(本明細書において、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)において実装されるプライマリディスプレイ102(図1A)である。代替として、一部の実施形態において、プライマリディスプレイは、外付けディスプレイデバイス204(本明細書において、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)において実装されるプライマリディスプレイ102(図2A~図2D)である。一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図1A~図1B)と、物理キーボード(例えば、物理キーのセット106、図1A~図1B)とを少なくとも部分的に包含するポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図2A~図2B)と、物理キーボード(例えば、物理キーのセット106、図2A~図2B)とを少なくとも部分的に包含するデスクトップコンピューティングシステム200の周辺キーボード206(図2A~図2B)である。代替として、一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図2C)を少なくとも部分的に包含するデスクトップコンピューティングシステム200の第1の周辺入力機構212(図2C)であり、第2の筐体は、入力機構(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
後段で説明されるとおり、方法1600(及び関連付けられたインタフェース)タッチ感知式セカンダリディスプレイにおいて入力を与えることによってプライマリディスプレイ上のコンテンツ編集アプリケーション内でコンテンツをレンダリングするのに使用される視覚的特性を変更する直観的な方法を提供する。方法1600は、タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールへの迅速なアクセスをユーザに提供して(プライマリディスプレイ上でコンテンツをレンダリングするのに使用される視覚的特性を容易に変更するために)、ユーザが、物理入力機構上のキーの上の位置から指を動かす必要がなく、トラックパッドに移動するように指の位置を調整し(例えば、視覚的特性を変更することを可能にする所望される機能を探し出すのに複雑なメニュー階層を移動して時間を浪費して)、次に、作業を続けるために物理入力機構に指の位置を戻すことを必要とすることなしに、代わりに、セカンダリディスプレイ上のコントロールを単に選択することができる。
方法1600によれば、コンピューティングシステムが、コンテンツ編集アプリケーション(例えば、図15B上に示される描画アプリケーションなどの文書、描画、写真、その他を作成し、編集するためのアプリケーション)を開く要求を受信する(1604)。要求を受信することに応答して、コンピューティングシステムが、プライマリディスプレイ上に、コンテンツ編集アプリケーション(例えば、図15Bに示されるような)を表示する(1606)。
要求を受信することに応答して、コンピューティングシステムは、タッチ感知式セカンダリディスプレイ上に、コンテンツ編集アプリケーション(例えば、図15Bに示されるカラーピッカ5505のような、コンテンツ編集アプリケーション内に表示されたコンテンツに関する色を選択するのに使用される色値のスライディングスケールを含むカラーピッカ)内にコンテンツをレンダリングするのに使用される少なくとも1つの視覚的特性を変更するためのユーザインタフェースコントロールを表示する(1608)こともする。一部の実施形態において、カラーピッカ5505は、基本表示モード(図15B)で示され、他の状況において(又はアフォーダンス5506におけるユーザ入力に応答して)、カラーピッカは、高度表示モード(図15E~図15Hに示されるような)で示される。一部の実施形態において、ユーザインタフェースコントロール(基本表示モード及び高度表示モードにおける)は、値のスライディングスケールに沿った少なくとも1つの視覚的特性に関するそれぞれの値にそれぞれが対応するそれぞれのコントロールを含む(例えば、図15Bのカラーピッカ5505に示される色の各ブロックが、色値に対応する)。
一部の実施形態において、コンピューティングシステムは、タッチ感知式セカンダリディスプレイ104を介して、少なくとも1つの視覚的特性に関する第1の値を選択するユーザインタフェースコントロールにおける入力(例えば、入力5010-Cがある色調のピンクを選択する)を検出する。入力を検出した後、コンピューティングシステムは、少なくとも1つの視覚的特性に関する第1の値を使用してコンテンツ編集アプリケーションにおいてコンテンツをレンダリングする(例えば、コンテンツ編集アプリケーションに追加されたすべての新たなコンテンツが、第1の値を使用してレンダリングされ、かつ/又は現在、選択されているコンテンツが、第1の値を使用してレンダリングされる)。例えば、図15Dに示されるとおり、例示的な棒線画の頭部が、第1の値を使用してレンダリングされる。
一部の実施形態において、コンテンツをレンダリングする前に、コンピューティングシステムは、コンテンツの選択(例えば、カーソル504を介した入力受信などの、棒線画の頭部を選択する入力、図15A)を受信する。一部の実施形態において、コンテンツをレンダリングすることは、少なくとも1つの視覚的特性の第1の値を使用してコンテンツのプレビュー(例えば、棒線画の頭部に対する変更がプレビューである)を提示することを含む。
一部の実施形態において、値のスライディングスケールは、別々の色調の色を表す。一部の実施形態において、第1の値は、第1の色の第1の色調に対応し、方法1600は、入力が所定の基準を満たす(閾値時間を超えて接触したままである、若しくは強度ベースの閾値を満たす)という判定に従って、タッチ感知式セカンダリディスプレイ上のユーザインタフェースコントロールを変更して、第1の色の第1の色調とは別の、第1の色の他の色調を選択するためのオプションを含むようにすることを更に含む。入力5010が閾値時間を超えてタッチ感知式セカンダリディスプレイ104と接触したままであり、それに応答して、タッチ感知式セカンダリディスプレイが、第1の色の他の色調(例えば、他の色調のピンク)を選択するためのオプションを提示する例が、図15B~図15Dに示される。一部の実施形態において、ユーザは、それらの他の色がプライマリディスプレイ102上でどのように見えるかを迅速にプレビューするために第1の色の他の色調にわたって入力をスライドさせるだけでよい。
一部の実施形態において、プレビューは、入力がタッチ感知式セカンダリディスプレイと接触したままである間、提示される。一部の実施形態において、コンピューティングシステムは、入力のリフトオフを検出することに応答して、プレビューを表示することを中止し、代わりに、選択されたコンテンツを、少なくとも1つの視覚的特性に関する第1の値を用いて表示する(例えば、棒線画の頭部が、入力がタッチ感知式セカンダリディスプレイ104と接触したままである間、続くプレビューとしてだけでなく、永続的な様態でレンダリングされる)。
一部の実施形態において、コンピューティングシステムは、入力のリフトオフを検出することに応答して、編集可能なコンテンツの部分を、少なくとも1つの視覚的特性に関する変更された値を用いて表示する。
したがって、タッチ感知式セカンダリディスプレイにおいて入力を与えることによってプライマリディスプレイ上のコンテンツ編集アプリケーション内でコンテンツをレンダリングするのに使用される視覚的特性を変更する直観的な方法がユーザに提供される。このように視覚的特性を変更する直観的な方法をユーザに提供することは、コンピューティングシステムの動作性を高め、ユーザデバイスインタフェースをより効率的にし(例えば、プライマリディスプレイ上のコンテンツをレンダリングするのに使用された場合、ある視覚的特性がどのように見えるかを迅速にプレビューするのにタッチ感知式セカンダリディスプレイにおいて単一の入力又はジェスチャを要求することによって)、このことが、更に、ユーザが視覚的特性に対する変更をより迅速に、かつより効率的にプレビューすることを可能にすることによって電力使用を低減して、デバイスのバッテリ寿命を向上させる。このようにして、ユーザは、視覚的特性に対する変更がプライマリディスプレイ上でどのように見えるかをプレビューすることを続けて、視覚的特性に関する所望される変更が探し出されるまで入力を与え続けることを許されるので、ユーザに、ユーザのデバイスとの効率的、かつ持続した対話が提供される。
図54における動作が説明されてきた特定の順序は、例示的であるに過ぎず、説明される順序が、動作が実行され得る唯一の順序であることを示すことは意図されないことを理解されたい。当業者には、説明される動作を再順序付けする様々な方法が認識されよう。
図66は、一部の実施形態による、生体センサを使用して効率的なログインを可能にする方法2800を示すフロー図である。方法2800は、プロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード(本明細書において物理入力機構とも呼ばれる)、及びプライマリディスプレイとは別のタッチ感知式セカンダリディスプレイを少なくとも部分的に包含する第2の筐体とを含むコンピューティングシステムにおいて実行される(2802)。方法2800におけるいくつかの動作は、任意選択的に組み合わされ、かつ/又はいくつかの動作の順序が、任意選択的に変更される。
一部の実施形態において、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。一部の実施形態において、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(本明細書において、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)において実装されるプライマリディスプレイ102(図1A)である。代替として、一部の実施形態において、プライマリディスプレイは、外付けディスプレイデバイス204(本明細書において、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)において実装されるプライマリディスプレイ102(図2A~図2D)である。一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図1A~図1B)と、物理キーボード(例えば、物理キーのセット106、図1A~図1B)とを少なくとも部分的に包含するポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図2A~図2B)と、物理キーボード(例えば、物理キーのセット106、図2A~図2B)とを少なくとも部分的に包含するデスクトップコンピューティングシステム200の周辺キーボード206(図2A~図2B)である。代替として、一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図2C)を少なくとも部分的に包含するデスクトップコンピューティングシステム200の第1の周辺入力機構212(図2C)であり、第2の筐体は、入力機構(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
後段で説明されるとおり、方法2800(及び関連付けられたインタフェース)は、生体センサを使用して効率的なログイン(より少ない入力しか要求しないログイン、いくつかの実例において、ログインを完了するのに単一の入力しか必要とされない)を可能にする直観的な方法を提供する。方法2800は、ユーザがユーザのパスワードをタイプ入力すること、又はユーザ固有のログインページに移動することを常に行わなくてもよいように(代わりに、ユーザは、単に生体情報を提供し、その生体情報に基づいて、デバイスがユーザを識別して、高速のログインを可能にする)ユーザのデバイスに迅速にログインする能力をユーザに提供する。
方法2800によれば、電子デバイスは、デバイスがロック状態にある間(例えば、ロック状態は、デバイスの1つ以上の特徴がディセーブルにされ、センシティブな情報へのアクセス、又は情報を変更する、若しくは削除する能力が禁止された状態である)、第1のユーザアカウント及び第2のユーザアカウントを含む複数のユーザアカウントにログインすることに関連付けられたそれぞれのログインユーザインタフェースを表示する(2804)。例示的なログインユーザインタフェースが、図26Cのプライマリディスプレイ102上に示される。
一部の実施形態において、ログインユーザインタフェースは、生体情報を提供するようにというインストラクションを含む(例えば、図26Cに示されるとおり、ログインユーザインタフェースは、「ログインするのに、又はユーザを切り換えるのにIDにタッチしてください」というインストラクションを含む)。一部の実施形態において、デバイスは、生体センサに隣接したセカンダリディスプレイ(例えば、本明細書において説明されるタッチ感知式セカンダリディスプレイ104)を含み、方法2800は、デバイスのディスプレイ上にログインユーザインタフェースを表示している間、セカンダリディスプレイにおいて、生体センサを介して生体情報を提供するようにというインストラクションを表示することを含む(例えば、セカンダリディスプレイ104が、「ログインするのにIDにタッチしてください」というテキストを含む)。一部の実施形態において、生体センサは、指紋センサである。一部の実施形態において、生体センサは、顔面検出センサである。一部の実施形態において、生体センサは、網膜スキャナである。
ログインユーザインタフェースを表示している間、電子デバイスが、ユーザについての生体情報を受信する(2806)。例えば、ユーザが、電子デバイスの所定の領域において(例えば、物理キーボードの上方に、セカンダリディスプレイに隣接して配置された生体センサなどの、電子デバイスと一体化された生体センサにおいて)指紋を提供する。一部の実施形態において、生体センサは、セカンダリディスプレイと一体化される。
生体情報を受信することに応答して、電子デバイスは、第1のユーザアカウント及び第2のユーザアカウントがデバイス上でアクティブなセッションを有さない(例えば、デバイスが起動したばかりである、又はユーザがデバイスにまだログインしていない)間に、その生体情報が、複数のユーザアカウントのうちの第1のユーザアカウント又は第2のユーザアカウントに関する生体情報と合致するかどうかを判定する。例えば、図26Cに示されるとおり、「Johnny Appleseed」及び「Sally」というユーザがまだログインしておらず、「Josh Olson」というユーザがログインしている(表示されたログインユーザインタフェース上のJosh Olsonという名前近くのオレンジで強調表示されたチェック印によって示されるとおり)。
第1のユーザアカウントがデバイス上でアクティブなセッションを有さない間に、生体情報が、複数のユーザアカウントのうちの第1のユーザアカウントに関する生体情報と合致するという判定に従って、デバイスは、ディスプレイ上に、第1のユーザアカウントに関するログインクレデンシャルを入力するようにというプロンプトを表示する(2808)。例えば、プロンプトは、「初期ログインのためにタッチIDがディセーブルにされています。あなたのパスワードを入力してください。」というテキストを含む(図26Aに示されるとおり、「Johnny Appleseed」というユーザから生体情報を受信した後)。
第2のユーザアカウントがデバイス上でアクティブなセッションを有さない間に、生体情報が、複数のユーザアカウントのうちの第2のユーザアカウントに関する生体情報と合致するという判定に従って、デバイスは、ディスプレイ上に、第2のユーザアカウントに関するログインクレデンシャルを入力するようにというプロンプトを表示する(2810)。例えば、プロンプトは、図26Aに示されるプロンプトと類似するが、第2のユーザアカウントのために表示される(「Sally」というユーザから生体情報を受信することに応答して、「Johnny Appleseed」のためではなく、「Sally」というユーザのために)。
このようにして、生体センサにおいて単一の入力を与えることによってユーザ固有のログインページにアクセスする直観的な方法がユーザに提供される。このようにユーザ固有のログインページにアクセスする直観的な方法をユーザに提供することは、コンピューティングシステムの動作性を高め、ユーザデバイスインタフェースをより効率的にし(例えば、適切なユーザ固有のログインページに迅速にアクセスするのに単一の入力又はジェスチャを要求し、したがって、ユーザ固有のログインページに到達するのに要求される対話がより少なくなることによって)、このことが、更に、ユーザが単一の入力を介してログインページにアクセスすることを可能にすることによって電力使用を低減して、デバイスのバッテリ寿命を向上させる。
一部の実施形態において、電子デバイスは、生体情報を受信することに応答して、第1のユーザアカウントがデバイス上でアクティブなセッションを有する間に、生体情報が、複数のユーザアカウントのうちの第1のユーザアカウントに関する生体情報と合致するという判定に従って、デバイスは、第1のユーザアカウントに関してロック解除する(例えば、パスワードを入力するよう第1のユーザアカウントに要求することをしないなど、更なるユーザ入力を要求することなしに)。例えば、第1のユーザアカウントが、デバイス上でアクティブなセッションを有するものとして図26Cに示される「Josh Olson」というユーザに対応する。
一部の実施形態において、生体情報を受信することに応答して、第2のユーザアカウントがデバイス上でアクティブなセッションを有する間に、生体情報が、複数のユーザアカウントのうちの第2のユーザアカウントに関する生体情報と合致するという判定に従って、デバイスは、第2のユーザアカウントに関してロック解除を行う(例えば、更なるユーザ入力を要求することなしに)。例えば、「Sally」などの、他のユーザのうちの1人が既にログインしており、デバイス上にアクティブなセッションを有し、したがって、デバイスが、更なる入力を要求するのではなく、即時にロック解除する。
一部の実施形態において、生体情報を受信することに応答して、生体情報が、デバイスのいずれのユーザアカウントに関する生体情報とも合致しないという判定に従って、デバイスをロック状態に保持する。例えば、デバイス上にユーザアカウントを有さない何らかの他のユーザが生体情報(指紋などの)を提供しようと試みた場合、デバイスは、ロック状態にとどまる(例えば、デバイスは、ログインユーザインタフェースを表示することを続け、提供された生体情報が認識されないことを示すメッセージを表示してよい)。
一部の実施形態において、ログインユーザインタフェースは、複数のユーザアカウントに対応する複数の選択可能なアフォーダンスを含む(図26Cに示されるとおり、選択可能なアフォーダンスは、ユーザのそれぞれに関して示される)。
一部の実施形態において、デバイスは、第1のユーザアカウントに関してログインクレデンシャルを入力するようにというプロンプト(図26Aに示されるプロンプト)を表示している間に、ログインクレデンシャルの入力を受信し(例えば、パスワードが、「パスワードを入力してください」入力ボックスにおいて入力され)、ログインクレデンシャルの入力を受信することに応答して、デバイスは、そのログインクレデンシャルが第1のユーザアカウントに関するログインクレデンシャルと合致するかどうかを判定する。
ログインクレデンシャルが第1のユーザアカウントに関するログインクレデンシャルと合致するという判定に従って、デバイスは、第1のユーザアカウントに関してロック解除される。ログインクレデンシャルが第1のユーザアカウントに関するログインクレデンシャルと合致しないという判定に従って、デバイスは、ロック状態のままである。
一部の実施形態において、第2のユーザアカウントに関してログインクレデンシャルを入力するようにというプロンプトを表示している間に、デバイスが、ログインクレデンシャルの入力を受信する(例えば、パスワードが、第2のユーザによって図26Aの「パスワードを入力してください」入力ボックスにおいて入力される)。ログインクレデンシャルの入力を受信することに応答して、デバイスは、そのログインクレデンシャルが第2のユーザアカウントに関するログインクレデンシャルと合致するかどうかを判定する。
ログインクレデンシャルが第2のユーザアカウントに関するログインクレデンシャルと合致するという判定に従って、デバイスは、第2のユーザアカウントに関してロック解除され、ログインクレデンシャルが第2のユーザアカウントに関するログインクレデンシャルと合致しないという判定に従って、デバイスは、ロック状態のままである。
図66における動作が説明されてきた特定の順序は、例示的であるに過ぎず、説明される順序が、動作が実行され得る唯一の順序であることを示すことは意図されないことを理解されたい。当業者には、説明される動作を再順序付けする様々な方法が認識されよう。
図67は、一部の実施形態による、生体センサを使用して、ログインされたユーザアカウントの間で効率的な高速の切換えを可能にする方法2900を示すフロー図である。方法2900は、プロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、物理キーボード(本明細書において物理入力機構とも呼ばれる)、及びプライマリディスプレイとは別のタッチ感知式セカンダリディスプレイを少なくとも部分的に包含する第2の筐体とを含むコンピューティングシステムにおいて実行される(2902)。方法2900におけるいくつかの動作は、任意選択的に組み合わされ、かつ/又はいくつかの動作の順序が、任意選択的に変更される。
一部の実施形態において、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A~図2D)である。一部の実施形態において、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110(本明細書において、プライマリディスプレイ102を含む第1の筐体110とも呼ばれる)において実装されるプライマリディスプレイ102(図1A)である。代替として、一部の実施形態において、プライマリディスプレイは、外付けディスプレイデバイス204(本明細書において、プライマリディスプレイ102を含む第1の筐体204とも呼ばれる)(図2A~図2D)において実装されるプライマリディスプレイ102(図2A~図2D)である。一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図1A~図1B)と、物理キーボード(例えば、物理キーのセット106、図1A~図1B)とを少なくとも部分的に包含するポータブルコンピューティングシステム100(図1A~図1B)の本体部分120である。代替として、一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図2A~図2B)と、物理キーボード(例えば、物理キーのセット106、図2A~図2B)とを少なくとも部分的に包含するデスクトップコンピューティングシステム200の周辺キーボード206(図2A~図2B)である。代替として、一部の実施形態において、第2の筐体は、タッチ感知式セカンダリディスプレイ(例えば、ダイナミックファンクションロー104、図2C)を少なくとも部分的に包含するデスクトップコンピューティングシステム200の第1の周辺入力機構212(図2C)であり、第2の筐体は、入力機構(例えば、タッチパッド108、図2C)を含み、物理キーボードを含まない。
後段で説明されるとおり、方法2900(及び関連付けられたインタフェース)は、生体センサを使用して、ログインされたユーザアカウントの間で効率的な高速の切換えを可能にする直観的な方法を提供する。方法2900は、ユーザが、単に生体情報を提供することによって(パスワードを提供する必要も、ユーザを切り換えるためのユーザインタフェースに移動する必要もなしに)、ユーザのユーザアカウントに切り換えることを可能にするコントロール及び案内をユーザに提供する。
方法2900によれば、電子デバイスは、デバイスが第1のユーザアカウントにログインされている間、第1のユーザアカウントに関連付けられたユーザインタフェース(例えば、第1のユーザアカウントに関するホームスクリーン又はデスクトップ)を表示する(2904)。デバイスは、第1のユーザアカウント及び第2のユーザアカウントを含む複数のユーザアカウントに関連付けられ、第2のユーザアカウントは、第2のユーザアカウントにログインすることを可能にする生体情報に関連付けられる。
第1のユーザアカウントに関連付けられたユーザインタフェースを表示している間に、デバイスが、一体化された生体センサを有する入力要素を介して入力を受信する(2906)。例えば、第2のユーザが、第1のユーザアカウントが現在、ログインされている間に、一体化された生体センサにおいて入力を与える。
一体化された生体センサを有する入力要素を介して入力を受信することに応答して、デバイスは、第2のユーザアカウントがデバイス上でアクティブなセッションを有する間に、その入力が第2のユーザ切換え基準を満たすかどうかを判定する。一部の実施形態において、第2のユーザ切換え基準は、入力要素を用いた入力中に検出された生体情報が、複数のユーザアカウントのうちの第2のユーザアカウントに関する生体情報と合致するという要件を含む。
第2のユーザアカウントがデバイス上でアクティブなセッションを有する間に、入力が第2のユーザ切換え基準を満たすという判定に従って、デバイスは、(i)第2のユーザアカウントに関してデバイスをロック解除し、(ii)第1のユーザアカウントに関してデバイスをロックし(例えば、第1のユーザアカウントをログオフすること)、及び(ii)第1のアカウントに関連付けられたユーザインタフェースの表示を第2のユーザアカウントに関連付けられたユーザインタフェースで置き換える(2908)。このようにして、第2のユーザは、単に単一の生体入力を与えることによってデバイス上のアクティブなセッションにアクセスを得ることができる。
したがって、生体センサにおいて単一の入力を与えることによって電子デバイス上のアクティブなユーザ固有のセッションにアクセスする直観的な方法がユーザに提供される。このようにアクティブなユーザ固有のセッションにアクセスする直観的な方法をユーザに提供することは、電子デバイスの動作性を高め、ユーザデバイスインタフェースをより効率的にし(例えば、アクティブなセッションに対する即時のアクセスを得るのに単一の入力又はジェスチャを要求し、したがって、ユーザアカウントに切り換え、デバイスにログインするのに要求される対話がより少なくなることによって)、このことが、更に、ユーザが単一の入力を介してアクティブなセッションにアクセスすることを可能にすることによって電力使用を低減して、デバイスのバッテリ寿命を向上させる。
一部の実施形態において、生体情報を受信することに応答して、第2のユーザアカウントがデバイス上でアクティブなセッションを有さない間に、第2のユーザ切換え基準が、入力要素を用いた入力中に検出された生体情報が、複数のユーザアカウントのうちの第2のユーザアカウントに関する生体情報と合致するという要件を含んで、入力が第2のユーザ切換え基準を満たすという判定に従って、デバイスは、ディスプレイ上に、第2のユーザアカウントに関するログインクレデンシャルを入力するようにというプロンプトを表示する(例示的なプロンプトが、図26Aに示され、「初期ログインのためにタッチIDがディセーブルにされています。あなたのパスワードを入力してください。」というテキストを有する)。
一部の実施形態において、生体情報を受信することに応答して、第3のユーザアカウントがデバイス上でアクティブなセッションを有する間に、第3のユーザ切換え基準が、入力要素を用いた入力中に検出された生体情報が、複数のユーザアカウントのうちの第3のユーザアカウントに関する生体情報と合致するという要件を含んで、入力が第3のユーザ切換え基準を満たすという判定に従って、デバイスは、(i)第3のユーザアカウントに関してデバイスをロック解除し、(ii)第1のユーザアカウントに関してデバイスをロックし、及び(iii)第1のアカウントに関連付けられたユーザインタフェースの表示を第3のユーザアカウントに関連付けられたユーザインタフェースで置き換える。このようにして、第3のユーザは、単に単一の生体入力を与えることによってデバイス上のアクティブなセッションにアクセスを得ることができる。
一部の実施形態において、生体情報を受信することに応答して、第3のユーザアカウントがデバイス上でアクティブなセッションを有さない間に、第3のユーザ切換え基準が、入力要素を用いた入力中に検出された生体情報が、複数のユーザアカウントのうちの第3のユーザアカウントに関する生体情報と合致するという要件を含んで、入力が第3のユーザ切換え基準を満たすという判定に従って、ディスプレイ上に、第3のユーザアカウントに関するログインクレデンシャルを入力するようにというプロンプトを表示する(例示的なプロンプトが、図26Aに示され、「初期ログインのためにタッチIDがディセーブルにされています。あなたのパスワードを入力してください。」というテキストを有する)。
一部の実施形態において、第1のユーザは、生体入力を与えることによって、使用してデバイスに迅速、かつ容易に再びログインすることができる。例えば、第1のアカウントに関連付けられたユーザインタフェースの表示を、第2のユーザアカウント(又は第3のユーザアカウント)に関連付けられたユーザインタフェースで置き換えた後、第2のユーザアカウント(又は第3のユーザアカウント)に関連付けられたユーザインタフェースを表示している間に、デバイスは、一体化された生体センサを有する入力要素を介して第2の入力を受信する。一体化された生体センサを有する入力要素を介して第2の入力を受信することに応答して、第1のユーザ切換え基準が、入力要素を用いた入力中に検出された生体情報が、複数のユーザアカウントのうちの第1のユーザアカウントに関する生体情報と合致するという要件を含んで、第1のユーザアカウントがデバイス上でアクティブなセッションを有する間に第2の入力が第1のユーザ切換え基準を満たすという判定に従って、デバイスは、(i)第1のユーザアカウントに関してデバイスをロック解除し、(ii)第2のユーザアカウントに関してデバイスをロックし、及び(iii)第2のアカウントに関連付けられたユーザインタフェースの表示を第1のユーザアカウントに関連付けられたユーザインタフェースで置き換える。このようにして、第1のユーザは、電子デバイスの使用を即時に再開するために単一の生体入力を与えることができる(デバイスの使用を再開するのにパスワードを入力することも、他の入力を与えることも必要とすることなく)。
一部の実施形態において、入力要素は、ボタン(例えば、タッチ感知式セカンダリディスプレイイ104上に含められた、又はセカンダリディスプレイ104に隣接して配置されたボタン)であり、一体化された生体センサを有する入力要素を介して入力を検出することは、ボタンを介して押圧入力を検出することを含む。例えば、入力は、機械的ボタンのプッシュ入力、又は所定の強度/圧力閾値を超える強度/圧力を有する押圧入力である。一部の実施形態において、生体情報が、押圧入力を検出することなしに検出された場合、デバイスは、受信された生体情報が、現在、ログインされているユーザアカウントではないユーザアカウントと合致する場合でさえ、ユーザを切り換えることを取り止めにする。
一部の実施形態において、第2のユーザ切換え基準は、押圧入力が第1の閾値時間より短い間、持続するという基準を含む。
一部の実施形態において、一体化された生体センサを有する入力要素を介して押圧入力を受信することに応答して、ボタンを用いた押圧入力が第1の閾値時間より短い間、持続したという判定に従って、デバイスは、低電力モード(例えば、低電力モードは、ディスプレイがオフにされるサスペンド状態に対応する)に入る。
一部の実施形態において、一体化された生体センサを有する入力要素を介して入力を受信することに応答して、ボタンを用いた押圧入力が第1の閾値時間より長い間、かつ第2の閾値時間より短い間、持続したという判定に従って、デバイスは、低電力モードに入る。(例えば、低電力モードは、ディスプレイがオフにされるスリープ/サスペンド状態に対応し、低電力モードには、押圧入力が終わると入る)。ボタンを用いた押圧入力が第2の閾値時間より長い間、持続したという判定に従って、デバイスは、デバイスの状態を変更するためのオプションのメニューを表示する(例えば、メニューオプションは、シャットダウンオプション、再起動オプション、スリープ/サスペンドオプションを含み、選択されると、それぞれ、デバイスをシャットダウンする、再起動する、又はスリープ/サスペンドすることをデバイスにさせる)。
一部の実施形態において、一体化された生体センサを有する入力要素を介して入力を受信することに応答して、ボタンを用いた押圧入力が第2の閾値時間よりも多い第3の閾値時間より長い間、持続したという判定に従って、デバイスは、再起動される。
一部の実施形態において、現在、サインインしていないユーザが生体情報を提供した(例えば、タッチ感知式セカンダリディスプレイ104と一体化され得るタッチIDボタンなどの、デバイスの生体センサ上にユーザの指を置いた)場合、ユーザは、そのユーザに関する記憶された生体情報(例えば、生体センサ又はタッチIDセンサを介して以前に受信されている記憶された指紋情報)が利用可能である場合、その生体情報に基づいてデバイスによって識別される。一部の実施形態において、ユーザは、ユーザがボタンを押圧する前に識別される)。ユーザによって提供された生体情報が有効であった(例えば、生体情報がそのユーザに関する記憶された生体情報と一致した)という判定に従って、タッチ感知式セカンダリディスプレイ104が、「クリックして[ユーザ名]->に切り換える」ようユーザに指示するプロンプトを含むように更新される。一部の実施形態において、このプロンプトにおける矢印は、生体センサが配置されているデバイスの位置にユーザを向かわせる。
一部の実施形態において、プロンプトは、ユーザに固有であるテキストを含む(例えば、[ユーザ名]テキストがユーザのユーザ名で置き換えられる)。例えば、プロンプトは、Sallyの指紋が検出された場合、「クリックしてSally->に切り換える」というテキストを含むこと、及びJohnnyの指紋が検出された場合、「クリックしてJohnny->に切り換える」というテキストを含むことが可能である。
一部の実施形態において、ユーザによって提供される生体情報が、現在、サインインされているアカウントに関連付けられている場合、又は生体情報が認識されない(すなわち、デバイスのユーザアカウントに関連付けられていない)場合、タッチ感知式セカンダリディスプレイ104上にプロンプトはまったく表示されない。
図68における動作が説明されてきた特定の順序は、例示的であるに過ぎず、説明される順序が、動作が実行され得る唯一の順序であることを示すことは意図されないことを理解されたい。当業者には、説明される動作を再順序付けする様々な方法が認識されよう。
一部の実施形態によれば、図55は、説明される様々な実施形態の原理により構成された電子デバイス1700の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図55において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、電子デバイス1700は、構成要素が電子デバイス300(図3)に対応するポータブルコンピューティングシステム100(図1A~図1B)として実装される。電子デバイス1700がデスクトップコンピューティングシステム200(図2A~図2D)内でどのように実装されてもよいかは、当業者によって理解されよう。
図55に示されるとおり、電子デバイス1700は、情報を表示するように構成されたプライマリディスプレイユニット1702(例えば、プライマリディスプレイ102、図1A、及び図2A~図2D)と、ユーザ入力を受信するように構成された物理入力ユニット1704と、情報を表示するように構成されたタッチスクリーンディスプレイ(TSD)ユニット1706(ときとして、本明細書において「タッチスクリーンディスプレイ」又は「タッチスクリーン」とも呼ばれる)(例えば、ダイナミックファンクションロー104、図1A~図1B、及び図2A~図2D)と、1つ以上のセンサを有するタッチスクリーンディスプレイユニット1706上で接触を受信するように構成されたタッチ感知面ユニット1708と、プライマリディスプレイユニット1702、物理入力ユニット1704、タッチスクリーンディスプレイユニット1706、及びタッチ感知面ユニット1708に結合された処理ユニット1710とを含む。一部の実施形態において、処理ユニット1710は、プライマリディスプレイコントロールユニット1712と、タッチスクリーンディスプレイ(TSD)コントロールユニット1714と、フォーカス識別ユニット1716と、判定ユニット1718と、入力検出ユニット1720と、入力タイプ判定ユニット1722と、実行ユニット1724と、メディア再生判定ユニット1726とを含む。
処理ユニット1710は、プライマリディスプレイユニット1702上に第1のユーザインタフェースの表示を引き起こすこと(例えば、プライマリディスプレイコントロールユニット1712を用いて)であって、第1のユーザインタフェースは、1つ以上のユーザインタフェース要素を含む、こと、プライマリディスプレイユニット1702上でフォーカスが当たっている1つ以上のユーザインタフェース要素のなかからアクティブなユーザインタフェース要素を識別すること(例えば、フォーカス識別ユニット1716を用いて)、及びプライマリディスプレイユニット1702上でフォーカスが当たっているアクティブなユーザインタフェース要素が、処理ユニット1710によって実行されるアプリケーションに関連付けられているかどうかを判定すること(例えば、判定ユニット1718を用いて)を行わせるように構成されている。プライマリディスプレイユニット1702上でフォーカスが当たっているアクティブなユーザインタフェース要素がアプリケーションに関連付けられているという判定に従って、処理ユニット1710は、タッチスクリーンディスプレイユニット1706上に、(A)アプリケーションに対応する1つ以上のアフォーダンスの第1のセットと、(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスとを含む第2のユーザインタフェースの表示を引き起こす(例えば、タッチスクリーンディスプレイコントロールユニット1714を用いて)ように構成されている。
一部の実施形態において、電子デバイスは、(i)プライマリディスプレイユニット1702と、処理ユニット1710と、第1の通信回路ユニットとを含むプライマリコンピューティングユニットと、(ii)タッチスクリーンディスプレイユニット1706と、タッチ感知面ユニット1708と、物理入力ユニット1704と、第1の通信回路ユニットと通信するための第2の通信回路ユニットとを含む一体化された入力ユニットとを更に含み、一体化された入力デバイスは、プライマリコンピューティングユニットとは別であり、かつ分離している。
一部の実施形態において、物理入力ユニット1704は、複数の物理キーを含む。
一部の実施形態において、物理入力ユニット1704は、タッチパッドを含む。
一部の実施形態において、処理ユニット1710は、第1のユーザインタフェースの前景においてアプリケーションを実行するように構成されている。
一部の実施形態において、少なくとも1つのシステムレベルアフォーダンスは、選択されると、タッチスクリーンディスプレイユニット1706上にシステムレベル機能に対応する複数のシステムレベルアフォーダンスの表示を引き起こすように構成されている。
一部の実施形態において、少なくとも1つのシステムレベルアフォーダンスは、電源コントロール又はエスケープコントロールのうちの1つに対応する。
一部の実施形態において、第2のユーザインタフェース内のタッチスクリーンディスプレイユニット1706上に表示されるアフォーダンスのうちの少なくとも1つは、多機能アフォーダンスである。
一部の実施形態において、処理ユニット1710は、タッチ感知面ユニット1708上で多機能アフォーダンスを選択するユーザタッチ入力を検出する(例えば、入力検出ユニット1720を用いて)こと、ユーザタッチ入力が第1のタイプに対応するという判定(例えば、入力タイプ判定ユニット1722を用いた)により、多機能アフォーダンスに関連付けられた第1の機能を実行すること(例えば、実行ユニット1724を用いて)、及びユーザタッチ入力が、第1のタイプとは別の第2のタイプに対応するという判定(例えば、入力タイプ判定ユニット1722を用いた)に従って、多機能アフォーダンスに関連付けられた第2の機能を実行すること(例えば、実行ユニット1724を用いて)を行うように構成されている。
一部の実施形態において、アクティブなユーザインタフェース要素がアプリケーションに関連付けられていないという判定に従って、処理ユニット1710は、タッチスクリーンディスプレイユニット1706上に、(C)電子デバイス1700のオペレーティングシステムコントロールに対応する1つ以上のアフォーダンスの第2のセットを含む第3のユーザインタフェースの表示を引き起こす(例えば、タッチスクリーンディスプレイコントロールユニット1714を用いて)ように構成されており、1つ以上のアフォーダンスの第2のセットは、1つ以上のアフォーダンスの第1のセットとは別である。
一部の実施形態において、1つ以上のアフォーダンスの第2のセットは、(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含むオペレーティングシステムコントロールの拡張セットである。
一部の実施形態において、処理ユニット1710は、タッチ感知面ユニット1708上でアフォーダンスの第1のセットのうちの1つを選択するユーザタッチ入力を選択すること(例えば、入力検出ユニット1720を用いて)、及びユーザタッチ入力を検出することに応答して、タッチスクリーンディスプレイユニット1706上にアプリケーションの機能に対応するアフォーダンスの異なるセットの表示を引き起こす(例えば、タッチスクリーンディスプレイコントロールユニット1714を用いて)こと、及びタッチスクリーンディスプレイユニット1706上に少なくとも1つのシステムレベルアフォーダンスを表示することを保持すること(タッチスクリーンディスプレイコントロールユニット1714を用いて)を行うように構成されている。
一部の実施形態において、処理ユニット1710は、タッチ感知面ユニット1708上で少なくとも1つのシステムレベルアフォーダンスを選択する後続のユーザタッチ入力を検出すること(例えば、入力検出ユニット1720を用いて)、及び後続のユーザタッチ入力を検出することに応答して、タッチスクリーンディスプレイユニット1706上にシステムレベル機能に対応する複数のシステムレベルアフォーダンス、及びアプリケーションに対応する少なくとも1つのアプリケーションレベルアフォーダンスの表示を引き起こすこと(例えば、タッチスクリーンディスプレイコントロールユニット1714を用いて)を行うように構成されている。
一部の実施形態において、処理ユニット1710は、タッチスクリーンディスプレイユニット1706上に第2のユーザインタフェースを表示した後、プライマリディスプレイユニット1702上でフォーカスが当たっている第2のアクティブなユーザインタフェース要素を識別すること(例えば、フォーカス識別ユニット1716を用いて)、及び第2のアクティブなユーザインタフェース要素が、処理ユニット1710によって実行される異なるアプリケーションに対応するかどうかを判定すること(例えば、判定ユニット1718を用いて)を行うように構成されている。第2のアクティブなユーザインタフェース要素が異なるアプリケーションに対応するという判定に従って、処理ユニット1710は、タッチスクリーンディスプレイユニット1706上に、(D)異なるアプリケーションに対応する1つ以上のアフォーダンスの第3のセット、及び(E)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む第4のユーザインタフェースの表示を引き起こす(例えば、タッチスクリーンディスプレイコントロールユニット1714を用いて)ように構成されている。
一部の実施形態において、処理ユニット1710は、第2のアクティブなユーザインタフェース要素を識別した(例えば、フォーカス識別ユニット1716を用いて)後、メディアアイテムが電子デバイス1700によって再生されているかどうかを判定すること(例えば、メディア再生判定ユニット1726を用いて)であって、メディアアイテムは、異なるアプリケーションに関連付けられていないこと、及びメディアアイテムが電子デバイス1700によって再生されているという判定(例えば、メディア再生判定ユニット1726を用いた)により、タッチスクリーンディスプレイユニット1706上でメディアアイテムを制御するために第4のユーザインタフェース上に少なくとも1つの永続的なアフォーダンスの表示を引き起こす(例えば、タッチスクリーンディスプレイコントロールユニット1714を用いて)ように構成されている。
一部の実施形態において、少なくとも1つの永続的なアフォーダンスが、メディアアイテムに対応するフィードバックを表示する。
一部の実施形態において、処理ユニット1710は、オーバライドキーに対応するユーザ入力を検出すること(例えば、入力検出ユニット1720)、及びユーザ入力を検出することに応答して、タッチスクリーンディスプレイユニット1706上に第2のユーザインタフェースの1つ以上のアフォーダンスの少なくとも第1のセットを表示することを中止すること(例えば、タッチスクリーンディスプレイコントロールユニット1714を用いて)、タッチスクリーンディスプレイユニット1706上に既定のファンクションキーの第1のセットの表示を引き起こすこと(例えば、タッチスクリーンディスプレイコントロールユニット1714を用いて)を行うように構成されている。
一部の実施形態において、処理ユニット1710は、タッチスクリーンディスプレイユニット1706上に既定のファンクションキーの第1のセットを表示した後、タッチスクリーンディスプレイユニット1706の主軸と実質的に平行である方向でタッチ感知面ユニット1708上のジェスチャを検出すること(例えば、入力検出ユニット1720を用いて)、及び実質的に水平なスワイプジェスチャを検出することに応答して、タッチスクリーンディスプレイユニット1706上に少なくとも1つの別のファンクションキーを有する既定のファンクションキーの第2のセットの表示を引き起こすこと(例えば、タッチスクリーンディスプレイコントロールユニット1714を用いて)を行うように構成されている。
前段で説明される情報処理方法における動作は、任意選択的に、汎用プロセッサ(例えば、図3A及び図4に関連して前段で説明されるような)又は特定用途向けチップなどの情報処理装置における1つ以上の機能モジュールを実行することによって実装される。
図44A~図44Dを参照して前段で説明される動作は、任意選択的に、図3A~図3B、又は図55に示される構成要素によって実施される。例えば、検出動作626及び628は、任意選択的に、イベントソータ370、イベント認識部380、及びイベント処理部190によって実施される。イベントソータ370におけるイベントモニタ371が、タッチ感知ディスプレイとして実装された場合、ディスプレイシステム312上の接触を検出し、イベントディスパッチャモジュール374が、アプリケーション340-1にイベント情報を伝送する。アプリケーション340-1のそれぞれのイベント認識部380が、イベント情報をそれぞれのイベント定義386と比較し、タッチ感知ディスプレイ上の第1の位置における第1の接触が、所定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの所定のイベント又はサブイベントが検出されると、イベント認識部380が、そのイベント又はサブイベントの検出に関連付けられたイベント処理部390をアクティブ化する。イベント処理部390は、任意選択的に、データ更新部376又はオブジェクト更新部377を使用して、又は呼び出してアプリケーション内部状態392を更新する。一部の実施形態において、イベント処理部390は、それぞれのGUI更新部378にアクセスして、アプリケーションによって表示されるものを更新する。同様に、他のプロセスがどのように、図3A~図3Bに示される構成要素に基づいて実施され得るかが、当業者には明白であろう。
一部の実施形態によれば、図56は、説明される様々な実施形態の原理により構成された電子デバイス1800の機能ブロック図を示す。デバイスの機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図56において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、電子デバイス1800は、構成要素が電子デバイス300(図3)に対応するポータブルコンピューティングシステム100(図1A~図1B)として実装される。電子デバイス1800がデスクトップコンピューティングシステム200(図2A~図2D)内でどのように実装されてもよいかは、当業者によって理解されよう。
図56に示されるとおり、電子デバイス1800は、情報を表示するように構成されたプライマリディスプレイユニット1802(例えば、プライマリディスプレイ102、図1A、及び図2A~図2D)と、ユーザ入力を受信するように構成された物理入力ユニット1804と、情報を表示するように構成されたタッチスクリーンディスプレイ(TSD)ユニット1806(ときとして、本明細書において「タッチスクリーンディスプレイ」又は「タッチスクリーン」とも呼ばれる)(例えば、ダイナミックファンクションロー104、図1A~図1B、及び図2A~図2D)と、1つ以上のセンサを有するタッチスクリーンディスプレイユニット1806上で接触を受信するように構成されたタッチ感知面ユニット1808と、プライマリディスプレイユニット1802、物理入力ユニット1804、タッチスクリーンディスプレイユニット1806、及びタッチ感知面ユニット1808に結合された処理ユニット1810とを含む。一部の実施形態において、処理ユニット1810は、プライマリディスプレイコントロールユニット1812と、タッチスクリーンディスプレイ(TSD)コントロールユニット1814と、入力検出ユニット1816と、入力タイプ判定ユニット1818とを含む。
処理ユニット1810は、プライマリディスプレイユニット1802上に処理ユニット1810によって実行されるアプリケーションのための第1のユーザインタフェースの表示を引き起こすこと(例えば、プライマリディスプレイコントロールユニット1812を用いて)、タッチスクリーンディスプレイユニット1806上に第2のユーザインタフェースの表示を引き起こすこと(例えば、タッチスクリーンディスプレイコントロールユニット1814を用いて)であって、第2のユーザインタフェースは、アプリケーションに対応する1つ以上のアフォーダンスの第1のセットを含み、1つ以上のアフォーダンスの第1のセットは、アプリケーションの第1の部分に対応する、こと、及びタッチ感知面ユニット1808上でスワイプジェスチャを検出すること(例えば、入力検出ユニット1816を用いて)を行うように構成されている。スワイプジェスチャが第1の方向(例えば、水平の)で実行されたという判定(例えば、入力タイプ判定ユニット1818を用いた)に従って、処理ユニット1810は、タッチスクリーンディスプレイユニット1806上にアプリケーションに対応する1つ以上のアフォーダンスの第2のセットの表示を引き起こすことであって、1つ以上のアフォーダンスの第2のセットにおける少なくとも1つのアフォーダンスは、1つ以上のアフォーダンスの第1のセットとは別であり、かつ1つ以上のアフォーダンスの第2のセットは、アプリケーションの第1の部分に対応してもいることを行わせる(例えば、タッチスクリーンディスプレイコントロールユニット1814を用いて)ように構成されている。スワイプジェスチャが、第1の方向に対して実質的に直角である第2の方向(例えば、垂直の)で実行されたという判定(例えば、入力タイプ判定ユニット1818を用いた)に従って、処理ユニット1810は、タッチスクリーンディスプレイユニット1806上にアプリケーションに対応する1つ以上のアフォーダンスの第3のセットの表示を引き起こすこと(例えば、タッチスクリーンディスプレイコントロールユニット1814を用いて)であって、1つ以上のアフォーダンスの第3のセットは、1つ以上のアフォーダンスの第2のセットとは別であり、かつ1つ以上のアフォーダンスの第3のセットは、アプリケーションの第1の部分とは別のアプリケーションの第2の部分に対応する、ことを行うように構成されている。
一部の実施形態において、第2の部分は、スワイプジェスチャを検出することに先立ってプライマリディスプレイユニット1802上で第1のユーザインタフェース内のコンパクトビューにおいて表示され、処理ユニット1810は、スワイプジェスチャが、第1の方向に対して実質的に直角である第2の方向で実行されたという判定に従って、プライマリディスプレイユニット1802上で第1のユーザインタフェース内の展開されたビューにおいて第2の部分を表示すること(例えば、プライマリディスプレイコントロールユニット1812を用いて)を行わせるように構成されている。
一部の実施形態において、アプリケーションのための第1のユーザインタフェースは、フルスクリーンモードでプライマリディスプレイユニット1802上に表示され、タッチスクリーンディスプレイユニット1806上に表示される1つ以上のアフォーダンスの第1のセットは、フルスクリーンモードに対応するコントロールを含む。
一部の実施形態において、1つ以上のアフォーダンスの第2のセット、及び1つ以上のアフォーダンスの第3のセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む。
一部の実施形態において、タッチスクリーンディスプレイユニット1806上に1つ以上のアフォーダンスの第3のセットを表示した後、処理ユニット1810は、第1のユーザインタフェース上で第1の部分を選択する第1の入力を検出する(例えば、入力検出ユニット1816を用いて)こと、及びユーザ入力を検出することに応答して、タッチスクリーンディスプレイユニット1806上に1つ以上のアフォーダンスの第3のセットを表示することを中止すること(例えば、タッチスクリーンディスプレイコントロールユニット1814を用いて)であって、1つ以上のアフォーダンスの第3のセットは、アプリケーションの第2の部分に対応する、こと、及びタッチスクリーンディスプレイユニット1806上に1つ以上のアフォーダンスの第2のセットの表示を引き起こすこと(例えば、タッチスクリーンディスプレイコントロールユニット1814を用いて)であって、1つ以上のアフォーダンスの第2のセットは、アプリケーションの第1の部分に対応する、ことを行うように構成されている。
一部の実施形態において、第1の方向は、タッチスクリーンディスプレイユニット1806の主軸と実質的に平行である。
一部の実施形態において、第1の方向は、タッチスクリーンディスプレイユニット1806の主軸に対して実質的に直角である。
一部の実施形態において、第1の部分は、アプリケーションのメニュー、タブ、フォルダ、ツールセット、又はツールバーのうちの1つであり、第2の部分は、アプリケーションのメニュー、タブ、フォルダ、ツールセット、又はツールバーのうちの1つである。
図45A~図45Cを参照して前段で説明される動作は、任意選択的に、図3A~図3B、又は図56に示される構成要素によって実施される。例えば、検出動作710は、任意選択的に、イベントソータ370、イベント認識部380、及びイベント処理部190によって実施される。イベントソータ370におけるイベントモニタ371が、タッチ感知ディスプレイとして実装された場合、ディスプレイシステム312上の接触を検出し、イベントディスパッチャモジュール374が、アプリケーション340-1にイベント情報を伝送する。アプリケーション340-1のそれぞれのイベント認識部380が、イベント情報をそれぞれのイベント定義386と比較し、タッチ感知ディスプレイ上の第1の位置における第1の接触が、所定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの所定のイベント又はサブイベントが検出されると、イベント認識部380が、そのイベント又はサブイベントの検出に関連付けられたイベント処理部390をアクティブ化する。イベント処理部390は、任意選択的に、データ更新部376又はオブジェクト更新部377を使用して、又は呼び出してアプリケーション内部状態392を更新する。一部の実施形態において、イベント処理部390は、それぞれのGUI更新部378にアクセスして、アプリケーションによって表示されるものを更新する。同様に、他のプロセスがどのように、図3A~図3Bに示される構成要素に基づいて実施され得るかが、当業者には明白であろう。
一部の実施形態によれば、図57は、説明される様々な実施形態の原理により構成された電子デバイス1900の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図57において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、電子デバイス1900は、構成要素が電子デバイス300(図3)に対応するポータブルコンピューティングシステム100(図1A~図1B)として実装される。電子デバイス1900がデスクトップコンピューティングシステム200(図2A~図2D)内でどのように実装されてもよいかは、当業者によって理解されよう。
図57に示されるとおり、電子デバイス1900は、情報を表示するように構成されたプライマリディスプレイユニット1902(例えば、プライマリディスプレイ102、図1A、及び図2A~図2D)と、ユーザ入力を受信するように構成された物理入力ユニット1904と、情報を表示するように構成されたタッチスクリーンディスプレイ(TSD)ユニット1906(ときとして、本明細書において「タッチスクリーンディスプレイ」又は「タッチスクリーン」とも呼ばれる)(例えば、ダイナミックファンクションロー104、図1A~図1B、及び図2A~図2D)と、1つ以上のセンサを有するタッチスクリーンディスプレイユニット1906上で接触を受信するように構成されたタッチ感知面ユニット1908と、プライマリディスプレイユニット1902、物理入力ユニット1904、タッチスクリーンディスプレイユニット1906、及びタッチ感知面ユニット1908に結合された処理ユニット1910とを含む。一部の実施形態において、処理ユニット1910は、プライマリディスプレイコントロールユニット1912と、タッチスクリーンディスプレイ(TSD)コントロールユニット1914と、入力検出ユニット1916と、変更ユニット1918とを含む。
処理ユニット1910は、プライマリディスプレイユニット1902上に処理ユニット1910によって実行されるアプリケーションのための第1のユーザインタフェースの通常モードでの表示を引き起こすこと(例えば、プライマリディスプレイコントロールユニット1912を用いて)であって、第1のユーザインタフェースは、アプリケーションに関連付けられた1つ以上のアフォーダンスの第1のセットを含む、こと、及びプライマリディスプレイユニット1902上にアプリケーションのための第1のユーザインタフェースの少なくとも一部分をフルスクリーンモードで表示するためのユーザ入力を検出すること(例えば、入力検出ユニット1916を用いて)を行うように構成されている。ユーザ入力を検出することに応答して、処理ユニット1910は、プライマリディスプレイユニット1902上の第1のユーザインタフェースにおいてアプリケーションに関連付けられた1つ以上のアフォーダンスの第1のセットを表示することを中止すること(例えば、プライマリディスプレイコントロールユニット1912を用いて)、プライマリディスプレイユニット1902上にアプリケーションのための第1のユーザインタフェースの部分をフルスクリーンモードで表示させること(例えば、プライマリディスプレイコントロールユニット1912を用いて)、及びタッチスクリーンディスプレイユニット1906上にアプリケーションを制御するための1つ以上のアフォーダンスの第2のセットの表示を引き起こすこと(例えば、タッチスクリーンディスプレイコントロールユニット1914を用いて)であって、1つ以上のアフォーダンスの第2のセットは、1つ以上のアフォーダンスの第1のセットに対応する、ことを行うように構成されている。
一部の実施形態において、1つ以上のアフォーダンスの第2のセットは、1つ以上のアフォーダンスの第1のセットである。
一部の実施形態において、1つ以上のアフォーダンスの第2のセットは、フルスクリーンモードに対応するコントロールを含む。
一部の実施形態において、処理ユニット1910は、タッチ感知面ユニット1908上でアフォーダンスの第2のセットのうちの1つを選択するユーザタッチ入力を検出すること(例えば、入力検出ユニット1916を用いて)を行うように構成されており、ユーザタッチ入力を検出することに応答して、処理ユニット1910は、アフォーダンスの第2のセットのうちの選択された1つにより、プライマリディスプレイユニット1902上にフルスクリーンモードで表示されているアプリケーションのための第1のユーザインタフェースの部分を変更すること(例えば、変更ユニット1918を用いて)を行うように構成されている。
一部の実施形態において、プライマリディスプレイユニット1902上にアプリケーションのための第1のユーザインタフェースの部分をフルスクリーンモードで表示した後、処理ユニット1910は、フルスクリーンモードを終了するための後続のユーザ入力を検出すること(例えば、入力検出ユニット1916を用いて)、及び後続のユーザ入力を検出することに応答して、プライマリディスプレイユニット1902上に処理ユニット1910によって実行されるアプリケーションのための第1のユーザインタフェースの通常モードでの表示を引き起こすこと(例えば、プライマリディスプレイコントロールユニット1912を用いて)であって、第1のユーザインタフェースは、アプリケーションに関連付けられた1つ以上のアフォーダンスの第1のセットを含む、こと、及びタッチスクリーンディスプレイユニット1906上にアプリケーションを制御するための1つ以上のアフォーダンスの第2のセットの少なくともサブセットを表示することを保持すること(例えば、タッチスクリーンディスプレイコントロールユニット1914を用いて)であって、1つ以上のアフォーダンスの第2のセットは、1つ以上のアフォーダンスの第1のセットに対応する、ことを行うように構成されている。
一部の実施形態において、プライマリディスプレイユニット1902上にアプリケーションのための第1のユーザインタフェースの少なくとも一部分をフルスクリーンモードで表示するためのユーザ入力は、タッチ感知面ユニット1908の上で検出されるタッチ入力とプライマリディスプレイユニット1902上の第1のユーザインタフェース内で選択されるコントロールのうちの少なくとも1つである。
一部の実施形態において、1つ以上のアフォーダンスの第2のセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む。
図46A~図46Bを参照して前段で説明される動作は、任意選択的に、図3A~図3B、又は図57に示される構成要素によって実施される。例えば、検出動作804及び816は、任意選択的に、イベントソータ370、イベント認識部380、及びイベント処理部190によって実施される。イベントソータ370におけるイベントモニタ371が、タッチ感知ディスプレイとして実装された場合、ディスプレイシステム312上の接触を検出し、イベントディスパッチャモジュール374が、アプリケーション340-1にイベント情報を伝送する。アプリケーション340-1のそれぞれのイベント認識部380が、イベント情報をそれぞれのイベント定義386と比較し、タッチ感知ディスプレイ上の第1の位置における第1の接触が、所定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの所定のイベント又はサブイベントが検出されると、イベント認識部380が、そのイベント又はサブイベントの検出に関連付けられたイベント処理部390をアクティブ化する。イベント処理部390は、任意選択的に、データ更新部376又はオブジェクト更新部377を使用して、又は呼び出してアプリケーション内部状態392を更新する。一部の実施形態において、イベント処理部390は、それぞれのGUI更新部378にアクセスして、アプリケーションによって表示されるものを更新する。同様に、他のプロセスがどのように、図3A~図3Bに示される構成要素に基づいて実施され得るかが、当業者には明白であろう。
一部の実施形態よれば、図58は、説明される様々な実施形態の原理により構成された電子デバイス2000の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図58において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、電子デバイス2000は、構成要素が電子デバイス300(図3)に対応するポータブルコンピューティングシステム100(図1A~図1B)として実装される。電子デバイス2000がデスクトップコンピューティングシステム200(図2A~図2D)内でどのように実装されてもよいかは、当業者によって理解されよう。
図58に示されるとおり、電子デバイス2000は、情報を表示するように構成されたプライマリディスプレイユニット2002(例えば、プライマリディスプレイ102、図1A、及び図2A~図2D)と、ユーザ入力を受信するように構成された物理入力ユニット2004と、情報を表示するように構成されたタッチスクリーンディスプレイ(TSD)ユニット2006(ときとして、本明細書において「タッチスクリーンディスプレイ」又は「タッチスクリーン」とも呼ばれる)(例えば、ダイナミックファンクションロー104、図1A~図1B、及び図2A~図2D)と、1つ以上のセンサを有するタッチスクリーンディスプレイユニット2006上で接触を受信するように構成されたタッチ感知面ユニット2008と、プライマリディスプレイユニット2002、物理入力ユニット2004、タッチスクリーンディスプレイユニット2006、及びタッチ感知面ユニット2008に結合された処理ユニット2010とを含む。一部の実施形態において、処理ユニット2010は、プライマリディスプレイコントロールユニット2012と、タッチスクリーンディスプレイ(TSD)コントロールユニット2014と、通知ユニット2016と、入力検出ユニット2018と、入力タイプ判定ユニット2020と、実行ユニット2022とを含む。
処理ユニット2010は、プライマリディスプレイユニット2002上に処理ユニット2010によって実行されるアプリケーションのための第1のユーザインタフェースの表示を引き起こすこと(例えば、プライマリディスプレイコントロールユニット2012を用いて)、タッチスクリーンディスプレイユニット2006上に第2のユーザインタフェースの表示を引き起こすこと(例えば、タッチスクリーンディスプレイコントロールユニット2014を用いて)であって、第2のユーザインタフェースは、アプリケーションに対応する1つ以上のアフォーダンスのセットを含む、こと、通知を検出すること(例えば、通知ユニット2016を用いて)、及び通知を検出することに応答して、タッチスクリーンディスプレイユニット2006上の第2のユーザインタフェースにおいて、アプリケーションに対応する1つ以上のアフォーダンスのセットと検出された通知の少なくとも一部分を同時に表示させること(例えば、タッチスクリーンディスプレイコントロールユニット2014を用いて)であって、検出された通知は、プライマリディスプレイユニット2002上に表示されないことを行うように構成されている。
一部の実施形態において、通知を検出することに先立って、処理ユニット2010は、タッチスクリーンディスプレイユニット2006上に通知を表示するようにし、プライマリディスプレイユニット2002上に通知を表示しないようにするように通知設定を選択するユーザ入力を検出すること(例えば、入力検出ユニット2018を用いて)を行うように構成されている。
一部の実施形態において、処理ユニット2010は、検出された通知の部分に対応するタッチ感知面ユニット2008上のユーザタッチ入力を検出すること(例えば、入力検出ユニット2018を用いて)を行うように構成されている。ユーザタッチ入力が第1のタイプ(例えば、スワイプジェスチャ)に対応するというい判定(例えば、入力タイプ判定ユニット2020を用いた)に従って、処理ユニット2010は、タッチスクリーンディスプレイユニット2006上で検出された通知の部分を第2のユーザインタフェースにおいて表示することを中止すること(例えば、タッチスクリーンディスプレイコントロールユニット2014を用いて)を行うように構成されている。ユーザタッチ入力が、第1のタイプとは別の第2のタイプ(例えば、タップ接触)に対応するという判定(例えば、入力タイプ判定ユニット2020を用いて)に従って、処理ユニット2010は、検出された通知に関連付けられたアクションを実行すること(例えば、実行ユニット2022を用いて)を行うように構成されている。
一部の実施形態において、タッチスクリーンディスプレイユニット2006上に表示される通知の部分は、検出された通知に応答するための複数のオプションのうちの1つを選択するように電子デバイス2000のユーザにプロンプトを提示する。
一部の実施形態において、タッチスクリーンディスプレイユニット2006上に表示される通知の部分は、検出された通知に対する1つ以上の示唆される応答を含む。
一部の実施形態において、通知は、着信するインスタントメッセージ、SMS、電子メール、ボイスメール、又はビデオコールのうちの少なくとも1つに対応する。
一部の実施形態において、通知は、処理ユニット2010によって実行されているアプリケーションによって、アプリケーションを閉じる、又はアプリケーション内でアクションを実行するユーザ入力に応答して発せられるモードアラートに対応する。
一部の実施形態において、1つ以上のアフォーダンスのセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含み、通知は、入力機構の1つ以上の部分、又はシステムレベルアフォーダンスのうちの少なくとも1つを選択するユーザ入力に対応する。
図47A~図47Bを参照して前段で説明される動作は、任意選択的に、図3A~図3B、又は図58に示される構成要素によって実施される。例えば、検出動作922は、任意選択的に、イベントソータ370、イベント認識部380、及びイベント処理部190によって実施される。イベントソータ370におけるイベントモニタ371が、タッチ感知ディスプレイとして実装された場合、ディスプレイシステム312上の接触を検出し、イベントディスパッチャモジュール374が、アプリケーション340-1にイベント情報を伝送する。アプリケーション340-1のそれぞれのイベント認識部380が、イベント情報をそれぞれのイベント定義386と比較し、タッチ感知ディスプレイ上の第1の位置における第1の接触が、所定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの所定のイベント又はサブイベントが検出されると、イベント認識部380が、そのイベント又はサブイベントの検出に関連付けられたイベント処理部390をアクティブ化する。イベント処理部390は、任意選択的に、データ更新部376又はオブジェクト更新部377を使用して、又は呼び出してアプリケーション内部状態392を更新する。一部の実施形態において、イベント処理部390は、それぞれのGUI更新部378にアクセスして、アプリケーションによって表示されるものを更新する。同様に、他のプロセスがどのように、図3A~図3Bに示される構成要素に基づいて実施され得るかが、当業者には明白であろう。
一部の実施形態によれば、図59は、説明される様々な実施形態の原理により構成された電子デバイス2100の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図59において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、電子デバイス2100は、構成要素が電子デバイス300(図3)に対応するポータブルコンピューティングシステム100(図1A~図1B)として実装される。電子デバイス2100がデスクトップコンピューティングシステム200(図2A~図2D)内でどのように実装されてもよいかは、当業者によって理解されよう。
図59に示されるとおり、電子デバイス2100は、情報を表示するように構成されたプライマリディスプレイユニット2102(例えば、プライマリディスプレイ102、図1A、及び図2A~図2D)と、ユーザ入力を受信するように構成された物理入力ユニット2104と、情報を表示するように構成されたタッチスクリーンディスプレイ(TSD)ユニット2106(ときとして、本明細書において「タッチスクリーンディスプレイ」又は「タッチスクリーン」とも呼ばれる)(例えば、ダイナミックファンクションロー104、図1A~図1B、及び図2A~図2D)と、1つ以上のセンサを有するタッチスクリーンディスプレイユニット2106上で接触を受信するように構成されたタッチ感知面ユニット2108と、プライマリディスプレイユニット2102、物理入力ユニット2104、タッチスクリーンディスプレイユニット2106、及びタッチ感知面ユニット2108に結合された処理ユニット2110とを含む。一部の実施形態において、処理ユニット2110は、プライマリディスプレイコントロールユニット2112と、タッチスクリーンディスプレイ(TSD)コントロールユニット2114と、識別ユニット2116と、入力検出ユニット2118と、判定ユニット2120とを含む。
処理ユニット2110は、プライマリディスプレイユニット2102上にユーザインタフェースの表示を引き起こすこと(例えば、プライマリディスプレイコントロールユニット2112を用いて)であって、ユーザインタフェースは、1つ以上のユーザインタフェース要素を含む、こと、プライマリディスプレイユニット2102上でフォーカスが当たっている1つ以上のユーザインタフェース要素のなかからアクティブなユーザインタフェース要素を識別すること(例えば、識別ユニット2116を用いて)であって、アクティブなユーザインタフェース要素は、処理ユニット2110によって実行されるアプリケーションに関連付けられる、こと、及びプライマリディスプレイユニット2102上でフォーカスが当たっているアクティブなユーザインタフェース要素を識別することに応答して、タッチスクリーンディスプレイユニット2106上にアプリケーションに対応する1つ以上のアフォーダンスのセットの表示を引き起こすこと(例えば、タッチスクリーンディスプレイコントロールユニット2114を用いて)を行うように構成されている。処理ユニット2110は、ユーザインタフェースのそれぞれの部分を移動するユーザ入力を検出すること(例えば、入力検出ユニット2118を用いて)、及びユーザ入力を検出することに応答して、かつユーザ入力が所定のアクション基準を満たすという判定(例えば、判定ユニット2120を用いた)に従って、プライマリディスプレイユニット2102上にユーザインタフェースのそれぞれの部分を表示することを中止し(例えば、プライマリディスプレイコントロールユニット2112を用いて)、タッチスクリーンディスプレイユニット2106上に1つ以上のアフォーダンスのセットの少なくともサブセットを表示することを中止すること(例えば、タッチスクリーンディスプレイコントロールユニット2114を用いて)、及びタッチスクリーンディスプレイユニット2106上にユーザインタフェースのそれぞれの部分の表現の表示を引き起こす(例えば、タッチスクリーンディスプレイコントロールユニット2114を用いて)ように構成されている。
一部の実施形態において、ユーザインタフェースのそれぞれの部分は、処理ユニット2110によって実行されるアプリケーションに対応するメニューである。
一部の実施形態において、ユーザインタフェースのそれぞれの部分は、通知又はモードアラートのうちの少なくとも1つである。
一部の実施形態において、所定のアクション基準は、ユーザ入力が、ユーザインタフェースのそれぞれの部分をプライマリディスプレイユニット2102の所定の位置にドラッグするドラッグジェスチャである場合に満たされる。
一部の実施形態において、所定のアクション基準は、ユーザ入力が、ユーザインタフェースのそれぞれの部分をタッチスクリーンディスプレイユニット2106に移動することに対応する所定の入力である場合に満たされる。
一部の実施形態において、ユーザ入力を検出することに応答して、かつユーザ入力が所定のアクション基準を満たさないという判定(例えば、判定ユニット2120を用いた)に従って、処理ユニット2110は、プライマリディスプレイユニット2102上のユーザインタフェースのそれぞれの部分を表示することを保持すること(例えば、プライマリディスプレイコントロールユニット2112を用いて)、及びタッチスクリーンディスプレイユニット2106上に1つ以上のアフォーダンスのセットを表示することを保持すること(例えば、タッチスクリーンディスプレイコントロールユニット2114を用いて)を行うように構成されている。
一部の実施形態において、1つ以上のアフォーダンスのセットは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含み、処理ユニット2110は、タッチスクリーンディスプレイユニット2106上にユーザインタフェースのそれぞれの部分の表現を表示した後、タッチスクリーンディスプレイユニット2106上に少なくとも1つのシステムレベルアフォーダンスを表示することを保持すること(例えば、タッチスクリーンディスプレイコントロールユニット2114を用いて)を行うように構成されている。
一部の実施形態において、ユーザインタフェースのそれぞれの部分の表現は、タッチスクリーンディスプレイユニット2106上で1つ以上のアフォーダンスのセットの上に重ね合わされる。
図48A~図48Cを参照して説明される動作は、任意選択的に、図3A~図3B、又は図59に示される構成要素によって実施される。例えば、検出動作1008は、任意選択的に、イベントソータ370、イベント認識部380、及びイベント処理部190によって実施される。イベントソータ370におけるイベントモニタ371が、タッチ感知ディスプレイとして実装された場合、ディスプレイシステム312上の接触を検出し、イベントディスパッチャモジュール374が、アプリケーション340-1にイベント情報を伝送する。アプリケーション340-1のそれぞれのイベント認識部380が、イベント情報をそれぞれのイベント定義386と比較し、タッチ感知ディスプレイ上の第1の位置における第1の接触が、所定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの所定のイベント又はサブイベントが検出されると、イベント認識部380が、そのイベント又はサブイベントの検出に関連付けられたイベント処理部390をアクティブ化する。イベント処理部390は、任意選択的に、データ更新部376又はオブジェクト更新部377を使用して、又は呼び出してアプリケーション内部状態392を更新する。一部の実施形態において、イベント処理部390は、それぞれのGUI更新部378にアクセスして、アプリケーションによって表示されるものを更新する。同様に、他のプロセスがどのように、図3A~図3Bに示される構成要素に基づいて実施され得るかが、当業者には明白であろう。
一部の実施形態よれば、図60は、説明される様々な実施形態の原理により構成されたコンピューティングシステム2200(電子デバイス2200とも呼ばれる)の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図60において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、コンピューティングシステム2200は、ポータブルコンピューティングシステム100(図1A)として実装される。一部の実施形態において、コンピューティングシステム2200は、図1A~図2Dに示されるデバイス/システムのいずれかにより実装される。
図60に示されるとおり、コンピューティングシステム2200は、情報を表示するように構成されたプライマリディスプレイユニット2202(例えば、プライマリタッチスクリーン、プライマリタッチ感知ディスプレイ、及びプライマリタッチスクリーンディスプレイとも呼ばれるタッチ感知ディスプレイシステム112、図1A)と、タッチ感知ディスプレイ上で接触、ジェスチャ、及び他のユーザ入力を受信するように構成されたタッチ感知式セカンダリディスプレイユニット2204と、キーボード入力を受信するように構成された物理キーボードユニット2205と、ディスプレイユニット2202、物理キーボードユニット2205、及びタッチ感知式セカンダリディスプレイ2204に結合された処理ユニット2210とを含む。一部の実施形態において、プライマリディスプレイユニット2202は、第1の筐体及び物理キーボードユニット2205の一部であり、タッチ感知式セカンダリディスプレイユニット2204は、第1の筐体とは別の第2の筐体の一部である。一部の実施形態において、処理ユニットは、要求受信ユニット(例えば、要求受信ユニット2212)と、表示ユニット2214(例えば、表示ユニット2214)と、検出ユニット(例えば、検出ユニット2216)とを含む。
処理ユニットは、アプリケーションを開く要求を受信すること(例えば、要求受信ユニット2212を用いて)、要求を受信することに応答して、(i)プライマリディスプレイ上に、コンピューティングシステム上で実行されるアプリケーションに関連付けられた複数のユーザインタフェースオブジェクトを表示すること(例えば、プライマリディスプレイユニット2202と連携して表示ユニット2214を用いて)であって、その複数は、関連付けられたコンテンツを有して表示される第1のユーザインタフェースオブジェクトと、関連付けられたコンテンツを有さずに表示される他のユーザインタフェースオブジェクトとを含む、こと、(ii)タッチ感知式セカンダリディスプレイ上に、複数のユーザインタフェースオブジェクトのうちの1つをそれぞれが表すアフォーダンスのセットを表示すること(例えば、タッチ感知式セカンダリディスプレイユニット2204と連携する表示ユニット2214を用いて)、タッチ感知ディスプレイを介して、アフォーダンスのセットのうちの第1のアフォーダンスからアフォーダンスのセットのうちの第2のアフォーダンスに向かう方向のスワイプジェスチャを検出すること(例えば、検出ユニット2216を用いて)であって、第1のアフォーダンスは、第1のユーザインタフェースオブジェクトを表し、第2のアフォーダンスは、第1のユーザインタフェースオブジェクトとは別の第2のユーザインタフェースオブジェクトを表すこと、及びスワイプジェスチャを検出することに応答して、第1のユーザインタフェースオブジェクトのために関連付けられたコンテンツを表示することを中止するように、かつ第2のユーザインタフェースオブジェクトのために関連付けられたコンテンツを表示するようにプライマリディスプレイを更新すること(例えば、表示ユニット2214を用いて)を行うように構成されている。
コンピューティングシステム2200の一部の実施形態において、処理ユニットは、第3のユーザインタフェースオブジェクトを表す第3のアフォーダンスと接触するスワイプジェスチャを含む、タッチ感知式セカンダリディスプレイを横切るスワイプジェスチャの連続的な移動を検出すること(例えば、検出ユニット2216を用いて)、及びスワイプジェスチャが第3のアフォーダンスと接触することを検出することに応答して、第3のユーザインタフェースオブジェクトのための関連付けられたコンテンツを表示するようにプライマリディスプレイを更新することを行うように更に構成されている。
コンピューティングシステム2200の一部の実施形態において、アフォーダンスのセットの中の各アフォーダンスは、複数のうちのそれぞれのユーザインタフェースオブジェクトのためのそれぞれの関連付けられたコンテンツの表現を含む。
コンピューティングシステム2200の一部の実施形態において、処理ユニットは、スワイプジェスチャを検出する前に、第1のアフォーダンスの上でタッチ感知式セカンダリディスプレイとの初期の接触を検出すること(例えば、検出ユニット2216を用いて)、及び初期の接触を検出することに応答して、第1のアフォーダンスの倍率レベルを増加させること(例えば、タッチ感知式セカンダリディスプレイ2204と連携して表示ユニット2214を用いて)を行うように更に構成されている。
コンピューティングシステム2200の一部の実施形態において、アプリケーションは、ウェブブラウジングアプリケーションであり、複数のユーザインタフェースオブジェクトはそれぞれ、ウェブブラウジングタブに対応する。
コンピューティングシステム2200の一部の実施形態において、処理ユニットは、プライマリディスプレイ上でウェブブラウジングアプリケーション・プログラミング・インタフェースのURL入力部分を検出すること(例えば、検出ユニット2216を用いて)、及び入力を検出することに応答して、お気に入りのURLの表現を含むようにタッチ感知式セカンダリディスプレイを更新すること(例えば、タッチ感知式セカンダリディスプレイユニット2204と連携して表示ユニット2214を用いて)を行うように更に構成されている。
コンピューティングシステム2200の一部の実施形態において、アプリケーションは、写真ブラウジングアプリケーションであり、複数のユーザインタフェースオブジェクトはそれぞれ、個々の写真に対応する。
コンピューティングシステム2200の一部の実施形態において、アプリケーションは、ビデオ編集アプリケーションであり、複数のユーザインタフェースオブジェクトはそれぞれ、それぞれのビデオにおける個々のフレームに対応する。
一部の実施形態によれば、図61は、説明される様々な実施形態の原理により構成されたコンピューティングシステム2300(電子デバイス2300とも呼ばれる)の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図61において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、コンピューティングシステム2300は、ポータブルコンピューティングシステム100(図1A)として実装される。一部の実施形態において、コンピューティングシステム2300は、図1A~図2Dに示されるデバイス/システムのいずれかにより実装される。
図61に示されるとおり、コンピューティングシステム2300は、情報を表示するように構成されたプライマリディスプレイユニット2302(例えば、プライマリタッチスクリーン、プライマリタッチ感知ディスプレイ、及びプライマリタッチスクリーンディスプレイとも呼ばれるタッチ感知ディスプレイシステム112、図1A)と、タッチ感知ディスプレイ上で接触、ジェスチャ、及び他のユーザ入力を受信するように構成されたタッチ感知式セカンダリディスプレイユニット2304と、キーボード入力を受信するように構成された物理キーボードユニット2305と、ディスプレイユニット2302、物理キーボードユニット2305、及びタッチ感知式セカンダリディスプレイユニット2304に結合された処理ユニット2310とを含む。一部の実施形態において、プライマリディスプレイユニット2302は、第1の筐体及び物理キーボードユニット2305の一部であり、タッチ感知式セカンダリディスプレイユニット2304は、第1の筐体とは別の第2の筐体の一部である。一部の実施形態において、処理ユニットは、要求受信ユニット(例えば、要求受信ユニット2312)と、表示ユニット2314(例えば、表示ユニット2314)と、検出ユニット(例えば、検出ユニット2316)と、フォーカス変更ユニット(例えば、フォーカス変更ユニット2318)とを含む。
処理ユニットは、コンピューティングデバイスのプライマリディスプレイ上に表示されたコンテンツ内で検索する要求を受信すること(例えば、要求受信ユニット2312を用いて)、要求を受信することに応答して、(i)プライマリディスプレイ上に、検索に応答する複数の検索結果を表示すること(例えば、プライマリディスプレイユニット2302と連携して表示ユニット2314を用いて)であって、フォーカスは、複数の検索結果のうちの第1の検索結果に当たっていること、(ii)タッチ感知式セカンダリディスプレイ上に、複数の検索結果のうちのそれぞれの検索結果にそれぞれが対応するそれぞれの表現を表示すること(例えば、タッチ感知式セカンダリディスプレイ2304と連携して表示ユニット2314を用いて)、タッチ感知式セカンダリディスプレイを介して、それぞれの表現のうちの表現を選択するタッチ入力を検出すること(例えば、検出ユニット2316を用いて)であって、表現は、第1の検索結果とは別の複数の検索結果のうちの第2の検索結果に対応する、こと、及び入力を検出することに応答して、プライマリディスプレイ上のフォーカスを第2の検索結果に変更すること(例えば、プライマリディスプレイユニット2302と連携して表示ユニット2316を用いて)を行うように構成されている。
コンピューティングデバイス2300の一部の実施形態において、フォーカスを変更することは、プライマリディスプレイ上で、特定の検索結果の視覚的特性を変更することを含む。
コンピューティングデバイス2300の一部の実施形態において、処理ユニットは、タッチ感知式セカンダリディスプレイ上でそれぞれの表現のうちの少なくとも2つにまたがって移動するジェスチャを検出すること(例えば、検出ユニット2316を用いて)、及びジェスチャを検出することに応答して、スワイプジェスチャがそれぞれの表現のうちの少なくとも2つにまたがって移動するにつれ、それぞれの表現のうちの少なくとも2つに対応するそれぞれの検索結果を表示するようにプライマリディスプレイ上のフォーカスを変更すること(例えば、プライマリディスプレイユニット2302と連携して表示ユニット2316を用いて)を行うように更に構成されている。
コンピューティングデバイス2300の一部の実施形態において、処理ユニットは、ジェスチャの速度が閾値速度を超えているという判定に従って、プライマリディスプレイ上のフォーカスを、それぞれの表現のうちの少なくとも2つに対応するものに加えて、それぞれの検索結果に変更すること(例えば、プライマリディスプレイユニット2302と連携して表示ユニット2316を用いて)を行うように更に構成されている。
コンピューティングデバイス2300の一部の実施形態において、ジェスチャは、スワイプジェスチャである。
コンピューティングデバイス2300の一部の実施形態において、ジェスチャは、フリックジェスチャである。
コンピューティングデバイス2300の一部の実施形態において、表現は、検索結果のうちのそれぞれの検索結果にそれぞれが対応するティックマークである。
コンピューティングデバイス2300の一部の実施形態において、ティックマークは、プライマリディスプレイ上の検索結果の順序付けに対応する順序でタッチ感知式セカンダリディスプレイ上の行において表示される。
コンピューティングデバイス2300の一部の実施形態において、コンテンツ内で検索する要求は、コンテンツ内で検索文字列を探し出す要求であり、複数の検索結果はそれぞれ、少なくとも検索文字列を含む。
コンピューティングデバイス2300の一部の実施形態において、複数の検索結果を表示することは、複数の検索結果のうちのそれぞれに関する検索文字列を強調表示することを含む。
一部の実施形態よれば、図62は、説明される様々な実施形態の原理により構成されたコンピューティングシステム2400(電子デバイス2400とも呼ばれる)の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図62において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、コンピューティングシステム2400は、ポータブルコンピューティングシステム100(図1A)として実装される。一部の実施形態において、コンピューティングシステム2400は、図1A~図2Dに示されるデバイス/システムのいずれかにより実装される。
図62に示されるとおり、コンピューティングシステム2400は、情報を表示するように構成されたプライマリディスプレイユニット2402(例えば、プライマリタッチスクリーン、プライマリタッチ感知ディスプレイ、及びプライマリタッチスクリーンディスプレイとも呼ばれるタッチ感知ディスプレイシステム112、図1A)と、タッチ感知ディスプレイ上で接触、ジェスチャ、及び他のユーザ入力を受信するように構成されたタッチ感知式セカンダリディスプレイユニット2404と、キーボード入力を受信するように構成された物理キーボードユニット2405と、ディスプレイユニット2402、物理キーボードユニット2405、及びタッチ感知式セカンダリディスプレイユニット2404に結合された処理ユニット2410とを含む。一部の実施形態において、プライマリディスプレイユニット2402は、第1の筐体及び物理キーボードユニット2405の一部であり、タッチ感知式セカンダリディスプレイユニット2404は、第1の筐体とは別の第2の筐体の一部である。一部の実施形態において、処理ユニットは、要求受信ユニット(例えば、要求受信ユニット2412)と、表示ユニット2414(例えば、表示ユニット2414)と、検出ユニット(例えば、検出ユニット2416)と、変更ユニット(例えば、変更ユニット2418)とを含む。
処理ユニットは、プライマリディスプレイ上にカレンダーアプリケーションを表示すること(例えば、プライマリディスプレイユニット2402と連携して表示ユニット2414を用いて)、カレンダーアプリケーションに関連付けられたイベントについての情報を表示する要求を受信すること(例えば、要求受信ユニット2412を用いて)、及び要求を受信することに応答して、(i)プライマリディスプレイ上に第1のイベントに関するイベント詳細を表示することであって、イベント詳細は、イベントに関する開始時間及び終了時間を含む、こと(例えば、プライマリディスプレイユニット2402と連携して表示ユニット2414を用いて)、及び(ii)タッチ感知式セカンダリディスプレイ上にアフォーダンスを表示することであって、アフォーダンスは、開始時間及び終了時間を少なくとも含む時間の範囲を示すこと(例えば、タッチ感知式セカンダリディスプレイユニット2404と連携して表示ユニット2414を用いて)を行うように構成されている。
コンピューティングシステム2400の一部の実施形態において、処理ユニットは、タッチ感知式セカンダリディスプレイを介して、時間の範囲を変更するユーザインタフェースコントロールにおける入力を検出すること(例えば、検出ユニット2416を用いて)、及び入力を検出することに応答して、(i)入力によりイベントに関する開始時間及び終了時間のうちの少なくとも1つを変更すること(例えば、変更ユニット2418を用いて)、及び(ii)プライマリディスプレイ上に、入力によりイベントに関する変更された時間の範囲を表示すること(例えば、プライマリディスプレイユニット2402と連携して表示ユニット2414を用いて)を行うように更に構成されている。
コンピューティングデバイス2400の一部の実施形態において、処理ユニットは、開始時間及び/又は終了時間をイベントと一緒にコンピューティングシステムのメモリに保存するように更に構成されている。
コンピューティングデバイス2400の一部の実施形態において、時間の範囲を変更する入力は、閾値時間を超えてアフォーダンスと接触したままであり、その後、少なくとも一部分、タッチ感知式セカンダリディスプレイ上のアフォーダンスを移動する押圧入力である。
コンピューティングデバイス2400の一部の実施形態において、時間の範囲を変更する入力は、タッチ感知式セカンダリディスプレイを横切って移動し、かつイベントに関する新たな開始時間及び新たな終了時間をコンピューティングシステムに選択することであって、新たな開始時間及び終了時間は、開始時間及び終了時間によって範囲に含まれる同一の持続時間のものであるタイムスロットに対応する、ことを行わせるスワイプジェスチャである。
一部の実施形態よれば、図63は、説明される様々な実施形態の原理により構成されたコンピューティングシステム2500(電子デバイス2500とも呼ばれる)の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図63において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、コンピューティングシステム2500は、ポータブルコンピューティングシステム100(図1A)として実装される。一部の実施形態において、コンピューティングシステム2500は、図1A~図2Dに示されるデバイス/システムのいずれかにより実装される。
図63に示されるとおり、コンピューティングシステム2500は、情報を表示するように構成されたプライマリディスプレイユニット2502(例えば、プライマリタッチスクリーン、プライマリタッチ感知ディスプレイ、及びプライマリタッチスクリーンディスプレイとも呼ばれるタッチ感知ディスプレイシステム112、図1A)と、タッチ感知ディスプレイ上で接触、ジェスチャ、及び他のユーザ入力を受信するように構成されたタッチ感知式セカンダリディスプレイユニット2504と、キーボード入力を受信するように構成された物理キーボードユニット2505と、ディスプレイユニット2502、物理キーボードユニット2505、及びタッチ感知式セカンダリディスプレイユニット2504に結合された処理ユニット2510とを含む。一部の実施形態において、プライマリディスプレイユニット2502は、第1の筐体及び物理キーボードユニット2505の一部であり、タッチ感知式セカンダリディスプレイユニット2504は、第1の筐体とは別の第2の筐体の一部である。一部の実施形態において、処理ユニットは、選択受信ユニット(例えば、選択受信ユニット2512)と、表示ユニット2514(例えば、表示ユニット2514)と、検出ユニット(例えば、検出ユニット2516)と、実行開始ユニット(例えば、実行開始ユニット2518)とを含む。
処理ユニットは、コンピューティングシステムと、コンピューティングシステムとは別の外部デバイスとの間の新たな接続を検出すること(例えば、検出ユニット2516を用いて)、及び新たな接続を検出することに応答して、タッチ感知式セカンダリディスプレイ上に、外部デバイスを介して利用可能な機能に対応する複数のアフォーダンスを表示すること(例えば、タッチ感知式セカンダリディスプレイユニット2504と連携して表示ユニット2514を用いて)を行うように構成されている。
コンピューティングシステム2500の一部の実施形態において、処理ユニットは、タッチ感知式セカンダリディスプレイを介して、外部デバイスを介して利用可能な第1の機能に対応する第1のアフォーダンスの選択を受信すること(例えば、選択受信ユニット2512を介して)、及び選択を受信することに応答して、第1の機能の実行を開始すること(例えば、実行開始ユニット2518を介して)を行うように更に構成されている。
コンピューティングシステム2500の一部の実施形態において、外部デバイスは、プライマリディスプレイ及びタッチ感知式セカンダリディスプレイとは別の更なるディスプレイである。
コンピューティングシステム2500の一部の実施形態において、複数のアフォーダンスは、選択されると、更なるディスプレイを介してディスプレイミラーリング機能の実行を開始することをコンピューティングシステムに行わせる第1のアフォーダンスを含む。
一部の実施形態よれば、図64は、説明される様々な実施形態の原理により構成されたコンピューティングシステム2600(電子デバイス2600とも呼ばれる)の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図64において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、コンピューティングシステム2600は、ポータブルコンピューティングシステム100(図1A)として実装される。一部の実施形態において、コンピューティングシステム2600は、図1A~図2Dに示されるデバイス/システムのいずれかにより実装される。
図64に示されるとおり、コンピューティングシステム2600は、情報を表示するように構成されたプライマリディスプレイユニット2602(例えば、プライマリタッチスクリーン、プライマリタッチ感知ディスプレイ、及びプライマリタッチスクリーンディスプレイとも呼ばれるタッチ感知ディスプレイシステム112、図1A)と、タッチ感知ディスプレイ上で接触、ジェスチャ、及び他のユーザ入力を受信するように構成されたタッチ感知式セカンダリディスプレイユニット2604と、キーボード入力を受信するように構成された物理キーボードユニット2605と、ディスプレイユニット2602、物理キーボードユニット2605、及びタッチ感知式セカンダリディスプレイユニット2604に結合された処理ユニット2610とを含む。一部の実施形態において、プライマリディスプレイユニット2602は、第1の筐体及び物理キーボードユニット2605の一部であり、タッチ感知式セカンダリディスプレイユニット2604は、第1の筐体とは別の第2の筐体の一部である。一部の実施形態において、処理ユニットは、表示ユニット(例えば、表示ユニット2612)と、検出ユニット2614(例えば、検出ユニット2614)と、リプレーシングユニット(例えば、リプレーシングユニット2616)とを含む。
処理ユニットは、プライマリディスプレイ上に、コンピューティングシステム上で実行しているアプリケーションのためのユーザインタフェースを表示すること(例えば、プライマリディスプレイユニット2602と連携して表示ユニット2612を使用して)、ユーザインタフェース内の特定の位置において第1の入力を検出すること(例えば、検出ユニット2614を用いて)、及び第1の入力を検出することに応答して、タッチ感知式セカンダリディスプレイ上に、別々の文字にそれぞれが対応するアフォーダンスのセットを表示すること(例えば、タッチ感知式セカンダリディスプレイユニット2604と連携して表示ユニット2612を用いて)を行うように構成されている。
コンピューティングシステム2600の一部の実施形態において、処理ユニットは、タッチ感知式セカンダリディスプレイを介して、別々の文字のうちの第1の文字に対応する第1のアフォーダンス上の第2の入力を検出すること(例えば、検出ユニット2614を用いて)、及び第2の入力を検出することに応答して、入力が第1のアフォーダンスと接触したままである間、プライマリディスプレイ上に、特定の位置において第1の文字のプレビューを表示すること(例えば、プライマリディスプレイユニット2602と連携して表示ユニット2612を用いて)を行うように更に構成されている。
コンピューティングシステム2600の一部の実施形態において、処理ユニットは、タッチ感知式セカンダリディスプレイを介して、第1のアフォーダンスから、別々の文字のうちの第2の文字に対応する第2のアフォーダンスへの第2の入力の移動を検出すること(例えば、検出ユニット2614を介して)、及び第1のアフォーダンスから第2のアフォーダンスへの第2の入力の移動を検出することに応答して、第1の文字のプレビューを第2の文字のプレビューで置き換えること(例えば、リプレーシングユニット2616を用いて)を行うように更に構成されている。
コンピューティングシステム2600の一部の実施形態において、処理ユニットは、ユーザインタフェースに含まれるテキストコンテンツに少なくとも部分的に基づいて、アフォーダンスのセットに含めるべきアフォーダンスを判定することを行うように更に構成されている。
コンピューティングシステム2600の一部の実施形態において、判定することは、ユーザが、ユーザインタフェースに含まれるテキストコンテンツを変更したことを検出することに応答して行われる。
コンピューティングシステム2600の一部の実施形態において、処理ユニットは、第2の入力が第2のアフォーダンスと接触している間、第2の入力のリフトオフを検出すること、及びリフトオフを検出することに応答して、第2のユーザインタフェース要素を含むようにユーザインタフェースを更新することを行うように更に構成されている。
コンピューティングシステム2600の一部の実施形態において、処理ユニットは、第2の入力が第2のアフォーダンスと接触している間に更なる入力を検出すること、及び更なる入力を検出することに応答して、第2のユーザインタフェース要素を含むようにユーザインタフェースを更新することを行うように更に構成されている。
コンピューティングシステム2600の一部の実施形態において、処理ユニットは、第2の入力がタッチ感知式セカンダリディスプレイを横切って移動するにつれ、アフォーダンスのセットの中の対応するアフォーダンスが第2の入力によって接触されるにつれ、別々の文字のそれぞれの文字に関するプレビューを表示することを行うように更に構成されている。
コンピューティングシステム2600の一部の実施形態において、第2の文字のプレビューは、第2の入力が第2のアフォーダンスと接触している間、プライマリディスプレイ上に表示されたままである。
一部の実施形態よれば、図65は、説明される様々な実施形態の原理により構成されたコンピューティングシステム2700(電子デバイス2700とも呼ばれる)の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図65において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、コンピューティングシステム2700は、ポータブルコンピューティングシステム100(図1A)として実装される。一部の実施形態において、コンピューティングシステム2700は、図1A~図2Dに示されるデバイス/システムのいずれかにより実装される。
図65に示されるとおり、コンピューティングシステム2700は、情報を表示するように構成されたプライマリディスプレイユニット2702(例えば、プライマリタッチスクリーン、プライマリタッチ感知ディスプレイ、及びプライマリタッチスクリーンディスプレイとも呼ばれるタッチ感知ディスプレイシステム112、図1A)と、タッチ感知ディスプレイ上で接触、ジェスチャ、及び他のユーザ入力を受信するように構成されたタッチ感知式セカンダリディスプレイユニット2704と、キーボード入力を受信するように構成された物理キーボードユニット2705と、ディスプレイユニット2702、物理キーボードユニット2705、及びタッチ感知式セカンダリディスプレイユニット2704に結合された処理ユニット2710とを含む。一部の実施形態において、プライマリディスプレイユニット2702は、第1の筐体及び物理キーボードユニット2705の一部であり、タッチ感知式セカンダリディスプレイユニット2704は、第1の筐体とは別の第2の筐体の一部である。一部の実施形態において、処理ユニットは、要求受信ユニット(例えば、要求受信ユニット2712)と、表示ユニット2714(例えば、表示ユニット2714)と、検出ユニット(例えば、検出ユニット2716)と、コンテンツレンダリングユニット(例えば、コンテンツレンダリングユニット2718)とを含む。
処理ユニットは、コンテンツ編集アプリケーションを開く要求を受信すること(例えば、要求受信ユニット2712を用いて)、要求を受信することに応答して、(i)プライマリディスプレイ上にコンテンツ編集アプリケーションを表示すること(例えば、プライマリディスプレイユニット2702と連携して表示ユニット2714を用いて)、及び(ii)タッチ感知式セカンダリディスプレイ上に、コンテンツ編集アプリケーション内にコンテンツをレンダリングするのに使用される少なくとも1つの視覚的特性を変更するためのユーザインタフェースコントロールを表示すること(例えば、タッチ感知式セカンダリディスプレイユニット2704と連携して表示ユニット2714を用いて)を行うように構成されている。
コンピューティングシステム2700の一部の実施形態において、処理ユニットは、タッチ感知式セカンダリディスプレイを介して、少なくとも1つの視覚的特性に関する第1の値を選択するユーザインタフェースコントロールにおける入力を検出すること(例えば、検出ユニット2716を用いて)、及び入力を検出した後、少なくとも1つの視覚的特性に関する第1の値を使用してコンテンツ編集アプリケーションにおいてコンテンツをレンダリングすること(例えば、コンテンツレンダリングユニット2718を用いて)を行うように更に構成されている。
コンピューティングシステム2700の一部の実施形態において、ユーザインタフェースコントロールは、値のスライディングスケールに沿った少なくとも1つの視覚的特性に関するそれぞれの値にそれぞれが対応するそれぞれのコントロールを含む。
コンピューティングシステム2700の一部の実施形態において、値のスライディングスケールは、別々の色調の色を表す。
コンピューティングシステム2700の一部の実施形態において、第1の値は、第1の色の第1の色調に対応し、処理ユニットは、入力が所定の基準を満たすという判定に従って、タッチ感知式セカンダリディスプレイ上のユーザインタフェースコントロールを変更して、第1の色の第1の色調とは別の、第1の色の他の色調を選択するためのオプションを含むようにすることを行うように更に構成されている。
コンピューティングシステム2700の一部の実施形態において、コンテンツをレンダリングする前に、コンテンツの選択を受信することであって、コンテンツをレンダリングすることは、少なくとも1つの視覚的特性の第1の値を使用してコンテンツのプレビューを提示することを行うように更に構成されている。
コンピューティングシステム2700の一部の実施形態において、プレビューは、入力がタッチ感知式セカンダリディスプレイと接触したままである間、提示される。
コンピューティングシステム2700の一部の実施形態において、処理ユニットは、入力のリフトオフを検出することに応答して、プレビューを表示することを中止することを行うように更に構成されている。
コンピューティングシステム2700の一部の実施形態において、処理ユニットは、入力のリフトオフを検出することに応答して、少なくとも1つの視覚的特性に関する変更された値を用いて編集可能なコンテンツの部分を表示することを行うように更に構成されている。
一部の実施形態によれば、図68は、説明される様々な実施形態の原理により構成されたコンピューティングシステム3000(電子デバイス3000とも呼ばれる)の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図68において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、コンピューティングシステム3000は、ポータブルコンピューティングシステム100(図1A)として実装される。一部の実施形態において、コンピューティングシステム3000は、図1A~図2Dに示されるデバイス/システムのいずれかにより実装される。
図68に示されるとおり、コンピューティングシステム3000は、情報を表示するように構成されたディスプレイユニット3002(例えば、プライマリタッチスクリーン、プライマリタッチ感知ディスプレイ、及びプライマリタッチスクリーンディスプレイとも呼ばれるタッチ感知ディスプレイシステム112、図1A)と、タッチ感知ディスプレイ上で接触、ジェスチャ、及び他のユーザ入力を受信するように構成されたセカンダリディスプレイユニット3004と、ユーザからの生体入力に対して構成された生体センサユニット3005と、ディスプレイユニット3002、セカンダリディスプレイユニット3004、及び生体ユニット3005に結合された処理ユニット3010とを含む。一部の実施形態において、ディスプレイユニット3002は、第1の筐体及び生体センサユニット3005の一部であり、セカンダリディスプレイユニット3004は、第1の筐体とは別の第2の筐体の一部である。一部の実施形態において、処理ユニットは、生体情報受信ユニット(例えば、生体情報受信ユニット3012)と、表示ユニット3014(例えば、表示ユニット3014)と、ロック解除ユニット(例えば、ロック解除ユニット3016)と、受信ユニット(例えば、受信ユニット3018)とを含む。
処理ユニットは、デバイスがロック状態にある間、第1のユーザアカウント及び第2のユーザアカウントを含む複数のユーザアカウントにログインすることに関連付けられたそれぞれのログインユーザインタフェースを表示すること(例えば、表示ユニット3014を用いて)、ログインユーザインタフェースを表示している間、ユーザについての生体情報を受信すること(例えば、生体情報受信ユニット3012を用いて)、生体情報を受信することに応答して、(i)第1のユーザアカウントがデバイス上でアクティブなセッションを有さない間に、生体情報が、複数のユーザアカウントのうちの第1のユーザアカウントに関する生体情報と合致するという判定に従って、ディスプレイ上に、第1のユーザアカウントに関するログインクレデンシャルを入力するようにというプロンプトを表示すること(例えば、表示ユニット3014を用いて)、及び(ii)第2のユーザアカウントがデバイス上でアクティブなセッションを有さない間に、生体情報が、複数のユーザアカウントのうちの第2のユーザアカウントに関する生体情報と合致するという判定に従って、ディスプレイ上に、第2のユーザアカウントに関するログインクレデンシャルを入力するようにというプロンプトを表示すること(例えば、表示ユニット3014を用いて)を行うように構成されている。
電子デバイス3000の一部の実施形態において、処理ユニットは、生体情報を受信することに応答して、第1のユーザアカウントがデバイス上でアクティブなセッションを有する間に、生体情報が、複数のユーザアカウントのうちの第1のユーザアカウントに関する生体情報と合致するという判定に従って、第1のユーザアカウントに関してデバイスをロック解除すること(例えば、ロック解除ユニット3016を用いて)行うように更に構成されている。
電子デバイス3000の一部の実施形態において、処理ユニットは、生体情報を受信することに応答して、第2のユーザアカウントがデバイス上でアクティブなセッションを有する間に、生体情報が、複数のユーザアカウントのうちの第2のユーザアカウントに関する生体情報と合致するという判定に従って、第2のユーザアカウントに関してデバイスをロック解除すること(例えば、ロック解除ユニット3016を用いて)行うように更に構成されている。
電子デバイス3000の一部の実施形態において、処理ユニットは、生体情報を受信することに応答して、生体情報が、デバイスのいずれのユーザアカウントに関する生体情報とも合致しないという判定に従って、デバイスをロック状態に保持することを行うように更に構成されている。
電子デバイス3000の一部の実施形態において、ログインユーザインタフェースは、複数のユーザアカウントに対応する複数の選択可能なアフォーダンスを含む。
電子デバイス3000の一部の実施形態において、処理ユニットは、第1のユーザアカウントに関してログインクレデンシャルを入力するようにというプロンプトを表示している間に、ログインクレデンシャルの入力を受信すること(例えば、受信ユニット3018を用いて)、及び、ログインクレデンシャルの入力を受信することに応答して、ログインクレデンシャルが第1のユーザアカウントに関するログインクレデンシャルと合致するという判定に従って、第1のユーザアカウントに関してデバイスをロック解除すること(例えば、ロック解除ユニット3016を用いて)、及びログインクレデンシャルが第1のユーザアカウントに関するログインクレデンシャルと合致しないという判定に従って、デバイスをロック状態に保持することを行うように更に構成されている。
電子デバイス3000の一部の実施形態において、処理ユニットは、第2のユーザアカウントに関してログインクレデンシャルを入力するようにというプロンプトを表示している間に、ログインクレデンシャルの入力を受信すること(例えば、受信ユニット3018を用いて)、及び、ログインクレデンシャルの入力を受信することに応答して、ログインクレデンシャルが第2のユーザアカウントに関するログインクレデンシャルと合致するという判定に従って、第1のユーザアカウントに関してデバイスをロック解除すること(例えば、ロック解除ユニット3016を用いて)、及びログインクレデンシャルが第2のユーザアカウントに関するログインクレデンシャルと合致しないという判定に従って、デバイスをロック状態に保持することを行うように更に構成されている。
電子デバイス3000の一部の実施形態において、ログインユーザインタフェースは、生体情報を提供するようにというインストラクションを含む。
電子デバイス3000の一部の実施形態において、電子デバイスは、生体センサに隣接したセカンダリディスプレイを含み、処理ユニットは、デバイスのディスプレイ上にログインユーザインタフェースを表示している間、セカンダリディスプレイにおいて、生体センサを介して生体情報を提供するようにというインストラクションを表示することを行うように更に構成されている。
電子デバイス3000の一部の実施形態において、生体センサは、指紋センサである。
電子デバイス3000の一部の実施形態において、生体センサは、顔面検出センサである。
電子デバイス3000の一部の実施形態において、生体センサは、網膜スキャナである。
一部の実施形態によれば、図69は、説明される様々な実施形態の原理により構成されたコンピューティングシステム3100(電子デバイス3100とも呼ばれる)の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施形態の原理を実行するようにハードウェア、ソフトウェア、ファームウェア、又は以上の組合せによって任意選択的に実装される。図69において説明される機能ブロックは、説明される様々な実施形態の原理を実装するように任意選択的に組み合わされる、又はサブブロックに分離されるものと当業者には理解されよう。したがって、本明細書における説明は、本明細書において説明される機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。説明を容易にするため、コンピューティングシステム3100は、ポータブルコンピューティングシステム100(図1A)として実装される。一部の実施形態において、コンピューティングシステム3100は、図1A~図2Dに示されるデバイス/システムのいずれかにより実装される。
図69に示されるとおり、コンピューティングシステム3100は、情報を表示するように構成されたディスプレイユニット3102(例えば、プライマリタッチスクリーン、プライマリタッチ感知ディスプレイ、及びプライマリタッチスクリーンディスプレイとも呼ばれるタッチ感知ディスプレイシステム112、図1A)と、タッチ感知ディスプレイ上で接触、ジェスチャ、及び他のユーザ入力を受信するように構成されたセカンダリディスプレイユニット3104と、ユーザからの生体入力に対して構成された生体センサユニット3105と、ディスプレイユニット3102、セカンダリディスプレイユニット3104、及び生体ユニット3105に結合された処理ユニット3110とを含む。一部の実施形態において、ディスプレイユニット3102は、第1の筐体及び生体センサユニット3105の一部であり、セカンダリディスプレイユニット3104は、第1の筐体とは別の第2の筐体の一部である。一部の実施形態において、処理ユニットは、生体情報受信ユニット(例えば、生体情報受信ユニット3112)と、表示ユニット3114(例えば、表示ユニット3114)と、ロック解除ユニット(例えば、ロック解除ユニット3116)と、ロックユニット(例えば、ロックユニット3118)と、受信ユニット(例えば、受信ユニット3120)と、低電力モードに入るユニット(例えば、低電力モードに入るユニット3122)と、再起動ユニット(例えば、再起動ユニット3124)とを含む。
処理ユニットは、デバイスが第1のユーザアカウントにログインされている間、第1のユーザアカウントに関連付けられたユーザインタフェースを表示すること(例えば、表示ユニット3114を用いて)を行うように構成されている。デバイスは、第1のユーザアカウント及び第2のユーザアカウントを含む複数のユーザアカウントに関連付けられ、第2のユーザアカウントは、第2のユーザアカウントにログインすることを可能にする生体情報に関連付けられる。第1のユーザアカウントに関連付けられたユーザインタフェースを表示している間に、処理ユニットは、一体化された生体センサを有する入力要素を介して入力を受信すること(例えば、生体情報受信ユニット3112を用いて)を行うように構成されている。一体化された生体センサを有する入力要素を介して入力を受信することに応答して、処理ユニットは、第2のユーザアカウントがデバイス上でアクティブなセッションを有する間に、入力が第2のユーザ切換え基準を満たすという判定であって、第2のユーザ切換え基準は、入力要素を用いた入力中に検出された生体情報が、複数のユーザアカウントのうちの第2のユーザアカウントに関する生体情報と合致するという要件を含む、判定に従って、(i)第2のユーザアカウントに関してデバイスをロック解除すること(例えば、ロック解除ユニット3116を用いて)、(ii)第1のユーザアカウントに関してデバイスをロックすること(例えば、ロックユニット3118を用いて)、及び(iii)第1のアカウントに関連付けられたユーザインタフェースの表示を第2のユーザアカウントに関連付けられたユーザインタフェースで置き換えること(例えば、表示ユニット3114を用いて)を行うように構成されている。
電子デバイス3100の一部の実施形態において、処理ユニットは、生体情報を受信することに応答して、第2のユーザアカウントがデバイス上でアクティブなセッションを有さない間に、入力が第2のユーザ切換え基準を満たすという判定であって、第2のユーザ切換え基準は、入力要素を用いた入力中に検出された生体情報が、複数のユーザアカウントのうちの第2のユーザアカウントに関する生体情報と合致するという要件を含む、判定に従って、ディスプレイ上に、第2のユーザアカウントに関するログインクレデンシャルを入力するようにというプロンプトを表示すること(例えば、表示ユニット3114を用いて)を行うように更に構成されている。
電子デバイス3100の一部の実施形態において、処理ユニットは、生体情報を受信することに応答して、第3のユーザアカウントがデバイス上でアクティブなセッションを有する間に、入力が第3のユーザ切換え基準を満たすという判定であって、第3のユーザ切換え基準は、入力要素を用いた入力中に検出された生体情報が、複数のユーザアカウントのうちの第3のユーザアカウントに関する生体情報と合致するという要件を含む、判定に従って、(i)第3のユーザアカウントに関してデバイスをロック解除すること(例えば、ロック解除ユニット3116を用いて)、(ii)第1のユーザアカウントに関してデバイスをロックすること(例えば、ロックユニット3118を用いて)、及び(iii)第1のアカウントに関連付けられたユーザインタフェースの表示を第3のユーザアカウントに関連付けられたユーザインタフェースで置き換えること(例えば、表示ユニット3114を用いて)を行うように更に構成されている。
電子デバイス3100の一部の実施形態において、処理ユニットは、生体情報を受信することに応答して、第3のユーザアカウントがデバイス上でアクティブなセッションを有さない間に、入力が第3のユーザ切換え基準を満たすという判定であって、第3のユーザ切換え基準は、入力要素を用いた入力中に検出された生体情報が、複数のユーザアカウントのうちの第3のユーザアカウントに関する生体情報と合致するという要件を含む、判定に従って、ディスプレイ上に、第3のユーザアカウントに関するログインクレデンシャルを入力するようにというプロンプトを表示すること(例えば、表示ユニット3114を用いて)を行うように更に構成されている。
電子デバイス3100の一部の実施形態において、入力要素は、ボタンであり、一体化された生体センサを有する入力要素を介した入力は、ボタンを介した押圧入力を検出することを含む。
電子デバイス3100の一部の実施形態において、第2のユーザ切換え基準は、押圧入力が第1の閾値時間より短い間、持続するという基準を含み、処理ユニットは、一体化された生体センサを有する入力要素を介して押圧入力を受信することに応答して、ボタンを用いた押圧入力が第1の閾値時間より長い間、持続したという判定に従って、デバイスを低電力モードに入れることを行うように更に構成されている(例えば、低電力モードに入るユニット3122を用いて)。
電子デバイス3100の一部の実施形態において、第2のユーザ切換え基準は、押圧入力が第1の閾値時間より短い間、持続するという基準を含み、処理ユニットは、一体化された生体センサを有する入力要素を介して押圧入力を受信することに応答して、ボタンを用いた押圧入力が第1の閾値時間より長い間、かつ第2の閾値時間より短い間、持続したという判定に従って、デバイスを低電力モードに入れること(例えば、低電力モードに入るユニット3122を用いて)、及びボタンを用いた押圧入力が第2の閾値時間より長い間、持続したという判定に従って、デバイスの状態を変更するためのオプションのメニューを表示すること(例えば、表示ユニット3114を用いて)を行うように更に構成されている。
電子デバイス3100の一部の実施形態において、処理ユニットは、一体化された生体センサを有する入力要素を介して押圧入力を受信することに応答して、ボタンを用いた押圧入力が第2の閾値時間よりも多い第3の閾値時間より長い間、持続したという判定に従って、デバイスを再起動すること(例えば、再起動ユニット3124を用いて)を行うように更に構成されている。
電子デバイス3100の一部の実施形態において、処理ユニットは、第1のアカウントに関連付けられたユーザインタフェースの表示を、第2のユーザアカウントに関連付けられたユーザインタフェースで置き換えた後、第2のユーザアカウントに関連付けられたユーザインタフェースを表示している間に、一体化された生体センサを有する入力要素を介して第2の入力を受信すること(例えば、生体情報受信ユニット3112を用いて)、一体化された生体センサを有する入力要素を介して第2の入力を受信することに応答して、第1のユーザアカウントがデバイス上でアクティブなセッションを有する間に第2の入力が第1のユーザ切換え基準を満たすという判定であって、第1のユーザ切換え基準が、入力要素を用いた入力中に検出された生体情報が、複数のユーザアカウントのうちの第1のユーザアカウントに関する生体情報と合致するという要件を含む、判定に従って、(i)第1のユーザアカウントに関してデバイスをロック解除すること(例えば、ロック解除ユニット3116を用いて)、(ii)第2のユーザアカウントに関してデバイスをロックすること(例えば、ロックユニット3118を用いて)、及び(iii)第2のアカウントに関連付けられたユーザインタフェースの表示を第1のユーザアカウントに関連付けられたユーザインタフェースで置き換えること(例えば、表示ユニット3114を用いて)を行うように更に構成されている。
前段の説明は、説明の目的で、特定の実施形態を参照して説明されてきた。しかし、前段の例示的な説明は、網羅的であることも、本発明を、開示される形態に厳密に限定することも意図していない。前段の教示に鑑みて多くの変形形態及び変更形態が可能である。実施形態は、本発明の原理、及び本発明の実際的な応用を最もよく説明して、その結果、当業者が、企図される特定の用途に適するように、様々な変形とともに本発明及び説明される様々な実施形態を最もよく使用することができるようにするために選択され、説明されている。

Claims (15)

  1. ディスプレイ及び生体センサを有する電子デバイスにおいて、
    前記電子デバイスがロック状態にある間、第1のユーザアカウント及び第2のユーザアカウントを含む複数のユーザアカウントへのログインに関連付けられた特定のログインユーザインターフェースを表示することと、
    前記ログインユーザインターフェースを表示しながら、ユーザに関する生体情報を受け取ることと、
    前記生体情報を受け取ったことに応じて、
    前記第1のユーザアカウントが前記電子デバイスでアクティブなセッションを有していない間に、前記生体情報が前記複数のユーザアカウントの前記第1のユーザアカウントの生体情報と一致すると判定されたことに従って、前記第1のユーザアカウントのためのログインクレデンシャルを入力するためのプロンプトを前記ディスプレイに表示することと、
    前記第2のユーザアカウントが前記電子デバイスでアクティブなセッションを有していない間に、前記生体情報が前記複数のユーザアカウントの前記第2のユーザアカウントの生体情報と一致すると判定されたことに従って、前記第2のユーザアカウントのためのログインクレデンシャルを入力するためのプロンプトを前記ディスプレイに表示することと、
    前記第1のユーザアカウントが前記電子デバイスでアクティブなセッションを有している間、前記生体情報が前記複数のユーザアカウントの前記第1のユーザアカウントの生体情報と一致すると判定されたことに従って、前記第1のユーザアカウントに関して前記電子デバイスのロックを解除することと、を有する、方法。
  2. 前記生体情報を受け取ったことに応答して、
    前記第2のユーザアカウントが前記電子デバイスでアクティブなセッションを有する間に、前記生体情報が前記複数のユーザアカウントの前記第2のユーザアカウントの生体情報と一致すると判定されたことに従って、前記第2のユーザアカウントに関して前記電子デバイスのロックを解除すること、を含む、請求項1に記載の方法。
  3. 前記生体情報を受け取ったことに応答して、
    前記生体情報が前記電子デバイスのいずれのユーザアカウントの生体情報とも一致しないと判定されたことに従って、前記電子デバイスのロック状態を維持すること、を含む、請求項1に記載の方法。
  4. 前記ログインユーザインターフェースは、前記複数のユーザアカウントに対応する複数の選択可能なアフォーダンスを含む、請求項1に記載の方法。
  5. 前記第1のユーザアカウントのためのログインクレデンシャルを入力するための前記プロンプトを表示しながら、ログインクレデンシャルの入力を受け付けることと、
    前記ログインクレデンシャルの入力を受け付けたことに応じて、
    前記ログインクレデンシャルが前記第1のユーザアカウントのためのログインクレデンシャルと一致すると判定されたことに従って、前記第1のユーザアカウントに関して前記電子デバイスのロックを解除することと、
    前記ログインクレデンシャルが前記第1のユーザアカウントのためのログインクレデンシャルと一致しないと判定されたことに従って、前記電子デバイスのロック状態を維持することと、を含む、請求項1に記載の方法。
  6. 前記第2のユーザアカウントのためのログインクレデンシャルを入力するためのプロンプトを表示しながら、ログインクレデンシャルの入力を受け付けることと、
    前記ログインクレデンシャルの入力を受け付けたことに応じて、
    前記ログインクレデンシャルが前記第2のユーザアカウントのためのログインクレデンシャルと一致すると判定されたことに従って、前記第2のユーザアカウントに関して前記電子デバイスのロックを解除することと、
    前記ログインクレデンシャルが前記第2のユーザアカウントのためのログインクレデンシャルと一致しないと判定されたことに従って、前記電子デバイスのロック状態を維持することと、を含む、請求項1に記載の方法。
  7. 前記ログインユーザインターフェースは、生体情報を提供するようにとのインストラクションを含む、請求項1に記載の方法。
  8. 前記電子デバイスは、前記生体センサに隣接するセカンダリディスプレイを含み、
    前記方法は、前記電子デバイスの前記ディスプレイに前記ログインユーザインターフェースを表示しながら、前記生体センサによって生体情報を提供するようにとのインストラクションを前記セカンダリディスプレイに表示することを含む、請求項1に記載の方法。
  9. 前記生体センサは指紋センサーである、請求項1に記載の方法。
  10. 前記生体センサは顔検出センサーである、請求項1に記載の方法。
  11. 前記生体センサが網膜スキャナーである、請求項1記載の方法。
  12. 実行可能な命令を格納するコンピュータ可読記憶媒体であって、前記命令は、ディスプレイ及び生体センサを有する電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、
    前記電子デバイスがロック状態にある間、第1のユーザアカウント及び第2のユーザアカウントを含む複数のユーザアカウントへのログインに関連付けられた特定のログインユーザインターフェースを表示し、
    前記ログインユーザインターフェースを表示しながら、ユーザに関する生体情報を受け取り、
    前記生体情報を受け取ったことに応じて、
    前記第1のユーザアカウントが前記電子デバイスでアクティブなセッションを有していない間に、前記生体情報が前記複数のユーザアカウントの前記第1のユーザアカウントの生体情報と一致すると判定されたことに従って、前記第1のユーザアカウントのためのログインクレデンシャルを入力するためのプロンプトを前記ディスプレイに表示し、
    前記第2のユーザアカウントが前記電子デバイスでアクティブなセッションを有していない間に、前記生体情報が前記複数のユーザアカウントの前記第2のユーザアカウントの生体情報と一致すると判定されたことに従って、前記第2のユーザアカウントのためのログインクレデンシャルを入力するためのプロンプトを前記ディスプレイに表示し、
    前記第1のユーザアカウントが前記電子デバイスでアクティブなセッションを有している間、前記生体情報が前記複数のユーザアカウントの前記第1のユーザアカウントの生体情報と一致すると判定されたことに従って、前記第1のユーザアカウントに関して前記電子デバイスのロックを解除する、ようにさせる、コンピュータ可読記憶媒体。
  13. 前記実行可能な命令は、電子デバイスによって実行されると、請求項1から11のいずれか1項に記載の方法を前記電子デバイスに実行させる、または、請求項1から11のいずれか1項に記載の方法の実行を引き起こさせる、請求項12に記載のコンピュータ可読記憶媒体。
  14. 電子デバイスであって、
    1つ又は複数のプロセッサと、
    ディスプレイと、
    生体センサと、
    前記1つ又は複数のプロセッサによって実行されるように構成された1つ又は複数のプログラムを格納するメモリと、を有し、
    前記1つ又は複数のプログラムは、
    前記電子デバイスがロック状態にある間、第1のユーザアカウント及び第2のユーザアカウントを含む複数のユーザアカウントへのログインに関連付けられた特定のログインユーザインターフェースを表示することと、
    前記ログインユーザインターフェースを表示しながら、ユーザに関する生体情報を受け取ることと、
    前記生体情報を受け取ったことに応じて、
    前記第1のユーザアカウントが前記電子デバイスでアクティブなセッションを有していない間に、前記生体情報が前記複数のユーザアカウントの前記第1のユーザアカウントの生体情報と一致すると判定されたことに従って、前記第1のユーザアカウントのためのログインクレデンシャルを入力するためのプロンプトを前記ディスプレイに表示することと、
    前記第2のユーザアカウントが前記電子デバイスでアクティブなセッションを有していない間に、前記生体情報が前記複数のユーザアカウントの前記第2のユーザアカウントの生体情報と一致すると判定されたことに従って、前記第2のユーザアカウントのためのログインクレデンシャルを入力するためのプロンプトを前記ディスプレイに表示することと、
    前記第1のユーザアカウントが前記電子デバイスでアクティブなセッションを有している間、前記生体情報が前記複数のユーザアカウントの前記第1のユーザアカウントの生体情報と一致すると判定されたことに従って、前記第1のユーザアカウントに関して前記電子デバイスのロックを解除することと、のための命令を含む、電子デバイス。
  15. 前記1つ又は複数のプログラムは、請求項1から11のいずれか1項に記載の方法を実行するための、または実行させるための命令を含む、請求項14に記載の電子デバイス。
JP2022121971A 2016-07-29 2022-07-29 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法 Active JP7377319B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023184930A JP2024020248A (ja) 2016-07-29 2023-10-27 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662368988P 2016-07-29 2016-07-29
US62/368,988 2016-07-29
US201662412792P 2016-10-25 2016-10-25
US62/412,792 2016-10-25
JP2020080636A JP7174734B2 (ja) 2016-07-29 2020-04-30 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020080636A Division JP7174734B2 (ja) 2016-07-29 2020-04-30 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023184930A Division JP2024020248A (ja) 2016-07-29 2023-10-27 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法

Publications (2)

Publication Number Publication Date
JP2022172079A JP2022172079A (ja) 2022-11-15
JP7377319B2 true JP7377319B2 (ja) 2023-11-09

Family

ID=59380818

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019503292A Active JP6700471B2 (ja) 2016-07-29 2017-07-13 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法
JP2020080636A Active JP7174734B2 (ja) 2016-07-29 2020-04-30 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法
JP2022121971A Active JP7377319B2 (ja) 2016-07-29 2022-07-29 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法
JP2023184930A Pending JP2024020248A (ja) 2016-07-29 2023-10-27 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019503292A Active JP6700471B2 (ja) 2016-07-29 2017-07-13 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法
JP2020080636A Active JP7174734B2 (ja) 2016-07-29 2020-04-30 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023184930A Pending JP2024020248A (ja) 2016-07-29 2023-10-27 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法

Country Status (8)

Country Link
US (4) US10303289B2 (ja)
EP (3) EP3465408B1 (ja)
JP (4) JP6700471B2 (ja)
KR (6) KR102065900B1 (ja)
CN (5) CN113157110A (ja)
AU (6) AU2017100879B4 (ja)
DK (1) DK179705B1 (ja)
WO (1) WO2018022313A1 (ja)

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776103B2 (en) 2011-12-19 2020-09-15 Majen Tech, LLC System, method, and computer program product for coordination among multiple devices
US11089134B1 (en) 2011-12-19 2021-08-10 Majen Tech, LLC System, method, and computer program product for coordination among multiple devices
US10057400B1 (en) 2012-11-02 2018-08-21 Majen Tech, LLC Lock screen interface for a mobile device apparatus
US10051103B1 (en) 2013-01-10 2018-08-14 Majen Tech, LLC Screen interface for a mobile device apparatus
US11431834B1 (en) 2013-01-10 2022-08-30 Majen Tech, LLC Screen interface for a mobile device apparatus
US11914419B2 (en) 2014-01-23 2024-02-27 Apple Inc. Systems and methods for prompting a log-in to an electronic device based on biometric information received from a user
US10606539B2 (en) 2014-01-23 2020-03-31 Apple Inc. System and method of updating a dynamic input and output device
WO2016022204A1 (en) 2014-08-02 2016-02-11 Apple Inc. Context-specific user interfaces
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
KR102314109B1 (ko) * 2015-01-05 2021-10-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
USD762671S1 (en) * 2015-03-06 2016-08-02 Apple Inc. Display screen or portion thereof with animated graphical user interface
WO2016144385A1 (en) 2015-03-08 2016-09-15 Apple Inc. Sharing user-configurable graphical constructs
EP4321088A3 (en) 2015-08-20 2024-04-24 Apple Inc. Exercise-based watch face
USD775649S1 (en) * 2015-09-08 2017-01-03 Apple Inc. Display screen or portion thereof with animated graphical user interface
AU2017100879B4 (en) 2016-07-29 2017-09-28 Apple Inc. Systems, devices, and methods for dynamically providing user interface controls at touch-sensitive secondary display
KR102507252B1 (ko) 2016-09-23 2023-03-07 애플 인크. 워치 극장 모드
US20210191527A1 (en) * 2016-10-07 2021-06-24 Hewlett-Packard Development Company, L.P. Keyboard with secondary display device
USD900860S1 (en) * 2016-10-27 2020-11-03 Apple Inc. Display screen or portion thereof with graphical user interface
CA174365S (en) 2016-10-27 2017-11-28 Apple Inc Display screen with graphical user interface
USD820303S1 (en) 2016-10-27 2018-06-12 Apple Inc. Display screen or portion thereof with graphical user interface
USD815141S1 (en) * 2016-10-27 2018-04-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD820304S1 (en) * 2016-10-27 2018-06-12 Apple Inc. Display screen or portion thereof with graphical user interface
USD817993S1 (en) * 2016-10-27 2018-05-15 Apple Inc. Display screen or portion thereof with graphical user interface
USD815140S1 (en) * 2016-10-27 2018-04-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD817992S1 (en) * 2016-10-27 2018-05-15 Apple Inc. Display screen or portion thereof with graphical user interface
USD943624S1 (en) 2016-10-27 2022-02-15 Apple Inc. Electronic device with pair of display screens or portions thereof each with animated graphical user interface
USD815137S1 (en) 2016-10-27 2018-04-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD927529S1 (en) * 2019-01-11 2021-08-10 Apple Inc. Electronic device with pair of display screens or portions thereof each with graphical user interface
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
DK179555B1 (en) 2017-05-16 2019-02-13 Apple Inc. USER INTERFACE FOR A FLASHLIGHT MODE ON AN ELECTRONIC DEVICE
USD837234S1 (en) 2017-05-25 2019-01-01 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
USD839913S1 (en) * 2017-07-05 2019-02-05 Mintz Group, LLC Display screen or portion thereof with graphical user interface
US10455779B2 (en) * 2017-07-24 2019-10-29 Osram Sylvania Inc. Irradiance-controlled fixture for horticultural applications
USD874473S1 (en) * 2017-09-22 2020-02-04 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US20190114632A1 (en) * 2017-10-13 2019-04-18 John D. Rome Method and system to provide attribution to blockchain transactions
USD916718S1 (en) * 2017-10-30 2021-04-20 Siemens Healthcare Gmbh Display screen or portion thereof with a graphical user interface
USD847841S1 (en) 2017-11-01 2019-05-07 Apple Inc. Display screen or portion thereof with graphical user interface
US11134312B2 (en) 2017-12-14 2021-09-28 Google Llc Methods, systems, and media for presenting contextual information in connection with media content
US10585525B2 (en) 2018-02-12 2020-03-10 International Business Machines Corporation Adaptive notification modifications for touchscreen interfaces
EP3557415B1 (en) * 2018-04-17 2024-07-10 Casio Computer Co., Ltd. Display control apparatus, program and display controlling method
USD960177S1 (en) 2018-05-03 2022-08-09 CACI, Inc.—Federal Display screen or portion thereof with graphical user interface
US11256548B2 (en) 2018-05-03 2022-02-22 LGS Innovations LLC Systems and methods for cloud computing data processing
USD859450S1 (en) * 2018-05-07 2019-09-10 Google Llc Display screen or portion thereof with an animated graphical interface
US11327650B2 (en) 2018-05-07 2022-05-10 Apple Inc. User interfaces having a collection of complications
USD858556S1 (en) * 2018-05-07 2019-09-03 Google Llc Display screen or portion thereof with an animated graphical interface
USD896248S1 (en) * 2018-05-12 2020-09-15 Canva Pty Ltd. Display screen or portion thereof with an animated graphical user interface
USD879132S1 (en) * 2018-06-03 2020-03-24 Apple Inc. Electronic device with graphical user interface
USD869491S1 (en) 2018-06-03 2019-12-10 Apple Inc. Electronic device with graphical user interface
USD933672S1 (en) 2018-06-03 2021-10-19 Apple Inc. Display screen or portion thereof with animated graphical user interface
US20190392063A1 (en) * 2018-06-25 2019-12-26 Microsoft Technology Licensing, Llc Reducing data loss in remote databases
US10839143B2 (en) * 2018-06-29 2020-11-17 Dropbox, Inc. Referential gestures within content items
USD951243S1 (en) * 2018-08-15 2022-05-10 Asustek Computer Inc. Electronic device with display screen with animated graphical user interface and keyboard
USD947206S1 (en) * 2018-08-15 2022-03-29 Asustek Computer Inc. Electronic device with animated graphical user interface
USD921658S1 (en) * 2018-08-22 2021-06-08 United Services Automobile Association (Usaa) Display panel portion with an animated graphical user interface
USD928187S1 (en) * 2018-08-23 2021-08-17 United Services Automobile Association (Usaa) Display panel portion with an animated graphical user interface
CN109523456B (zh) * 2018-10-31 2023-04-07 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
USD891443S1 (en) * 2018-10-31 2020-07-28 Nutanix, Inc. Display panel or portion thereof with a transitional graphical user interface
USD921018S1 (en) * 2018-11-21 2021-06-01 General Electric Company Display screen with animated graphical user interface
US10564719B1 (en) 2018-12-03 2020-02-18 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11137905B2 (en) 2018-12-03 2021-10-05 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11314409B2 (en) * 2018-12-03 2022-04-26 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11199901B2 (en) 2018-12-03 2021-12-14 Microsoft Technology Licensing, Llc Augmenting the functionality of non-digital objects using a digital glove
US11294463B2 (en) 2018-12-03 2022-04-05 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
EP3668087A1 (en) * 2018-12-14 2020-06-17 Carrier Corporation Video monitoring system workspace
CN111629319B (zh) * 2019-02-28 2022-05-31 中国移动通信有限公司研究院 一种位置预测方法及设备
US11017746B2 (en) * 2019-03-29 2021-05-25 Lenovo (Singapore) Pte. Ltd. Auxiliary display scaling factor
CN110213437B (zh) * 2019-05-27 2020-10-13 维沃移动通信有限公司 一种编辑方法及移动终端
USD913324S1 (en) 2019-05-29 2021-03-16 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD931298S1 (en) 2019-05-30 2021-09-21 Apple Inc. Display screen or portion thereof with graphical user interface
USD913315S1 (en) * 2019-05-31 2021-03-16 Apple Inc. Electronic device with graphical user interface
CN112015308B (zh) * 2019-05-31 2022-07-15 北京小米移动软件有限公司 内容展示方法及装置
DE102019118965A1 (de) * 2019-07-12 2021-01-14 Workaround Gmbh Nebengerät für ein Sensor- und/oder Informationssystem sowie Sensor- und/oder Informationssystem
US11429196B2 (en) 2019-07-24 2022-08-30 Hewlett-Packard Development Company, L.P. Keyboard with input modes
CN110570184B (zh) * 2019-08-26 2022-08-19 北京知嘛文化传播有限公司 向用户提供产品的系统、方法、装置以及存储介质
CN110727380A (zh) * 2019-08-28 2020-01-24 华为技术有限公司 一种消息提醒方法及电子设备
CN115297199A (zh) 2019-08-30 2022-11-04 华为技术有限公司 一种具有折叠屏的设备的触控方法与折叠屏设备
DK180684B1 (en) * 2019-09-09 2021-11-25 Apple Inc Techniques for managing display usage
CN110913067A (zh) * 2019-11-06 2020-03-24 维沃移动通信有限公司 一种信息发送方法及电子设备
USD973676S1 (en) * 2019-11-27 2022-12-27 GE Precision Healthcare LLC Display screen with graphical user interface
CN111324249B (zh) * 2020-01-21 2020-12-01 北京达佳互联信息技术有限公司 多媒体素材生成方法、装置及存储介质
US11413531B2 (en) * 2020-03-03 2022-08-16 Sony Interactive Entertainment Inc. Game console application with action card strand
USD927531S1 (en) * 2020-03-20 2021-08-10 Caterpillar Inc. Display screen with icon
CN114174606B (zh) * 2020-03-26 2023-04-18 株式会社日立建机Tierra 工程机械
JP7485528B2 (ja) * 2020-03-27 2024-05-16 株式会社コロプラ プログラム
USD938483S1 (en) * 2020-04-10 2021-12-14 Slack Technologies, Llc Display screen or portion thereof with graphical user interface
CN115904596B (zh) 2020-05-11 2024-02-02 苹果公司 用于管理用户界面共享的用户界面
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
GB2597055A (en) * 2020-07-02 2022-01-19 Coveva Ltd Dynamic context-specific input device and method
US11223873B1 (en) * 2020-07-10 2022-01-11 Verizon Patent And Licensing Inc. Methods and systems for remote streaming of a user-customized user interface
USD950599S1 (en) * 2020-09-30 2022-05-03 Masimo Corporation Display screen or portion thereof with graphical user interface
USD946598S1 (en) 2020-09-30 2022-03-22 Masimo Corporation Display screen or portion thereof with graphical user interface
USD946596S1 (en) 2020-09-30 2022-03-22 Masimo Corporation Display screen or portion thereof with graphical user interface
USD946597S1 (en) 2020-09-30 2022-03-22 Masimo Corporation Display screen or portion thereof with graphical user interface
US20230305600A1 (en) * 2020-10-19 2023-09-28 Hewlett-Packard Development Company, L.P. Electronic devices with touch sensitive surfaces and user input devices
TWD216941S (zh) * 2020-11-13 2022-02-01 大陸商北京安博盛贏教育科技有限責任公司 顯示螢幕之具變化外觀之圖形化使用者介面
TWD216940S (zh) * 2020-11-13 2022-02-01 大陸商北京安博盛贏教育科技有限責任公司 顯示螢幕之具變化外觀之圖形化使用者介面
US11694590B2 (en) 2020-12-21 2023-07-04 Apple Inc. Dynamic user interface with time indicator
US11720239B2 (en) 2021-01-07 2023-08-08 Apple Inc. Techniques for user interfaces related to an event
CN114655146B (zh) * 2021-03-26 2024-03-26 北京新能源汽车股份有限公司 一种车辆运输模式控制方法、装置及设备
USD954105S1 (en) * 2021-05-05 2022-06-07 Doom Solutions, LLC Display screen or portion thereof with a set of icons
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US20220391456A1 (en) * 2021-06-06 2022-12-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for Interacting with a Web-Browser
USD1025092S1 (en) * 2021-08-12 2024-04-30 Lg Display Co., Ltd. Display panel with graphical user interface
USD1038157S1 (en) * 2021-09-29 2024-08-06 Sky Cp Limited Display screen with graphical user interface
US20230121241A1 (en) * 2021-10-20 2023-04-20 Dell Products L.P. System and method of utilizing a keyboard with a display
USD1042484S1 (en) * 2021-12-30 2024-09-17 Amazon Express Travel Related Services Company, Inc. Display screen, or portion thereof, with a transitional graphical user interface
US20230236547A1 (en) 2022-01-24 2023-07-27 Apple Inc. User interfaces for indicating time
US20230251766A1 (en) * 2022-02-04 2023-08-10 Dell Products, L.P. Application management and navigation in a web-based environment
CN114546231A (zh) * 2022-02-24 2022-05-27 特赞(上海)信息科技有限公司 基于浏览器插件的图像数据收集方法、装置及存储介质
CN115185910B (zh) * 2022-06-27 2023-10-13 无锡蜜蜂数智科技有限公司 一种智能标签管理系统及装置
US11899923B1 (en) 2022-08-31 2024-02-13 Dell Products L.P. Information handling system collaborative touchpad cursor over control icons
US11842043B1 (en) 2022-08-31 2023-12-12 Dell Products L.P. Information handling system collaborative touchpad and multizone touch rejection
US11983399B2 (en) 2022-08-31 2024-05-14 Dell Products L.P. Information handling system collaborative touchpad gesture activation and management
US11977733B2 (en) 2022-08-31 2024-05-07 Dell Products L.P. Information handling system collaborative touchpad dynamic scaling
US11893960B1 (en) * 2022-08-31 2024-02-06 Dell Products L.P. Information handling system collaborative touchpad display brightness management
US12032759B2 (en) 2022-08-31 2024-07-09 Dell Products L.P. Information handling system collaborative touchpad display hardware device coordination
WO2024064242A1 (en) * 2022-09-20 2024-03-28 Roberto Zayas Real-time equity monitoring system, process and interface
US20240143117A1 (en) * 2022-10-28 2024-05-02 Dell Products L.P. Information handling system keyboard with four dimensional control pad
JP7432777B1 (ja) 2023-02-09 2024-02-16 レノボ・シンガポール・プライベート・リミテッド 情報処理システム、及び制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030152A (ja) 2001-07-12 2003-01-31 Mitsubishi Electric Corp 施設管理システム
US6618806B1 (en) 1998-04-01 2003-09-09 Saflink Corporation System and method for authenticating users in a computer network
JP2013037704A (ja) 2012-09-11 2013-02-21 Fuji Xerox Co Ltd 利用制限管理装置、方法、プログラム
WO2015057320A1 (en) 2013-09-09 2015-04-23 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs

Family Cites Families (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3956745A (en) 1971-12-16 1976-05-11 The Marconi Company Limited Programmable keyboard arrangements
US6396483B1 (en) 1996-06-28 2002-05-28 Jeffrey H. Hiller Keyboard incorporating multi-function flat-panel input device and/or display
JPH10124217A (ja) 1996-10-16 1998-05-15 Hitachi Electron Service Co Ltd 入力機能を有する補助出力表示装置
US6111527A (en) 1998-06-18 2000-08-29 Susel; Irving Expandable keyboard
JP4672108B2 (ja) 2000-06-01 2011-04-20 シャープ株式会社 情報処理装置およびその制御方法
US7730401B2 (en) 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
JP3892760B2 (ja) 2002-05-31 2007-03-14 株式会社東芝 情報処理装置
US7221330B2 (en) 2002-12-09 2007-05-22 Nokia Corporation Folding terminal with slider to fix terminal in a flat unfolded configuration
US7884804B2 (en) * 2003-04-30 2011-02-08 Microsoft Corporation Keyboard with input-sensitive display device
US20040239615A1 (en) 2003-05-27 2004-12-02 International Business Machines Corporation System and method for providing a computer user with alerts using a lighted mouse pad
US7805678B1 (en) 2004-04-16 2010-09-28 Apple Inc. Editing within single timeline
US7703036B2 (en) * 2004-08-16 2010-04-20 Microsoft Corporation User interface for displaying selectable software functionality controls that are relevant to a selected object
US8169410B2 (en) * 2004-10-20 2012-05-01 Nintendo Co., Ltd. Gesture inputs for a portable display device
US8207816B2 (en) * 2005-07-18 2012-06-26 Law Enforcement Intelligent Devices, Llc Biometric access control system
JP2007289457A (ja) 2006-04-26 2007-11-08 Matsushita Electric Ind Co Ltd 指紋認証装置および指紋認証方法
CN101252607A (zh) 2007-02-25 2008-08-27 北京三星通信技术研究有限公司 带有扩展显示屏的滑盖式手机
KR101066736B1 (ko) * 2007-06-12 2011-09-21 엘지전자 주식회사 휴대용 단말기
US8078984B2 (en) 2007-06-19 2011-12-13 Microsoft Corporation Virtual keyboard text replication
KR101369676B1 (ko) * 2007-07-25 2014-03-04 엘지전자 주식회사 휴대용 컴퓨터의 보조 입출력 장치 및 이를 이용한애플리케이션의 실행 방법
WO2009049331A2 (en) * 2007-10-08 2009-04-16 Van Der Westhuizen Willem Mork User interface
US8631358B2 (en) * 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
JP2009169735A (ja) 2008-01-17 2009-07-30 Sharp Corp 情報処理表示装置
US8776198B2 (en) * 2008-02-01 2014-07-08 Oracle International Corporation Techniques for non-unique identity establishment
US9098647B2 (en) 2008-03-10 2015-08-04 Apple Inc. Dynamic viewing of a three dimensional space
JP5567783B2 (ja) * 2008-03-27 2014-08-06 オリンパスイメージング株式会社 画像表示装置
TWI360775B (en) 2008-04-22 2012-03-21 Htc Corp Method and apparatus for operating user interface
US9740293B2 (en) * 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
JP4171770B1 (ja) * 2008-04-24 2008-10-29 任天堂株式会社 オブジェクト表示順変更プログラム及び装置
CN103135933B (zh) 2008-04-29 2016-05-11 宏达国际电子股份有限公司 用户界面的操作方法及装置
JP2011018085A (ja) * 2008-06-19 2011-01-27 Panasonic Corp 情報処理装置
JP2010009534A (ja) 2008-06-30 2010-01-14 Fujitsu Ltd 電子装置及び表示方法
CN101382842A (zh) 2008-08-22 2009-03-11 合肥工业大学 单行按键超小型键盘及其复用键值的切换方法
JP2010066918A (ja) 2008-09-09 2010-03-25 Nec Personal Products Co Ltd 情報処理装置および表示制御方法
US20100088653A1 (en) * 2008-10-07 2010-04-08 Research In Motion Limited Portable electronic device and method of controlling same
JP5526397B2 (ja) 2008-10-28 2014-06-18 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラム
JP5278948B2 (ja) 2008-12-01 2013-09-04 シャープ株式会社 オブジェクト表示装置、オブジェクト表示方法、およびオブジェクト表示プログラム
CN101441525B (zh) 2008-12-13 2010-06-02 旭丽电子(广州)有限公司 电脑键盘
US20100265182A1 (en) 2009-04-20 2010-10-21 Microsoft Corporation Context-based state change for an adaptive input device
CN101876879B (zh) 2009-04-29 2012-09-19 深圳富泰宏精密工业有限公司 双轴式滑动界面应用系统及方法
US8417297B2 (en) * 2009-05-22 2013-04-09 Lg Electronics Inc. Mobile terminal and method of providing graphic user interface using the same
US9070206B2 (en) 2009-05-30 2015-06-30 Apple Inc. Providing a visible light source in an interactive three-dimensional compositing application
US20100332981A1 (en) 2009-06-30 2010-12-30 Daniel Lipton Providing Media Settings Discovery in a Media Processing Application
CN101727287B (zh) * 2009-12-29 2012-11-14 宇龙计算机通信科技(深圳)有限公司 一种定制信息的提示方法、系统及移动终端
US20110183654A1 (en) * 2010-01-25 2011-07-28 Brian Lanier Concurrent Use of Multiple User Interface Devices
EP2568472A1 (en) 2010-01-26 2013-03-13 Touchtunes Music Corporation Digital jukebox device with improved user interfaces, and associated methods
US9513801B2 (en) 2010-04-07 2016-12-06 Apple Inc. Accessing electronic notifications and settings icons with gestures
JP2012003508A (ja) 2010-06-16 2012-01-05 Toshiba Corp 情報処理装置、方法及びプログラム
US8248373B2 (en) * 2010-06-18 2012-08-21 Microsoft Corporation Contextual control of dynamic input device
JP5023193B2 (ja) 2010-06-28 2012-09-12 株式会社東芝 情報処理装置
US8875025B2 (en) 2010-07-15 2014-10-28 Apple Inc. Media-editing application with media clips grouping capabilities
US8910046B2 (en) 2010-07-15 2014-12-09 Apple Inc. Media-editing application with anchored timeline
US20120068933A1 (en) * 2010-09-17 2012-03-22 Microsoft Corporation Interactive keyboard with multiple different key arrangements
US9052800B2 (en) * 2010-10-01 2015-06-09 Z124 User interface with stacked application management
EP2469384A1 (en) * 2010-12-23 2012-06-27 Research In Motion Limited Portable electronic device and method of controlling same
CN102096546A (zh) * 2010-12-29 2011-06-15 华为终端有限公司 一种操作系统的解锁方法及装置
US9369635B1 (en) 2011-01-07 2016-06-14 Apptopus, Inc. Director/camera communication system and method for wireless multi-camera video production
EP3734404A1 (en) * 2011-02-10 2020-11-04 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
US9997196B2 (en) 2011-02-16 2018-06-12 Apple Inc. Retiming media presentations
EP2686758B1 (en) 2011-03-17 2020-09-30 Laubach, Kevin Input device user interface enhancements
EP2500807A1 (en) 2011-03-18 2012-09-19 Research In Motion Limited Portable electronic device including touch-sensitive display and method of entering text via virtual keyboard
US8627096B2 (en) * 2011-07-14 2014-01-07 Sensible Vision, Inc. System and method for providing secure access to an electronic device using both a screen gesture and facial biometrics
US8922476B2 (en) * 2011-08-31 2014-12-30 Lenovo (Singapore) Pte. Ltd. Information handling devices with touch-based reflective display
US9645733B2 (en) * 2011-12-06 2017-05-09 Google Inc. Mechanism for switching between document viewing windows
US9400893B2 (en) * 2011-12-15 2016-07-26 Facebook, Inc. Multi-user login for shared mobile devices
WO2013097895A1 (en) * 2011-12-28 2013-07-04 Nokia Corporation Provision of an open instance of an application
US8849028B2 (en) 2012-02-06 2014-09-30 Apple Inc. Color selection tool for selecting a custom color component
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
CN103324423B (zh) * 2012-03-21 2018-11-13 北京三星通信技术研究有限公司 一种终端及其用户界面显示方法
EP2660692A1 (en) 2012-04-30 2013-11-06 BlackBerry Limited Configurable touchscreen keyboard
CN103425914A (zh) * 2012-05-17 2013-12-04 宇龙计算机通信科技(深圳)有限公司 应用程序的登录方法及通信终端
US20130322705A1 (en) * 2012-05-30 2013-12-05 Google Inc. Facial and fingerprint authentication
KR101909030B1 (ko) * 2012-06-08 2018-10-17 엘지전자 주식회사 비디오 편집 방법 및 이를 위한 디지털 디바이스
WO2014037945A1 (en) * 2012-09-04 2014-03-13 N-Trig Ltd. Input device for a computing system
US20190056828A1 (en) * 2012-09-06 2019-02-21 Google Inc. User interface transitions
US9696879B2 (en) * 2012-09-07 2017-07-04 Google Inc. Tab scrubbing using navigation gestures
KR101453031B1 (ko) * 2012-09-17 2014-10-23 크루셜텍 (주) 지문을 이용한 로그인 방법, 사용자 단말기 및 기록 매체
TW201413564A (zh) 2012-09-20 2014-04-01 Hon Hai Prec Ind Co Ltd 桌面切換系統及方法
US20140096026A1 (en) 2012-09-28 2014-04-03 Interactive Memories, Inc. Methods for Establishing Simulated Force Dynamics Between Two or More Digital Assets Displayed in an Electronic Interface
KR102061881B1 (ko) * 2012-10-10 2020-01-06 삼성전자주식회사 멀티 디스플레이 장치 및 그 디스플레이 제어 방법
KR102063952B1 (ko) * 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
US9547375B2 (en) * 2012-10-10 2017-01-17 Microsoft Technology Licensing, Llc Split virtual keyboard on a mobile computing device
WO2014088621A1 (en) 2012-12-03 2014-06-12 Google, Inc. System and method for detecting gestures
CN104838352B (zh) 2012-12-07 2018-05-08 优特设备有限公司 在多表面装置中的动作初始化
EP2742869A1 (en) 2012-12-12 2014-06-18 Samsung Medison Co., Ltd. Ultrasound apparatus and method of inputting information into the same
US20150339031A1 (en) 2013-01-04 2015-11-26 Johnson Controls Technology Company Context-based vehicle user interface reconfiguration
CN103778388B (zh) * 2013-01-05 2016-09-14 天津七所精密机电技术有限公司 一种安全增强计算机系统
US9349206B2 (en) 2013-03-08 2016-05-24 Apple Inc. Editing animated objects in video
CN105144071B (zh) * 2013-03-15 2019-11-19 苹果公司 用于管理用户界面的方法和电子设备
US10114536B2 (en) * 2013-03-29 2018-10-30 Microsoft Technology Licensing, Llc Systems and methods for performing actions for users from a locked device
US9405379B2 (en) * 2013-06-13 2016-08-02 Microsoft Technology Licensing, Llc Classification of user input
KR102147686B1 (ko) 2013-06-21 2020-08-26 삼성전자주식회사 오브젝트 실행 장치 및 방법
KR20150007910A (ko) * 2013-07-11 2015-01-21 삼성전자주식회사 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
KR102162955B1 (ko) * 2013-10-31 2020-10-08 삼성전자 주식회사 생체 정보를 이용한 인증 방법 및 이를 지원하는 휴대형 전자장치
CN104715178B (zh) * 2013-12-11 2020-04-03 深圳富泰宏精密工业有限公司 电子装置的解锁系统及方法
KR20150069420A (ko) * 2013-12-13 2015-06-23 허윤석 터치스크린이 장착된 키보드를 이용한 컴퓨터장치의 제어방법
US20150193011A1 (en) * 2014-01-08 2015-07-09 Microsoft Corporation Determining Input Associated With One-to-Many Key Mappings
US10606539B2 (en) 2014-01-23 2020-03-31 Apple Inc. System and method of updating a dynamic input and output device
KR20150097137A (ko) * 2014-02-18 2015-08-26 이찬석 지문 인식 기반 사용자 인증 방법
CN104008350B (zh) * 2014-05-15 2017-10-24 惠州Tcl移动通信有限公司 通过不同解锁方式进入不同用户模式的移动终端及方法
US10055567B2 (en) * 2014-05-30 2018-08-21 Apple Inc. Proximity unlock and lock operations for electronic devices
US11237710B2 (en) 2014-06-30 2022-02-01 Lenovo (Singapore) Pte. Ltd. Multi-function slide control
KR102358749B1 (ko) * 2014-12-26 2022-02-07 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
TWI628569B (zh) * 2015-09-30 2018-07-01 蘋果公司 具有適應性輸入列之鍵盤
CN105260125B (zh) * 2015-11-20 2018-09-28 上海斐讯数据通信技术有限公司 一种具有触摸屏的电子设备及其解锁方法
CN105574378A (zh) * 2015-12-09 2016-05-11 小米科技有限责任公司 终端控制方法及终端控制装置
US20170315704A1 (en) * 2016-05-02 2017-11-02 Microsoft Technology Licensing, Llc Application user interfaces with scrollable color palettes
AU2017100879B4 (en) 2016-07-29 2017-09-28 Apple Inc. Systems, devices, and methods for dynamically providing user interface controls at touch-sensitive secondary display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618806B1 (en) 1998-04-01 2003-09-09 Saflink Corporation System and method for authenticating users in a computer network
JP2003030152A (ja) 2001-07-12 2003-01-31 Mitsubishi Electric Corp 施設管理システム
JP2013037704A (ja) 2012-09-11 2013-02-21 Fuji Xerox Co Ltd 利用制限管理装置、方法、プログラム
WO2015057320A1 (en) 2013-09-09 2015-04-23 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
リンクアップ,ゼロからはじめる iPhone SE スマートガイド ドコモ完全対応版,初版,日本,株式会社技術評論社,2016年06月10日,250~253頁

Also Published As

Publication number Publication date
US20190220134A1 (en) 2019-07-18
US10719167B2 (en) 2020-07-21
JP6700471B2 (ja) 2020-05-27
AU2017302420A1 (en) 2019-02-07
KR20200006172A (ko) 2020-01-17
AU2023201500A1 (en) 2023-04-13
CN113157108A (zh) 2021-07-23
EP3465408B1 (en) 2020-08-19
EP4411512A2 (en) 2024-08-07
US20200257403A1 (en) 2020-08-13
KR102345993B1 (ko) 2022-01-03
KR102065900B1 (ko) 2020-01-13
US10303289B2 (en) 2019-05-28
JP2022172079A (ja) 2022-11-15
AU2021254570A1 (en) 2021-11-18
CN107665047A (zh) 2018-02-06
AU2019219760A1 (en) 2019-09-05
AU2017100879B4 (en) 2017-09-28
JP7174734B2 (ja) 2022-11-17
DK201770561A8 (en) 2018-02-26
AU2021254570B2 (en) 2023-01-12
KR102166223B1 (ko) 2020-10-15
EP3699746A1 (en) 2020-08-26
JP2019527891A (ja) 2019-10-03
AU2017302420B2 (en) 2019-08-01
EP3699746B1 (en) 2024-08-14
US20180032203A1 (en) 2018-02-01
KR102490421B1 (ko) 2023-01-19
WO2018022313A1 (en) 2018-02-01
KR102115714B1 (ko) 2020-05-26
US10642416B2 (en) 2020-05-05
CN113157111A (zh) 2021-07-23
EP3465408A1 (en) 2019-04-10
US11429145B2 (en) 2022-08-30
DK179705B1 (da) 2019-04-03
CN113157109A (zh) 2021-07-23
AU2019219760B2 (en) 2021-08-05
CN113157110A (zh) 2021-07-23
KR20200058587A (ko) 2020-05-27
DK201770561A1 (en) 2018-02-19
US20190220135A1 (en) 2019-07-18
JP2024020248A (ja) 2024-02-14
CN107665047B (zh) 2021-02-23
KR20190026028A (ko) 2019-03-12
AU2017100879A4 (en) 2017-07-27
AU2023201500B2 (en) 2023-11-09
KR20230014873A (ko) 2023-01-30
KR20220002739A (ko) 2022-01-06
JP2020149697A (ja) 2020-09-17
AU2023251543A1 (en) 2023-11-16
KR20200118911A (ko) 2020-10-16

Similar Documents

Publication Publication Date Title
JP7377319B2 (ja) タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、デバイス、及び方法
US10754603B2 (en) Systems, devices, and methods for dynamically providing user interface controls at a touch-sensitive secondary display
US20220342443A1 (en) Systems and Methods for Prompting a Log-In to an Electronic Device Based on Biometric Information Received from a User

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231027

R150 Certificate of patent or registration of utility model

Ref document number: 7377319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150