JP6255109B2 - タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、プログラム及び方法 - Google Patents

タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、プログラム及び方法 Download PDF

Info

Publication number
JP6255109B2
JP6255109B2 JP2016548096A JP2016548096A JP6255109B2 JP 6255109 B2 JP6255109 B2 JP 6255109B2 JP 2016548096 A JP2016548096 A JP 2016548096A JP 2016548096 A JP2016548096 A JP 2016548096A JP 6255109 B2 JP6255109 B2 JP 6255109B2
Authority
JP
Japan
Prior art keywords
display
user interface
affordances
touch
affordance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016548096A
Other languages
English (en)
Other versions
JP2017504128A (ja
Inventor
ジェフリー トレア バーンステイン,
ジェフリー トレア バーンステイン,
ダンカン アール. カー,
ダンカン アール. カー,
モレル, ジョン ビー.
ジョン ビー. モレル,
ローレンス ワイ. ヤン,
ローレンス ワイ. ヤン,
ランス ウィルソン,
ランス ウィルソン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2017504128A publication Critical patent/JP2017504128A/ja
Application granted granted Critical
Publication of JP6255109B2 publication Critical patent/JP6255109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/12Payment architectures specially adapted for electronic shopping systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G06F1/165Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display the additional display being small, e.g. for presenting status information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662Details related to the integrated keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202Constructional details or processes of manufacture of the input device
    • G06F3/021Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238Programmable keyboards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Digital Computer Display Output (AREA)
  • Telephone Function (AREA)

Description

開示された実施形態は、キーボードに関するものであり、さらに具体的には、動的入出力(I/O)デバイスを介した入力を受け取るための向上した技法に関するものである。
従来のキーボードは、情報(例えば、文字)をコンピューティングデバイスに入力するための任意数の物理キーを含む。ユーザは、キーを押す、又は他の方法でキーを可動的に作動させて、そのキーに対応する入力を提供するのが典型的である。キーボードは、文字の入力を提供することに加え、ファンクション入力に関連する可動的作動キーも含み得る。例えば、キーボードは、ユーザがエスケープ又は終了機能をアクティブ化することを可能にする「エスケープ」又は「esc」キーを含み得る。多くのキーボードで、ファンクション入力用の1組のファンクションキーが「ファンクション行」内にある。英数字を表す1組のキーは、ユーザに最も近いキーボードの部位にあり、ファンクション行は、ユーザからは離れているが、英数字に隣接しているキーボードの部位にあるのが典型的である。キーボードは、先述のファンクション行の一部でないファンクションキーも含む。
ラップトップコンピュータなど、ポータブルコンピューティングデバイスの到来と人気により、専用キーボードによって占有される面積は、ディスプレイの対応サイズによって制限され得る。ポータブルコンピューティングデバイスの構成部品である専用キーボードは、ポータブルコンピューティングデバイスの全体的なサイズを小さくできるように、デスクトップコンピュータ用の外付けキーボードよりも少ないキー、小さいキー、又は互いの間隔が狭いキーを有し得る。
従来の専用キーボードは、ディスプレイ上での変化に関係なく、静的で時間的に固定されている。更に、スクリーン上に表示されたソフトウェアアプリケーションの機能は、ユーザがマウスを使用して対話するツールバー及びメニューを介してアクセスされるのが典型的である。このため、ユーザがモードを切り替え、キーボードとマウスとの間で自分の手の場所を繰り返し移動させる必要がある。代替として、複雑なキーの組み合わせを介してアプリケーションの機能にアクセスすることもできるが、記憶と練習が必要である。そのため、従来のシステムの欠点に対処するI/Oデバイス及び方法を提供するのが望ましい。
本明細書に記載の実施形態は、動的かつ省スペースのI/Oデバイス及び方法を提供することによって上記欠点に対処するものである。かかるデバイス及び方法は、従来の入力デバイス及び方法を任意選択的に補完する、又は置き換わる。かかるデバイス及び方法はまた、ユーザに求められるモード切り替えの手間(例えば、キーボードとマウスとの間での手の移動、及びキーボードからディスプレイへの目の移動)を軽減し、より効率的なヒューマンマシンインタフェースを生み出す。
いくつかの実施形態によれば、プロセッサと、プライマリディスプレイと、メモリと、物理入力メカニズム及び物理入力メカニズムに隣接するタッチスクリーンディスプレイを少なくとも部分的に格納する筐体と、を備えるコンピューティングシステム(例えば、図1A〜図1Bのポータブルコンピューティングシステム100)において、動的入出力デバイスをアップデートする方法が実行される。いくつかの実施形態において、この筐体は、プライマリディスプレイとは別々かつ別個である(例えば、図2A〜図2Cのデスクトップコンピューティングシステム200)。他の実施形態において、この筐体は、プロセッサ、プライマリディスプレイ、及びメモリとは別々かつ別個である(例えば、図2A〜図2Cのデスクトップコンピューティングシステム200)。いくつかの実施形態において、この方法は、1つ以上のユーザインタフェース要素を備える第1のユーザインタフェースをプライマリディスプレイ上に表示することと、その1つ以上のユーザインタフェース要素の中から、プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素を特定することと、プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素が、コンピューティングシステムによって実行されるアプリケーションと関連付けられているかどうかを判定することと、を含む。プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素が、コンピューティングシステムによって実行されるアプリケーションと関連付けられているという判定に従って、この方法は、(A)そのアプリケーションに対応する第1の1組の1つ以上のアフォーダンスと、(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスと、を含む第2のユーザインタフェースをタッチスクリーンディスプレイ上に表示することを含む。
いくつかの実施形態は、コンピューティングシステムによって実行されるアプリケーション用の第1のユーザインタフェースをプライマリディスプレイ上に表示することと、そのアプリケーションに対応する第2のユーザインタフェースであって、そのアプリケーションの第1の一部分に対応する第1の1組の1つ以上のアフォーダンスを備える第2のユーザインタフェースをタッチスクリーンディスプレイ上に表示することと、タッチスクリーンディスプレイ上でスワイプジェスチャを検出することと、を含む、異なる方法を提供する。スワイプジェスチャが第1の方向で実行されたという判定に従って、この方法は、そのアプリケーションに対応する第2の1組の1つ以上のアフォーダンスであって、第2の1組の1つ以上のアフォーダンス内の少なくとも1つのアフォーダンスが、第1の1組の1つ以上のアフォーダンスとは別個であり、そのアプリケーションの第1の一部分にも対応する第2の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイ上に表示することを含む。スワイプジェスチャが、第1の方向に対して略直角である第2の方向で実行されたという判定に従って、この方法は、そのアプリケーションに対応する第3の1組の1つ以上のアフォーダンスであって、第2の1組の1つ以上のアフォーダンスとは別個であり、そのアプリケーションの第1の一部分とは別個であるそのアプリケーションの第2の一部分に対応する第3の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイ上に表示することを含む。第1のユーザインタフェースの異なる一部分の一例は、図5XX内の写真アプリケーションと関連付けられたファイルコントロール5288のメニューと、図5YY内の写真アプリケーションと関連付けられた編集コントロール5296のメニューと、を含む。
他の実施形態は、コンピューティングシステムによって実行されるそのアプリケーション用の第1のユーザインタフェースであって、そのアプリケーションと関連付けられた第1の1組の1つ以上のアフォーダンスを備える第1のユーザインタフェースをプライマリディスプレイ上に通常モード(即ち、非フルスクリーンモード)で表示することと、そのアプリケーション用の第1のユーザインタフェースの少なくとも一部分をプライマリディスプレイ上にフルスクリーンモードで表示するためのユーザ入力を検出することと、を含む、異なる方法を提供する。ユーザ入力を検出したことに応答して、この方法は、そのアプリケーションと関連付けられた第1の1組の1つ以上のアフォーダンスをプライマリディスプレイ上で第1のユーザインタフェース内に表示するのを停止することと、そのアプリケーション用の第1のユーザインタフェースの一部分をプライマリディスプレイ上にフルスクリーンモードで表示することと、そのアプリケーションを制御するための第2の1組の1つ以上のアフォーダンスであって、第1の1組の1つ以上のアフォーダンスに対応する第2の1組の1つ以上のアフォーダンスを、タッチスクリーンディスプレイ上に人の介入なしで自動的に表示することと、を含む。
いくつかの実施形態において、この方法は、コンピューティングシステムによって実行されるアプリケーション用の第1のユーザインタフェースをプライマリディスプレイ上に表示することと、そのアプリケーションに対応する1組の1つ以上のアフォーダンスを備える第2のユーザインタフェースをタッチスクリーンディスプレイ上に表示することと、通知を検出することと、を含む。通知を検出したことに応答して、この方法は、そのアプリケーションに対応する1組の1つ以上のアフォーダンスと、プライマリディスプレイ上に表示されない検出された通知の少なくとも一部分と、をタッチスクリーンディスプレイ上で第2のユーザインタフェース内に同時に表示することを含む。
他の実施形態において、この方法は、1つ以上のユーザインタフェース要素を備えるユーザインタフェースをプライマリディスプレイ上に表示することと、プライマリディスプレイ上でフォーカスが当たっている1つ以上のユーザインタフェース要素のアクティブなユーザインタフェース要素であって、コンピューティングシステムによって実行されるアプリケーションと関連付けられているアクティブなユーザインタフェース要素を特定することと、プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素を特定したことに応答して、そのアプリケーションに対応する1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイ上に表示することと、そのユーザインタフェースの対応部分を移動させるためのユーザ入力を検出することと、を含む。ユーザ入力を検出したことに応答して、及びユーザ入力が既定のアクション基準を満たしているという判定に従って、この方法は、そのユーザインタフェースの対応部分をプライマリディスプレイ上に表示するのを停止することと、その1組の1つ以上のアフォーダンスの少なくとも下位セットをタッチスクリーンディスプレイ上に表示するのを停止することと、そのユーザインタフェースの対応部分の表現をタッチスクリーンディスプレイ上に表示することと、を含む。
いくつかの実施形態によれば、情報を表示するように構成されたプライマリディスプレイユニット(例えば、図1A及び図2A〜図2Dのプライマリディスプレイ102)と、ユーザ入力を受け取るように構成された物理入力ユニットと、情報を表示するように構成されたタッチスクリーンディスプレイユニット(例えば、図1A〜図1B及び2A〜図2Dの動的ファンクション行104)と、タッチスクリーンディスプレイユニット上でのユーザタッチ入力を受け取るように構成されたタッチ感知面ユニットと、プライマリディスプレイユニット、物理入力ユニット、タッチスクリーンディスプレイユニット、及びタッチ感知面ユニットに連結された処理ユニットと、を含む電子デバイスが提供される。この処理ユニットは、1つ以上のユーザインタフェース要素を備える第1のユーザインタフェースをプライマリディスプレイユニット上に表示させ、プライマリディスプレイユニット上でフォーカスが当たっている1つ以上のユーザインタフェース要素の中からアクティブなユーザインタフェース要素を特定し、プライマリディスプレイユニット上でフォーカスが当たっているアクティブなユーザインタフェース要素が、処理ユニットによって実行されるアプリケーションと関連付けられているかどうかを判定する、ように構成されている。プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素が、コンピューティングシステムによって実行されるアプリケーションと関連付けられているという判定に従って、処理ユニットが、(A)そのアプリケーションに対応する第1の1組の1つ以上のアフォーダンスと、(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスと、を含む第2のユーザインタフェースをタッチスクリーンディスプレイユニット上に表示させるように構成されている。
いくつかの実施形態は、処理ユニットによって実行されるアプリケーション用の第1のユーザインタフェースをプライマリディスプレイユニット上に表示させ、そのアプリケーションに対応する第1の1組の1つ以上のアフォーダンスであって、そのアプリケーションの第1の一部分に対応する第1の1組の1つ以上のアフォーダンスを備える第2のユーザインタフェースをタッチスクリーンディスプレイユニット上に表示させ、タッチ感知面ユニット上でスワイプジェスチャを検出する、ように構成された処理ユニットを提供する。スワイプジェスチャが第1の方向で実行されたという判定に従って、処理ユニットは、そのアプリケーションに対応する第2の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイユニット上に表示させるように構成されており、第2の1組の1つ以上のアフォーダンスにおける少なくとも1つのアフォーダンスは、第1の1組の1つ以上のアフォーダンスとは別個であり、第2の1組の1つ以上のアフォーダンスは、そのアプリケーションの第1の一部分にも対応する。スワイプジェスチャが、第1の方向に対して略直角である第2の方向で実行されたという判定に従って、処理ユニットは、そのアプリケーションに対応する第3の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイユニット上に表示させるように構成されており、第3の1組の1つ以上のアフォーダンスは、第2の1組の1つ以上のアフォーダンスとは別個であり、第3の1組の1つ以上のアフォーダンスは、そのアプリケーションの第1の一部分とは別個であるそのアプリケーションの第2の一部分に対応する。
他の実施形態は、処理ユニットによって実行されるそのアプリケーション用の第1のユーザインタフェースであって、そのアプリケーションと関連付けられた第1の1組の1つ以上のアフォーダンスを備える第1のユーザインタフェースをプライマリディスプレイユニット上に通常モードで表示させ、そのアプリケーション用の第1のユーザインタフェースの少なくとも一部分をプライマリディスプレイユニット上にフルスクリーンモードで表示するためのユーザ入力を検出する、ように構成された処理ユニットを提供する。ユーザ入力を検出したことに応答して、処理ユニットは、そのアプリケーションと関連付けられたアフォーダンスの第1の1組の1つ以上のプライマリディスプレイユニット上で第1のユーザインタフェース内に表示するのを停止し、そのアプリケーション用の第1のユーザインタフェースの一部分をプライマリディスプレイユニット上にフルスクリーンモードで表示させ、そのアプリケーションを制御するための第2の1組の1つ以上のアフォーダンスであって、第1の1組の1つ以上のアフォーダンスに対応する第2の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイユニット上に人の介入なしで自動的に表示させる、ように構成されている。
いくつかの実施形態において、処理ユニットは、この処理ユニットによって実行されるアプリケーション用の第1のユーザインタフェースをプライマリディスプレイユニット上に表示させ、そのアプリケーションに対応する1組の1つ以上のアフォーダンスを備える第2のユーザインタフェースをタッチスクリーンディスプレイユニット上に表示させ、通知を検出する、ように構成されている。通知を検出したことに応答して、処理ユニットは、そのアプリケーションに対応する1組の1つ以上のアフォーダンス、及びプライマリディスプレイユニット上に表示されない検出された通知の少なくとも一部分をタッチスクリーンディスプレイユニット上で第2のユーザインタフェース内に同時に表示させるように構成されている。
他の実施形態において、処理ユニットは、1つ以上のユーザインタフェース要素を備えるユーザインタフェースをプライマリディスプレイユニット上に表示させ、プライマリディスプレイユニット上でフォーカスが当たっている1つ以上のユーザインタフェース要素のアクティブなユーザインタフェース要素であって、コンピューティングシステムによって実行されるアプリケーションと関連付けられているアクティブなユーザインタフェース要素を特定し、プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素を特定したことに応答して、そのアプリケーションに対応する1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイユニット上に表示させ、ユーザインタフェースの対応部分を移動させるためのユーザ入力を検出する、ように構成されている。ユーザ入力を検出したことに応答して、及びユーザ入力が既定のアクション基準を満たしているという判定に従って、処理ユニットは、ユーザインタフェースの対応部分をプライマリディスプレイユニット上に表示するのを停止し、その1組の1つ以上のアフォーダンスの少なくとも下位セットをタッチスクリーンディスプレイユニット上に表示するのを停止し、ユーザインタフェースの対応部分の表現をタッチスクリーンディスプレイユニット上に表示させる、ように構成されている。
いくつかの実施形態によれば、コンピューティングシステムは、プロセッサと、プライマリディスプレイと、1つ以上のプログラムを記憶するメモリと、物理入力メカニズム及び物理入力メカニズムに隣接するタッチスクリーンディスプレイを少なくとも部分的に格納する筐体と、を含む。この1つ以上のプログラムは、プロセッサによって実行されるように構成されており、本明細書に記載の方法のいずれかの動作を実行する、又はその実行をもたらすための命令を含む。いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体は、プライマリディスプレイと、物理入力メカニズム及び物理入力メカニズムに隣接するタッチスクリーンディスプレイを少なくとも部分的に格納する筐体と、を有するコンピューティングシステムのプロセッサによって実行されると、コンピューティングシステムに、本明細書に記載の方法のいずれかの動作を実行させる、又は実行をもたらす内部記憶命令を有する。いくつかの実施形態によれば、プロセッサと、プライマリディスプレイと、1つ以上のプログラムを記憶するメモリと、物理入力メカニズム及び物理入力メカニズムに隣接するタッチスクリーンディスプレイを少なくとも部分的に格納する筐体と、を含む、コンピューティングシステム上のグラフィカルユーザインタフェース、この1つ以上のプログラムは、プロセッサによって実行されるように構成されており、本明細書に記載の方法のいずれかで記載のとおり、ユーザ入力に応答して更新される上記方法のいずれかで表示される要素の1つ以上を表示する、又は表示させる命令を含む。いくつかの実施形態によれば、コンピューティングシステムは、プライマリディスプレイと、物理入力メカニズム及び物理入力メカニズムに隣接するタッチスクリーンディスプレイを少なくとも部分的に格納する筐体と、本明細書に記載の方法のいずれかの動作を実行する、又は実行をもたらすための手段と、を含む。いくつかの実施形態によれば、プライマリディスプレイと、物理入力メカニズム及び物理入力メカニズムに隣接するタッチスクリーンディスプレイを少なくとも部分的に格納する筐体と、を有するコンピューティングシステムで使用するための情報処理装置は、本明細書に記載の方法のいずれかの動作を実行する、又は実行をもたらすための手段を含む。
説明される様々な実施形態のより良好な理解のために、以下の図面と併せて、以下の「実施形態の説明」を参照されたく、類似の参照番号は、それらの図の全体を通じて対応する部分を指す。
いくつかの実施形態に係るポータブルコンピューティングシステム(例えば、ラップトップコンピュータ)の例示的なダイアグラムである。
いくつかの実施形態に係る、図1Aのポータブルコンピューティングシステムの本体部分の例示的なダイアグラムである。
いくつかの実施形態に係る、デスクトップコンピューティングシステムの第1の実装形態の例示的なダイアグラムである。
いくつかの実施形態に係る、デスクトップコンピューティングシステムの第2の実装形態の例示的なダイアグラムである。
いくつかの実施形態に係る、デスクトップコンピューティングシステムの第3の実装形態の例示的なダイアグラムである。
いくつかの実施形態に係る、デスクトップコンピューティングシステムの第4の実装形態の例示的なダイアグラムである。
いくつかの実施形態に係る、電子デバイスのブロック図である。
いくつかの実施形態に係る、図3Aのイベント処理のための構成要素のブロック図である。
いくつかの実施形態に係る、外付け電子デバイスのブロック図である。
いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、動的入出力デバイスをアップデートする方法のフローチャートである。 いくつかの実施形態に係る、動的入出力デバイスをアップデートする方法のフローチャートである。 いくつかの実施形態に係る、動的入出力デバイスをアップデートする方法のフローチャートである。 いくつかの実施形態に係る、動的入出力デバイスをアップデートする方法のフローチャートである。
いくつかの実施形態に係る、動的入出力デバイスをアップデートする方法のフローチャートである。 いくつかの実施形態に係る、動的入出力デバイスをアップデートする方法のフローチャートである。 いくつかの実施形態に係る、動的入出力デバイスをアップデートする方法のフローチャートである。
いくつかの実施形態に係る、フルスクリーンモード時にアプリケーションの機能を維持する方法のフローチャートである。 いくつかの実施形態に係る、フルスクリーンモード時にアプリケーションの機能を維持する方法のフローチャートである。
いくつかの実施形態に係る、タッチスクリーンディスプレイ上に通知を表示する方法のフローチャートである。 いくつかの実施形態に係る、タッチスクリーンディスプレイ上に通知を表示する方法のフローチャートである。
いくつかの実施形態に係る、ユーザインタフェース部分を移動させる方法のフローチャートである。 いくつかの実施形態に係る、ユーザインタフェース部分を移動させる方法のフローチャートである。 いくつかの実施形態に係る、ユーザインタフェース部分を移動させる方法のフローチャートである。
いくつかの実施形態に係る、電子デバイスの機能ブロック図を示す。 いくつかの実施形態に係る、電子デバイスの機能ブロック図を示す。 いくつかの実施形態に係る、電子デバイスの機能ブロック図を示す。 いくつかの実施形態に係る、電子デバイスの機能ブロック図を示す。 いくつかの実施形態に係る、電子デバイスの機能ブロック図を示す。
図1A〜図1B、図2A〜図2D、図3A〜図3B、及び図4は、例示的なデバイスの説明を提供する。図5A〜図5DDDは、動的入出力デバイスをアップデートするための例示的なユーザインタフェースを示す。図6A〜図6Dは、動的入出力デバイスをアップデートする方法600のフローチャートである。図7A〜図7Cは、動的入出力デバイスをアップデートする方法700のフローチャートである。図8A〜図8Bは、フルスクリーンモード時にアプリケーションの機能を維持する方法800のフローチャートである。図9A〜図9Bは、タッチスクリーンディスプレイ上に通知を表示する方法900のフローチャートである。図10A〜図10Cは、ユーザインタフェース部分を移動させる方法1000のフローチャートである。図5A〜図5DDDのユーザインタフェースは、図6A〜図6D、図7A〜図7C、図8A〜図8B、図9A〜図9B、及び図10A〜図10Cの方法及び/又は処理を示す目的で使用される。
例示的なデバイス及びシステム
ここで、添付図面に実施例が示される実施形態を、詳細に参照する。以下の詳細な説明では、説明されている様々な実施形態の完全な理解を提供するために数多くの具体的な詳細が記載されている。しかしながら、説明されている様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例においては、周知の方法、手続き、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭なものとしないよう、詳細には説明されていない。
本明細書では、第1、第2などの用語は、一部の実施例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第1の接触は、第2の接触と称することができ、同様に、第2の接触は、第1の接触と称し得る。第1の接触及び第2の接触は両方接触であるが、それらは同じ接触ではない。
本明細書で説明される様々な実施形態の説明で使用される用語法は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用される時、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用される時に、用語「及び/又は」が、関連する列挙された項目のうちの1つ以上のすべての可能な任意の組み合わせを指し、かつこれを含むことをもまた理解されたい。更に、用語「includes(含む)」、「including(含む)」、「comprisies(備える)」、及び/又は「comprising(備える)」は、本明細書で使用される場合、記述される特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらの群の存在若しくは追加を排除するものではないことが理解されるであろう。
本明細書で使用される時、用語「if(〜の場合には)」は、任意選択的に、文脈に応じて「when(〜の時)」、「upon(〜すると)」、「in response to determining(〜という判定に応じて)」、又は「in response to detecting(〜の検出に応じて)」を意味するものと解釈される。同様に、句「if it is determined(〜と判定される場合に)」又は「if (a stated condition or event)is detected((述べられる条件又はイベント)が検出される場合に)」は、文脈に応じて「upon determining(〜と判定される時に)」、「in response to determining(〜という判定に応答して)」、「upon detecting (the stated condition or event)((述べられる条件又はイベント)の検出時に)」、又は「in response to detecting (the stated condition or event)((述べられる条件又はイベント)の検出に応答して)」を意味すると、任意選択的に解釈される。
図1Aは、いくつかの実施形態に係る、ポータブルコンピューティングシステム100の例示的なダイアグラムである。ポータブルコンピューティングシステム100は、例えば、MACBOOK(登録商標)デバイス、又はその他任意のポータブルコンピューティングデバイスなどのラップトップコンピュータであり得る。ポータブルコンピューティングシステム100は、(A)プライマリディスプレイ102を有するディスプレイ部分110と、(B)動的ファンクション行104、1組の物理(即ち、可動的作動)キー106、同じ筐体内に部分的に格納されたタッチパッド108を有する本体部分120と、を含む。ディスプレイ部分110は、ポータブルコンピューティングシステム100の本体部分120と機械的、電気的、及び通信可能に連結されているのが典型的である。例えば、ポータブルコンピューティングシステム100は、ヒンジを含むことがあり、ディスプレイ部分110が本体部分120に対して回転できるようになっている。ポータブルコンピューティングシステム100は、1つ以上のプロセッサと、本明細書に記載の実施形態のいずれかを実行するために1つ以上のプロセッサによって実行される1つ以上のプログラムを記憶するメモリと、を含む。いくつかの実施形態において、図1Bを参照して更に詳しく説明されている動的ファンクション行104は、抵抗感知、音響感知、容量感知、光感知、赤外線感知などを使用してユーザタッチ入力及び選択を検出するタッチスクリーンディスプレイである。いくつかの実施形態において、ディスプレイ部分110のプライマリディスプレイ102は、タッチスクリーンディスプレイでもある。
図1Bは、いくつかの実施形態に係る、ポータブルコンピューティングシステム100の本体部分120の例示的なダイアグラムである。本体部分120は、1組の物理キー106、動的ファンクション行104、及び同じ筐体内に部分的に格納されたタッチパッド108を含む。いくつかの実施形態において、タッチスクリーンである動的ファンクション行104は、1組の物理キー106のファンクション行に置き換わり、1組の物理キー106によって占有される空間を減らすことができるか、本体部分120全体を小さくできる、又はタッチパッド108など他の部分を広くできる。いくつかの実施形態において、動的ファンクション行104は、1組の物理キー106の主寸法に関して長さが約18インチである。説明の便宜上「行」と呼んでいるが、他のいくつかの実施形態において、図1Aの動的ファンクション行104を備えるタッチスクリーンは、正方形、円、複数の行、列、複数の列、複数の別々の部位など、その他任意の形態をとり得る。図1A〜図1Bは、1組の物理キー106のファンクション行に置き換わる動的ファンクション行104を示すが、他のいくつかの実施形態において、動的ファンクション行104は、追加及び/又は代替として、1組の物理キー106のテンキーパッド部、編集機能部などに置き換わり得る。
1組の物理キー106の各物理キーは、少なくとも1つの関連付けられた入力を有する。この入力は、印刷可能な文字、印刷不能の文字、機能、又は他の入力であり得る。物理キーと関連付けられた入力は、文字、単語、記号、又はキーの表面上にラテン表記、アラビア文字、漢字、又はその他任意の表記で示された(例えば、印刷された)他の印によって示され得る。例えば、138で示された特定の物理キーは、キー上に示された文字zが示すとおり、アルファベット文字「z」と関連付けられている。別の実施例においては、「コマンド」という語がラベル付けされた物理キーが、コマンド機能と関連付けられ得る。例えば、1組の物理キー106は、ISO/IEC9995、ANSI−INCITS154−1988、JIS X6002−1980、又は他の同様の規格に従って、QWERTY、Dvorak、又は英数字、数字、及び/或いは編集/機能セクション(例えば、標準、拡張、又はコンパクト)を有する他のキーボードレイアウトと関連付けられている。
物理キーと関連付けられた入力に対応する信号は、キーがユーザによってアクティブ化された時に、ポータブルコンピューティングシステム100のプロセッサ(又は図2A〜図2Dのコンピューティングデバイス202或いは図2A〜図2Bの外付けキーボード206)によって受信され得る。例示的な実施例において、1組の物理キー106の各キーは、2つのプレート及びバネを含む。ユーザは、キーを押し下げてバネを圧縮することによってキーをアクティブ化し得る。バネが圧縮されると、2つのプレートが接触し得る。これにより、接続されたプレートを電流が貫流できる。接続されたプレートを貫通する電流の流れに応答して、キーに対応する入力がプロセッサに提供され得る。例えば、図2Cの外付けキーボード206の1組のキー106のうちの1つがアクティブ化されたことに応答して、アクティブ化されたキーに対応する入力がコンピューティングデバイス202に提供される。可動的作動キー用の他のシステムが使用でき得ることが認識されよう。
いくつかの実施形態において、動的ファンクション行104は、1つ以上のユーザ選択可能記号142(本明細書では「ユーザインタフェース要素」、「ユーザインタフェース構成要素」、「アフォーダンス」、「ボタン」、又は「ソフトキー」とも呼ばれることがある)を表示するタッチスクリーンディスプレイである。例えば、動的ファンクション行104は、典型的なキーボード上のファンクション行キーに置き換わる。ユーザは、タッチスクリーンディスプレイ上で、1つ以上のユーザ選択可能記号142のうちの特定の1つに対応する場所をタッチすることにより、1つ以上のユーザ選択可能記号142のうちの特定の1つを選択し得る。例えば、ユーザは、ユーザの指が虫眼鏡インジケータ214の位置で動的ファンクション行104に接触するように動的ファンクション行104をタップすることにより、虫眼鏡記号144によって示されたユーザ選択可能記号を選択し得る。いくつかの実施形態において、タップ接触又はタップジェスチャは、所定時間(例えば、250ミリ秒など)内の接触のタッチダウン及び接触のリフトオフを含む。いくつかの実施形態において、動的ファンクション行104のタッチスクリーンディスプレイは、抵抗感知、音響感知、容量感知、光感知、赤外線感知などを使用して実装され、ユーザ入力及び選択を検出する。
ユーザが1つ以上のユーザ選択可能記号142のうちの特定の1つを選択すると、1つ以上のユーザ選択可能記号142のうちの特定の1つに対応する信号が動的ファンクション行104によって生成される。例えば、ユーザが動的ファンクション行104上の「esc」をタップすると、動的ファンクション行104は、エスケープ機能に対応するユーザ入力を表す信号をポータブルコンピューティングシステム100のプロセッサ(或いは図2A〜図2Dのコンピューティングデバイス202、又は図2A〜図2Bの外付けキーボード206のプロセッサ、又は図2Cの第1の入力メカニズム212のプロセッサ、又は図2Dの第2の入力メカニズム222のプロセッサ)に送信する。
いくつかの実施形態において、1つ以上のユーザ選択可能記号142のうちの特定の1つが選択されると、動的ファンクション行104は、1つ以上のユーザ選択可能記号142のうちの特定の1つが表示されているタッチスクリーンディスプレイ上の位置に対応する信号を、ポータブルコンピューティングシステム100のプロセッサ(或いは図2A〜図2Dのコンピューティングデバイス202、又は図2A〜図2Bの外付けキーボード206のプロセッサ、又は図2Cの第1の入力メカニズム212のプロセッサ、又は図2Dの第2の入力メカニズム222のプロセッサ)に送信する。例えば、動的ファンクション行104は、タッチスクリーンディスプレイ上における選択された1つ以上のユーザ選択可能記号142のうちの特定の1つの位置に応じて、位置値(0から20)を含む信号を送信し得る。図1Bの例示的な実施例において、「esc」記号は位置値0、虫眼鏡記号144は位置値16などを有し得る。ポータブルコンピューティングシステム100のプロセッサ(或いは図2A〜図2Dのコンピューティングデバイス202、又は図2A〜図2Bの外付けキーボード206のプロセッサ、又は図2Cの第1の入力メカニズム212のプロセッサ、又は図2Dの第2の入力メカニズム222のプロセッサ)は、選択されたユーザ選択可能記号の位置値を表す信号を受信し、現在アクティブである、又はフォーカスを有するディスプレイ部分110のプライマリディスプレイ102(又は図2A〜図2Dの外付けディスプレイデバイス204)上に表示されたグラフィカルユーザインタフェースの要素などのコンテキスト情報を使用して位置値を解釈し得る。
1つ以上のユーザ選択可能記号142の各々は、記号(例えば、144で示された虫眼鏡記号)、略語(例えば、「esc」)、略されていない語、文字、画像、アニメーション画像、ビデオなどのインジケータを含み得る。いくつかの実施形態においては、1つ以上のユーザ選択可能記号142のうちのそれぞれの1つが、ユーザ入力(単数又は複数)を受け取ることができる。
入力は、1つ以上のユーザ選択可能記号142の各々と関連付けられ得る。この入力は、機能、文字、数値などであり得る。1つ以上のユーザ選択可能記号142のうちのそれぞれの1つは、1つ以上のユーザ選択可能記号142のうちのそれぞれの1つの入力に対応するインジケータを含み得る。例えば、図1Bにおいて、略語「esc」を有するユーザ選択可能記号は、エスケープ機能がユーザ選択可能記号と関連付けられていることをユーザに示す。1つ以上のユーザ選択可能記号142と関連付けられた機能は、ユーザがユーザ選択可能記号を選択した時にアクティブ化され得る。例えば、エスケープ機能は、ユーザがインジケータ「esc」を有するユーザ選択可能記号を選択した時にアクティブ化され得る。機能のアクティブ化は、ポータブルコンピューティングシステム100(又は図2A〜図2Dのコンピューティングデバイス202)の現在の状態に応じて異なる影響を及ぼし得る。例えば、ディスプレイ部分110のプライマリディスプレイ102(又は図2A〜図2Dの外付けディスプレイデバイス204)上でダイアログボックスが開いている時に、動的ファンクション行104上でエスケープ機能をアクティブ化すると、ダイアログボックスが閉じられ得る。別の実施例においては、ポータブルコンピューティングシステム100(又は図2A〜図2Dのコンピューティングデバイス202)のプロセッサによってゲームアプリケーションが実行されている時に動的ファンクション行104上でエスケープ機能をアクティブ化すると、そのゲームが一時停止し得る。
いくつかの実施形態においては、機能が、可動的作動キー及び/又はユーザ選択可能記号の組み合わせと関連付けられ得る。例えば、コマンドキー及び「c」キーの同時作動(即ち、コマンド+c)は、「コピー」機能と関連付けられ得る。別の実施例においては、コマンドキー及びインジケータ「esc」を有するユーザ選択可能記号の選択の同時作動(即ち、コマンド+esc)により、メディアプレーヤアプリケーションなど特定のアプリケーションを開くための機能がアクティブ化され得る。更に別の実施例においては、2つのユーザ選択可能記号(例えば、インジケータ「esc」を有するユーザ選択可能記号及び虫眼鏡インジケータを有するユーザ選択可能記号144)の同時選択により、専門検索機能などの機能がアクティブ化され得る。
いくつかの実施形態において、動的ファンクション行104の1つ以上のユーザ選択可能記号142の第1の下位セット146は1つの機能群と関連付けられ、ファンクション行104の1つ以上のユーザ選択可能記号142の第2の下位セット148は第2の機能群と関連付けられ得る。例えば、第1の下位セット146内のユーザ選択可能記号は、グローバル機能(例えば、システムレベル機能又はアフォーダンス)、第2の下位セット148内のユーザ選択可能記号は、アプリケーション固有の機能であり得る。そのため、プライマリディスプレイ102上に表示されたグラフィカルユーザインタフェースの第1の要素(例えば、インターネットブラウザアプリケーションに対応する第1のウィンドウ)からグラフィカルユーザインタフェースの第2の要素(例えば、電子メールアプリケーションに対応する第2のウィンドウ)へとフォーカスが移ると、第1の下位セット148内のユーザ選択可能記号が変わる。対称的に、グラフィカルユーザインタフェースの第1の要素からグラフィカルユーザインタフェースの第2の要素へとフォーカスが移っても、第1の下位セット146内のユーザ選択可能記号は維持される。
いくつかの実施形態において、第2の下位セット148内のユーザ選択可能記号は、フォーカスが当たっているプライマリディスプレイ102上に表示されたアクティブなユーザインタフェース要素に基づいて判定される。いくつかの実施形態において、「フォーカスが当たっている」という用語は、現在前景内にあり、アクティブに実行されている、又はキー押し下げ、マウスクリック、音声コマンド、ジェスチャの動きなど、コンピューティングシステムのユーザから受け取られた入力によって制御可能であるユーザインタフェースのアクティブな要素(例えば、アプリケーションと関連付けられたウィンドウ、アプリケーション又はオペレーティングシステムと関連付けられた特定のツールバー或いはメニュー)のことを言及し得る。
いくつかの実施形態において、グローバルなユーザ選択可能記号に対応する1つ以上のユーザ選択可能記号142の第1の下位セット146は、動的ファンクション行104の第1のエリア(例えば、動的ファンクション行104の左半分)を占有し、1つ以上のユーザ選択可能記号142の第2の下位セットセット148は、動的ファンクション行104の第2のエリア(例えば、動的ファンクション行104の右半分)を占有する。第1の下位セット146及び第2の下位セット148にはファンクション行104の他の部分が割り当てられ得ることが理解されよう。いくつかの実施形態においては、フォーカスを有するアプリケーションがないと、動的ファンクション行104の第2の面積がユーザ選択可能記号を含まない場合がある。いくつかの実施形態において、動的ファンクション行104は、ユーザ選択可能記号の下位セットを3つ以上含む。いくつかの実施形態において、動的ファンクション行104は、下位セットに分割されない単一の組のユーザ選択可能記号を含む。図1Bの動的ファンクション行104には1行のユーザ選択可能記号が示されているが、動的ファンクション行104は複数行のユーザ選択可能記号を含み得ることが認識されよう。
いくつかの実施形態においては、フォーカスの変更により、ディスプレイ部分110のプライマリディスプレイ102(又は図2A〜図2Dの外付けディスプレイデバイス204)上に表示されたグラフィカルユーザインタフェースのどの要素がアクティブであり、どの要素がユーザ入力を受け取るかが変わる。このユーザ入力は、キーボード、マウス、タッチパッド、又は他のユーザ入力デバイスから受け取られ得る。加えて、及び/又は代替として、いくつかの実施形態においては、フォーカスの変更により、ディスプレイ部分110のプライマリディスプレイ102上に表示されたグラフィカルユーザインタフェースの前景(又は図2A〜図2Dの外付けディスプレイデバイス204)内に示される要素が変わる。
いくつかの実施形態において、フォーカスの変更は、ユーザ入力に応答して、例えば、ディスプレイ部分110のプライマリディスプレイ102(又は図2A〜図2Dの外付けディスプレイデバイス204)上に表示されたグラフィカルユーザインタフェースの要素(例えば、異なるウィンドウ)のユーザ選択に応答して、又はユーザ選択可能記号(例えば、動的ファンクション行104上に表示されたアフォーダンス/記号のうちの1つ)のユーザ選択に応答して、生じる。このユーザ選択は、キーストローク、マウスクリック、マウスオーバ、コマンド+タブ入力などであり得る。いくつかの実施形態において、フォーカスの変更は、ポータブルシステム100(又は図2A〜図2Dのコンピューティングデバイス202)のオペレーティングシステムによる判定に応答して生じる。例えば、フォーカスを有するアプリケーションウィンドウをユーザが閉じると、オペレーティングシステムは、閉じられたアプリケーションウィンドウの前にフォーカスを有していたアプリケーションなど異なるアプリケーションにフォーカスを渡し得る。別の実施例においては、ユーザがフォーカスを有するアプリケーションウィンドウを閉じると、オペレーティングシステムは、そのアプリケーションを介してドキュメントに施された変更を保存するようユーザに促すダイアログボックスにフォーカスを渡し得る。
いくつかの実施形態において、フォーカスの変更は、アプリケーションと関連付けられた要素から、同じアプリケーションと関連付けられた別の要素へ(例えば、電子メールアプリケーションの電子メール作成ウィンドウから電子メールアプリケーションの受信箱リストウィンドウへ、又はインターネットブラウザアプリケーションの1つのタブからインターネットブラウザアプリケーションの別のタブへ)の変更であり得る。いくつかの実施形態において、フォーカスの変更は、1つのアプリケーションと関連付けられた要素から別のアプリケーションと関連付けられた要素への(例えば、インターネットブラウザウィンドウから電子メールアプリケーションウィンドウへの)変更であり得る。更に、いくつかの実施形態において、フォーカスの変更は、アプリケーションと関連付けられた要素から、システムダイアログボックス、システム設定コントロール(例えば、音量コントロール)、ファイル/フォルダナビゲーションアプリケーション(例えば、Apple Inc.のFINDERアプリケーション)と関連付けられたウィンドウなど、オペレーティングシステムと関連付けられた要素への変更であり得る。加えて、フォーカスは、ダイアログボックス、ファイルディレクトリ、設定コントロール(例えば、音量コントロール)、又は情報をユーザに提示でき、及び/又はユーザ入力を受信できるグラフィカルユーザインタフェースのその他任意の要素へも向けられ得る。
図2Aは、いくつかの実施形態に係る、デスクトップコンピューティングシステム200の第1の実装形態の例示的なダイアグラムである。デスクトップコンピューティングシステム200は、コンピューティングデバイス202と、プライマリディスプレイ102を有する外付けディスプレイデバイス204と、外付けキーボード206と、外付けマウス208と、を含む。コンピューティングデバイス202は、1つ以上のプロセッサと、1つ以上のプロセッサによって実行するための1つ以上のプログラムを記憶するメモリを含む。いくつかの実施形態において、外付けディスプレイデバイス204は、iMAC(登録商標)デバイスなどのコンピューティングデバイス202と一体化され得る。いくつかの実施形態において、外付けディスプレイデバイス204のプライマリディスプレイ102は、タッチスクリーンディスプレイである。図2Aにおいて、外付けディスプレイデバイス204、外付けキーボード206、及び外付けマウス208は、USB或いはPS/2などの有線接続を介して、又はBluetooth(登録商標)、Wi−Fi(登録商標)などの通信プロトコルを使用した無線通信リンクを介して、コンピューティングデバイス202に通信可能に連結されている。例えば、外付けキーボード206は、コンピューティングデバイス202からの距離が15フィートを超えない(例えば、約3フィート離れている)。図2Aにおいて、外付けキーボード206は、動的ファンクション行104と、同じ筐体内に少なくとも部分的に格納された1組の物理キー106と、を含む。いくつかの実施形態において、図1Bを参照して更に詳しく説明されている動的ファンクション行104は、タッチスクリーンディスプレイである。いくつかの実施形態において、外付けキーボード206は、1つ以上のプロセッサと、本明細書に記載の実施形態のいずれかを実行するために外付けキーボード206の1つ以上のプロセッサによって実行され得る1つ以上のプログラムを記憶するメモリと、を含む。いくつかの実施形態において、外付けキーボード206は、ユーザ入力(例えば、キーストローク及び動的ファンクション行104によって表示されたユーザ選択可能記号/アフォーダンスの選択)を表す信号をコンピューティングデバイス202へと中継する。
図2Bは、いくつかの実施形態に係る、デスクトップコンピューティングシステム200の第2の実装形態の例示的なダイアグラムである。図2Bにおいて、デスクトップコンピューティングシステム200は、コンピューティングデバイス202と、プライマリディスプレイ102を有する外付けディスプレイデバイス204と、外付けキーボード206と、を含む。図2Bにおいて、外付けディスプレイデバイス204及び外付けキーボード206は、USB或いはPS/2などの有線接続を介して、又はBluetooth、Wi−Fiなどの通信プロトコルを使用した無線通信リンクを介して、コンピューティングデバイス202に通信可能に連結されている。図2Bにおいて、外付けキーボード206は、動的ファンクション行104と、1組の物理キー106と、同じ筐体内に少なくとも部分的に格納されたタッチパッド108と、を含む。いくつかの実施形態において、図1Bを参照して更に詳しく説明されている動的ファンクション行104は、タッチスクリーンディスプレイである。いくつかの実施形態において、外付けキーボード206は、1つ以上のプロセッサと、本明細書に記載の実施形態のいずれかを実行するために外付けキーボード206の1つ以上のプロセッサによって実行され得る1つ以上のプログラムを記憶するメモリを含む。いくつかの実施形態において、外付けキーボード206は、ユーザ入力(例えば、キーストローク、タッチパッド108とのユーザ対話、及び動的ファンクション行104によって表示されたユーザ選択可能記号/アフォーダンスの選択)を表す信号をコンピューティングデバイス202へと中継する。
図2Cは、いくつかの実施形態に係る、デスクトップコンピューティングシステム200の第3の実装形態の例示的なダイアグラムである。図2Cにおいて、デスクトップコンピューティングシステム200は、コンピューティングデバイス202と、プライマリディスプレイ102を有する外付けディスプレイデバイス204と、外付けキーボード206と、第1の外付け入力メカニズム212と、を含む。図2Cにおいて、外付けディスプレイデバイス204、外付けキーボード206、及び第1の外付け入力メカニズム212は、USB或いはPS/2などの有線接続を介して、又はBluetooth、Wi−Fiなどの通信プロトコルを使用した無線通信リンクを介して、コンピューティングデバイス202に通信可能に連結されている。図2Cにおいて、外付けキーボード206は、1組の物理キー106を含み、第1の外付け入力メカニズム212は、動的ファンクション行104と、同じ筐体内に少なくとも部分的に格納されたタッチパッド108と、を含む。いくつかの実施形態において、図1Bを参照して更に詳しく説明されている動的ファンクション行104は、タッチスクリーンディスプレイである。いくつかの実施形態において、第1の外付け入力メカニズム212は、1つ以上のプロセッサと、本明細書に記載の実施形態のいずれかを実行するために第1の外付け入力メカニズム212の1つ以上のプロセッサによって実行され得る1つ以上のプログラムを記憶するメモリと、を含む。いくつかの実施形態において、第1の外付け入力メカニズム212は、ユーザ入力(例えば、タッチパッド108とのユーザ対話及び動的ファンクション行104によって表示されたユーザ選択可能記号/アフォーダンスのユーザ選択)を表す信号をコンピューティングデバイス202へと中継する。
図2Dは、いくつかの実施形態に係る、デスクトップコンピューティングシステム200の第4の実装形態の例示的なダイアグラムである。図2Dにおいて、デスクトップコンピューティングシステム200は、コンピューティングデバイス202と、プライマリディスプレイ102を有する外付けディスプレイデバイス204と、外付けキーボード206と、外付けマウス208と、第2の外付け入力メカニズム222と、を含む。図2Dにおいて、外付けディスプレイデバイス204、外付けキーボード206、外付けマウス208、及び第2の外付け入力メカニズム222は、USB或いはPS/2などの有線接続を介して、又はBluetooth、Wi−Fiなどの通信プロトコルを使用した無線通信リンクを介して、コンピューティングデバイス202に通信可能に連結されている。図2Aにおいて、外付けキーボード206は、動的ファンクション行104と、1組の物理キー106と、を含む。図2Dにおいて、外付けキーボード206は、1組の物理キー106を含み、第2の外付け入力メカニズム222は、第2の外付け入力メカニズム222の筐体内に少なくとも部分的に格納された動的ファンクション行104を含む。いくつかの実施形態において、図1Bを参照して更に詳しく説明されている動的ファンクション行104は、タッチスクリーンディスプレイである。いくつかの実施形態において、第2の外付け入力メカニズム222は、1つ以上のプロセッサと、本明細書に記載の実施形態のいずれかを実行するために第2の外付け入力メカニズム222の1つ以上のプロセッサによって実行され得る1つ以上のプログラムを記憶するメモリを含む。いくつかの実施形態において、第2の外付け入力メカニズム222は、ユーザ入力(例えば、動的ファンクション行104によって表示されたユーザ選択可能記号/アフォーダンスのユーザ選択)を表す信号をコンピューティングデバイス202へと中継する。
図3Aは、いくつかの実施形態に係る、電子デバイス300のブロック図である。いくつかの実施形態において、電子デバイス300は、ラップトップ(例えば、図1Aのポータブルコンピューティングシステム100)などのポータブル電子デバイスである。いくつかの実施形態において、電子デバイス300は、ポータブルデバイスではなく、外付けディスプレイシステム(例えば、図2A〜図2Dの外付けディスプレイデバイス204)、及び任意選択的に、外付けタッチ感知面(例えば、図2B〜図2Cのタッチパッド108、並びに図2A〜図2Dの外付けディスプレイデバイス204及び/又は図2A〜図2Dの動的ファンクション行104などのタッチ感知ディスプレイ)と通信可能に連結されているデスクトップコンピュータ(例えば、図2A〜図2Dのデスクトップコンピューティングシステム200のコンピューティングデバイス202)である。
電子デバイス300は、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、画像管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウザアプリケーション、及び/又はメディアプレーヤアプリケーションのうちの1つ以上など、様々なアプリケーションをサポートする。
電子デバイス300上で実行される様々なアプリケーションは、タッチ感知面など、少なくとも1つの共通の物理ユーザインタフェースデバイスを任意選択的に使用する。タッチ感知面の1つ以上の機能並びに電子デバイス300によって表示される対応する情報は、1つのアプリケーションから次のアプリケーションへ、及び/又はアプリケーション内で、任意選択的に調整及び/又は変更される。この方式で、電子デバイス300の共通の物理アーキテクチャ(タッチ感知面など)は、ユーザにとって直感的かつ透過的であるユーザインタフェースを有する様々なアプリケーションを任意選択的にサポートする。
電子デバイス300は、メモリ302(1つ以上のコンピュータ可読記憶媒体を任意選択的に含む)、メモリコントローラ322、1つ以上の処理ユニット(CPU(単数又は複数))320、外付けインタフェース318、RF回路308、オーディオ回路310、スピーカ311、マイクロフォン313、入出力(I/O)サブシステム306、他の入力又は制御デバイス316、及び外部ポート324を含む。電子デバイス300は、タッチ感知ディスプレイ(本明細書では「タッチスクリーン」又は「タッチスクリーンディスプレイ」とも呼ばれることがある)であり得るディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104)を任意選択的に含む。電子デバイス300は、1つ以上の光センサ364を任意選択的に含む。電子デバイス300は、タッチ感知ディスプレイ又はタッチパッドなどのタッチ感知面上での接触の強度を検出するための1つ以上の強度センサ365を任意選択的に含む。電子デバイス300は、タッチ感知ディスプレイ又はタッチパッド(例えば、図1A〜図1Bのタッチパッド108)などのタッチ感知面上で触覚出力を生成するための1つ以上の触覚出力生成器367を任意選択的に含む。これらの構成要素は、1つ以上の通信バス又は信号ライン303を介して、任意選択的に通信する。
本明細書で使用される時、タッチ感知面上での接触の「強度」という用語は、タッチ感知面上での接触の(例えば、指接触)力又は圧力(単位面積当りの力)、或いはタッチ感知面上での接触の力又は圧力の代替物(代用物)を指す。接触の強度は、少なくとも4つの異なる数値を含み、より典型的には、数百以上の異なる数値(例えば、少なくとも256)を含む、数値の範囲を有する。接触の強度は、様々な方法及び様々なセンサ、又はセンサの組み合わせを使用して、任意選択的に、判定(又は、測定)される。例えば、タッチ感知面の下に又は隣接して配置された1つ以上のセンサは、タッチ感知面上の様々な点における力を測定するために、任意選択的に用いられる。いくつかの実装において、複数の力センサの力測定値を組み合わせて(例えば、加重平均)、接触の推定の力を判定する。同様に、スタイラスの感圧性先端部を任意選択的に使用して、タッチ感知面上のスタイラスの圧力を判定する。別の方法としては、タッチ感知面上で検出される接触領域のサイズ及び/若しくはその変化、接触に近接するタッチ感知面の電気容量及び/若しくはその変化、並びに/又は、接触に近接するタッチ感知面の抵抗及び/若しくはその変化が、タッチ感知面上の接触の力又は圧力の代用物として、任意選択的に用いられる。いくつかの実装において、接触の力又は圧力の代替的測定値は、強度閾値を超えているかを判定するために直接に用いられる(例えば、強度閾値は、代替的測定値に対応する単位で記述される)。いくつかの実装において、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、この推定される力又は圧力を用いて、強度閾値を超えているか判定される(例えば、強度閾値は、圧力の単位で測定された圧力閾値である)。
本明細書及び特許請求の範囲で使用される時、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、デバイスの別の構成要素(例えば、筐体)に対する物理的変位、又はデバイスの重心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの手の指、手のひら、又は他の部分)に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触感として、ユーザによって解釈される。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はタッチパッド/トラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。いくつかの場合、ユーザの移動により物理的に押された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない時でさえ、タッチ感知面の「粗さ」としてユーザによって、任意選択的に、解釈又は感じられる。このようなユーザによるタッチの解釈は、ユーザの個別の感覚認知によるが、大多数のユーザに共通したタッチの感覚認知が数多くある。したがって、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」「ダウンクリック」、「粗さ」)に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な(又は、平均的な)ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
電子デバイス300は一例に過ぎず、電子デバイス300は、示されるものよりも多いか又は少ない構成要素を任意選択的に有し、2つ以上の構成要素を任意選択的に組み合わせる、又は構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図3Aに示す様々な構成要素は、1つ以上の信号処理及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせで実装される。
メモリ302は、任意選択的に高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体メモリデバイスなどの、不揮発性メモリも含む。CPU(単数又は複数)320及び外付けインタフェース318など、電子デバイス300の他の構成要素によるメモリ302へのアクセスは、任意選択的に、メモリコントローラ322によって制御される。外付けインタフェース318は、入力及び出力周辺機器をCPU(単数又は複数)320及びメモリ302に連結する目的で使用することができる。1つ以上の処理ユニット320は、電子デバイス300ための様々な機能を実行するため、及びデータを処理するために、メモリ302に記憶された様々なソフトウェアプログラム及び/若しくは命令セットを走らせる、又は実行する。いくつかの実施形態において、外付けインタフェース318、CPU(単数又は複数)320、及びメモリコントローラ322は、任意選択的に、チップ304など単一チップ上に実装される。いくつかの他の実施形態において、これらは、個別のチップ上に任意選択的に実装される。
RF(無線周波数)回路308は、電磁信号とも呼ばれるRF信号を送受信する。RF回路308は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路308は、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(SIM)カード、メモリなどを含むがこれらに限定されない、上記の機能を実行するための周知の回路を任意選択的に含む。RF回路308は、インターネット情報検索システム(WWW)とも呼ばれるインターネットなどのネットワーク、セルラー電話ネットワークなどのイントラネット及び/又は無線ネットワーク、ワイアレスローカルエリアネットワーク(LAN)及び/又はメトロポリタンエリアネットワーク(MAN)、及び他のデバイスと無線通信によって任意選択的に通信する。無線通信は、移動通信用グローバルシステム(GSM(登録商標))、エンハンストデータGSM環境(EDGE(登録商標))、高速ダウンリンクパケットアクセス(HSDPA)、高速アップリンクパケットアクセス(HSUPA)、Evolution,Data−Only(EV−DO)、HSPA、HSPA+、2重セルHSPA(DC−HSPDA)、ロングタームエボリューション(LTE(登録商標))、近距離無線通信(NFC)、広帯域符号分割多元接続(W−CDMA)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、Bluetooth、Wireless Fidelity(Wi−Fi)(例えば、IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、及び/又はIEEE 802.11n)、ボイスオーバーインターネットプロトコル(VoIP)、Wi−MAX(登録商標)、電子メール用のプロトコル(例えば、インターネットメッセージアクセスプロトコル(IMAP)及び/又はポストオフィスプロトコル(POP))、インスタントメッセージング(例えば、extensible messaging and presence protocol(XMPP)、Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions(SIMPLE)、Instant Messaging and Presence Service(IMPS))、及び/又はショートメッセージサービス(SMS)、若しくは本文書の出願日の時点でまだ開発されていない通信プロトコルを含むが任意の他の好適な通信プロトコルを含むがこれらに限定されない複数の通信規格、プロトコル、及び技術のうちのいずれかを任意選択的に使用する。
オーディオ回路310、スピーカ311、及びマイクロフォン313は、ユーザと電子デバイス300との間のオーディオインタフェースを提供する。オーディオ回路310は、外付けインタフェース318からオーディオデータを受信し、オーディオデータを電気信号に変換し、電気信号をスピーカ311に送信する。スピーカ311は、電気信号を人間の可聴音波に変換する。オーディオ回路310は、マイクロフォン313により音波から変換された電気信号も受信する。オーディオ回路310は、電気信号をオーディオデータに変換し、オーディオデータを、処理するために外付けインタフェース318に送出する。オーディオデータは、外付けインタフェース318によって任意選択的に、メモリ302及び/若しくはRF回路308から取り込まれ、並びに/又はメモリ102及び/若しくはRF回路108へ送出される。いくつかの実施形態において、オーディオ回路310は、ヘッドセットジャックを含む。ヘッドセットジャックは、オーディオ回路310と、出力専用ヘッドホン又は出力(例えば、片耳又は両耳用のヘッドホン)及び入力(例えば、マイクロホン)の両方を持つヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム306は、ディスプレイシステム312及び他の入力又は制御デバイス316など、電子デバイス300の入出力周辺機器を外付けインタフェース318に連結する。I/Oサブシステム306は、ディスプレイコントローラ356、光センサコントローラ358、強度センサコントローラ359、触知フィードバックコントローラ361、及び他の入力又は制御デバイス用の1つ以上の他の入力コントローラ360を任意選択的に含む。1つ以上の他の入力コントローラ360は、他の入力又は制御デバイス316から/へ電気信号を送受信する。他の入力又は制御デバイス316は、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを任意選択的に含む。いくつかの代替実施形態において、他の入力コントローラ(単数又は複数)360は、任意選択的に、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかと連結される(、又はいずれとも連結されない)。1つ以上の物理ボタンは、スピーカ311及び/又はマイクロフォン313の音量調節ためのアップ/ダウンボタンを任意選択的に含む。
ディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104は、電子デバイス300とユーザとの間の出力インタフェースを提供する(ディスプレイシステム312がタッチ感知ディスプレイである場合には、任意選択的に、入力インタフェースも提供する)。ディスプレイコントローラ356ディスプレイシステム312から/へ電気信号を受信及び/又は送信する。ディスプレイシステム312は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組み合わせ(総称して「グラフィック」と称する)を任意選択的に含む。いくつかの実施形態においては、視覚出力の一部又は全てが、ユーザインタフェースオブジェクト/要素に対応する。
いくつかの実施形態において、ディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104)は、触知及び/又は触覚接触に基づいてユーザからの入力を受け入れるタッチ感知面、センサ、又は1組のセンサを有するタッチ感知ディスプレイである。そのため、ディスプレイシステム312及びディスプレイコントローラ356(メモリ302内の関連モジュール及び/又は命令セットと共に)は、ディスプレイシステム312上での接触(及び何らかの移動又は接触の中断)を検出し、検出された接触を、ディスプレイシステム312上に表示されているユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)との対話に変換する。一例示的実施形態においては、ディスプレイシステム312とユーザとの間の接触点が、ユーザの指の下のエリアに対応する。
ディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104)は、LCD(液晶ディスプレイ)技術、LPD(発光ポリマディスプレイ)技術、LED(発光ダイオード)技術、又はOLED(有機発光ダイオード)技術を任意選択的に使用するが、他の実施形態においては、他のディスプレイ技術が使用される。いくつかの実施形態において、ディスプレイシステム312がタッチ感知ディスプレイである場合には、ディスプレイシステム312及びディスプレイコントローラ356が、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、ディスプレイシステム312との1つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むがこれらに限定されない、現在現在公知である、又は後に開発される複数のタッチ感知技術のいずれかを使用して、接触及び何らかの移動又はその中断を任意選択的に検出する。一例示的実施形態においては、California州Cupertinoに所在するApple Inc.のiPHONE(登録商標)、iPODTOUCH(登録商標)、及びiPAD(登録商標)に見られるような、投影された相互キャパシタンス検知技術が使用されている。
ディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104)は、400dpiを超えるビデオ解像度(例えば、500dpi、800dpi、又はそれ以上)を任意選択的に有する。いくつかの実施形態において、ディスプレイシステム312は、ユーザが、スタイラス、指などを使用して任意選択的に接触するタッチ感知ディスプレイである。いくつかの実施形態において、ユーザインタフェースは、主として指による接触及びジェスチャで作動するように設計されている。いくつかの実施形態において、電子デバイス300は、指による粗い入力を正確なポインタ/カーソル位置又はユーザが望むアクションを実行するためのコマンドに変換する。
いくつかの実施形態において、電子デバイス300は、ディスプレイシステム312に加え、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド(例えば、図1A〜図1Bのタッチパッド108)も任意選択的に含む。いくつかの実施形態において、このタッチパッドは、ディスプレイシステム312とは異なり、視覚出力を表示しない、電子デバイス300のタッチ感知エリアである。いくつかの実施形態において、ディスプレイシステム312がタッチ感知ディスプレイである場合には、このタッチパッドが、任意選択的に、ディスプレイシステム312とは別々のタッチ感知面である、又はディスプレイシステム312によって形成されたタッチ感知面の延長である。
電子デバイス300はまた、様々な構成要素に電力を供給するための電力システム362も含む。電力システム362は、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC)など)、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、及びポータブルデバイスにおける発電、電力管理、及び配電と関連付けられたその他任意の構成要素を任意選択的に含む。
電子デバイス300はまた、I/Oサブシステム306内の光センサコントローラ358と連結された1つ以上の光センサ364も任意選択的に含む。光センサ(単数又は複数)364は、電荷結合デバイス(CCD)又は相補的金属酸化物半導体(CMOS)フォトトランジスタを任意選択的に含む。光センサ(単数又は複数)364は、1つ以上のレンズを通して投影された光を環境から受光し、その光を、画像を表すデータに変換する。光センサ(単数又は複数)364は、撮像モジュール343と連携して、静止画像又はビデオを任意選択的にキャプチャする。いくつかの実施形態においては、光センサが電子デバイス300の前面上に配置されており、ユーザがディスプレイシステム312で他のテレビ会議参加者を見ながら、ユーザの画像が、任意選択的に、テレビ会議のために取得されるようになっている。
電子デバイス300は、I/Oサブシステム306内の強度センサコントローラ359と連結された1つ以上の接触強度センサ(単数又は複数)365も任意選択的に含む。接触強度センサ(単数又は複数)365は、1つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気式力センサ、圧電式力センサ、光学式光センサ、容量式タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上での接触の力(又は圧力を測定するために使用するセンサ)を任意選択的に含む。接触強度センサ(単数又は複数)365は、接触強度情報(例えば、圧力情報又は圧力情報の代用物)を環境から受信する。いくつかの実施形態においては、少なくとも1つの接触強度センサが、タッチ感知面(例えば、図1A〜図1Bのタッチパッド108か、タッチ感知ディスプレイである場合にはディスプレイシステム312)に併置されている、又は近接している。
電子デバイス300はまた、I/Oサブシステム306内の触知フィードバックコントローラ361と連結された1つ以上の触覚出力生成器367も任意選択的に含む。触覚出力生成器(単数又は複数)367は、スピーカ又は他のオーディオ構成要素など1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマ、圧電アクチュエータ、静電アクチュエータ、若しくは他の触覚出力生成構成要素(例えば、デバイス上で電気信号を触覚出力に変換する構成要素)など、エネルギーを直線運動に変換する電気機械デバイスを任意選択的に含む。接触強度センサ(単数又は複数)365は、触知フィードバックモジュール333から触覚フィードバック生成命令を受信し、電子デバイス300のユーザが感知できる触覚出力を生成する。いくつかの実施形態においては、少なくとも1つの触覚出力生成器が、タッチ感知面(例えば、図1A〜図1Bのタッチパッド108か、タッチ感知ディスプレイである場合にはディスプレイシステム312)と併置されている、又は近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、電子デバイス300の表面の内/外)又は水平方向(例えば、電子デバイス300の表面と同じ平面の前後方向)に移動させることによって触覚出力を生成する。
電子デバイス300はまた、外付けインタフェース318と連結された1つ以上の近接センサ366も任意選択的に含む。代替として、近接センサ(単数又は複数)366は、I/Oサブシステム306内の他の入力コントローラ(単数又は複数)360と連結される。電子デバイス300は、外付けインタフェース318と連結された1つ以上の加速度計368も任意選択的に含む。代替として、加速度計(単数又は複数)368は、I/Oサブシステム306内の他の入力コントローラ(単数又は複数)360と連結される。
いくつかの実施形態において、メモリ302に記憶されたソフトウェア構成要素は、オペレーティングシステム326、通信モジュール328(又は命令セット)、接触/動きモジュール330(又は命令セット)、グラフィックモジュール332(又は命令セット)、アプリケーション340(又は命令セット)、及び動的ファンクション行モジュール350(又は命令セット)を含む。更に、いくつかの実施形態において、メモリ302は、図3Aに示すとおり、デバイス/グローバル内部状態357(又は命令セット)を記憶する。デバイス/グローバル内部状態357は、
現在アクティブであり、かつ/又はフォーカスが当たっているアプリケーションがあれば、それがどのアプリケーションかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104)及び/又は外付けディスプレイシステム(例えば、図2A〜図2Dの外付けディスプレイデバイス204のプライマリディスプレイ102及び/又は図2A〜図2Dの動的ファンクション行104)の様々な領域を占有しているかを示すディスプレイ状態、電子デバイス300の様々なセンサ及び入力又は制御デバイス316から取得された情報を含むセンサ状態、並びに、電子デバイス300の場所及び/又は姿勢に関する場所情報、
のうちの1つ以上を含む。
オペレーティングシステム326(例えば、DARWIN(登録商標)、RTXC(登録商標)、LINUX(登録商標)、UNIX(登録商標)、OS X(登録商標)、WINDOWS(登録商標)、又はVXWorks(登録商標)などの組み込みオペレーティングシステム)は、一般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理するための様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェアとソフトウェア構成要素との間の通信を容易にする。
通信モジュール328は、1つ以上の外部ポート324及び/又はRF回路308を介した他のデバイス(例えば、図2A〜図2Dの外付けディスプレイデバイス202、図2A及び図2Dの外付けマウス208、図2A〜図2Bの外付けキーボード206、図2Cの第1の外付け入力メカニズム212、並びに/又は図2Dの第2の外付け入力メカニズム222)との通信を容易にし、RF回路308及び/若しくは外部ポート324を介してデータを送受信するための様々なソフトウェア構成要素も含む。外部ポート324(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE(登録商標)など)は、直接的に、又はネットワーク(例えば、インターネット、無線LANなど)を介して間接的に他のデバイスに連結するように適合される。いくつかの実施形態において、外部ポート324は、iPod(登録商標)デバイス上で使用される30ピンコネクタと同一又は類似、かつ/又は互換性のあるマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール330は、(ディスプレイコントローラ356と連携して)ディスプレイシステム312との接触(タッチ感知ディスプレイである場合)、及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を任意選択的に検出する。接触/動きモジュール330は、接触が発生したかどうかの判定(例えば、フィンガダウンイベントの検出)、接触の強度(例えば、接触の力若しくは圧力、又は、接触の力若しくは圧力の代用語)の判定、接触の移動及びタッチ感知面にわたる動きの追跡(例えば、1つ以上のフィンガドラッグイベントの検出)があるかどうかの判定、及び接触が停止したかどうか(例えば、フィンガアップイベント又は接触の中断の検出)の判定などの、接触の検出に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。接触/動きモジュール330は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを任意選択的に含む。これらの動作は、任意選択的に、単一の接触(例えば、1つの指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態において、接触/動きモジュール330はまた、タッチパッド(例えば、図1A〜図1Bのタッチパッド108)上での接触も検出する。
いくつかの実施形態において、接触/動きモジュール330は、ユーザによって動作が実行されたかどうかを判定するための(例えば、ユーザがアフォーダンス上で選択したか「クリック」したかを判定するための)1組の1つ以上の強度閾値を使用する。いくつかの実施形態においては、強度閾値の少なくとも下位セットが、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されず、電子デバイス300の物理ハードウェアを変更することなく調整され得る)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく広範囲の既定の閾値のうちのいずれかに設定され得る。加えて、いくつかの実装において、デバイスのユーザには、(例えば、個々の強度閾値を調整することにより、及び/又は「強度」パラメータのシステムレベルのクリックで同時に複数の強度閾値を調整することによって)1組の強度閾値のうちの1つ以上を調整するためのソフトウェア設定が提供されている。
接触/動きモジュール330は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン(例えば、異なる動き、タイミング、及び/又は検出された接触の強度)を有する。したがって、ジェスチャは、特定の接触パターンを検出することによって、任意選択的に検出される。例えば、フィンガタップ接触を検出することは、フィンダダウンイベントを検出し、続いて、(例えば、アイコンの位置での)フィンダダウンイベントと同じ位置(又は実質的に同じ位置)でフィンガアップ(リフトオフ)イベントを検出することを含む。別の実施例として、タッチ感知面上でリンガスワイプジェスチャを検出することは、フィンダダウンイベントを検出し、続いて、指をドラッグする1つ以上のイベントを検出することを含み、いくつかの実施形態においては、続いて、フィンガアップ(リフトオフ)イベントを検出することも含む。
グラフィックモジュール332は、表示されているグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト又は他の視覚的性質)変更するための構成要素など、プライマリディスプレイ102(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102又は図2A〜図2Dの外付けディスプレイデバイス204のプライマリディスプレイ102)又は他のディスプレイ上でのグラフィックの表示をレンダーリングし、もたらすための様々な公知のソフトウェア構成要素を含む。本明細書で使用する時、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、それらのオブジェクトとしては、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、アニメーションなどが挙げられるが、これらに限定されない。いくつかの実施形態において、グラフィックモジュール332は、使用されるグラフィックを表すデータを記憶する。それぞれのグラフィックには、対応するコードが、任意選択的に、割り当てられる。グラフィックモジュール332は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィックプロパティデータと共に、表示されるグラフィックを指定する1つ以上のコードを受信し、ディスプレイコントローラ356に出力する画面画像データを生成する。
触知フィードバックモジュール333は、電子デバイス300とのユーザ対話に応答して電子デバイス300上の1つ以上の場所で触覚出力を生成するために、触覚出力生成器(単数又は複数)367によって使用される命令を生成するための様々なソフトウェア構成要素を含む。
アプリケーション電子デバイス340は、以下のモジュール(又は命令セット)、又は下位セット若しくはそれらの上位セットを任意選択的に含む。
・電子メールを受信、送信、作成、及び閲覧するための電子メールクライアントモジュール341(本明細書では「メールアプリ」又は「電子メールアプリ」とも呼ばれることがある)、
・静止画像及び/又は動画をキャプチャするための撮像モジュール342、
・静止画像及び/又は動画を編集及び閲覧するための画像管理モジュール343(本明細書では「写真アプリ」とも呼ばれることがある)、
・オーディオ及び/又はビデオを再生するためのメディアプレーヤモジュール344(本明細書では「メディアプレーヤアプリ」とも呼ばれることがある)、及び
・インターネットに接続し、閲覧するためのウェブブラウジングモジュール345(本明細書では「ウェブブラウザ」とも呼ばれることがある)。
任意選択的にメモリ302に記憶される他のアプリケーション340の例としては、メッセージング及び通信アプリケーション、ワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化アプリケーション、デジタル著作権管理アプリケーション、音声認識アプリケーション、及び音声複製アプリケーションが挙げられる。
電子メールクライアントモジュール341は、RF回路308、ディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104)、ディスプレイコントローラ356、及び接触モジュール330、グラフィックモジュール332、のうちの1つ以上と連携して、ユーザ命令に応答して電子メールを作成、送信、受信、及び管理するための実行可能命令を含む。画像管理モジュール343と連携して、電子メールクライアントモジュール341は、撮像モジュール342で撮影した静止画像又は動画を有する電子メールを非常に作成及び送信しやすくする。
ディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104)、ディスプレイコントローラ356、光センサ(単数又は複数)364、光センサコントローラ358、接触モジュール330、グラフィックモジュール332、及び画像管理モジュール343のうちの1つ以上と連携して、撮像モジュール342は、静止画像又はビデオ(ビデオストリームを含む)をキャプチャ、それらをメモリ302内に記憶、静止画像又はビデオの特徴を修正、又は静止画像又はビデオをメモリ302から削除するための実行可能命令を含む。
ディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1B動的ファンクション行104)、ディスプレイコントローラ356、接触モジュール330、グラフィックモジュール332、及び撮像モジュール342のうちの1つ以上と連携して、画像管理モジュール343は、静止画像及び/又は動画を配置、修正(例えば、編集)、又は他の方法で操作、ラベル付け、削除、提示(例えば、デジタルスライドショー又はアルバムで)、及び記憶するための実行可能命令を含む。
ディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104)、ディスプレイコントローラ356、接触モジュール330、グラフィックモジュール332、オーディオ回路310、スピーカ311、RF回路308、及びウェブブラウジングモジュール347のうちの1つ以上と連携して、メディアプレーヤモジュール345は、ユーザが、MP3又はAACファイルなど1つ以上のファイル形式で記憶された記録された音楽及び他のサウンドファイルをダウンロード及び再生できるようするための実行可能命令と、(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102上、又は外部ポート324を介して接続された図2A〜図2Bの外付けディスプレイデバイス2014のプライマリディスプレイ102上で)ビデオを表示、提示又は他の方法で再生するための実行可能命令と、を含む。
RF回路308、ディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104)、ディスプレイコントローラ356、接触モジュール330と、及びグラフィックモジュール332のうちの1つ以上と連携して、ウェブブラウジングモジュール347は、ウェブページ又はそれらの一部分、並びに添付ファイル及びウェブページにリンクされた他のファイルを検索、リンク、受信、及び表示することを含むユーザ命令に従ってインターネットを閲覧するための実行可能命令を含む。
動的ファンクション行(DFR)モジュール350は、フォーカス判定モジュール351、DFR判定モジュール352、及びDFR提示モジュール353を含む。いくつかの実施形態において、フォーカス判定モジュール351は、ディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102)又は外付けディスプレイシステム(例えば、図2A〜図2Dの外付けディスプレイデバイス204)によって表示されたグラフィカルユーザインタフェース上でフォーカスが当たっているアクティブなユーザインタフェース要素を判定するように構成されている。いくつかの実施形態において、DFR判定モジュール352は、フォーカスが当たっているアクティブなユーザインタフェース要素に基づいてグラフィック(例えば、1組の1つ以上のアフォーダンス)を判定するように構成されている。いくつかの実施形態において、DFR提示モジュール353は、DFR判定モジュール352によって判定されたグラフィックをディスプレイシステム312(例えば、図1A〜図1Bの動的ファンクション行104)上でレンダーリングするように構成されている。DFR提示モジュール353は、表示されているグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト又は他の視覚特性)を変更するための構成要素を含むグラフィックをディスプレイシステム312(例えば、図1A〜図1Bの動的ファンクション行104)上でレンダーリングし、表示させるための様々な公知のソフトウェア構成要素を含む。本明細書で使用する時、「グラフィック」という用語は、ユーザに対して表示できる任意のオブジェクトを含み、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、アニメーションなどが挙げられるが、これらに限定されない。いくつかの実施形態において、DFRモジュール350は、動的ファンクション行104の感度を調節する、動的ファンクション行104によって提供された可聴及び/又は触知フィードバックを調節する、アフォーダンスの設定及び動的ファンクション行104によって表示された情報(例えば、サイズ、輝度、フォント、言語など)を調節する、動的ファンクション行104の現在の電力モード(例えば、通常及び低電力モード)を調節する、などのための他のモジュールを含む。
上記で識別されたモジュール及びアプリケーションのそれぞれは、1つ又はそれ以上の上記の機能を実行するための実行可能命令セット及び本出願に記載の方法(例えば、コンピュータにより実行される方法及び本明細書に記載の他の情報処理方法)に対応する。これらのモジュール(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々な下位セットは、様々な実施形態において、任意選択的に、組み合わせ、又は再配置される。いくつかの実施形態において、メモリ302は、上述の識別されたモジュール及びデータ構造の下位セットを任意選択的に記憶する。更に、メモリ302は、上述されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
図3Bは、いくつかの実施形態に係る、図3Aのイベント処理のための構成要素のブロック図である。いくつかの実施形態において、メモリ302(図3A)は、イベントソータ370(例えば、オペレーティングシステム326内)及びアプリケーション340−1(例えば、上述のアプリケーション341、342、343、344、又は345のいずれか)を含む。
イベントソータ370は、イベント情報を受信し、イベント情報を配布するアプリケーション340−1及びアプリケーション340−1のアプリケーションビュー391を決定する。イベントソータ370は、イベントモニタ371及びイベントディスパッチャモジュール374を含む。いくつかの実施形態において、アプリケーション340−1は、そのアプリケーションがアクティブである、又は実行中である場合にディスプレイシステム312(例えば、図1Aディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104)上に表示されている現在のアプリケーションビュー(単数又は複数)を示すアプリケーション内部状態392を含む。いくつかの実施形態において、デバイス/グローバル内部状態357は、どのアプリケーション(単数又は複数)が現在アクティブである、又はフォーカスが当たっているかを判定するためにイベントソータ370によって使用され、アプリケーション内部状態392は、イベント情報の配信先となるアプリケーションビュー391を決定するためにイベントソータ370によって使用される。
いくつかの実施形態において、アプリケーション内部状態392は、アプリケーション340−1が実行を再開する際に使用される再開情報、アプリケーション340−1によって情報が表示されているか又は表示の準備が整っていることを示すユーザインタフェース状態情報、ユーザがアプリケーション340−1の以前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが以前に行ったアクションのリドゥ/アンドゥ待ち行列のうちの1つ以上などの追加情報を含む。
イベントモニタ371は、外付けインタフェース318からイベント情報を受信する。イベント情報は、サブイベント(例えば、タッチ感知ディスプレイである場合には、マルチタッチジェスチャの一部としての、ディスプレイシステム312上でのユーザのタッチ)についての情報を含む。外付けインタフェース318は、I/Oサブシステム306又は近接センサ(単数又は複数)366、加速度計(単数又は複数)368、及び/若しくはマイクロフォン313などのセンサから受信する情報を(オーディオ回路310を通じて)送出する。外付けインタフェース318がタッチ感知ディスプレイである、又は別のタッチ感知面(例えば、図1A〜図1Bのタッチパッド108)である場合、外付けインタフェース318がI/Oサブシステム306から受信する情報は、ディスプレイシステム312からの情報を含む。
いくつかの実施形態において、イベントモニタ371は、所定の間隔で外付けインタフェース318に要求を送る。これに応じて、外付けインタフェース318は、イベント情報を送出する。他の実施形態において、周辺機器ンタフェース318は、重要なイベント(例えば、所定のノイズ閾値を超える、及び/又は所定時間より長い入力を受け付けること)がある場合にのみイベント情報を送出する。
いくつかの実施形態において、イベントソータ370はまた、ヒットビュー判定モジュール372及び/又はアクティブイベント認識部判定モジュール373も含む。
ヒットビュー判定モジュール372は、ユーザがディスプレイ上で視認できるコントロール及び他の要素からなる1つより多くのビューをディスプレイシステム312が表示する場合に、1つ以上のビュー内のどこでサブイベントが行われたかを判定するためのソフトウェア手続きを提供する。
アプリケーションに関連付けられるユーザインタフェースの別の態様は、本明細書では、アプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合がある、ビューのセットであり、それらの中で、情報が表示され、タッチに基づくジェスチャが実施される。タッチが検出される(アプリケーションの)アプリケーションビューは、任意選択的に、そのアプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最低レベルのビューは、任意選択的に、ヒットビューと呼ばれ、適切な入力として認識される1組のイベントは、少なくとも部分的に、タッチベースのジェスチャを開始する最初のタッチのヒットビューに基づいて、任意選択的に、判定される。
ヒットビュー判断モジュール372は、タッチベースのジェスチャのサブイベントと関連付けられた情報を受信する。アプリケーションが、階層として編成された複数のビューを有する場合、ヒットビュー判定モジュール372は、サブイベントを処理するべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、最初のサブイベント(即ち、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント)が発生する最低レベルのビューである。ヒットビューがヒットビュー判定モジュールによって識別されると、ヒットビューは、典型的には、それがヒットビューとして識別された、同じタッチ又は入力ソースに関連する全てのサブイベントを受け付ける。
アクティブイベントレコグナイザ判断モジュール373は、ビュー階層内のどのビュー(1つ以上)がサブイベントの特定のシーケンスを受け取るべきかを判断する。いくつかの実施形態において、アクティブイベント認識部判定モジュール373は、ヒットビューのみがサブイベントの特定のシーケンスを受け付けるべきであると判定する。他の実施形態において、アクティブイベント認識部判定モジュール373は、サブイベントの物理的な位置を含む全てのビューはアクティブに関わっているビューであると判定し、したがって、全てのアクティブに関わっているビューは、サブイベントの特定のシーケンスを受け付けるべきであると判定する。他の実施形態において、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューはアクティブに関わっているビューのままであるであろう。
イベントディスパッチャモジュール374は、イベント情報をイベント認識部(例えば、イベント認識部380)に送信する。アクティブイベント識別部判定モジュール373を含む実施形態において、イベントディスパッチャモジュール374は、アクティブイベント認識部判定モジュール373により判定されたイベント認識部にイベント情報を配布する。いくつかの実施形態において、イベントディスパッチャモジュール374は、それぞれのイベント受信部モジュール382により取得されるイベント情報をイベント待ち行列内に記憶する。
いくつかの実施形態において、オペレーティングシステム326は、イベントソータ370を含む。或いは、アプリケーション340−1が、イベントソータ370を含む。更に他の実施形態において、イベントソータ370は、スタンドアロンモジュール、又は接触/動きモジュール330などのメモリ302に記憶された他のモジュールの一部である。
いくつかの実施形態において、アプリケーション340−1は、そのアプリケーションのユーザインタフェースの各ビュー内で発生するタッチイベントを処理する命令をそれぞれが含む、複数のイベントハンドラ390及び1つ以上のアプリケーションビュー391を含む。アプリケーション340−1のそれぞれのアプリケーションビュー391は、イベント認識部380のうちの1つ以上を含む。アプリケーションビュー391は、複数のイベント認識部380を含むのが典型的である。他の実施形態において、イベント認識部380のうちの1つ以上は、ユーザインタフェースキット(図示せず)又はアプリケーション340−1が方法及び他の性質を継承する上位レベルのオブジェクトなど、別個のモジュールの一部である。いくつかの実施形態において、それぞれのイベントハンドラ390は、データアップデーター376、オブジェクトアップデーター377、GUIアップデーター378、及び/又はイベントソータ370から受け付けたイベントデータ379のうちの1つ以上を含む。イベントハンドラ390は、アプリケーション内部状態392を更新するために、データアップデーター376、オブジェクトアップデーター377、又はGUIアップデーター378を任意選択的に、利用若しくは呼び出す。或いは、アプリケーションビュー391のうちの1つ以上は、1つ以上のそれぞれのイベントハンドラ390を含む。また、いくつかの実施形態においては、データアップデーター376、オブジェクトアップデーター377、及びGUIアップデーター378のうちの1つ以上がアプリケーションビュー391内に含まれている。
各イベント認識部380は、イベントソータ370からイベント情報(例えば、イベントデータ379)を受信して、そのイベント情報からイベントを特定する。イベント認識部380は、イベント受信部382及びイベント比較部384を含む。いくつかの実施形態において、イベント認識部380は更に、メタデータ383及びイベント配布命令388(任意選択的に、サブイベント配布命令を含む)の少なくとも下位セットを含む。
イベント受信器382は、イベントソータ370からイベント情報を受信する。イベント情報は、例えば、タッチ又はタッチの移動などのサブイベントの情報を含む。サブイベントによっては、イベント情報は、サブイベントの位置などの追加情報をもまた含む。サブイベントが、タッチの動きに関わる時、イベント情報は、サブイベントの速度及び方向を任意選択的に、更に含む。いくつかの実施形態において、イベントは、ある方向から別の方向へ(例えば、ポートレートの向きからランドスケープの向きへ、又はその逆)のデバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ばれる)についての対応する情報を含む。
イベント比較部384は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較により、イベント又はサブイベントを判断、又はイベント若しくはサブイベントの状態を判断又は更新する。いくつかの実施形態において、イベント比較部384は、イベント定義386を含む。イベント定義386は、例えば、イベント1(387−1)、イベント2(387−2)などの、イベントの定義(例えば、サブイベントの既定のシーケンス)を含む。いくつかの実施形態において、イベント387内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチの移動、タッチの中止、及び複数のタッチを含む。ある実施例において、イベント1(387−1)の定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の所定の段階についての第1のタッチ(タッチ開始)、所定の段階についての第1のリフトオフ(タッチ終了)、表示されたオブジェクト上の所定の段階についての第2のタッチ(タッチ開始)、及び所定の段階についての第2のリフトオフ(タッチ終了)を含む。別の実施形態において、イベント2(387〜2)の定義は、表示されたオブジェクト上のドラッグである。ドラッギングは、例えば、表示されたオブジェクト上の所定の段階についてのタッチ(又は接触)、タッチ感知ディスプレイである場合には、ディスプレイシステム312を横切るタッチの移動、及びタッチのリフトオフ(タッチ終了)を含む。いくつかの実施形態において、イベントは、1つ以上の関連付けられたイベントハンドラ390についての情報も含む。
いくつかの実施形態において、イベント定義387は、それぞれのユーザインタフェースオブジェクト用のイベントの定義を含む。いくつかの実施形態において、イベント比較部384は、サブイベントに関連付けられたユーザインタフェースオブジェクトを判定するヒットテストを実行する。例えば、3つのユーザインタフェースオブジェクトがディスプレイシステム312上に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイである場合にディスプレイシステム312上でタッチが検出されると、イベント比較部384は、3つのユーザインタフェースオブジェクトのうちのどれがタッチ(サブイベント)と関連付けられているかを判定するためのヒットテストを行う。表示されたそれぞれのオブジェクトが、それぞれのイベントハンドラ390に関連付けられている場合、イベント比較部はヒットテストの結果を用いて、アクティブ化する必要のあるイベントハンドラ390を判定する。例えば、イベント比較部384は、サブイベント及びヒットテストのトリガーとなるオブジェクトに関連付けられたイベントハンドラを選択する。
いくつかの実施形態において、各イベント387に関する定義はまた、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の送付を遅延させる、遅延作用も含む。
それぞれのイベント認識部380は、一連のサブイベントがイベント定義386のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部380は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチベースのジェスチャの次のサブイベントを無視する。この状況では、もしあれば、ヒットビューについてアクティブのままである他のイベント認識部は、進行中のタッチベースのジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態において、それぞれのイベント認識部380は、構成可能なプロパティ、フラグ、及び/又はイベント配信システムがアクティブに関わっているイベント認識部にどのようにサブイベント配信を実行するかについて示すリストを持つメタデータ383を含む。いくつかの実施形態において、メタデータ383は、イベント認識部が互いにどのように対話し得るかについて示す構成可能なプロパティ、フラグ、及び/又はリストを含む。いくつかの実施形態において、メタデータ383は、構成可能なプロパティ、フラグ、及び/又はサブイベントがビュー階層又はプログラム階層内の様々なレベルに配布されるかどうかを示すリストを含む。
いくつかの実施形態において、それぞれのイベント認識部380は、イベントの1つ以上の特定のサブイベントが認識された時に、イベントに関連付けられたイベントハンドラ390をアクティブ化する。いくつかの実施形態において、それぞれのイベント認識部380は、イベントハンドラ390に、イベントに関連付けられたイベント情報を配布する。イベントハンドラ390をアクティブ化することと、それぞれのヒットビューにサブイベントを送信(及び送信を延期する)することとは、別個である。いくつかの実施形態において、イベント認識部380は、認識されたイベントに関連付けられたフラグをスローし、フラグに関連付けられたイベントハンドラ390はフラグをキャッチし、既定の処理を実行する。
いくつかの実施形態において、イベント配信命令388は、イベントハンドラをアクティブ化せずにサブイベントに関するイベント情報を配信するサブイベント配信命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントに関連付けられたイベントハンドラ又はアクティブに関わっているビューにイベント情報を配布する。一連のサブイベント又はアクティブに関わっているビューに関連付けられているイベントハンドラは、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態において、データアップデーター376は、アプリケーション340−1で使用されるデータを作成及び更新する。例えば、データアップデーター376は、メディアプレーヤモジュール344によって使用されるビデオファイルを記憶する。いくつかの実施形態において、オブジェクトアップデーター377は、アプリケーション340−1によって使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデーター376は、新たなユーザインタフェースオブジェクトを作成したり、ユーザインタフェースオブジェクトの位置を更新したりする。GUIアップデーター378は、GUIを更新する。例えば、GUIアップデーター378は、表示情報を用意し、その情報を、ディスプレイシステム312(例えば、図1Aのディスプレイ部分110のプライマリディスプレイ102及び/又は図1A〜図1Bの動的ファンクション行104)上に表示するためにグラフィックモジュール332に送る。
いくつかの実施形態において、イベントハンドラ390は、データアップデーター376、オブジェクトアップデーター377、及びGUIアップデーター378を含むか、若しくはそれらに対するアクセスを有する。いくつかの実施形態において、データアップデーター376、オブジェクトアップデーター377、及びGUIアップデーター378は、アプリケーション340−1又はアプリケーションビュー391の1つのモジュールに含まれる。他の実施形態において、それらは、2つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上でのユーザのタッチのイベント処理に関する前述の論考はまた、入力デバイスを使用して電子デバイス300を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことが理解されよう。例えば、単一又は複数のキーボードの押下又は保持に任意選択的に合わせたマウスの移動及びマウスボタンの押下、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口伝え、検出された眼球運動、バイオメトリック入力、及び/又はこれらの任意の組み合わせが、認識対象のイベントを定義するサブイベントに対応する入力として、任意選択的に利用される。
図4は、いくつかの実施形態に係る、外付け電子デバイス400のブロック図である。いくつかの実施形態において、外付け電子デバイス400は、動的ファンクション行104と、1組の物理キー(例えば、図2A〜図2Bの1組の物理キー106)及び/又はタッチパッド(例えば、図2B〜図2Cのタッチパッド108)などの物理入力メカニズムと、を同じ筐体内に少なくとも部分的に格納している外付け入出力デバイスである。外付け電子デバイス400の例としては、外付けキーボード(例えば、図2A〜図2Bの外付けキーボード206)、外付けタッチ感知面(例えば、図2Cの第1の外付け入力メカニズム212)、又は他の外付け入力メカニズム(例えば、図2Dの第2の外付け入力メカニズム222)が挙げられる。外付け電子デバイス400は、コンピューティングデバイス202(図2A〜図2D)と通信可能に連結されている。例えば、外付け電子デバイス400は、USB若しくはPS/2などの有線接続を介して、又はBluetooth、Wi−Fiなどの通信プロトコルを使用した無線通信リンクを介してコンピューティングデバイス202と通信可能に連結されている。外付け電子デバイス400は、電子デバイス300内の構成要素若しくは手続きのいくつか(図3A)、又は電子デバイス300ではなく外付け電子デバイス400によって完了されるか、外付け電子デバイス400内にあるか、若しくは外付け電子デバイス400によって収容され得るこれらの構成要素又は手続きのいくつかに依存し得る。
いくつかの実施形態において、外付け電子デバイス400は、メモリ402(1つ以上のコンピュータ可読記憶媒体を任意選択的に含む)、メモリコントローラ422、1つ以上の処理ユニット(CPU(単数又は複数))420、外付けインタフェース418、RF回路408、オーディオ回路410、スピーカ411、マイクロフォン413、入出力(I/O)サブシステム406、他の入力又は制御デバイス416、及び外部ポート424のうちの1つ以上を含む。外付け電子デバイス400は、タッチ感知ディスプレイシステム412(例えば、図2A〜図2Dの動的ファンクション行104)(本明細書では「タッチ感知ディスプレイ」、「タッチスクリーン」、又は「タッチスクリーンディスプレイ」とも呼ばれることがある)を含む。
外付け電子デバイス400は、タッチ感知ディスプレイシステム412又はタッチパッド(例えば、図2B〜図2Cのタッチパッド108)などのタッチ感知面上で接触の強度を検出するための1つ以上の強度センサ465を任意選択的に含む。外付け電子デバイス400は、タッチ感知ディスプレイシステム412又はタッチパッド(例えば、図2B〜図2Cタッチパッド108)などのタッチ感知面上で触覚出力を生成するための1つ以上の触覚出力生成器467を任意選択的に含む。これらの構成要素は、1つ以上の通信バス又は信号ライン403を介して、任意選択的に通信する。
メモリ402は、任意選択的に高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体メモリデバイスなどの不揮発性メモリも含む。CPU(単数又は複数)420及び外付けインタフェース418など、外付け電子デバイス400の他の構成要素によるメモリ402へのアクセスは、任意選択的に、メモリコントローラ422によって制御される。外付けインタフェース418は、CPU(単数又は複数)420及びメモリ402をI/Oサブシステム406及び他の回路に連結する目的で使用することができる。1つ以上の処理ユニット420は、外付け電子デバイス400ための様々な機能を実行するため、及びデータを処理するために、メモリ402に記憶された様々なソフトウェアプログラム及び/若しくは命令セットを走らせたり、又は実行したりする。いくつかの実施形態において、外付けインタフェース418、CPU(単数又は複数)420、及びメモリコントローラ422は、任意選択的に、チップ404など単一チップ上に実装される。いくつかの他の実施形態において、これらは、個別のチップ上に、任意選択的に、実装される。
RF(無線周波数)回路408は、電磁信号とも呼ばれるRF信号を送受信する。RF回路408は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路408は、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(SIM)カード、メモリなどを含むがこれらに限定されない、上記の機能を実行するための周知の回路を任意選択的に含む。無線通信は、近距離無線通信(NFC)、Bluetooth、Wireless Fidelity(Wi−Fi)(例えば、IEEE802.11a、IEEE802.11b、IEEE802.11g、及び/又はIEEE802.11n)、Wi−MAX、又は本書の出願日時点でまだ開発されていない通信プロトコルを含むその他任意の好適な通信プロトコルを含むがこれらに限定されない複数の通信規格、プロトコル、及び技術のいずれかを任意選択的に使用する。
任意選択的なオーディオ回路410、スピーカ411及びマイクロフォン413は、ユーザと外付け電子デバイス400との間でのオーディオインタフェースを提供する。オーディオ回路410は、外付けインタフェース418からオーディオデータを受信し、オーディオデータを電気信号に変換し、電気信号をスピーカ411に送信する。スピーカ411は、電気信号を人間の可聴音波に変換する。オーディオ回路410は、マイクロフォン413により音波から変換された電気信号も受信する。オーディオ回路410は、電気信号をオーディオデータに変換し、オーディオデータを、処理するために外付けインタフェース418に送出する。オーディオデータは、外付けインタフェース418によって任意選択的に、メモリ402及び/若しくはRF回路408から取り込まれ、並びに/又はメモリ102及び/若しくはRF回路108へ送出される。いくつかの実施形態において、オーディオ回路410は、ヘッドセットジャックも含む。ヘッドセットジャックは、オーディオ回路410と、出力専用ヘッドホン又は出力(例えば、片耳又は両耳用のヘッドホン)及び入力(例えば、マイクロホン)の両方を持つヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム406は、タッチ感知ディスプレイシステム412(例えば、図2A〜図2Dの動的ファンクション行104)など、外付け電子デバイス400の入出力周辺機器を外付けインタフェース418に連結する。I/Oサブシステム406は、ディスプレイコントローラ456、強度センサコントローラ459、触知フィードバックコントローラ461、及び他の入力又は制御デバイス416用の1つ以上の入力コントローラ460を任意選択的に含む。1つ以上の他の入力コントローラ460は、他の入力又は制御デバイス416から/へ電気信号を送受信する。他の入力又は制御デバイス416は、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイール、1組の物理キー、タッチパッドなどを任意選択的に含む。
タッチ感知ディスプレイシステム412(例えば、図2A〜図2Dの動的ファンクション行104)は、外付け電子デバイス400とユーザとの間での入出力インタフェースを提供する。タッチ感知ディスプレイ(TSD)コントローラ456は、タッチ感知ディスプレイシステム412から/へ電気信号を受信及び/又は送信する。タッチ感知ディスプレイシステム412は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組み合わせ(総称して「グラフィック」と称する)を任意選択的に含む。いくつかの実施形態においては、視覚出力の一部又は全てが、ユーザインタフェースオブジェクト/要素に対応する。
タッチ感知ディスプレイシステム412(例えば、図2A〜図2Dの動的ファンクション行104)は、触知及び/又は触覚接触に基づいてユーザからの入力を受け入れるタッチ感知面、センサ、又は1組のセンサを含む。そのため、タッチ感知ディスプレイシステム412及びTSDコントローラ456(任意の関連モジュール及び/又はメモリ402内の命令セットと共に)は、タッチ感知ディスプレイシステム412上で接触(及びその接触の任意の移動又は中断)を検出し、検出された接触を、タッチ感知ディスプレイシステム412上に表示されているユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)を選択又は制御するのに使用される信号に変換する。一例示的実施形態においては、タッチ感知ディスプレイシステム412とユーザとの間の接触点が、ユーザの指と接触しているタッチ感知ディスプレイシステム412のエリアに対応する。
タッチ感知ディスプレイシステム412(例えば、図2A〜図2D動的ファンクション行104)は、LCD(液晶ディスプレイ)技術、LPD(発光ポリマディスプレイ)技術、LED(発光ダイオード)技術、又はOLED(有機発光ダイオード)技術を任意選択的に使用するが、他の実施形態においては、他のディスプレイ技術が使用される。タッチ感知ディスプレイシステム412及びTSDコントローラ456は、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、タッチ感知ディスプレイシステム412との1つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むがこれらに限定されない、現在公知である、又は後に開発される複数のタッチ感知技術のいずれかを使用して、接触及び任意の移動又はその中断を任意選択的に検出する。一例示的実施形態、California州Cupertinoに所在するApple Inc.のiPHONE(登録商標)、iPODTOUCH(登録商標)、及びiPAD(登録商標)において見られるような、投影された相互キャパシタンス検知技術が使用されている。
タッチ感知ディスプレイシステム412(例えば、図2A〜図2Dの動的ファンクション行104)は、400dpiを超えるビデオ解像度(例えば、500dpi、800dpi、又はそれ以上)を任意選択的に有する。いくつかの実施形態において、ユーザは、スタイラス、指などを使用してタッチ感知ディスプレイシステム412と接触する。いくつかの実施形態において、ユーザインタフェースは、主として指による接触及びジェスチャで作動するように設計されている。
いくつかの実施形態において、外付け電子デバイス400は、タッチ感知ディスプレイシステム412に加え、タッチパッド(例えば、図2B〜図2Cタッチパッド108)も任意選択的に含む。いくつかの実施形態において、このタッチパッドは、タッチ感知ディスプレイシステム412とは異なり、視覚出力を表示しない、外付け電子デバイス400のタッチ感知エリアである。いくつかの実施形態において、このタッチパッドは、任意選択的に、タッチ感知ディスプレイシステム412とは別々のタッチ感知面である、又はタッチ感知ディスプレイシステム412によって形成されたタッチ感知面の延長である。
外付け電子デバイス400はまた、様々な構成要素に電力を供給するための電力システム462も含む。電力システム462は、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC)など)、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、及びポータブルデバイスにおける発電、電力管理、及び配電と関連付けられたその他任意の構成要素を任意選択的に含む。
外付け電子デバイス400は、I/Oサブシステム406内の強度センサコントローラ459と連結された1つ以上の接触強度センサ465も任意選択的に含む。接触強度センサ(単数又は複数)465は、1つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気式力センサ、圧電式力センサ、光学式光センサ、容量式タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上での接触の力(又は圧力を測定するために使用するセンサ)を任意選択的に含む。接触強度センサ(単数又は複数)465は、接触強度情報(例えば、圧力情報又は圧力情報の代用物)を環境から受信する。いくつかの実施形態においては、少なくとも1つの接触強度センサが、タッチ感知面(例えば、図2B〜図2Cのタッチ感知ディスプレイシステム412及び/又はタッチパッド108)と併置されている、又は近接している。
外付け電子デバイス400は、I/Oサブシステム406内の触知フィードバックコントローラ461と連結された1つ以上の触覚出力生成器467も任意選択的に含む。触覚出力生成器(単数又は複数)467は、スピーカ又は他のオーディオ構成要素など1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマ、圧電アクチュエータ、静電アクチュエータ、若しくは他の触覚出力生成構成要素(例えば、デバイス上で電気信号を触覚出力に変換する構成要素)など、エネルギーを直線運動に変換する電気機械デバイスを任意選択的に含む。接触強度センサ(単数又は複数)465は、触知フィードバックモジュール433から触覚フィードバック生成命令を受信し、外付け電子デバイス400のユーザが感知できる触覚出力を生成する。いくつかの実施形態においては、少なくとも1つの触覚出力生成器が、タッチ感知面(例えば、図2B〜図2Cのタッチ感知ディスプレイシステム412及び/又はタッチパッド108)と併置されている、又は近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、外付け電子デバイス400の表面の内/外)又は水平方向(例えば、外付け電子デバイス400の表面と同じ平面の前後方向)に移動させることによって触知出力を生成する。
いくつかの実施形態において、メモリ402に記憶されたソフトウェア構成要素は、オペレーティングシステム426、通信モジュール428(又は命令セット)、接触/動きモジュール430(又は命令セット)、及び動的ファンクション行モジュール450(又は命令セット)を含む。更に、いくつかの実施形態においては、メモリ402が、タッチ感知ディスプレイシステム412(例えば、図2A〜図2Dの動的ファンクション行104)の様々な領域を占有しているビュー又は他の情報を示すディスプレイ状態を含むデバイス状態457を記憶する。
オペレーティングシステム426は、一般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理するための様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間での通信を容易にする。
通信モジュール428は、1つ以上の外部ポート424及び/又はRF回路408経由での他のデバイス(例えば、図2A〜図2Dのコンピューティングデバイス202)との通信を容易にし、RF回路408及び/又は外部ポート424を介してデータを送受信するための様々なソフトウェア構成要素も含む。外部ポート424(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE(登録商標)など)は、直接的に、又はネットワーク(例えば、インターネット、無線LANなど)を介して間接的に他のデバイスに連結するように適合される。
接触/動きモジュール430は、任意選択的に、タッチ感知ディスプレイシステム412及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を検出する。接触/動きモジュール430は、接触が発生したかどうかの判定(例えば、フィンガダウンイベントの検出)、接触の強度(例えば、接触の力若しくは圧力、又は、接触の力若しくは圧力の代用語)の判定、接触の移動及びタッチ感知面にわたる動きの追跡(例えば、1つ以上のフィンガドラッグイベントの検出)があるかどうかの判定、及び接触が停止したかどうか(例えば、フィンガアップイベント又は接触の中断の検出)の判定などの、接触の検出に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。接触/動きモジュール430は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを任意選択的に含む。これらの動作は、任意選択的に、単一の接触(例えば、1つの指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態において、接触/動きモジュール430はまた、タッチパッド(例えば、図2B〜図2Cのタッチパッド108)上での接触も検出する。
いくつかの実施形態において、接触/動きモジュール430は、1組の1つ以上の強度閾値を使用して、ユーザによって動作が実行されたかどうかを判定する(例えば、ユーザがアフォーダンスを選択又は「クリック」したかどうかを判定する)。いくつかの実施形態においては、強度閾値の少なくとも下位セットが、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されず、外付け電子デバイス400の物理ハードウェアを変更することなく調整され得る)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく広範囲の既定の閾値のうちのいずれかに設定され得る。加えて、いくつかの実装において、デバイスのユーザには、(例えば、個々の強度閾値を調整することにより、及び/又は「強度」パラメータのシステムレベルのクリックで同時に複数の強度閾値を調整することによって)1組の強度閾値のうちの1つ以上を調整するためのソフトウェア設定が提供されている。
接触/動きモジュール430は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン(例えば、異なる動き、タイミング、及び/又は検出された接触の強度)を有する。したがって、ジェスチャは、特定の接触パターンを検出することによって、任意選択的に検出される。例えば、フィンガタップ接触を検出することは、フィンダダウンイベントを検出し、続いて、フィンダダウンイベント(例えば、アイコンの位置での)と同じ位置(又は実質的に同じ位置)でフィンガアップ(リフトオフ)イベントを検出することを含む。別の実施例として、タッチ感知面上でリンガスワイプジェスチャを検出することは、フィンダダウンイベントを検出し、続いて、指をドラッグする1つ以上のイベントを検出することを含み、いくつかの実施形態においては、続いてフィンガアップ(リフトオフ)イベントを検出することも含む。
触知フィードバックモジュール433は、外付け電子デバイス400とのユーザ対話に応答して外付け電子デバイス400上の1つ以上の場所で触知出力を生成するために、触覚出力生成器(単数又は複数)467によって使用される命令を生成するための様々なソフトウェア構成要素を含む。
動的ファンクション行(DFR)モジュール450は、フォーカス取得モジュール451、DFR判定モジュール452、及びDFR提示モジュール453を含む。いくつかの実施形態において、フォーカス取得モジュール451は、外付けディスプレイデバイス204(図2A〜図2D)のプライマリディスプレイ102上に表示されたグラフィカルユーザインタフェースの現在のフォーカスであるアクティブなユーザインタフェース要素の明示をコンピューティングデバイス202(図2A〜図2D)から取得するように構成されている。いくつかの実施形態において、DFR判定モジュール452は、現在のフォーカスであるアクティブなユーザインタフェース要素に基づいてグラフィック(例えば、1組の1つ以上のアフォーダンス)を判定するように構成されている。代替として、いくつかの実施形態においては、コンピューティングデバイス202(図2A〜図2D)が、フォーカスが当たっているアクティブなユーザインタフェース要素に基づいてグラフィック(例えば、1組の1つ以上のアフォーダンス)を判定し、そのグラフィックを、タッチ感知ディスプレイシステム412(例えば、図2A〜図2D動的ファンクション行104)上に表示するための外付け電子デバイス400又はその構成要素(例えば、DFRモジュール450)を提供する。いくつかの実施形態において、DFR提示モジュール453は、DFR判定モジュール452によって判定された(又はコンピューティングデバイス202によって形成された)グラフィックをタッチ感知ディスプレイシステム412(例えば、図2A〜図2D動的ファンクション行104)上でレンダーリングするように構成されている。DFR提示モジュール453は、表示されているグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト又は他の視覚特性)を変更するための構成要素を含む、タッチ感知ディスプレイシステム412上にグラフィックをレンダーリングし、グラフィックの表示をもたらすための様々な公知のソフトウェア構成要素を含む。いくつかの実施形態において、DFRモジュール450は、動的ファンクション行104の感度を調節する、動的ファンクション行104によって提供された可聴及び/又は触知フィードバックを調節する、アフォーダンスの設定及び動的ファンクション行104によって表示された情報(例えば、サイズ、輝度、フォント、言語など)を調節する、動的ファンクション行104の現在の電力モード(例えば、通常及び低電力モード)を調節する、などのための他のモジュールを含む。
いくつかの実施形態において、メモリ402は、イベントソータ470を(例えば、オペレーティングシステム426内に)含む。いくつかの実施形態において、イベントソータ470は、イベントソータ370(図3B)と同じ機能を実行し、イベントソータ370(図3B)のモジュール、手続き、及び命令の下位セット又は上位セットを含む。簡潔化のため、イベントソータ470については説明しない。
外付け電子デバイス400は一例に過ぎず、外付け電子デバイス400は、示されるものよりも多いか又は少ない構成要素を任意選択的に有するか、2つ以上の構成要素を任意選択的に組み合わせる、又は構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図4に示す様々な構成要素は、1つ以上の信号処理及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせで実装される。
上記識別されたモジュールのそれぞれは、上記の1つ以上の機能を実行するための実行可能命令セット、及び本出願に記載の方法(例えば、コンピュータにより実行される方法及び本明細書に記載の他の情報処理方法)に対応する。これらのモジュール(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々な下位セットは、様々な実施形態において、任意選択的に、組み合わせ、又は再配置される。いくつかの実施形態において、メモリ402は、上述の識別されたモジュール及びデータ構造の下位セットを任意選択的に記憶する。更に、メモリ402は、上述されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
ユーザインタフェース及び関連プロセス
ここで、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A〜2D)によって実施され得るユーザインタフェース(「UI」)及び関連プロセスの実施形態に注意を向ける。いくつかの実施形態では、プライマリディスプレイ102は、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110内で実施される。代替として、いくつかの実施形態では、プライマリディスプレイ102は外付けディスプレイデバイス204(図2A〜2D)内で実施される。いくつかの実施形態では、動的ファンクション行104は、ポータブルコンピューティングシステム100(図1A〜1B)の本体部分120内で実施されたタッチ感知ディスプレイである。代替として、いくつかの実施形態では、動的ファンクション行104は、外付けキーボード206(図2A〜2B)、第1の入力メカニズム212(図2C)、又は第2の入力メカニズム222(図2D)内で実施されたタッチ感知ディスプレイである。
図5A〜5DDDは、いくつかの実施形態に係る、動的に更新されるタッチスクリーンディスプレイ上にアプリケーション固有のアフォーダンスを表示するための例示的なユーザインタフェースを示す。これらの図中のユーザインタフェースは、図6A〜6D、7A〜7C、8A〜8B、9A〜9B、及び10A〜10C内の方法を含めた、以下で説明される方法及び/又はプロセスを示すために使用される。当業者は、以下のユーザインタフェースが単なる例であることを理解するであろう。更に、当業者は、実際には追加のアフォーダンス及び/若しくはユーザインタフェース要素、又はより少ない数のアフォーダンス及び/若しくはユーザインタフェース要素が使用され得ることを理解するであろう。
図5Aは、プライマリディスプレイ102が、システム(すなわち、オペレーティングシステム)に現在フォーカスが当たっていることを示すステータストレイ502、並びに、(例えば、図3Aの電子メールクライアントモジュール341に対応する)メールアプリケーションアイコン506、(例えば、図3Aのウェブブラウジングモジュール345に対応する)ウェブブラウザアプリケーションアイコン508、(例えば、図3Aのメディアプレーヤモジュール344に対応する)メディアプレーヤアプリケーションアイコン510、(例えば、ゲームに対応する)アプリケーションAアイコン512、及び(例えば、図3Aの画像管理モジュール343に対応する)写真アプリケーションアイコン515を含む複数の実行可能/選択可能なアプリケーションアイコンを含む、アプリケーション(アプリ)トレイ514を表示することを示す。いくつかの実施形態では、ステータストレイ502は、現在前景で実行されているアプリケーションを示し、また、それぞれがアプリケーション用の対応する1組のコントロールを含む複数のメニュー(例えば、図5Aのファイル、編集、表示、移動、ウィンドウ、及びヘルプメニュー)も示す。図5Aは、プライマリディスプレイ102が、アプリケーションAアイコン512に対応する場所にカーソル504を表示することを示す。いくつかの実施形態では、カーソル504は、ポータブルコンピューティングシステム100(図1A〜1B)のタッチパッド108、デスクトップコンピューティングシステム200(図2A及び2D)の外付けマウス208、外付けキーボード206(図2B)のタッチパッド108、第1の入力メカニズム212(図2C)のタッチパッド108などによって制御される。
図5Aは、動的ファンクション行104(例えば、タッチ感知ディスプレイ)が、プライマリディスプレイ102の現在のフォーカス(すなわち、ここではアプリケーションウィンドウが開いていないため、オペレーティングシステム)に基づき複数のアフォーダンスを表示することを更に示す。例えば、図5Aでは、プライマリディスプレイ102上で、現在システム/オペレーティングシステムにフォーカスが当たっている。図5Aでは、動的ファンクション行104は、(例えば、タップ接触を介して)アクティブ化されたときに、対応する機能(例えば、プライマリディスプレイ102上で現在フォーカスが当たっているアプリケーションを終了すること又はゲームを一時停止すること)を呼び出すエスケープアフォーダンス516、並びに、(例えば、タップ接触を介して)アクティブ化されたときに、ポータブルコンピューティングシステム100若しくはデスクトップコンピューティングシステム200のログアウト、再起動、又は電源オフのためにモードアラート(例えば、図5DDDのモードアラート5308)を動的ファンクション行104及び/又はプライマリディスプレイ102上に表示させる電源コントロール534を含む、物理及び/又はソフトキーとして実施された常駐コントロールを含む。
図5Aでは、動的ファンクション行104は、図1A及び2A〜2Bのプライマリディスプレイ102の明るさを調整するための明るさアフォーダンス518、図1A〜1B及び2A〜2Bの1組の物理キー106の明るさ(該当する場合)並びに/又は動的ファンクション行104の明るさを調整するための明るさアフォーダンス520、(例えば、タップ接触を介して)アクティブ化されたときに、アクティブアプリケーションのプレビューウィンドウを図1A及び2A〜2Bのプライマリディスプレイ102上に表示させる表示アフォーダンス522、(例えば、電子文書に対する)ローカル検索及び/又はインターネット検索を実行するための検索アフォーダンス524、(例えば、タップ接触を介して)アクティブ化されたときに、デフォルト又はユーザによって選択されたウィジェット及びツールを図1A及び2A〜2Bのプライマリディスプレイ102上に表示させる起動パッドアフォーダンス526、(例えば、タップ接触を介して)アクティブ化されたときに、最近のメッセージ、通知、カレンダーイベントなどを含む通知センターを図1A及び2A〜2Bのプライマリディスプレイ102上に表示させる通知アフォーダンス528、メディアアイテム(例えば、曲、ポッドキャスト、ビデオなど)の再生を開始するか又は再生を一時停止するための再生/一時停止アフォーダンス530、及び再生中のメディアアイテムの音量を調整するための音量制御アフォーダンス532を含む、複数のシステムレベルアフォーダンスも含む。例えば、明るさアフォーダンス520上でタップが検出されたときに、動的ファンクション行104は、1組の物理キー106の明るさ及び/又は動的ファンクション行104の明るさを調整するための(例えば、図5Kの音量スライダ5100に類似する)明るさスライダを表示する。いくつかの実施形態では、複数のシステムレベルアフォーダンスは、動的ファンクション行104に関連付けられた、記号/アイコンのサイズ、タッチ検出感度、触知フィードバック、可聴フィードバック、フォーカスの変化に対するアニメーション、電源モードなどの調整設定にアクセスするための、設定アフォーダンス(図示せず)も含む。
図5Bは、プライマリディスプレイ102が、図5Aでカーソル504によるアプリケーションAアイコン512の選択を検出したことに応じて、アプリケーションA(例えば、ファンタジーRPGゲーム)用のウィンドウ536を表示することを示す。図5Bでは、アプリケーションAは(例えば、ファンタジーRPGゲームが一時停止される)メインメニューモードであり、ウィンドウ536はアプリケーションA用のメインメニューを表示する。プライマリディスプレイ102上では、アプリケーションA用のウィンドウ536にフォーカスが当たっている。図5Bでは、ステータストレイ502はアプリケーションAが前景で実行されていることを示し、アプリトレイ514も、アプリケーションAアイコン512の背後の影に基づき、アプリケーションAが前景で実行されていることを示す。図5Bでは、アプリケーションA用のウィンドウ536は、(左から右に、それぞれ)ウィンドウ536を閉じるため、ウィンドウ536のサイズを最大化するため、及びウィンドウ536を最小化するための、左上隅の3つの選択可能なアフォーダンスを含む。
図5Bは、動的ファンクション行104が、図5Aでカーソル504によるアプリケーションAアイコン512の選択を検出したことに応じて、常駐コントロール(すなわち、アフォーダンス516及び534)及び複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)に加えてアフォーダンス538を表示することも示す。(例えば、タップ接触を介して)アクティブ化されたときに、アフォーダンス538は、アプリケーションAに対応する第1の1組のアフォーダンス及び/又はインジケータ(例えば、図5CのコントロールセットA)を動的ファンクション行104に表示させる。図5Bは、動的ファンクション行104が、アフォーダンス538に対応する場所で接触540(例えば、タップ接触)を受けること及び検出することを更に示す。
図5Cは、動的ファンクション行104が、図5Bでアフォーダンス538の選択を検出したことに応じて、アプリケーションAに対応する第1の1組のアフォーダンス及び/又はインジケータ(例えば、コントロールセットA)並びに少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することを示す。図5Cでは、アプリケーションA(例えば、ファンタジーRPGゲーム)に対応する第1の1組のアフォーダンス及び/又はインジケータ(例えば、コントロールセットA)は、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザによってアプリケーションAのプレイ中に制御されるゲーム内キャラクター/アバターに関連する健康インジケータ543及びマナインジケータ545を含む。図5Cでは、アプリケーションAに対応する第1の1組のアフォーダンス及び/又はインジケータ(例えば、コントロールセットA)は、ゲーム内キャラクター/アバターを制御するための制御アフォーダンス546−A、546−B、及び546−Cも含む。(例えば、タップ接触を介して)アクティブ化されたときに、アフォーダンス542は、複数のシステムレベルアフォーダンス(例えば、図5Aに示すアフォーダンス518、520、522、524、526、528、530、及び532)を動的ファンクション行104に表示させる。図5Cは、動的ファンクション行104が、第1の場所548−Aから第2の場所548−Bへと移動する接触544による上方向スワイプジェスチャを受けること及び検出することも示す。
図5Dは、動的ファンクション行104が、図5Cで上方向スワイプジェスチャを検出したことに応じて、アプリケーションAに対応する第2の1組のアフォーダンス及び/又はインジケータ(例えば、コントロールセットB)並びに少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することを示す。図5Dでは、アプリケーションAに対応する第2の1組のアフォーダンス及び/又はインジケータ(例えば、コントロールセットB)は、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザによってアプリケーションAのプレイ中に制御されるゲーム内キャラクター/アバターを制御するための制御アフォーダンス546−D、546−E、546−F、546−G、546−H、546−I、546−J、及び546−Kを含む。図5Dは、動的ファンクション行104が、アフォーダンス542に対応する場所で接触552(例えば、タップ接触)を受けること及び検出することも示す。
図5Eは、動的ファンクション行104が、図5Dでアフォーダンス542の選択を検出したことに応じて、常駐コントロール(すなわち、アフォーダンス516及び534)、複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)、及びアプリケーションAに対応するアフォーダンス538を表示することを示す。図5Eは、プライマリディスプレイ102が、メディアプレーヤアプリケーションアイコン510に対応する新しい場所にカーソル504を表示することも示す。
図5Fは、プライマリディスプレイ102が、図5Eでカーソル504によるメディアプレーヤアプリケーションアイコン510の選択を検出したことに応じて、メディアプレーヤアプリケーション用のウィンドウ554を表示することを示す。例えば、ウィンドウ554はウィンドウ536上に重ね合わされる。図5Fでは、ウィンドウ554は、ユーザのメディアライブラリの音楽サブセクションに関連付けられた複数のアルバムを表示する。図5Fでは、太字で表示された「音楽」及びウィンドウ554内に少なくとも部分的に表示されたアルバムA〜Lによって示されるように、プライマリディスプレイ102上で、ユーザのメディアライブラリの音楽サブセクションにフォーカスが当たっている。図5Fでは、ステータストレイ502はメディアプレーヤアプリケーションが前景で実行されていることを示し、アプリトレイ514も、メディアプレーヤアプリケーションアイコン510の背後の影に基づき、メディアプレーヤアプリケーションが前景で実行されていることを示す。図5Fは、プライマリディスプレイ102が、ユーザのメディアライブラリのポッドキャストサブセクションに対応する場所にカーソル504を表示することも示す。
図5Fは、動的ファンクション行104が、図5Eでカーソル504によるメディアプレーヤアプリケーションアイコン510の選択を検出したことに応じて、複数のアルバムアフォーダンス558(例えば、アルバムアフォーダンス558−A〜558−G)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することを更に示す。図5Fでは、複数のアルバムアフォーダンス558は、ウィンドウ554内に現在表示されているアルバムの下位セットに対応する。いくつかの実施形態では、複数のアルバムアフォーダンス558は、ウィンドウ554内に現在表示されているアルバムを反映する。例えば、アルバムアフォーダンス558−Dの(例えば、タップ接触を介した)選択に応じて、ポータブルコンピューティングデバイス100又はコンピューティングデバイス200は、オーディオ回路310(図3A)によってアルバムDを再生させ、かつプライマリディスプレイ102にも、アルバムDをウィンドウ554の再生中領域に表示させる。
図5Gは、プライマリディスプレイ102が、図5Fでカーソル504によるポッドキャストサブセクションの選択を検出したことに応じて、第1の複数のポッドキャストをウィンドウ554に表示することを示す。図5Gでは、ウィンドウ554は、ユーザのメディアライブラリのポッドキャストサブセクションに関連付けられた複数のポッドキャストを表示する。図5Gでは、メニュー内に太字で表示された「ポッドキャスト」及びウィンドウ554内に少なくとも部分的に表示されたポッドキャストA〜Lによって示されるように、プライマリディスプレイ102上で、ユーザのメディアライブラリの音楽サブセクションにフォーカスが当たっている。
図5Gは、動的ファンクション行104が、図5Fでカーソル504によるポッドキャストサブセクションの選択を検出したことに応じて、第1の複数のポッドキャストアフォーダンス560(例えば、ポッドキャストアフォーダンス560−A〜560−G)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することも示す。図5Gでは、複数のポッドキャストアフォーダンス560は、ウィンドウ554内に現在表示されているポッドキャストの下位セットに対応する。例えば、ポッドキャストアフォーダンス560−Dの(例えば、タップ接触を介した)選択に応じて、ポータブルコンピューティングデバイス100又はコンピューティングデバイス200は、オーディオ回路310(図3A)によってポッドキャストDを再生させ、かつプライマリディスプレイ102にも、ポッドキャストDをウィンドウ554の再生中領域に表示させる。図5Gは、動的ファンクション行104が、第1の場所564−Aから第2の場所564−Bへと移動する接触562による右から左へのスワイプジェスチャを検出することを更に示す。
図5Hは、5Gで右から左へのスワイプジェスチャを検出したことに応じて、プライマリディスプレイ102が、第2の複数のポッドキャストアフォーダンス560(例えば、ポッドキャストアフォーダンス560−E〜560−P)をウィンドウ554に表示することを示す。図5Hは、動的ファンクション行104が、5Gで右から左へのスワイプジェスチャを検出したことに応じて、第2の複数のポッドキャストアフォーダンス560(例えば、ポッドキャストアフォーダンス560−E〜560−K)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することも示す。図5Hは、動的ファンクション行104が、ポッドキャストアフォーダンス560−Jに対応する場所で接触566(例えば、タップ接触)を受けること及び検出することを更に示す。
図5Iは、プライマリディスプレイ102が、図5Hでポッドキャストアフォーダンス560−Jの選択を検出したことに応じて、ポッドキャストJの再生をウィンドウ554に表示することを示す。図5Iは、プライマリディスプレイ102が、メールアプリケーションアイコン506に対応する場所にカーソル504を表示することも示す。
図5Iは、動的ファンクション行104が、図5Hでポッドキャストアフォーダンス560−Jの選択を検出したことに応じて、常駐音量コントロール568を再生コントロール及びインジケータと共に表示することを更に示す。図5Iでは、常駐音量コントロール568は、ポッドキャストJがミュートされていないことを示し、かつポッドキャストJに対するイコライザフィードバックも表示する。図5Iでは、再生コントロールは、ポッドキャストJの再生を制御するための巻き戻しコントロール571、一時停止コントロール572、及び早送りコントロール573を含む。図5Iでは、再生インジケータは、ポッドキャストJに対応する画像574(例えば、カバーアート又は関連付けられた画像)、ポッドキャストJの作成者及びタイトルを表示するインジケータ576、及び残り時間インジケータ578を含む。
図5Jは、プライマリディスプレイ102が、図5Iでカーソル504によるメールアプリケーションアイコン506の選択を検出したことに応じて、メールアプリケーション用のウィンドウ580を表示することを示す。例えば、ウィンドウ580はウィンドウ554及び536上に重ね合わされる。図5Jでは、ウィンドウ580は、ユーザの受信トレイ内の複数の電子メール(例えば、電子メールA〜F)のリスト及び選択された電子メールAの内容を表示する。いくつかの実施形態では、最も新しいか又は緊急性が高い電子メールがユーザの受信トレイ内の複数の電子メールのリストの最上部に表示され、かつそのリストの最上部にある電子メールが自動的に選択される。図5Jでは、プライマリディスプレイ102上で、電子メールが複数の電子メールのリスト内で太字で表示されているように、電子メールAにフォーカスが当たっており、かつ電子メールAの内容がウィンドウ580内のリストの下に表示される。図5Jでは、ステータストレイ502はメールアプリケーションが前景で実行されていることを示し、アプリトレイ514も、メールアプリケーションアイコン506の背後の影に基づき、メールアプリケーションが前景で実行されていることを示す。
図5Jは、動的ファンクション行104が、図5Iでカーソル504によるメールアプリケーションアイコン506の選択を検出したことに応じて、電子メールAに対応する複数のアフォーダンス(例えば、アフォーダンス582、584、586、588、590、592、594、596、及び598)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することも示す。図5Jでは、電子メールAに対応する複数のアフォーダンスは、(例えば、タップ接触を介して)アクティブ化されたときに、受信トレイを更新するアフォーダンス582、(例えば、タップ接触を介して)アクティブ化されたときに、新規電子メールを作成するための(例えば、図5Mに示す)サブウィンドウをプライマリディスプレイ102に表示させるアフォーダンス584、(例えば、タップ接触を介して)アクティブ化されたときに、電子メールAの送信者に返信するためのサブウィンドウをプライマリディスプレイ102に表示させるアフォーダンス586、(例えば、タップ接触を介して)アクティブ化されたときに、電子メールAの全ての受信者に返信するためのサブウィンドウをプライマリディスプレイ102に表示させるアフォーダンス588、(例えば、タップ接触を介して)アクティブ化されたときに、電子メールAを転送するためのサブウィンドウをプライマリディスプレイ102に表示させるアフォーダンス590、(例えば、タップ接触を介して)アクティブ化されたときに、電子メールAをデフォルトメールボックス又はフォルダにアーカイブさせるアフォーダンス592、(例えば、タップ接触を介して)アクティブ化されたときに、電子メールAを削除させるアフォーダンス594、(例えば、タップ接触を介して)アクティブ化されたときに、任意選択的に既存のフォルダに対応する、電子メールAに適用される様々なフラグを選択するための1組のアフォーダンスを動的ファンクション行104に(例えば、図5Lに示すように)表示させるアフォーダンス596、及び(例えば、タップ接触を介して)アクティブ化されたときに、ユーザの受信トレイを検索するための検索ダイアログをプライマリディスプレイ102又は動的ファンクション行104に表示させるアフォーダンス598を含む。図5Jは、動的ファンクション行104が、常駐音量コントロール568に対応する場所で接触599(例えば、長押しジェスチャ)を受けること及び検出することを更に示す。
図5Kは、動的ファンクション行104が、図5Jで常駐音量コントロール568に対応する場所で長押しジェスチャを検出したことに応じて、図5Hで開始されたポッドキャストJの再生音量を調整するための音量スライダ5100を表示することを示す。音量を調整するために、音量スライダ5100内の円/つまみがポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザによってドラッグされ得る。代替として、いくつかの実施形態では、動的ファンクション行104は、図5Jで常駐音量コントロール568に対応する場所で長押しジェスチャを検出したことに応じて、図5Hで開始されたポッドキャストJの再生を制御するための再生コントロール(例えば、一時停止、早送り、巻き戻し、次のトラック、前のトラックなど)を表示する。図5Kでは、音量スライダ5100は、電子メールAに対応する複数のアフォーダンス上に重ね合わされる。図5Kは、動的ファンクション行104が、アフォーダンス596に対応する場所で接触5102(例えば、タップ接触)を受けること及び検出することも示す。
他の実施形態では、音量スライダ5100は、電子メールAに対応する複数のアフォーダンスとは別個の領域に表示される。この場合、音量スライダ5100がアクティブ化されている間、電子メールAに対応する複数のアフォーダンス(例えば、アフォーダンス582、584、586、588、590、592、594、596、及び598)は、アニメーションのようにスクロールされるか、又は音量スライダ5100を表示するための十分な表示空間が確保されるように縮小される。いくつかの実施形態では、円/つまみは、ユーザが接触をアフォーダンスから離す必要なく円/つまみを摺動させることを可能にするために、長押しジェスチャに応じてユーザの指の下に表示される。
図5Lは、動的ファンクション行104が、図5Kでアフォーダンス596の選択を検出したことに応じて、任意選択的に既存のフォルダに対応する、電子メールAに適用される様々なフラグを選択するための1組のアフォーダンス5103、5104、5106、5108、及び5110を表示することを示す。図5Lでは、動的ファンクション行104は、1組のアフォーダンス5103、5104、5106、5108、及び5110を動的ファンクション行104上に表示することを停止するため、かつ電子メールAに対応する複数のアフォーダンスを動的ファンクション行104上に(例えば、図5Jに示すように)表示するための終了アフォーダンス5112も表示する。図5Lは、プライマリディスプレイ102が、ウィンドウ580内の電子メール作成アフォーダンスに対応する場所にカーソル504を表示することも示す。
図5Mは、プライマリディスプレイ102が、図5Lでカーソル504による電子メール作成アフォーダンスの選択を検出したことに応じて、ウィンドウ580内に新規電子メールを作成するためのサブウィンドウを表示することを示す。図5Mでは、電子メール作成アフォーダンスがより太い線で表示されているように、また新規電子メールを作成するためのサブウィンドウを囲む太線によっても示されるように、プライマリディスプレイ102上で、新規電子メールを作成するためのサブウィンドウにフォーカスが当たっている。
図5Mは、動的ファンクション行104が、図5Lでカーソル504による電子メール作成アフォーダンスの選択を検出したことに応じて、新規電子メールを作成することに対応する1組のアフォーダンスを表示することも示す。図5Mでは、新規電子メールを作成することに対応する1組のアフォーダンスは、(例えば、タップ接触を介して)アクティブ化されたときに、新規作成された電子メールをポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200に送信させるアフォーダンス5114、新規電子メールの選択されたテキストのテキスト色を変更するためのアフォーダンス5116、新規電子メールの選択されたテキストを太字にするためのアフォーダンス5118、新規電子メールの選択されたテキストを斜体にするためのアフォーダンス5120、及び新規電子メールの選択されたテキストに下線を引くためのアフォーダンス5122を含む。図5Mは、動的ファンクション行104が、常駐音量コントロール568に対応する場所で接触5124(例えば、タップ接触)を受けること及び検出することを更に示す。
図5Nは、プライマリディスプレイ102が、ウィンドウ580内の新規電子メールを作成するためのサブウィンドウ内にある新規電子メールの本文のテキスト、及び文字「pl.」の後に配置された現在の挿入位置のインジケータを表示することを示す。
図5Nは、動的ファンクション行104が、図5Mで常駐音量コントロール568に対応する場所でタップ接触を検出したことに応じて、ポッドキャストJがミュートされたことを示す常駐音量コントロール568を表示することも示す。図5Nでは、常駐音量コントロール568は、図5Hで再生が開始されたポッドキャストJがミュートされている間も、ポッドキャストJに対するイコライザフィードバックを表示する(すなわち、ポッドキャストJはまだ再生中であるがミュートされていることを示す)。図5Nでは、動的ファンクション行104は、ウィンドウ580内のサブウィンドウの挿入ポイントに基づき、新規電子メールの本文に入力されている「pl」で始まる語を完成させるための予測語5126、5128、及び5130を表示する。図5Nは、動的ファンクション行104が、予測語5126(すなわち、「planet」)に対応する場所で接触5132(例えば、タップ接触)を受けること及び検出することを更に示す。
図5Oは、プライマリディスプレイ102が、図5Nで予測語5126(すなわち、「planet」)の選択を検出したことに応じて、ウィンドウ580内の新規電子メールを作成するためのサブウィンドウ内にある新規電子メールの本文に語「planet」を表示することを示す。図5Oは、プライマリディスプレイ102が、新規電子メールを作成するためのサブウィンドウの「宛先:」フィールドに対応する場所に、カーソル504を表示することも示す。
図5Pは、プライマリディスプレイ102が、図5Oでカーソル504による「宛先:」フィールドの選択を検出したことに応じて、ユーザの連絡先帳に対応するメニュー5134を表示することを示す。図5Pでは、メニュー5134は、ユーザの連絡先帳(例えば、既存の連絡先又は自動的に入力された連絡先のリスト)の「全ての連絡先」グループに対応する複数の連絡先のリストを含む。図5Pでは、メニュー5134内の「全ての連絡先」グループを囲む太線によって示されるように、プライマリディスプレイ102上で、ユーザの連絡先帳の「全ての連絡先」グループにフォーカスが当たっている。
図5Pは、動的ファンクション行104が、図5Oでカーソル504による「宛先:」フィールドの選択を検出したことに応じて、ユーザの連絡先帳の「全ての連絡先」グループに対応する第1の複数の連絡先アフォーダンス5136(例えば、連絡先アフォーダンス5136−A〜5136−F)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することも示す。図5Pでは、動的ファンクション行104は、(例えば、タップ接触を介して)アクティブ化されたときに、メニュー5134をプライマリディスプレイ102上に表示することをプライマリディスプレイ102に停止させ、かつ第1の複数の連絡先アフォーダンス5136を表示することを動的ファンクション行104に停止させる、終了アフォーダンス5112も表示する。図5Pは、動的ファンクション行104が、第1の場所5140−Aから第2の場所5140−Bへと移動する接触5138による右から左への(例えば、ユーザが「全ての連絡先」を右から左にスクロールする)スワイプジェスチャを検出することを更に示す。
図5Qは、動的ファンクション行104が、図5Pで右から左へのスワイプジェスチャを検出したことに応じて、ユーザの連絡先帳の「全ての連絡先」グループに対応する第2の複数の連絡先アフォーダンス5136(例えば、連絡先アフォーダンス5136−E〜5136−J)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することを示す。図5Qは、動的ファンクション行104が、第1の場所5144−Aから第2の場所5144−Bへと移動する接触5142による上方向スワイプジェスチャを検出することも示す。
図5Rは、プライマリディスプレイ102が、図5Qで上方向スワイプジェスチャを検出したことに応じて、ユーザの連絡先帳の「家族」グループに対応する複数の連絡先のリストを表示することを示す。図5Rでは、メニュー5134内の「家族」グループを囲む太線によって示されるように、プライマリディスプレイ102上で、ユーザの連絡先帳の「家族」グループにフォーカスが当たっている。
図5Rは、動的ファンクション行104が、図5Qで上方向スワイプジェスチャを検出したことに応じて、ユーザの連絡先帳の「家族」グループに対応する複数の連絡先アフォーダンス5146(例えば、連絡先アフォーダンス5146−A〜5146−F)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することも示す。図5Rは、動的ファンクション行104が、ユーザの連絡先帳の「家族」グループ内の「James H.」という名前の連絡先に関連付けられた連絡先アフォーダンス5146−Dに対応する場所で、接触5148(例えば、タップ接触)を受けること及び検出することを更に示す。
図5Sは、プライマリディスプレイ102が、図5Rで連絡先アフォーダンス5146−Dの選択を検出したことに応じて、ウィンドウ580内の新規電子メールを作成するためのサブウィンドウの「宛先」フィールドに「James H.」を表示することを示す。図5Sは、動的ファンクション行104が、図5Rで連絡先アフォーダンス5146−Dの選択を検出したことに応じて、ユーザの連絡先帳の「家族」グループに対応する複数の連絡先アフォーダンス5146(例えば、連絡先アフォーダンス5146−A〜5146−F)の表示を、新規電子メールを作成することに対応する1組のアフォーダンス(例えば、アフォーダンス5114、5116、5118、5120、及び5122)に置き換えることも示す。図5Sは、動的ファンクション行104が、少なくとも1つのシステムレベルアフォーダンス542に対応する場所で接触5150(例えば、タップ接触)を受けること及び検出することを更に示す。
図5Tは、動的ファンクション行104が、図5Sでアフォーダンス542の選択を検出したことに応じて、常駐コントロール(すなわち、アフォーダンス516及び534)、複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)、及びメールアプリケーションに対応するアフォーダンス5152を表示することを示す。図5Tは、動的ファンクション行104が、再生/一時停止アフォーダンス530に対応する場所で接触5154(例えば、タップ接触)を受けること及び検出することも示す。例えば、再生/一時停止アフォーダンス530の選択を検出したことに応じて、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200は、図5Hで開始され、かつ図5MでミュートされたポッドキャストJの再生を一時停止する。ポッドキャストJの再生は、その後の図5Uでの再生/一時停止アフォーダンス530の選択によって再開されてもよい。
図5Uは、プライマリディスプレイ102が、ウィンドウ580を閉じるための終了アフォーダンスに対応する場所にカーソル504を表示することを示す。図5Vは、プライマリディスプレイ102が、図5Uでカーソル504による終了アフォーダンスの選択を検出したことに応じて、モードアラート5156を表示することを示す。図5Vでは、プライマリディスプレイ102上で、モードアラート5156にフォーカスが当たっている。図5Vでは、プライマリディスプレイ102上に表示されたモードアラート5156は、ウィンドウ580を閉じる前に下書き電子メールを保存するようユーザに促し、「保存」アフォーダンス、「保存しない」アフォーダンス、及び「キャンセル」アフォーダンスを含む。図5Vは、プライマリディスプレイ102が、「キャンセル」アフォーダンスに対応する場所にカーソル504を表示することも示す。動的ファンクション行上へのモードアラートの表示によって、ユーザがキーボードとスクリーンとの間で視線を動かす必要がなくなり、かつユーザがキーボードからマウスなどの別の入力デバイスへと手を動かす必要がなくなるため、効率が向上し、より良いユーザエクスペリエンスが提供される。
図5Vは、動的ファンクション行104が、図5Uでカーソル504による終了アフォーダンスの選択を検出したことに応じて、モードアラート5156及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することを更に示す。いくつかの実施形態では、モードアラートは、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200によって受信された電子メール、SMSなどに対応する通知、アプリケーションに(例えば、保存ダイアログ、終了確認ダイアログ、又は電子メール送信確認ダイアログとして)関連付けられたアラートなどである。図5Vでは、動的ファンクション行104上に表示されたモードアラート5156は、ウィンドウ580を閉じる前に下書き電子メールを保存するようユーザに促し、「保存」アフォーダンス5158、「保存しない」アフォーダンス5160、及び「キャンセル」アフォーダンス5162を含む。アフォーダンス5158、5160、及び5162は単なる例であり、モードアラートを制御するか又はモードアラートに応答するために他のアフォーダンスが使用されてもよい。
図5Wは、プライマリディスプレイ102が、図5Vでカーソル504による「キャンセル」アフォーダンスの選択を検出したことに応じて、モードアラート5156を表示することを停止すること、及び新規電子メールを作成するための(図5Uのような)サブウィンドウの表示を維持することを示す。図5Wは、動的ファンクション行104が、図5Vでカーソル504による「キャンセル」アフォーダンスの選択を検出したことに応じて、モードアラート5156を表示することを停止すること、並びに常駐コントロール(すなわち、アフォーダンス516及び534)、複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)、及びメールアプリケーションに対応する(図5Uのような)アフォーダンス5152を表示することも示す。
図5Xは、プライマリディスプレイ102が、指定された物理キーの組み合わせ(例えば、Alt+Tab)に対応する信号をポータブルコンピューティングシステム100(図1A〜1B)の1組の物理キー106から又はデスクトップコンピューティングシステム200(図2A〜2D)の外付けキーボード206の1組の物理キー106から受信したことに応じて、アプリケーション選択ウィンドウ5164を表示することを示す。図5Xでは、プライマリディスプレイ102上に表示されたアプリケーション選択ウィンドウ5164は、(例えば、カーソル504による選択を介して)アクティブ化されたときに、前景にメールアプリケーションに対応するウィンドウ580をプライマリディスプレイ102に表示させる、メールアプリケーションアイコン506、(例えば、カーソル504による選択を介して)アクティブ化されたときに、前景にメディアプレーヤアプリケーションに対応するウィンドウ554をプライマリディスプレイ102に表示させる、メディアプレーヤアプリケーションアイコン510、及び(例えば、カーソル504による選択を介して)アクティブ化されたときに、前景にアプリケーションAに対応するウィンドウ536をプライマリディスプレイ102に表示させる、アプリケーションAアイコン512を含む。図5Xは、プライマリディスプレイ102が、写真アプリケーションアイコン515に対応する場所にカーソル504を表示することも示す。
図5Xは、動的ファンクション行104が、指定された物理キーの組み合わせ(例えば、Alt+Tab)に対応する信号をポータブルコンピューティングシステム100(図1A〜1B)の1組の物理キー106から又はデスクトップコンピューティングシステム200(図2A〜2D)の外付けキーボード206の1組の物理キー106から受信したことに応じて、アプリケーション選択ウィンドウ5164及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することを更に示す。図5Xでは、動的ファンクション行104上に表示されたアプリケーション選択ウィンドウ5164は、(例えば、タップ接触を介して)アクティブ化されたときに、前景にメールアプリケーションに対応するウィンドウ580をプライマリディスプレイ102に表示させる、メールアプリケーションアイコン506、(例えば、タップ接触を介して)アクティブ化されたときに、前景にメディアプレーヤアプリケーションに対応するウィンドウ554をプライマリディスプレイ102に表示させる、メディアプレーヤアプリケーションアイコン510、及び(例えば、タップ接触を介して)アクティブ化されたときに、前景にアプリケーションAに対応するウィンドウ536をプライマリディスプレイ102に表示させる、アプリケーションAアイコン512を含む。
図5Yは、プライマリディスプレイ102が、図5Xでカーソル504による写真アプリケーションアイコン515の選択を検出したことに応じて、写真アプリケーション用のウィンドウ5166を表示することを示す。例えば、ウィンドウ5166は、ウィンドウ580、554、及び536上に重ね合わされる。図5Yでは、ウィンドウ5166は、ユーザの写真ライブラリの全写真サブセクションに関連付けられた複数の写真を表示する。図5Yでは、太字で表示された「写真」及びウィンドウ5166内に少なくとも部分的に表示された写真A〜Lによって示されるように、プライマリディスプレイ102上で、ユーザの写真ライブラリの全写真サブセクションにフォーカスが当たっている。図5Yでは、ステータストレイ502は写真アプリケーションが前景で実行されていることを示し、アプリトレイ514も、写真アプリケーションアイコン515の背後の影に基づき、写真アプリケーションが前景で実行されていることを示す。図5Yは、プライマリディスプレイ102が、ウィンドウ5166内の写真Bに対応する場所にカーソル504を表示することも示す。
図5Yは、動的ファンクション行104が、図5Xでカーソル504による写真アプリケーションアイコン515の選択を検出したことに応じて、ユーザの写真ライブラリの全写真サブセクションに対応する複数のアフォーダンス(例えば、アフォーダンス5168、5170、及び5172)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することを更に示す。図5Yでは、動的ファンクション行104は、ユーザの写真ライブラリを検索するための検索アフォーダンス5168、(例えば、タップ接触を介して)アクティブ化されたときに、ユーザの写真ライブラリの全写真サブセクション内の選択された写真又は全ての写真のスライドショーを(例えば、図5AAに示す)フルスクリーンモードで開始する、スライドショーアフォーダンス5170、及び、ウィンドウ5166に表示されたユーザの写真ライブラリの全写真サブセクションから表示された写真をスクロールするためのスライダアフォーダンス5172を含む。
図5Zは、プライマリディスプレイ102が、図5Yでカーソル504による写真Bの選択を検出したことに応じて、ウィンドウ5166内に写真Bを表示することを示す。図5Zでは、ウィンドウ5166内の写真Bを囲む太線によって示されるように、プライマリディスプレイ102上で、選択された写真Bにフォーカスが当たっている。図5Zは、プライマリディスプレイ102が、スライドショーアフォーダンスに対応する場所にカーソル504を表示することも示す。
図5Zは、動的ファンクション行104が、図5Yでカーソル504による写真Bの選択を検出したことに応じて、選択された写真Bに対応する1組のアフォーダンスを表示することを更に示す。図5Zでは、選択された写真Bに対応する1組のアフォーダンスは、ユーザの写真ライブラリを検索するための検索アフォーダンス5168、選択された写真Bにズームインするためのズームアフォーダンス5174、選択された写真Bが気に入っていることを示すためのお気に入りアフォーダンス5176、(例えば、タップ接触を介して)アクティブ化されたときに、ユーザの写真ライブラリの全写真サブセクション内の選択された写真又は全ての写真のスライドショーを(例えば、図5AAに示す)フルスクリーンモードで開始する、スライドショーアフォーダンス5170、サイズ、場所、日時などの選択された写真Bに対応する情報を動的ファンクション行104上及び/又はプライマリディスプレイ102上に表示するための情報アフォーダンス5178、(例えば、タップ接触を介して)アクティブ化されたときに、選択された(例えば、図5DDに示す)写真Bを編集するためのツールを動的ファンクション行104に表示させ、かつ/又は、選択された写真Bを編集するための編集インタフェースをプライマリディスプレイ102に表示させる、編集アフォーダンス5180、選択された写真Bを写真アルバムに追加するための写真追加アフォーダンス5182、選択された写真Bを1つ以上の通信モード(例えば、ソーシャルメディアネットワーク、SMS、電子メールなど)を介して共有するための共有アフォーダンス5184、及び、選択された写真Bをユーザの写真ライブラリから削除するための削除アフォーダンス5186を含む。
図5AAは、プライマリディスプレイ102が、図5Zでカーソル504によるスライドショーアフォーダンスの選択を検出したことに応じて、ユーザの写真ライブラリの全写真サブセクションからの写真のスライドショーをウィンドウ5188に表示することを示す。図5AAでは、プライマリディスプレイ102は、フルスクリーンモードの写真Bを含むウィンドウ5188を表示する。
図5AAは、動的ファンクション行104が、図5Zでカーソル504によるスライドショーアフォーダンスの選択を検出したことに応じて、ユーザの写真ライブラリの全写真サブセクション内の写真に対応する複数のサムネイル画像(例えば、サムネイル画像5192−Y、5192−Z、5192−A、5192−B、5192−C、5192−D、及び5192−E)を表示することも示す。図5AAでは、サムネイル画像5192−Bを囲む太線は、写真Bが現在プライマリディスプレイ102によって表示されていることを示す。図5AAでは、動的ファンクション行104は、(例えば、タップ接触を介して)アクティブ化されたときに、スライドショーを一時停止させ、かつプライマリディスプレイ102にフルスクリーンモードを終了させる、一時停止アフォーダンス5190も表示する。図5AAは、動的ファンクション行104が、一時停止アフォーダンス5190に対応する場所で接触5194(例えば、タップ接触)を受けること及び検出することを更に示す。
図5BBは、プライマリディスプレイ102が、図5AAで一時停止アフォーダンス5190の選択を検出したことに応じて、写真Bをウィンドウ5166内の拡張ビューに表示することを示す。図5BBでは、ウィンドウ5166内の写真Bの拡張ビューを囲む太線によって示されるように、プライマリディスプレイ102上で、写真Bの拡張ビューにフォーカスが当たっている。
図5BBは、動的ファンクション行104が、図5AAで一時停止アフォーダンス5190の選択を検出したことに応じて、写真Bに対応する1組のアフォーダンスを表示することも示す。図5BBでは、写真Bに対応する1組のアフォーダンスは、(例えば、タップ接触を介して)アクティブ化されたときに、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザが写真Bにズームイン又は写真Bからズームアウトすることを可能にするズームコントロールを動的ファンクション行104及び/又はプライマリディスプレイ102に表示させる、ズームアフォーダンス5174、(例えば、タップ接触を介して)アクティブ化されたときに、プライマリディスプレイ102に写真Bをフルスクリーンモードで表示させる、フルスクリーンアフォーダンス5194、(例えば、タップ接触を介して)アクティブ化されたときに、ユーザの写真ライブラリの全写真サブセクション内の選択された写真又は全ての写真のスライドショーをフルスクリーンモードで開始する、スライドショーアフォーダンス5170、サイズ、場所、日時などの選択された写真Bに対応する情報を動的ファンクション行104上及び/又はプライマリディスプレイ102上に表示するための情報アフォーダンス5178、(例えば、タップ接触を介して)アクティブ化されたときに、選択された写真Bを編集するためのツールを動的ファンクション行104に表示させ、かつ/又は、選択された写真Bを編集するための編集インタフェースをプライマリディスプレイ102に表示させる、編集アフォーダンス5180、選択された写真Bを写真アルバムに追加するための写真追加アフォーダンス5182、及び、選択された写真Bを1つ以上の通信モード(例えば、ソーシャルメディアネットワーク、SMS、電子メールなど)を介して共有するための共有アフォーダンス5184を含む。図5BBは、動的ファンクション行104が、フルスクリーンアフォーダンス5196に対応する場所で接触5196(例えば、タップ接触)を受けること及び検出することを更に示す。
図5CCは、プライマリディスプレイ102が、図5BBでフルスクリーンアフォーダンス5196の選択を検出したことに応じて、写真Bをウィンドウ5200にフルスクリーンモードで表示することを示す。図5CCは、動的ファンクション行104が、図5BBでフルスクリーンアフォーダンス5196の選択を検出したことに応じて、最小化アフォーダンス5198を表示することも示す。(例えば、タップ接触を介して)アクティブ化されたときに、最小化アフォーダンス5198は、プライマリディスプレイ102に、写真Bをウィンドウ5166内の拡張ビューに(図5BBに示すように)表示させる。図5CCは、動的ファンクション行104が、編集アフォーダンス5180に対応する場所で接触5201(例えば、タップ接触)を受けること及び検出することを更に示す。
図5DDは、動的ファンクション行104が、図5CCで編集アフォーダンス5180の選択を検出したことに応じて、1組の編集ツール5205を表示することを示す。
図5DDは、動的ファンクション行104が、図5CCで編集アフォーダンス5180の選択を検出したことに応じて、編集アフォーダンス5180を濃く太い輪郭で表示し、かつ、図5CCに表示された全ての他のアフォーダンス(例えば、ズームアフォーダンス5174、最小化アフォーダンス5198、情報アフォーダンス5178、写真追加アフォーダンス5182、及び共有アフォーダンス5184)を半透明度を増加させて表示することも示す。
図5DDでは、1組の編集ツール5205は、(例えば、タップ接触を介して)アクティブ化されたときに、ウィンドウ5200内の写真Bを時計回り又は反時計回りに回転させるためのコントロールを動的ファンクション行104に表示させる、回転ツール5202、(例えば、タップ接触を介して)アクティブ化されたときに、写真Bにフィルタを適用する、写真Bの明るさを調整する、写真Bの彩度を調整するなど、写真Bを加工するためのコントロールを動的ファンクション行104に表示させる、加工ツール5204、(例えば、タップ接触を介して)アクティブ化されたときに、写真B内の人物の赤目を軽減するためのコントロールを動的ファンクション行104に表示させる、赤目軽減ツール5206、(例えば、タップ接触を介して)アクティブ化されたときに、ウィンドウ5200内の写真Bの向きを真っ直ぐにするためのコントロールを動的ファンクション行104に表示させる、直線化ツール5208、(例えば、タップ接触を介して)アクティブ化されたときに、ウィンドウ5200内の写真Bを切り抜くためのコントロールを動的ファンクション行104に表示させる、切り抜きツール5210、及び、(例えば、タップ接触を介して)アクティブ化されたときに、削除及びエアブラシ効果などの写真Bの修整のためのコントロールを動的ファンクション行104に表示させる、修整ツール5212を含む。図5DDは、動的ファンクション行104が、直線化ツール5208に対応する場所で接触5214(例えば、タップ接触)を受けること及び検出することを更に示す。
図5EEは、動的ファンクション行104が、図5DDで直線化ツール5208の選択を検出したことに応じて、ウィンドウ5200内の写真Bの向きを真っ直ぐにするための1組のコントロール5209を表示することを示す。図5EEでは、直線化ツール2208に対応する1組のコントロール5209は、ウィンドウ5200内の写真Bの向きを調整するためのスライダ5210、及び(例えば、タップ接触を介して)アクティブ化されたときに、動的ファンクション行104に1組のコントロール5209を表示することを停止させ、かつ1組の編集ツール5205を(図5DDに示すように)表示させる、終了アフォーダンス5212を含む。図5EEは、動的ファンクション行104が、エスケープアフォーダンス516に対応する場所で接触5216(例えば、タップ接触)を受けること及び検出することも示す。
例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、スライダ5210上又は1組のコントロール5209内を起点とする場所で左から右へのスワイプ/ドラッグジェスチャ又は右から左へのスワイプ/ドラッグジェスチャを実行することによって、ウィンドウ5200内の写真Bの向きを調整することができる。例えば、動的ファンクション行104上で上方向スワイプジェスチャを検出したことに応じて、動的ファンクション行104は、切り抜きツール5210に対応する1組のコントロールを表示する。別の実施例では、動的ファンクション行104上で下方向スワイプジェスチャを検出したことに応じて、動的ファンクション行104は、赤目軽減ツール5206に対応する1組のコントロールを表示する。
図5FFは、プライマリディスプレイ102が、図5EEでエスケープアフォーダンス516の選択を検出したことに応じて、写真Bをウィンドウ5166内の拡張ビューに表示することを示す。図5FFは、動的ファンクション行104が、図5EEでエスケープアフォーダンス516の選択を検出したことに応じて、写真Bに対応する1組のアフォーダンスを(図5BBに示すように)表示することを示す。図5FFでは、写真Bに対応する1組のアフォーダンスは、(例えば、タップ接触を介して)アクティブ化されたときに、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザが写真Bにズームイン又は写真Bからズームアウトすることを可能にするズームコントロールを動的ファンクション行104及び/又はプライマリディスプレイ102に表示させる、ズームアフォーダンス5174、(例えば、タップ接触を介して)アクティブ化されたときに、プライマリディスプレイ102に写真Bをフルスクリーンモードで表示させる、フルスクリーンアフォーダンス5194、(例えば、タップ接触を介して)アクティブ化されたときに、ユーザの写真ライブラリの全写真サブセクション内の選択された写真又は全ての写真のスライドショーをフルスクリーンモードで開始する、スライドショーアフォーダンス5170、サイズ、場所、日時などの選択された写真Bに対応する情報を動的ファンクション行104上及び/又はプライマリディスプレイ102上に表示するための情報アフォーダンス5178、(例えば、タップ接触を介して)アクティブ化されたときに、選択された写真Bを編集するためのツールを動的ファンクション行104に表示させ、かつ/又は、選択された写真Bを編集するための編集インタフェースをプライマリディスプレイ102に表示させる、編集アフォーダンス5180、選択された写真Bを写真アルバムに追加するための写真追加アフォーダンス5182、及び、選択された写真Bを1つ以上の通信モード(例えば、ソーシャルメディアネットワーク、SMS、電子メールなど)を介して共有するための共有アフォーダンス5184を含む。
図5FFは、動的ファンクション行104が、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200による通知5218の受信に応じて、アフォーダンス5178、5180、5182、及び5184上に重ね合わされた通知5218を表示することも示す。図5FFでは、通知5218は、Suzie S.によってポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザに送信されたSMS、インスタントメッセージなどに対応し、通知の内容は「今夜映画はどうですか?」と尋ねている。図5FFは、動的ファンクション行104が、通知5128内の第1の場所5222−Aから第2の場所5222−Bへの接触5220による、左から右へのスワイプジェスチャを検出することを更に示す。
図5GGは、動的ファンクション行104が、図5FFで左から右へのスワイプジェスチャを検出したことに応じて、通知5218を表示することを停止することを示す。図5GGは、プライマリディスプレイ102が、ウェブブラウザアプリケーションアイコン508に対応する場所にカーソル504を表示することも示す。
図5HHは、プライマリディスプレイ102が、図5GGでカーソル504によるウェブブラウザアプリケーションアイコン508の選択を検出したことに応じて、ウェブブラウザアプリケーション用のウィンドウ5224を表示することを示す。例えば、ウィンドウ5224はウィンドウ5166上に重ね合わされる。図5HHでは、ウィンドウ5224は、ブラウジングコントロール(例えば、前のウェブページ、次のウェブページ、更新、及びお気に入りへの追加)、アドレスバー、検索バー、全てのブックマークを表示するアフォーダンス(例えば、開いている本に類似したもの)、全ての開いているタブを表示するアフォーダンス(例えば、6つの正方形からなる格子)、並びに、特定のブックマークA、B、及びCに対するアフォーダンスを含む、ウェブブラウザアプリケーション用のコントロールを含む。図5HHでは、ウィンドウ5224は、お気に入りに追加されたか又は最も頻繁に訪問されたウェブサイトA〜Hにリンクする複数のアフォーダンス5227を含む、ウェブブラウザアプリケーション用のホームインタフェースを示す。図5HHでは、プライマリディスプレイ102上で、アプリケーションA用のウィンドウ5224にフォーカスが当たっている。図5HHでは、ステータストレイ502はウェブブラウザアプリケーションが前景で実行されていることを示し、アプリトレイ514も、ウェブブラウザアプリケーションアイコン508の背後の影に基づき、ウェブブラウザアプリケーションが前景で実行されていることを示す。
図5HHは、動的ファンクション行104が、図5GGでカーソル504によるウェブブラウザアプリケーションアイコン508の選択を検出したことに応じて、常駐コントロール(すなわち、アフォーダンス516及び534)及び複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)に加えてアフォーダンス5226を表示することも示す。(例えば、タップ接触を介して)アクティブ化されたときに、アフォーダンス5226は、ウェブブラウザアプリケーション用の1組のコントロール(例えば、図5IIに示すようなアフォーダンス5230、5232、及び5238、及びアドレスバー5234)を動的ファンクション行104に表示させる。図5HHは、動的ファンクション行104が、アフォーダンス5226に対応する場所で接触5228(例えば、タップ接触)を受けること及び検出することを更に示す。
図5IIは、動的ファンクション行104が、図5HHでアフォーダンス5226の選択を検出したことに応じて、ウェブブラウザアプリケーション用の1組のコントロールを表示することを示す。図5IIでは、ウェブブラウザアプリケーション用の1組のコントロールは、ウェブブラウザアプリケーションによって現在ウィンドウ5224に表示されているものの前に訪問したウェブページを表示するためのアフォーダンス5230、ウェブブラウザアプリケーションによって現在ウィンドウ5224に表示されているものの後に訪問したウェブページを表示するためのアフォーダンス5232、ウェブブラウザアプリケーションによって現在表示されているウェブページをお気に入りリスト又はブックマークフォルダに追加するためのアフォーダンス5238、及び、ウェブブラウザアプリケーションによって現在表示されているウェブページのURLを表示するためのアドレスバー5234を含む。図5IIでは、アドレスバー5234は、ウェブブラウザアプリケーションによって現在表示されているウェブページを更新するための更新アフォーダンス5236も含む。図5IIは、プライマリディスプレイ102が、ウェブサイトAにリンクするアフォーダンス5227−Aに対応する場所にカーソル504を表示することも示す。
図5JJは、プライマリディスプレイ102が、図5IIでカーソル504によるウェブサイトAに対応するアフォーダンス5227−Aの選択を検出した後、タブA用のインタフェースをウィンドウ5224に表示することを示す。図5JJでは、タブAを囲む太線及びタブAの太字テキストによって示されるように、プライマリディスプレイ102上で、タブA用のインタフェースにフォーカスが当たっている。図5JJでは、タブA用のインタフェースは、ウェブサイトAの(例えば、www.website_A.com/checkoutというURLに関連付けられた)支払いウェブページを示す。支払いウェブページは、購入する品物A及びBを含むユーザの仮想ショッピングカートに対応する。図5JJは、プライマリディスプレイ102が、ウィンドウ5224内の購入アフォーダンスに対応する場所にカーソル504を表示することも示す。図5IIは、動的ファンクション行104が、ウェブサイトAの支払いウェブページのURL(例えば、www.website_A.com/checkout)をアドレスバー5234に表示することを更に示す。
図5KKは、プライマリディスプレイ102が、図5JJでカーソル504による購入アフォーダンスの選択を検出したことに応じて、ウィンドウ5224上に重ね合わされたモードアラート5240を表示することを示す。図5KKでは、プライマリディスプレイ102上に表示されたモードアラート5240は、指紋を動的ファンクション行104上で提供するようポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザに促し、また(例えば、カーソル504による選択を介して)アクティブ化されたときに購入をキャンセルさせるキャンセルアフォーダンス5242も含む。例えば、モードアラート5240は、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200によって開始された購入を検証するために指紋を必要とするセキュリティ設定(例えば、デフォルト又はユーザ指定)にしたがって表示される。例えば、いくつかの実施形態では、プライマリディスプレイ102及び/又は動的ファンクション行104は、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200にログインするとき、アプリケーション又はウェブサイトにアクセスするためにパスワードを入力するとき、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200によって記憶されたデータを復号化するためにパスワードを入力するとき、フォルダ及び/又はデータをポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200から削除するとき、他の破壊的なアクションを実行するときなどに、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザに指紋を動的ファンクション行104上で提供するよう促すモードアラートを表示する。
図5KKは、動的ファンクション行104が、図5JJでカーソル504による購入アフォーダンスの選択を検出したことに応じて、モードアラート5240を表示することも示す。図5KKでは、動的ファンクション行104上に表示されたモードアラート5240は、指紋を動的ファンクション行104の指紋領域5244内で提供するようポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザに促し、また(例えば、タップ接触を介して)アクティブ化されたときに購入をキャンセルさせるキャンセルアフォーダンス5242も含む。いくつかの実施形態では、動的ファンクション行104は、図5A〜5JJ内の電源コントロール534にも対応する動的ファンクション行104の指紋領域5244内の指紋を検出するように構成される。いくつかの実施形態では、動的ファンクション行104は、そのタッチ感知領域内の任意の場所で指紋を検出するように構成される。図5KKは、動的ファンクション行104が、指紋領域5244内で接触5246(例えば、プレスアンドホールドジェスチャ)を受けること及び検出することを更に示す。
図5LLは、プライマリディスプレイ102が、図5KKの指紋領域5244内で接触5246を検出した後にタブA用のインタフェースをウィンドウ5224に表示することを示す。図5LLでは、タブA用のインタフェースは、図5KKでポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザによって提供された指紋の検証の後に購入が完了したことを示す、ウェブサイトAの(例えば、www.website_A.com/recieptというURLに関連付けられた)領収書ウェブページを示す。
図5LLは、動的ファンクション行104が、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200による着信音声通話の受け付けに応じて、C.Cheungからの着信音声通話に関連付けられたインタフェース5248を少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)と共に表示することも示す。図5LLでは、インタフェース5248は、着信に応答するための第1のアフォーダンス5250及び着信を拒否するための第2のアフォーダンス5252を含む。図5LLは、動的ファンクション行104が、第1のアフォーダンス5250に対応する場所で接触5254(例えば、タップ接触)を受けること及び検出することを更に示す。例えば、第1のアフォーダンス5250の選択を検出した後、C.Cheungとポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザとの間の通信接続(例えば、VoIP)が音声通話のために確立される。
図5MMは、動的ファンクション行104が、図5LLで第1のアフォーダンス5250の選択を検出した後、C.Cheungとポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザとの間で進行している音声通話に関連付けられたインタフェース5256を少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)と共に表示することを示す。図5MMでは、インタフェース5256は、音声通話を終了するためのアフォーダンス5258及び音声通話の合計時間(例えば、7分29秒)のインジケータを含む。いくつかの実施形態では、音声通話の進行中、プライマリディスプレイ102のフォーカスに関連付けられたアフォーダンスは、動的ファンクション行104上に表示されない。いくつかの実施形態では、音声通話が既定の時間続いた後、インタフェース5256がコンパクトモードで表示され、プライマリディスプレイ102のフォーカスに関連付けられたアフォーダンスが動的ファンクション行104上に表示され得る。図5MMは、動的ファンクション行104が、アフォーダンス5258に対応する場所で接触5260を受けること及び検出することも示す。
図5NNは、プライマリディスプレイ102が、ウェブブラウザアプリケーション内でタブA、B、及びCが開いているウィンドウ5224にタブB用のインタフェースを表示することを示す。図5NNでは、タブB用のインタフェースは、ウェブサイトBの(例えば、www.website_B.com/homeというURLに関連付けられた)ホームウェブページを示す。図5NNでは、タブBを囲む太線及びタブBの太字テキストによって示されるように、プライマリディスプレイ102上で、タブB用のインタフェースにフォーカスが当たっている。
図5NNは、動的ファンクション行104が、図5MMでアフォーダンス5258の選択を検出した後、インタフェース5256を表示することを停止することも示す。図5NNでは、動的ファンクション行104は、ウェブサイトBのホームウェブページのURLをアドレスバー5234内に含む(例えば、www.website_B.com/home)。図5NNでは、動的ファンクション行104は、(例えば、タップ接触によって)アクティブ化されたときに、プライマリディスプレイ102にタブA用のインタフェースを表示させ、かつ動的ファンクション行104にタブBに対応するURLをアドレスバー5234内に表示させる、アフォーダンス5262−A、及び、(例えば、タップ接触によって)アクティブ化されたときに、プライマリディスプレイ102にタブC用のインタフェースを表示させ、かつ動的ファンクション行104にタブCに対応するURLをアドレスバー5234内に表示させる、アフォーダンス5262−Bも含む。
図5OOは、プライマリディスプレイ102が、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200による通知5264の受信に応じて、ウィンドウ5264上に重ね合わされた通知5264を表示することを示す。図5OOでは、通知5264は、MASによってポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザに送信されたSMS、インスタントメッセージなどに対応し、通知の内容は「もう着きましたか?」と尋ねている。図5OOは、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザがカーソル504によって通知5264をプライマリディスプレイ102の右下隅にある既定の場所へとドラッグすることを、プライマリディスプレイ102が表示することを示す。例えば、ユーザのポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200は、それぞれのメニュー、通知、モードアラートなどをそのプライマリディスプレイ102上の起点となる場所から既定の場所(例えば、右下隅又は別の同様の場所)へとドラッグしたことに応じて、それぞれのメニュー、通知、モードアラートなどを動的ファンクション行104上に表示させることができる。いくつかの実施形態では、既定の場所は、同様の様式で機能する複数の既定の場所のうちの1つであり、複数の既定の場所はデフォルト又はユーザ固有の場所である。
図5PPは、図5OOでポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザがカーソル504によって通知5264をプライマリディスプレイ102の右下隅にある既定の場所へとドラッグしたことに応じて、プライマリディスプレイ102が、ウィンドウ5264上に重ね合わされた通知5264を表示することを停止することを示す。図5PPは、図5OOでポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザがカーソル504によって通知5264をプライマリディスプレイ102の右下隅にある既定の場所へとドラッグしたことに応じて、動的ファンクション行104が、アフォーダンス5262−A及び5262−B上に重ね合わされた通知5264を表示することも示す。図5PPは、動的ファンクション行104が、通知5264内の場所で接触5266(例えば、タップ接触)を受けること及び検出することを更に示す。
図5QQは、動的ファンクション行104が、図5PPで通知5264内の場所の接触5266を検出したことに応じて、応答ダイアログボックス5268を表示することを示す。代替として、いくつかの実施形態では、図5PPで通知5264内の場所の接触5266を検出したことに応じて、通知5264に対応するアプリケーションが開かれる。図5QQでは、応答ダイアログボックス5268は、図5OO〜5PPに示す通知5264の内容に対する複数の予測応答を含む。図5QQでは、応答ダイアログボックス5268は、第1の予測応答5270(「はい。」)、第2の予測応答5272(「いいえ。」)、及び第3の予測応答5274(「まだ途中です!」)を含む。図5QQは、動的ファンクション行104が、第1の予測応答5270に対応する場所で接触5276(例えば、タップ接触)を受けること及び検出することも示す。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200は、第1の予測応答5270の選択に応じて、デフォルト通信モード(例えば、SMS、インスタントメッセージなど)、又はポータブルコンピューティングシステム100若しくはデスクトップコンピューティングシステム200のユーザへの通知5264の送信に使用されたものと同じ通信モードを介して、第1の予測応答5270(「はい。」)をMASへと送信させる。
図5RRは、プライマリディスプレイ102が、全てのブックマークを表示するアフォーダンス(例えば、開いている本に類似したもの)に対応するウィンドウ5224内の場所に、カーソル504を表示することを示す。図5SSは、プライマリディスプレイ102が、図5RRでカーソル504による全てのブックマークを表示するアフォーダンスの選択を検出したことに応じて、ウィンドウ5224内にブックマークサイドバーを表示することを示す。図5SSでは、ブックマークサイドバーを囲む太線によって示されるように、プライマリディスプレイ102上で、ブックマークサイドバーにフォーカスが当たっている。図5SSは、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザがカーソル504によってブックマークサイドバーをプライマリディスプレイ102の右下隅にある既定の場所へとドラッグすることを、プライマリディスプレイ102が表示することも示す。
図5TTは、図5SSでポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザがカーソル504によってブックマークサイドバーをプライマリディスプレイ102の右下隅にある既定の場所へとドラッグしたことに応じて、動的ファンクション行104が、全ての既存のブックマークに対応する1組のブックマークアフォーダンス5278(例えば、ブックマークアフォーダンス5278−A〜5278−G)を表示することを示す。例えば、1組のブックマークアフォーダンス5278のそれぞれの1つが(例えば、タップ接触を介して)アクティブ化されると、プライマリディスプレイ102は、1組のブックマークアフォーダンス5278のそれぞれの1つに対応するウェブサイトをウィンドウ5224内の新しいタブに表示する。この実施例の続きとして、1組のブックマークアフォーダンス5278のそれぞれの1つが(例えば、タップ接触を介して)アクティブ化されると、動的ファンクション行104は、1組のブックマークアフォーダンス5278を表示することを停止し、ウェブブラウザアプリケーション用の1組のコントロールを表示し、かつ1組のブックマークアフォーダンス5278のそれぞれの1つに対応するウェブサイト用のURLをアドレスバー5234内に(例えば、図5SSに示すように)表示する。図5TTでは、動的ファンクション行104は、(例えば、タップ接触を介して)アクティブ化されたときに、動的ファンクション行104に1組のブックマークアフォーダンス5278を表示することを停止させ、かつウェブブラウザアプリケーション用の1組のコントロールを図5SSに示すように表示させる、終了アフォーダンス5112も表示する。図5TTは、プライマリディスプレイ102が、ウィンドウ5224を閉じるための終了アフォーダンスに対応する場所にカーソル504を表示することも示す。
図5UUは、動的ファンクション行104が、図5TTでカーソル504による終了アフォーダンスの選択を検出したことに応じて、1組のブックマークアフォーダンス5278上に重ね合わされたモードアラート5280を表示することを示す。図5UUでは、モードアラート5280は、ウェブブラウザアプリケーション内の全ての開いているタブを閉じる意図を確定するようポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザに促す。図5UUでは、モードアラート5280は、(例えば、タップ接触を介して)アクティブ化されたときに、プライマリディスプレイ102にウィンドウ5224の表示を停止させる、終了アフォーダンス5282、及び、(例えば、タップ接触を介して)アクティブ化されたときに、モードアラート5280を非表示にし、かつプライマリディスプレイ102にウィンドウ5224の表示を維持させる、キャンセルアフォーダンス5284を含む。図5UUは、動的ファンクション行104が、終了アフォーダンス5282に対応する場所で接触5286(例えば、タップ接触)を受けること及び検出することも示す。
図5VVは、プライマリディスプレイ102が、図5UUで終了アフォーダンス5282の選択を検出したことに応じて、ウィンドウ5224を表示することを停止し、かつ及び写真アプリケーション用のウィンドウ5166を表示することを示す。図5VVでは、ステータストレイ502は、プライマリディスプレイ102上で現在システム/オペレーティングシステムにフォーカスが当たっていることを示す。図5VVは、プライマリディスプレイ102が、ウィンドウ5166に対応する場所にカーソル504を表示することも示す。図5VVは、動的ファンクション行104が、図5UUで終了アフォーダンス5282の選択を検出したことに応じて、かつプライマリディスプレイ102の現在のフォーカス(例えば、システム/オペレーティングシステム)に基づき、常駐コントロール(すなわち、アフォーダンス516及び534)及び複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)を表示することを更に示す。
図5WWでは、図5VVでカーソル504によるウィンドウ5166の選択を検出したことに応じて、プライマリディスプレイ102のフォーカスが写真アプリケーションに当たっている。より具体的には、太字で表示された「写真」及びウィンドウ5166内に少なくとも部分的に表示された写真A〜Lによって示されるように、プライマリディスプレイ102上で、ユーザの写真ライブラリの全写真サブセクションにフォーカスが当たっている。図5WWでは、ステータストレイ502は写真アプリケーションが前景で実行されていることを示し、アプリトレイ514も、写真アプリケーションアイコン515の背後の影に基づき、写真アプリケーションが前景で実行されていることを示す。図5WWは、プライマリディスプレイ102が、ステータストレイ502内のファイルメニューに対応する場所にカーソル504を表示することも示す。図5WWは、動的ファンクション行104が、図5VVでカーソル504によるウィンドウ5166の選択を検出したことに応じて、ユーザの写真ライブラリの全写真サブセクションに対応する複数のアフォーダンス(例えば、アフォーダンス5168、5170、及び5172)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することを更に示す。
図5XXは、プライマリディスプレイ102が、図5WWでカーソル504によるファイルメニューの選択を検出したことに応じて、ファイルメニューコントロール5288を表示することを示す。図5XXでは、プライマリディスプレイ102上でファイルメニューコントロール5288にフォーカスが当たっている。図5XXでは、ファイルメニューコントロール5288は、新規アルバムコントロール、新規フォルダコントロール、新規カレンダーコントロール、インポートコントロール、エクスポートコントロール、ウィンドウを閉じるコントロール、及び印刷コントロールを含む。
図5XXは、動的ファンクション行104が、図5WWでカーソル504によるファイルメニューの選択を検出したことに応じて、第1の複数のアフォーダンス5290を表示することも示す。図5XXでは、第1の複数のアフォーダンス5290は、プライマリディスプレイ102によって表示されたファイルメニューコントロール5288内に示すファイルコントロールに対応する。例えば、(例えば、タップ接触を介して)アクティブ化されたときに、(例えば、ウィンドウを閉じるファイルコントロールに対応する)アフォーダンス5290−Gは、プライマリディスプレイ102にウィンドウ5166の表示を停止させ、かつ動的ファンクション行104にも第1の複数のアフォーダンス5290の表示を停止させる。図5XXは、動的ファンクション行104が、第1の場所5294−Aから第2の場所5294−Bへと移動する接触5292による上方向スワイプジェスチャを受けること及び検出することを更に示す。
図5YYは、プライマリディスプレイ102が、図5XXで上方向スワイプジェスチャを検出したことに応じて、編集メニューコントロール5296を表示することを示す。例えば、プライマリディスプレイ102は、図5XXで動的ファンクション行上の下方向スワイプを検出したことに応じて、ヘルプメニューコントロールを表示する。図5YYでは、プライマリディスプレイ102上で編集メニューコントロール5296にフォーカスが当たっている。図5XXでは、編集メニューコントロール5296は、アンドゥコントロール、リドゥコントロール、切り取りコントロール、コピーコントロール、貼り付けコントロール、全選択コントロール、検索コントロール、フォントコントロール、及び特殊文字コントロールを含む。
図5YYは、動的ファンクション行104が、図5XXで上方向スワイプジェスチャを検出したことに応じて、第2の複数のアフォーダンス5298を表示することも示す。図5YYでは、第2の複数のアフォーダンス5298は、プライマリディスプレイ102によって表示された編集メニューコントロール5296内に示す編集コントロールに対応する。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、動的ファンクション行104上で左から右へのスワイプジェスチャを実行することによって、動的ファンクション行104上の複数のアフォーダンス5298の残りの部分(例えば、特殊文字アフォーダンス5289−I)を確認することができる。
図5ZZは、動的ファンクション行104が、ポータブルコンピューティングシステム100(図1A〜1B)の1組の物理キー106又はデスクトップコンピューティングシステム200(図2A〜2D)の外付けキーボード206の1組の物理キー106から、動的ファンクション行104によって表示された現在のアフォーダンスを上書きするための指定された物理キー(例えば、ファンクションキー)若しくは指定された物理キーの組み合わせに対応する信号を受信したことに応じて、第1の複数のアフォーダンス5301を常駐コントロール(例えば、アフォーダンス516及び534)と共に表示することを示す。図5ZZでは、動的ファンクション行104は、(例えば、F1〜F12に対応する)第1の複数のアフォーダンス5301、及び動的ファンクション行104上に第1の複数のアフォーダンス5301を表示することを停止するための終了アフォーダンス5112を表示する。図5ZZでは、動的ファンクション行104は、第1の複数のアフォーダンス5301が4つの組のアフォーダンスのうちの1つ目であることを示すナビゲーション補助5302も表示する。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、動的ファンクション行104上で左から右への又は右から左へのスワイプジェスチャを実行することによって、第1の複数のアフォーダンス5301内に追加の(例えば、F13以降に対応する)アフォーダンスを表示することができる。いくつかの実施形態では、第1の複数のアフォーダンス5301は、コンピューティングシステムのユーザによってカスタマイズされた1組の記号行又は1組の最も頻繁に使用される記号及び/若しくは特殊文字を含む。
図5AAAは、動的ファンクション行104が、ポータブルコンピューティングシステム100(図1A〜1B)の1組の物理キー106又はデスクトップコンピューティングシステム200(図2A〜2D)の外付けキーボード206の1組の物理キー106から、動的ファンクション行104によって表示された現在のアフォーダンスを上書きするための指定された物理キー(例えば、ファンクションキー)若しくは指定された物理キーの組み合わせに対応する第2の信号を受信したことに応じて、第2の複数のアフォーダンス5303を常駐コントロール(例えば、アフォーダンス516及び534)と共に表示することを示す。代替として、いくつかの実施形態では、動的ファンクション行104は、図5ZZで動的ファンクション行104上の上方向スワイプジェスチャを検出したことに応じて、第2の複数のアフォーダンス5303を表示する。図5AAAでは、動的ファンクション行104は、(例えば、`、1、2、3、・・・に対応する)第2の複数のアフォーダンス5301、及び動的ファンクション行104上に第2の複数のアフォーダンス5303を表示することを停止するための終了アフォーダンス5112を表示する。図5AAAでは、ナビゲーション補助5302は、第2の複数のアフォーダンス5302が4つの組のアフォーダンスのうちの2つ目であることを示す。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、動的ファンクション行104上で左から右への又は右から左へのスワイプジェスチャを実行することによって、第2の複数のアフォーダンス5302内に追加のアフォーダンスを表示することができる。
図5BBBは、動的ファンクション行104が、ポータブルコンピューティングシステム100(図1A〜1B)の1組の物理キー106又はデスクトップコンピューティングシステム200(図2A〜2D)の外付けキーボード206の1組の物理キー106から、動的ファンクション行104によって表示された現在のアフォーダンスを上書きするための指定された物理キー(例えば、ファンクションキー)若しくは指定された物理キーの組み合わせに対応する第3の信号を受信したことに応じて、第3の複数のアフォーダンス5304を常駐コントロール(例えば、アフォーダンス516及び534)と共に表示することを示す。代替として、いくつかの実施形態では、動的ファンクション行104は、図5AAAで動的ファンクション行104上の上方向スワイプジェスチャを検出したことに応じて、第3の複数のアフォーダンス5304を表示する。図5BBBでは、動的ファンクション行104は、(例えば、〜、!、@、#、・・・に対応する)第3の複数のアフォーダンス5304、及び動的ファンクション行104上に第3の複数のアフォーダンス5304を表示することを停止するための終了アフォーダンス5112を表示する。図5BBBでは、ナビゲーション補助5302は、第3の複数のアフォーダンス5302が4つの組のアフォーダンスのうちの3つ目であることを示す。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、動的ファンクション行104上で左から右への又は右から左へのスワイプジェスチャを実行することによって、第3の複数のアフォーダンス5304内に追加のアフォーダンスを表示することができる。
図5CCCは、動的ファンクション行104が、ポータブルコンピューティングシステム100(図1A〜1B)の1組の物理キー106又はデスクトップコンピューティングシステム200(図2A〜2D)の外付けキーボード206の1組の物理キー106から、動的ファンクション行104によって表示された現在のアフォーダンスを上書きするための指定された物理キー(例えば、ファンクションキー)若しくは指定された物理キーの組み合わせに対応する第4の信号を受信したことに応じて、第4の複数のアフォーダンス5305を常駐コントロール(例えば、アフォーダンス516及び534)と共に表示することを示す。代替として、いくつかの実施形態では、動的ファンクション行104は、図5BBBで動的ファンクション行104上の上方向スワイプジェスチャを検出したことに応じて、第4の複数のアフォーダンス5305を表示する。図5CCCでは、動的ファンクション行104は、(例えば、[、]、{、}、・・・に対応する)第4の複数のアフォーダンス5305、及び動的ファンクション行104上に第4の複数のアフォーダンス5305を表示することを停止するための終了アフォーダンス5112を表示する。図5CCCでは、ナビゲーション補助5302は、第4の複数のアフォーダンス5305が4つの組のアフォーダンスのうちの4つ目であることを示す。例えば、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザは、動的ファンクション行104上で左から右への又は右から左へのスワイプジェスチャを実行することによって、第4の複数のアフォーダンス5305内に追加のアフォーダンスを表示することができる。図5CCCは、動的ファンクション行104が、電源コントロール534に対応する場所で接触5306(例えば、タップ接触)を受けること及び検出することを更に示す。
図5DDDは、動的ファンクション行104が、図5CCCで電源コントロール534の選択を検出したことに応じて、モードアラート5308を表示することを示す。例えば、モードアラート5308は、第4の複数の機能アフォーダンス5305上に重ね合わされる。図5DDDでは、モードアラート5308は、(例えば、タップ接触を介して)アクティブ化されたときに、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザの現在のユーザをポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200(すなわち、図2A〜2Dのコンピューティングデバイス202)からログアウトさせる、ログアウトアフォーダンス5310、(例えば、タップ接触を介して)アクティブ化されたときに、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200(すなわち、図2A〜2Dのコンピューティングデバイス202)を再起動させる、再起動アフォーダンス5312、(例えば、タップ接触を介して)アクティブ化されたときに、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200(すなわち、図2A〜2Dのコンピューティングデバイス202)の電源をオフにさせる、電源オフアフォーダンス5314、及び、(例えば、タップ接触を介して)アクティブ化されたときに、動的ファンクション行104にモードアラート5308の表示を停止させる、キャンセルアフォーダンス5316を含む複数のオプションのうちの1つを選択するよう、ポータブルコンピューティングシステム100又はデスクトップコンピューティングシステム200のユーザに促す。
図6A〜6Dは、いくつかの実施形態に係る、(例えば、図1A〜1B及び2A〜2Dの動的ファンクション行104を含む)動的入出力デバイスを更新する方法のフローチャートである。方法600は、プロセッサ、プライマリディスプレイ、メモリ、並びに、物理入力メカニズム及び物理入力メカニズムに隣接したタッチスクリーンディスプレイを少なくとも部分的に収容する筐体を備えるコンピューティングシステムで実行される。方法600の一部の動作が、任意選択的に、組み合わされ、及び/又は、一部の動作の順序が、任意選択的に変えられる。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A〜2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110内で実施されるプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(図2A〜2D)内で実施されるプライマリディスプレイ102(図2A〜2D)である。いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図1A〜1Bの動的ファンクション行104)及び入力メカニズム(例えば、図1A〜1Bの1組の物理キー106)を少なくとも部分的に収容する、ポータブルコンピューティングシステム100(図1A〜1B)の本体部分120である。代替として、いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図2A〜2Bの動的ファンクション行104)及び入力メカニズム(例えば、図2A〜2Bの1組の物理キー106)を少なくとも部分的に収容する、デスクトップコンピューティングシステム200の外付けキーボード206(図2A〜2B)である。代替として、いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図2Cの動的ファンクション行104)及び入力メカニズム(例えば、図2Cのタッチパッド108)を少なくとも部分的に収容する、デスクトップコンピューティングシステム200の第1の入力メカニズム212(図2C)である。
コンピューティングシステムは、1つ以上のユーザインタフェース要素を含む第1のユーザインタフェースをプライマリディスプレイ上に表示する(602)。例えば、図5Bは、プライマリディスプレイ102が第1のユーザインタフェースを表示することを示し、第1のユーザインタフェースは、アプリケーションAに現在フォーカスが当たっていることを示すステータストレイ502、並びに、メールアプリケーションアイコン506、ウェブブラウザアプリケーションアイコン508、メディアプレーヤアプリケーションアイコン510、アプリケーションAアイコン512、及び写真アプリケーションアイコン515を含む複数の実行可能/選択可能なアプリケーションアイコンを含むアプリケーション(アプリ)トレイ514を含む。図5Bでは、第1のユーザインタフェースはプライマリディスプレイ102上に表示され、アプリケーションA(例えば、ファンタジーRPGゲーム)用のウィンドウ536も含む。例えば、図5Bでは、ウィンドウ536はアプリケーションA用のメインメニューを含み、このメインメニューは、新規ゲーム開始アフォーダンス、続行アフォーダンス、及びオプションアフォーダンスを含む複数のアフォーダンスを含む。例えば、図5Fは、プライマリディスプレイ102が、メディアプレーヤアプリケーション用のウィンドウ554を含む第1のユーザインタフェースを表示することを示す。
いくつかの実施形態では、コンピューティングシステムは、(i)プライマリディスプレイ、プロセッサ、メモリ、及びプライマリコンピューティングデバイス通信回路を備えるプライマリコンピューティングデバイス、並びに、(ii)筐体、タッチスクリーンディスプレイ、物理入力メカニズム、及びプライマリコンピューティングデバイス通信回路と通信するための入力デバイス通信回路を備える入力デバイスであって、プライマリコンピューティングデバイスとは別個かつ別々である、入力デバイスを更に備える(604)。いくつかの実施形態では、コンピューティングシステムはポータブルコンピューティングシステム100(図1A〜1B)などのラップトップではないが、その代わりに、コンピューティングシステムは、コンピューティングデバイス202、(任意選択的にコンピューティングデバイス202と一体化された)外付けディスプレイデバイス204、及び、タッチスクリーンディスプレイ(例えば、図2A〜2Bの動的ファンクション行104)に隣接する複数の物理キー(例えば、図2A〜2Bの1組の物理キー106)を備える入力デバイス(例えば、図2A〜2Bの外付けキーボード206)を備える、デスクトップコンピューティングシステム200(図2A〜2D)である。代替として、いくつかの実施形態では、入力デバイス(例えば、図2Cの第1の入力メカニズム212)は、タッチスクリーンディスプレイ(例えば、図2Cの動的ファンクション行104)に隣接するタッチパッド又はテンキー(例えば、図2Cのタッチパッド108)を備える。いくつかの実施形態では、入力デバイスは、有線接続(例えば、USB、PS/2など)又は無線接続(例えば、Bluetooth、Wi−Fiなど)を介してプライマリコンピューティングデバイス(例えば、図2A〜2Dのコンピューティングデバイス202)と通信する。
いくつかの実施形態では、物理入力メカニズムは複数の物理キーを備える(606)。図1A〜1Bでは、ポータブルコンピューティングシステム100の本体部分120は、1組の物理キー106に隣接するタッチスクリーンディスプレイ(例えば、動的ファンクション行104)を少なくとも部分的に含む。
いくつかの実施形態では、物理入力メカニズムはタッチパッドを備える(608)。図1A〜1Bでは、ポータブルコンピューティングシステム100の本体部分120は、1組の物理キー106に加えて、タッチスクリーンディスプレイ(例えば、動的ファンクション行104)及びタッチパッド108を少なくとも部分的に含む。
コンピューティングシステムは、プライマリディスプレイ上でフォーカスが当たっている1つ以上のユーザインタフェース要素の中からアクティブユーザインタフェース要素を特定する(610)。いくつかの実施形態では、「フォーカスが当たっている」という用語は、現在前景でアクティブに実行されているか、又はコンピューティングシステムのユーザから受け取ったキー押下、マウスクリック、音声コマンド、ジェスチャ動作などの入力によって制御可能なユーザインタフェース(例えば、アプリケーションに関連付けられたウィンドウ、アプリケーションに関連付けられた特定のツールバー若しくはメニュー、又はオペレーティングシステム)のアクティブ要素を指すことがある。
いくつかの実施形態では、コンピューティングシステム又はそのコンポーネント(例えば、図3Aのフォーカス判定モジュール351)は、プライマリディスプレイ上に表示された第1のユーザインタフェースの、フォーカスが当たっているユーザインタフェース要素を特定する。いくつかの実施形態では、フォーカスが当たっているユーザインタフェース要素は、アプリケーションに対応するウィンドウ、アプリケーションのウィンドウ内若しくはウィンドウ外にある、そのアプリケーションに対応するユーザインタフェース要素(例えば、フィールド、サブウィンドウ、メニュー、ツール、ツールバー、ツールセットなど)、又はデスクトップ/オペレーティングシステムに関連するインタフェースの一部(例えば、音量コントロール、ファイルエクスプローラインタフェース又はコントロール/設定パネルの一部)である。いくつかの実施形態では、アクティブユーザインタフェース要素は、それにフォーカスが当たっていることを示すために、プライマリディスプレイ上でハイライトされるか又はプライマリディスプレイ上の前景位置に表示される。いくつかの実施形態では、アクティブユーザインタフェース要素の表示特性は、それにフォーカスが当たっていることを示すために変更又は強調される(例えば、色付きテキスト、太字テキスト、太い境界線など)。代替として及び/又は追加で、いくつかの実施形態では、フォーカスが当たっているアクティブユーザインタフェース要素を示すために、視覚的及び/又は聴覚的な合図が提供される(例えば、フォーカスが変化したときにチャイムが再生される、フォーカスが当たっているアクティブユーザインタフェース要素の上に弾む星が表示される、又はフォーカスが当たっているアクティブユーザインタフェース要素の表示特性がプライマリディスプレイ上に表示された第1のユーザインタフェースの残りの部分と異なる)。
例えば、図5Bでは、プライマリディスプレイ102上で、アプリケーションA用のウィンドウ536にフォーカスが当たっている。図5Bでは、ステータストレイ502はアプリケーションAが前景で実行されていることを示し、アプリトレイ514も、アプリケーションAアイコン512の背後の影に基づき、アプリケーションAが前景で実行されていることを示す。例えば、図5Fでは、太字で表示された「音楽」及びウィンドウ554内に少なくとも部分的に表示されたアルバムA〜Lによって示されるように、プライマリディスプレイ102上で、ウィンドウ554内に示されたユーザのメディアライブラリの音楽サブセクションにフォーカスが当たっている。それに対して、例えば図5Gでは、太字で表示された「ポッドキャスト」及びウィンドウ554内に少なくとも部分的に表示されたポッドキャストA〜Lによって示されるように、プライマリディスプレイ102上で、ウィンドウ554内に示されたユーザのメディアライブラリのポッドキャストサブセクションにフォーカスが当たっている。例えば、図5Mでは、サブウィンドウを囲む太線によって示されるように、プライマリディスプレイ102上で、ウィンドウ580内の新規電子メールを作成するためのサブウィンドウにフォーカスが当たっている。例えば、図5Rでは、メニュー5134の「家族」グループタブを囲む太線によって示されるように、プライマリディスプレイ102上で、メニュー5134内のユーザの連絡先帳の「家族」グループタブにフォーカスが当たっている。例えば、図5NNでは、タブBを囲む太線及びタブBの太字テキストによって示されるように、プライマリディスプレイ102上で、ウィンドウ5224内のタブB用のインタフェースにフォーカスが当たっている。例えば、図5SSでは、ブックマークサイドバーを囲む太線によって示されるように、プライマリディスプレイ102上で、ウィンドウ5224内のブックマークサイドバーにフォーカスが当たっている。例えば、図5YYでは、プライマリディスプレイ102上で編集メニューコントロール5296にフォーカスが当たっている。
コンピューティングシステムは、プライマリディスプレイ上でフォーカスが当たっているアクティブユーザインタフェース要素が、コンピューティングシステムによって実行されるアプリケーションに関連付けられているかどうかを判定する(612)。いくつかの実施形態では、アクティブユーザインタフェース要素は、アプリケーション又はオペレーティングシステムに関連付けられる。いくつかの実施形態では、コンピューティングシステム又はそのコンポーネント(例えば、図3AのDFR判定モジュール352)は、プライマリディスプレイ102上でフォーカスが当たっているアクティブユーザインタフェース要素、及びアクティブユーザインタフェース要素が特定のアプリケーション又はオペレーティングシステムに関連付けられているかどうかに基づき、動的ファンクション行104上に表示する1組のアフォーダンスを判定する。
いくつかの実施形態では、アプリケーションは、第1のユーザインタフェースの前景でプロセッサによって実行される(614)。例えば、アプリケーションは、電子メールアプリケーション、ワードプロセッシングアプリケーション、プレゼンテーションアプリケーション、写真編集アプリケーション、音楽アプリケーション、ゲームアプリケーション、スプレッドシートアプリケーションなどのうちの1つである。例えば、図5B〜5Eは、前景でコンピューティングシステムによって実行されるアプリケーションA(例えば、ファンタジーRPGゲーム)に対応するウィンドウ536を含む、プライマリディスプレイ102によって表示される第1のユーザインタフェースを示す。例えば、図5F〜5Iは、前景でコンピューティングシステムによって実行されるメディアプレーヤアプリケーションに対応するウィンドウ554を含む、プライマリディスプレイ102によって表示される第1のユーザインタフェースを示す。例えば、図5J〜5Xは、前景でコンピューティングシステムによって実行される電子メールアプリケーションに対応するウィンドウ580を含む、プライマリディスプレイ102によって表示される第1のユーザインタフェースを示す。例えば、図5Y〜5GGは、前景でコンピューティングシステムによって実行される写真アプリケーションに対応するウィンドウ5166を含む、プライマリディスプレイ102によって表示される第1のユーザインタフェースを示す。例えば、図5HH〜5UUは、前景でコンピューティングシステムによって実行されるウェブブラウザアプリケーションに対応するウィンドウ5224を含む、プライマリディスプレイ102によって表示される第1のユーザインタフェースを示す。
プライマリディスプレイ上でフォーカスが当たっているアクティブユーザインタフェース要素がコンピューティングシステムによって実行されるアプリケーションに関連付けられているという判定に従って、コンピューティングシステムは、(A)アプリケーションに対応する第1の1組の1つ以上のアフォーダンス及び(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む第2のユーザインタフェースを、タッチスクリーンディスプレイ上に表示する(616)。いくつかの実施形態では、第1の1組の1つ以上のアフォーダンスは、ユーザが選択可能な記号/アイコン並びに/又は選択可能であり得る若しくはあり得ないインジケータ及び情報を含む。いくつかの実施形態では、第1の1組の1つ以上のアフォーダンスは、アプリケーション用の基本コントロールに対応する。いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、第1の1組の1つ以上のアフォーダンスと共に表示される。一実施例では、図5A〜5DDDで、少なくとも1つのシステムレベルアフォーダンスが常駐アフォーダンス516及び534を含む。別の実施例では、図5Cで、少なくとも1つのシステムレベルアフォーダンスが、(例えば、タップ接触によって)アクティブ化されたときに複数のシステムレベルアフォーダンス(例えば、図5Aに示すアフォーダンス518、520、522、524、526、528、530、及び532)を表示させる、アフォーダンス542を含む。
例えば、図5IIは、動的ファンクション行104が、図5HHでアフォーダンス5226の選択を検出したことに応じて、プライマリディスプレイ102上でフォーカスが当たっているウェブブラウザアプリケーション用の1組の基本コントロール及びインジケータ(例えば、アフォーダンス5230、5232、及び5238、並びにアドレスバー5234)を少なくとも1つのシステムレベルアフォーダンス542と共に表示することを示す。いくつかの実施形態では、第1の1組の1つ以上のアフォーダンスは、フォーカスが当たっているアクティブユーザインタフェース要素に関連付けられたコントロールに対応する。このため、コンピューティングシステムのユーザは、そのような選択可能なコントロールがプライマリディスプレイ上に表示されたとき、手を1組の物理キーから離して別の入力デバイス(例えば、マウス)へと動かすことなく、アプリケーションに入力を提供し、かつそのアプリケーションの機能を制御するための第1の1組の1つ以上のアフォーダンスからコントロールを選択することができる。例えば、ユーザの手に関してはキーボードとマウスとの間、及びユーザの目に関してはキーボードとディスプレイとの間の、このモード切り換えの減少は、より直感的なユーザエクスペリエンス及びより効率的なヒューマン−マシンインタフェースを提供する。例えば、図5Jは、動的ファンクション行104が、図5Iでカーソル504によるメールアプリケーションアイコン506の選択を検出したことに応じて、プライマリディスプレイ102上でフォーカスが当たっている電子メールAに対応する複数のアフォーダンス(例えば、アフォーダンス582、584、586、588、590、592、594、596、及び598)を少なくとも1つのシステムレベルアフォーダンス542と共に表示することを示す。
いくつかの実施形態では、コンピューティングシステムのユーザは、第1の1組の1つ以上のアフォーダンスに含まれるアフォーダンスを修正又はカスタマイズすることができる。いくつかの実施形態では、プライマリディスプレイ102上でフォーカスが当たっているアクティブユーザインタフェース要素を特定し、かつ第1の1組の1つ以上のアフォーダンスを表示する前に、動的ファンクション行104は、コンピューティングシステムのユーザによって設定されたか又はソフトウェア内で設定されたデフォルトインタフェースを表示する。例えば、デフォルトインタフェースは、複数のファンクションキー(例えば、F1、F2、F3、・・・、F12)、株式ティッカー、スポーツの得点のスクロール、気象予報及び情報などのうちの1つを含む。
いくつかの実施形態では、動的ファンクション行104は、第1の組の1つ以上のアフォーダンスを第1の所定の時間期間(例えば、30、60、90秒など)にわたって表示した後、コンピューティングシステムのユーザによって設定されたか又はソフトウェア内で設定されたデフォルトインタフェースを再表示する。いくつかの実施形態では、動的ファンクション行104は、第1の1組の1つ以上のアフォーダンスを第1の所定の時間期間(例えば、30、60、90秒など)にわたって表示した後、動的ファンクション行104又はコンピューティングシステムに関連付けられたキーボード若しくはタッチパッドによって接触が検出されるまでオフになる。いくつかの実施形態では、動的ファンクション行104は、第1の1組の1つ以上のアフォーダンスを第1の所定の時間期間(例えば、30、60、90秒など)にわたって表示した後、電源に接続されるまでオフになる(例えば、動的ファンクション行が図2A〜2Bのバッテリ駆動の外付けキーボード206内で実施される場合)。いくつかの実施形態では、動的ファンクション行104は、第1の1組の1つ以上のアフォーダンスを表示した後、第1の1組の1つ以上のアフォーダンスに関するユーザ入力を所定の時間期間(例えば、30、60、90秒など)にわたって検出しなかった場合、コンピューティングシステムのユーザによって設定されたか又はソフトウェア内で設定されたデフォルトインタフェースを再表示する。いくつかの実施形態では、動的ファンクション行104は、オペレーティングシステムにフォーカスが当たっているか、又はアクティブユーザインタフェース要素が前景で実行されているアプリケーションに関連付けられていない場合、コンピューティングシステムのユーザによって設定されたか又はソフトウェア内で設定されたデフォルトインタフェースを再表示する。
いくつかの実施形態では、動的ファンクション行104は、第1の1組の1つ以上のアフォーダンスを所定の時間期間(例えば、30、60、90秒など)にわたって表示した後、コンピューティングシステムが低電力モードに設定されている場合、例えば、時刻、残りのバッテリ寿命、Wi−Fi信号の強度などを含む、限定された1組のアフォーダンスを表示する。例えば、限定された1組のアフォーダンスは、コンピューティングシステムのユーザによって選択されるか又はソフトウェア内で設定され、コンピューティングシステムのユーザは、システム設定パネルを介してコンピューティングを低電力モードに設定することができる。
いくつかの実施形態では、第2のユーザインタフェース上に表示されたアフォーダンスのうちの少なくとも1つは、多機能アフォーダンスである(618)。いくつかの実施形態では、多機能アフォーダンスに対応する場所で実行された異なる入力を検出したことに応じて、多機能アフォーダンスは、2つ以上の機能/動作を実行することができる。例えば、動的ファンクション行104によって第2のユーザインタフェースに表示される、図5Jの常駐音量コントロール568は、多機能アフォーダンスである。
いくつかの実施形態では、コンピューティングシステムは、多機能アフォーダンスを選択するユーザタッチ入力を検出する(620)。コンピューティングシステムは、ユーザタッチ入力が第1のタイプに対応するという判定に従って、多機能アフォーダンスに関連付けられた第1の機能を実行する。ユーザタッチ入力が第1のタイプとは別個の第2のタイプに対応するという判定に従って、コンピューティングシステムは、多機能アフォーダンスに関連付けられた第2の機能を実行する。例えば、多機能アフォーダンスに対応する場所で第1のジェスチャ(例えば、タップ接触)を検出したことに応じて第1の機能/動作(例えば、メディアアイテムをミュートする)が実行され、多機能アフォーダンスに対応する場所で第2のジェスチャ(例えば、長押しジェスチャ)を検出したことに応じて第2の機能/動作(例えば、メディアアイテム用の音量スライダ又は再生コントロールを表示する)が実行される。例えば、第1のジェスチャタイプは、所定未満の時間期間(例えば、500ミリ秒、1秒など)にわたって検出される、1つ以上の接触(例えば、タップ接触)によるタッチ入力に対応し、第2のジェスチャタイプは、所定以上の時間期間(例えば、500ミリ秒、1秒など)にわたって検出される、1つ以上の接触(例えば、長押しジェスチャ)によるタッチ入力に対応する。
例えば、図5Jは、動的ファンクション行104が、常駐音量コントロール568に対応する場所で接触599(例えば、長押し接触)を受けること及び検出することを示す。この実施例の続きとして、図5Kは、動的ファンクション行104が、図5Jで常駐音量コントロール568に対応する場所で長押しジェスチャを検出したことに応じて、図5Hで開始されたポッドキャストJの再生音量を調整するための音量スライダ5100を表示することを示す。代替として、いくつかの実施形態では、動的ファンクション行104は、図5Jで常駐音量コントロール568に対応する場所で長押しジェスチャを検出したことに応じて、図5Hで開始されたポッドキャストJの再生を制御するための再生コントロール(例えば、一時停止、早送り、巻き戻し、次のトラック、前のトラックなど)を表示する。例えば、図5Mは、動的ファンクション行104が、常駐音量コントロール568に対応する場所で接触5124(例えば、タップ接触)を受けること及び検出することを示す。この実施例の続きとして、図5Nは、動的ファンクション行104が、図5Mで常駐音量コントロール568に対応する場所でタップ接触を検出したことに応じて、ポッドキャストJがミュートされたことを示す常駐音量コントロール568を表示することを示す。
いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、選択されるとシステムレベル機能に対応する複数のシステムレベルアフォーダンスをタッチスクリーンディスプレイ上に表示させるように構成される(622)。いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、音量及び明るさコントロールなどの複数のシステムレベルコントロール/アフォーダンス、及び他のシステムレベル機能へのアクセスを可能にする。例えば、図5Dでは、動的ファンクション行104は、アプリケーションAに対応する第2の1組のアフォーダンス及び/又はインジケータ(例えば、コントロールセットB)並びに少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示する。図5Cでは、動的ファンクション行104は、アフォーダンス542に対応する場所で接触552(例えば、タップ接触)も検出する。この実施例の続きとして、図5Eは、動的ファンクション行104が、図5Dでアフォーダンス542の選択を検出したことに応じて、常駐コントロール(すなわち、アフォーダンス516及び534)、複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)、及びアプリケーションAに対応するアフォーダンス538を表示することを示す。
いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、電源コントロール又はエスケープコントロールのうちの1つに対応する(624)。いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、プライマリディスプレイ102のフォーカス(例えば、図5A〜5DDDのエスケープアフォーダンス516及び電源コントロール534)にかかわらず動的コントロール行104上に表示される常駐コントロールを含む。エスケープアフォーダンス516は、(例えば、タップ接触を介して)アクティブ化されたときに、対応する機能(例えば、プライマリディスプレイ102上で現在フォーカスが当たっているアプリケーションを終了すること)を実行させる。電源コントロール534は、(例えば、タップ接触を介して)アクティブ化されたときに、コンピューティングシステムからログアウトするため、コンピューティングシステムを再起動するため、又はコンピューティングシステムの電源をオフにするためのモードアラート(例えば、図5DDDのモードアラート5308)を動的ファンクション行104上に表示させる。
いくつかの実施形態では、コンピューティングシステムは、第1の1組のアフォーダンスのうちの1つを選択するユーザタッチ入力を検出し、かつコンピューティングシステムは、ユーザタッチ入力を検出したことに応じて、アプリケーションの機能に対応する異なる1組のアフォーダンスを表示し、少なくとも1つのシステムレベルアフォーダンスの表示を維持する(626)。いくつかの実施形態では、アプリケーションに対応する1つ以上の第1の1組のアフォーダンスは、アプリケーションに関連付けられた1組のツール又は機能にアクセスするための単一のアフォーダンスを含む。例えば、図5Bは、動的ファンクション行104が、図5Aでカーソル504によるアプリケーションAアイコン512の選択を検出したことに応じて、常駐コントロール(すなわち、アフォーダンス516及び534)及び複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)に加えて、プライマリディスプレイ102上でフォーカスが当たっているアプリケーションAに対応するアフォーダンス538を表示することを示す。この実施例の続きとして、図5Cは、動的ファンクション行104が、図5Bでアフォーダンス538の選択を検出したことに応じて、アプリケーションAに対応する第1の1組のアフォーダンス及び/又はインジケータ(例えば、コントロールセットA)を表示することを示す。
いくつかの実施形態では、コンピューティングシステムは、少なくとも1つのシステムレベルアフォーダンスを選択する後続のユーザタッチ入力を検出し、かつコンピューティングシステムは、後続のユーザタッチ入力を検出したことに応じて、システムレベル機能に対応する複数のシステムレベルアフォーダンス及びアプリケーションに対応する少なくとも1つのアプリケーションレベルアフォーダンスを表示する(628)。例えば、図5Dは、動的ファンクション行104が、プライマリディスプレイ102上でフォーカスが当たっているアプリケーションAに対応する第2の1組のアフォーダンス及び/又はインジケータ(例えば、コントロールセットB)、並びに少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することを示す。この実施例の続きとして、図5Eは、常駐コントロール(すなわち、アフォーダンス516及び534)、複数のシステムレベルアフォーダンス(すなわち、アフォーダンス518、520、522、524、526、528、530、及び532)、及び動的ファンクション行104が、図5Dでアフォーダンス542の選択を検出したことに応じて、アプリケーションAに対応するアフォーダンス538を表示することを示す。
いくつかの実施形態では、コンピューティングシステムは、第2のユーザインタフェースをタッチスクリーンディスプレイ上に表示した後、プライマリディスプレイ上でフォーカスが当たっている1つ以上のユーザインタフェース要素の中から第2のアクティブユーザインタフェース要素を特定し、第2のアクティブユーザインタフェース要素が、コンピューティングデバイスによって実行される異なるアプリケーションに対応するかどうかを判定する(630)。コンピューティングシステムは、第2のアクティブユーザインタフェース要素が異なるアプリケーションに対応するという判定に従って、(D)異なるアプリケーションに対応する1つ以上の第3の1組のアフォーダンス及び(E)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む、第4のユーザインタフェースをタッチスクリーンディスプレイ上に表示する。例えば、図5Fは、動的ファンクション行104が、プライマリディスプレイ102上でフォーカスが当たっているユーザのメディアライブラリのサブセクションに対応する複数のアルバムアフォーダンス558(例えば、アルバムアフォーダンス558−A〜558−G)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することを示す。図5Fは、プライマリディスプレイ102が、ユーザのメディアライブラリのポッドキャストサブセクションに対応する場所にカーソル504を表示することも示す。この実施例の続きとして、図5Gは、動的ファンクション行104が、図5Fでカーソル504によるポッドキャストサブセクションの選択を検出したことに応じて、プライマリディスプレイ102上で現在フォーカスが当たっているユーザのメディアライブラリのポッドキャストサブセクションに対応する第1の複数のポッドキャストアフォーダンス560(例えば、ポッドキャストアフォーダンス560−A〜560−G)及び少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)を表示することを示す。
いくつかの実施形態では、コンピューティングシステムは、フォーカスが当たっている異なるユーザインタフェース要素を示す、可聴式の合図を提供する。いくつかの実施形態では、プライマリディスプレイ102は、フォーカスが当たっている異なるユーザインタフェース要素を示す、視覚的な合図を表示する。例えば、図5Gに関連して、プライマリディスプレイ102は、ウィンドウ554内の左側の列内のテキスト「ポッドキャスト」の上に星のインジケータ(図示せず)を表示するか、ウィンドウ554内の左側の列内のテキスト「ポッドキャスト」を太字にするか、ウィンドウ554内の左側の列内のテキスト「ポッドキャスト」を異なる色若しくは同じ色で点滅させるか、又はさもなければ、現在プライマリディスプレイ102上でポッドキャストサブセクションにフォーカスが当たっていることを示す。いくつかの実施形態では、動的ファンクション行104は、(図5Gに示す)第1の複数のポッドキャストアフォーダンス560を表示するために、(図5Fに示す)複数のアルバムアフォーダンス558がロールオーバーされるか又は摺動されて非表示になる、遷移アニメーションを表示する。
いくつかの実施形態では、コンピューティングシステムは、第2のアクティブユーザインタフェース要素を特定した後、異なるアプリケーションに関連付けられていないメディアアイテム(例えば、オーディオ又はビデオ)がコンピューティングシステムによって再生されているかどうかを判定し、コンピューティングシステムは、メディアアイテムがコンピューティングシステムによって再生されているという判定に従って、メディアアイテムを制御するための少なくとも1つの常駐アフォーダンス(例えば、音量及び/又は再生コントロール)をタッチスクリーンディスプレイ上に表示する(632)。いくつかの実施形態では、少なくとも1つのアフォーダンスは、フォーカスが変化した場合、又はメディアがミュートされ、かつ/若しくは背景で再生されている場合でも、コンピューティングシステムのユーザがタッチスクリーンディスプレイからメディアアイテムをミュート/ミュート解除することを可能にする常駐コントロールである。例えば、図5Iは、動的ファンクション行104が、図5HでポッドキャストJの再生を開始するポッドキャストアフォーダンス560−Jの選択を検出したことに応じて、常駐音量コントロール568を表示することを示す。例えば、図5Lは、動的ファンクション行104が、プライマリディスプレイ102上でアプリケーションの電子メールAにフォーカスが当たっている間でも常駐音量コントロール568を表示することを示す。
いくつかの実施形態では、少なくとも1つの常駐アフォーダンスは、メディアアイテム(例えば、イコライザ(equalizer、EQ)バー、実行時インジケータなど)に対応するフィードバックを表示する(634)。例えば、図5Iは、動的ファンクション行104が、ポッドキャストJの再生に対応するイコライザバーを含む常駐音量コントロール568を表示することを示す。同様に、例えば図5Nは、動的ファンクション行104が、ポッドキャストJの再生がミュートされている間でも、イコライザバーを含む常駐音量コントロール568を表示することを示す。いくつかの実施形態では、動的ファンクション行104は、再生中のメディアアイテム、又は気象インジケータ、マイクロフォンキャプチャインジケータ、若しくはWi−Fi信号強度インジケータなどの他の何らかのリアルタイム情報に基づき常時更新されるアフォーダンスを含む。
いくつかの実施形態では、コンピューティングデバイスは、上書きキーに対応するユーザ入力を検出し、かつコンピューティングシステムは、ユーザ入力を検出したことに応じて、第2のユーザインタフェースの少なくとも第1の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイ上に表示することを停止し、第1の1組のデフォルトファンクションキーを表示する(636)。いくつかの実施形態では、上書きキーに対応するユーザ入力は、入力メカニズム(例えば、ファンクションキーなどの指定された物理キーの作動)から又は動的ファンクション行(例えば、「エスケープ」アフォーダンス516などの仮想キーの選択)から信号を受信したことに応じて検出される。例えば、ユーザは、動的ファンクション行104によって表示された現在のアフォーダンスを非表示にし、かつデフォルトのF1、F2、F3、・・・、F12という行を表示するために、「fn」キーを作動させる。例えば、図5ZZは、動的ファンクション行104が、ポータブルコンピューティングシステム100(図1A〜1B)の1組の物理キー106又はデスクトップコンピューティングシステム200(図2A〜2D)の外付けキーボード206の1組の物理キー106から、動的ファンクション行104を上書きするための指定された物理キー(例えば、ファンクションキー)に対応する信号を受信したことに応じて、(例えば、F1、F2、F3、・・・、F12に対応する)アフォーダンス5301を含むインタフェース5300を常駐コントロール(例えば、アフォーダンス516及び534)と共に表示することを示す。
いくつかの実施形態では、上書きキーに対応するユーザ入力を検出したことに応じて、動的ファンクション行104は、コンピューティングシステムのユーザによって設定されたか又はソフトウェア内で設定されたデフォルトインタフェースを表示する。例えば、デフォルトインタフェースは、複数のファンクションキー(例えば、F1、F2、F3、・・・、F12)、株式ティッカー、スポーツの得点のスクロール、気象予報などのうちの1つを含む。
いくつかの実施形態では、コンピューティングシステムは、第1の1組のデフォルトファンクションキーを表示した後、タッチスクリーンディスプレイの主寸法に対して略平行な方向のジェスチャを検出し、スワイプジェスチャを検出したことに応じて、少なくとも1つの別個のファンクションキー(例えば、以前に表示されていなかったファンクションキー)を含む、第2の1組デフォルトファンクションキーを表示する(638)。例えば、図5ZZに関連して、コンピューティングシステムのユーザは、略水平なスワイプジェスチャ(例えば、右から左への又は左から右へのスワイプジェスチャのうちの1つ)を動的ファンクション行104上で実行することによって、追加のファンクションキー(例えば、F13、F14、F15、・・・)を動的ファンクション行104上のインタフェース5300に表示することができる。
いくつかの実施形態では、コンピューティングシステムは、アクティブユーザインタフェース要素がコンピューティングシステムによって実行されるアプリケーションに関連付けられていないという判定に従って、(C)コンピューティングシステムのオペレーティングシステムコントロールに対応する、第1の1組の1つ以上のアフォーダンスとは別個の第2の1組の1つ以上のアフォーダンスを含む、第3のユーザインタフェースをタッチスクリーンディスプレイ上に表示する(640)。例えば、図5Aでは、プライマリディスプレイ102上で、現在システム/オペレーティングシステムにフォーカスが当たっている。例えば、プライマリディスプレイ上でフォーカスが当たっているアクティブユーザインタフェース要素は、音量コントロール、システムコントロール(例えば、明るさ又は音量コントロール)、システム設定、スタートメニュー、ファイルエクスプローラ、システム検索など、オペレーティングシステムに関連付けられたものである。図5Aは、動的ファンクション行104が、複数のシステムレベルアフォーダンス(例えば、アフォーダンス518、520、522、524、526、528、530、及び532)を常駐アフォーダンス(例えば、アフォーダンス516及び534)と共に表示することを示す。
いくつかの実施形態では、第2の1組の1つ以上のアフォーダンスは、(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む、オペレーティングシステムコントロールの拡張セットである(642)。例えば、図5Tは、動的ファンクション行104が、図5Sでアフォーダンス542の選択を検出したことに応じて、複数のシステムレベルアフォーダンス(例えば、アフォーダンス518、520、522、524、526、528、530、及び532を含む、オペレーティングシステムコントロールの拡張セット)を常駐アフォーダンス(例えば、アフォーダンス516及び534)と共に表示することを示す。
図6A〜6Dにおける動作について記載された特定の順序は単なる一例であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の再順序付けをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法700、800、900、及び1000)に関して本明細書で記載されている他のプロセスの詳細は、また、図6A〜図6Dに関連して上述されている方法600に類似の方法で適用可能であることを留意されたい。
図7A〜7Cは、いくつかの実施形態に係る、(例えば、図1A〜1B及び2A〜2Dの動的ファンクション行104を含む)動的入出力デバイスを更新する方法のフローチャートである。方法700は、プロセッサ、プライマリディスプレイ、メモリ、並びに、物理入力メカニズム及び物理入力メカニズムに隣接したタッチスクリーンディスプレイを少なくとも部分的に収容する筐体を備えるコンピューティングシステムで実行される。方法700の一部の動作が、任意選択的に、組み合わされ、及び/又は、一部の動作の順序が、任意選択的に変えられる。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A〜2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110内で実施されるプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(図2A〜2D)内で実施されるプライマリディスプレイ102(図2A〜2D)である。いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図1A〜1Bの動的ファンクション行104)及び入力メカニズム(例えば、図1A〜1Bの1組の物理キー106)を少なくとも部分的に収容する、ポータブルコンピューティングシステム100(図1A〜1B)の本体部分120である。代替として、いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図2A〜2Bの動的ファンクション行104)及び入力メカニズム(例えば、図2A〜2Bの1組の物理キー106)を少なくとも部分的に収容する、デスクトップコンピューティングシステム200の外付けキーボード206(図2A〜2B)である。代替として、いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図2Cの動的ファンクション行104)及び入力メカニズム(例えば、図2Cのタッチパッド108)を少なくとも部分的に収容する、デスクトップコンピューティングシステム200の第1の入力メカニズム212(図2C)である。
コンピューティングシステムは、コンピューティングシステムによって実行されるアプリケーション用の第1のユーザインタフェースをプライマリディスプレイ上に表示する(702)。例えば、図5Pは、プライマリディスプレイ102が、ユーザの連絡先帳に対応するメニュー5134を含む第1のユーザインタフェースを表示することを示す。図5Pでは、メニュー5134は、メニュー5134内の「全ての連絡先」グループを囲む太線によって示されるように、プライマリディスプレイ102上でフォーカスが当たっているユーザの連絡先帳の「全ての連絡先」グループに対応する、複数の連絡先のリスト(例えば、既存の連絡先又は自動的に入力された連絡先のリスト)を含む。例えば、図5XXは、プライマリディスプレイ102が、プライマリディスプレイ102上でフォーカスが当たっている、ウィンドウ5166上に重ね合わされたファイルメニューコントロール5288を含む、第1のユーザインタフェースを表示することを示す。
コンピューティングシステムは、アプリケーションに対応する1つ第1の1組の以上のアフォーダンスを含む、第2のユーザインタフェースをタッチスクリーンディスプレイ上に表示し、第1の1組の1つ以上のアフォーダンスはアプリケーションの第1の部分に対応する(704)。いくつかの実施形態では、第1の1組の1つ以上のアフォーダンスは、アプリケーションのトップメニュー又はファイルメニュー(すなわち、第1の部分又はサブセクション)に関連付けられる。例えば、図5Pは、動的ファンクション行104が、プライマリディスプレイ102上でフォーカスが当たっている、ユーザの連絡先帳の「全ての連絡先」グループに対応する第1の複数の連絡先アフォーダンス5136−A〜5136−F(すなわち、第1の1組のアフォーダンス)を含む、第2のユーザインタフェースを表示することを示す。例えば、図5XXは、動的ファンクション行104が、プライマリディスプレイ102上でフォーカスが当たっているファイルメニューコントロール5288に対応する第1の複数のアフォーダンス5290(すなわち、第1の1組のアフォーダンス)を含む、第2のユーザインタフェースを表示することを示す。
コンピューティングシステムは、タッチスクリーンディスプレイ上のスワイプジェスチャを検出する(706)。第1の実施例では、図5Pは、動的ファンクション行104が、第1の場所5140−Aから第2の場所5140−Bへと移動する接触5138による、右から左へのスワイプジェスチャを検出することを示す。別の実施例では、図5XXは、動的ファンクション行104が、第1の場所5294−Aから第2の場所5294−Bへと移動する接触5292による、上方向スワイプジェスチャを検出することを示す。
コンピューティングシステムは、スワイプジェスチャが第1の方向(例えば、水平)に実行されたという判定に従って、アプリケーションに対応する第2の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイ上に表示し、第2の1組の1つ以上のアフォーダンス内の少なくとも1つのアフォーダンスは第1の1組の1つ以上のアフォーダンスとは別個であり、第2の1組の1つ以上のアフォーダンスもまたアプリケーションの第1の部分に対応する(708)。いくつかの実施形態では、動的ファンクション行は、第1の方向のスワイプジェスチャを検出したことに応じて、アプリケーションの第1の部分に対応する異なる第2の1組のアフォーダンス(例えば、ツールセット又はメニュー)を表示し、第2の1組のアフォーダンスは、同じくアプリケーションの第1の部分に対応する第1の1組のアフォーダンスと比較した場合に、少なくとも1つの異なるアフォーダンス(例えば、ツール又はアイテム)を含む。例えば、図5Qは、動的ファンクション行104が、図5Pで右から左へのスワイプジェスチャを検出したことに応じて、ユーザの連絡先帳の「全ての連絡先」グループに対応する第2の複数の連絡先アフォーダンス5136−E〜5136−J(すなわち、第2の1組のアフォーダンス)を表示することを示す。
いくつかの実施形態では、第1の方向は、タッチスクリーンディスプレイの主寸法に対して略平行である(710)。例えば、ポータブルコンピューティングシステム100(図1A〜1B)を参照すると、第1の方向は、動的ファンクション行104及び/又は1組の物理キー106主寸法に対して略直角(例えば、垂直)である。
いくつかの実施形態では、第1の方向は、タッチスクリーンディスプレイの主寸法に対して略直角である(712)。例えば、ポータブルコンピューティングシステム100(図1A〜1B)を参照すると、第1の方向は、動的ファンクション行104及び/又は1組の物理キー106の主寸法に対して略平行(例えば、水平)である。
コンピューティングシステムは、スワイプジェスチャが第1の方向(例えば、垂直)に対して略直角な第2の方向に実行されたという判定に従って、アプリケーションに対応する第3の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイ上に表示し、第3の1組の1つ以上のアフォーダンスは第2の1組の1つ以上のアフォーダンスとは別個であり、第3の1組の1つ以上のアフォーダンスは、アプリケーションの第1の部分とは別個のアプリケーションの第2の部分に対応する(714)。いくつかの実施形態では、動的ファンクション行は、第2の方向のスワイプジェスチャを検出したことに応じて、第1の1組のアフォーダンスに関連付けられたアプリケーションの第1の部分と異なるアプリケーションの第2の部分に対応する、異なる第3の1組のアフォーダンス(例えば、異なるツールセット又はメニュー)を表示する。例えば、図5YYは、動的ファンクション行104が、図5XXで上方向スワイプジェスチャを検出したことに応じて、プライマリディスプレイ102上でフォーカスが当たっている編集メニューコントロール5296に対応する第2の複数のアフォーダンス5298(すなわち、第3の1組のアフォーダンス)を表示することを示す。いくつかの実施形態では、動的ファンクション行104は、(図5YYに示す)第2の複数のポッドキャストアフォーダンス598を表示するために、(図5XXに示す)第1の複数のアフォーダンス5290がロールオーバーされるか又は摺動されて非表示になる、遷移アニメーションを表示する。
この場合、一実施形態では、動的ファンクション行104上で検出された水平方向のスワイプはグループ又はカテゴリ内を移動又はスクラブし、垂直方向のスワイプはカテゴリ/フィルタを変更する。その結果、コンピューティングシステムのユーザは、手をキーボードから離してマウスへと動かすことなく、ツール及びメニューを容易にナビゲートすることができる。これはまた、より効率的な情報の表示を可能にし、かつより効率的な人間と機械との対話を可能にする。
いくつかの実施形態では、スワイプジェスチャを検出する前に、第2の部分がプライマリディスプレイ上の第1のユーザインタフェース内のコンパクトビューに表示され、かつシステムが、スワイプジェスチャが第1の方向に対して略直角な第2の方向に実行されたという判定に従って、第2の部分をプライマリディスプレイ上の第1のユーザインタフェース内の拡張ビューに表示する(716)。例えば、図5XXでは、写真アプリケーション用のステータストレイ502の第1の部分(例えば、ファイルメニューコントロール5288)がプライマリディスプレイ102によって拡張モードで表示され、写真アプリケーション用のステータストレイ502の第2の部分(例えば、編集メニューコントロール5296)がプライマリディスプレイ102によってコンパクトモードで表示される。この実施例の続きとして、図5XXで第2の方向に実行されたスワイプジェスチャ(例えば、接触5292による上方向スワイプジェスチャ)を検出したことに応じて、図5YYで写真アプリケーション用のステータストレイ502の第2の部分がプライマリディスプレイ102によって拡張モードで表示され、写真アプリケーション用のステータストレイ502の第1の部分がプライマリディスプレイ102によってコンパクトモードで表示される。
別の実施例では、図5Qで、メールアプリケーションのメニュー5134の第1の部分(例えば、メニュー5134内のユーザの連絡先帳の「全ての連絡先」グループ)がプライマリディスプレイ102によって拡張モードで表示され、メールアプリケーションのメニュー5134の第2の部分(例えば、メニュー5134内のユーザの連絡先帳の「家族」グループ)がプライマリディスプレイ102によってコンパクトモードで表示される。この実施例の続きとして、図5Qで第2の方向に実行されたスワイプジェスチャ(例えば、接触5142による上方向スワイプジェスチャ)を検出したことに応じて、図5Rでメールアプリケーションのメニュー5134の第2の部分がプライマリディスプレイ102によって拡張モードで表示され、メールアプリケーションのメニュー5134の第1の部分がプライマリディスプレイ102によってコンパクトモードで表示される。
いくつかの実施形態では、第1の部分はアプリケーションのメニュー、タブ、フォルダ、ツールセット、又はツールバーのうちの1つであり、第2の部分はアプリケーションのメニュー、タブ、フォルダ、ツールセット、又はツールバーのうちの1つである(718)。例えば、図5P〜5Rでは、メールアプリケーションのメニュー5134の第1の部分はメニュー5134内のユーザの連絡先帳の「全ての連絡先」グループに対応し、メールアプリケーションのメニュー5134の第2の部分はメニュー5134内のユーザの連絡先帳の「家族」グループに対応する。例えば、図5XX〜5YYでは、写真アプリケーション用のステータストレイ502の第1の部分はファイルメニューコントロール5288に対応し、写真アプリケーション用のステータストレイ502の第2の部分は編集メニューコントロール5296に対応する。
いくつかの実施形態では、コンピューティングシステムは、第3の1組の1つ以上のアフォーダンをタッチスクリーンディスプレイ上に表示した後、第1のユーザインタフェース上の第1の部分を選択するユーザ入力を検出し、ユーザ入力を検出したことに応じて、アプリケーションの第2の部分に対応する第3の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイ上に表示することを停止し、アプリケーションの第1の部分に対応する第2の1組の1つ以上のアフォーダンスを表示する(720)。例えば、図5YYに関連して、プライマリディスプレイ102は、プライマリディスプレイ102上でフォーカスが当たっている編集メニューコントロール5296に対応する第2の複数のアフォーダンス5298(すなわち、第3の1組のアフォーダンス)を動的ファンクション行104上に表示した後、カーソル504をステータストレイ502内のファイルメニューに対応する場所に表示する(図示せず)。引き続き実施例を参照すると、動的ファンクション行104は、カーソル504によるステータストレイ502内のファイルメニューの選択を検出したことに応じて、第2の複数のアフォーダンス5298(すなわち、第3の1組のアフォーダンス)を表示することを停止し、その代わりに、ファイルメニューコントロール5288(すなわち、第2の1組のアフォーダンス)を表示する。
いくつかの実施形態では、第2の1組の1つ以上のアフォーダンス及び第3の1組の1つ以上のアフォーダンスは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む(722)。例えば、図5Qでは、動的ファンクション行104は、ユーザの連絡先帳の「全ての連絡先」グループに対応する第2の複数の連絡先アフォーダンス5136−E〜5136−J(すなわち、第2の1組のアフォーダンス)を少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)と共に表示する。例えば、図5YYでは、動的ファンクション行104は、プライマリディスプレイ102上でフォーカスが当たっている編集メニューコントロール5296に対応する第2の複数のアフォーダンス5298(すなわち、第3の1組のアフォーダンス)を少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)と共に表示する。
いくつかの実施形態では、コンピューティングシステムによって実行されるアプリケーション用の第1のユーザインタフェースは、プライマリディスプレイ上にフルスクリーンモードで表示され、タッチスクリーンディスプレイ上に表示される第1の1組の1つ以上のアフォーダンスは、フルスクリーンモードに対応するコントロールを含む(724)。例えば、図5EEは、プライマリディスプレイ102が写真Bをウィンドウ5200にフルスクリーンモードで表示することを示し、かつ動的ファンクション行104がウィンドウ5200内の写真Bの向きを直線化するための1組のコントロール5209を表示することも示す。例えば、動的ファンクション行104は、第2の方向(例えば、動的ファンクション行104の主寸法に対する垂直方向)のスワイプジェスチャを検出したことに応じて、切り抜きツール5210に対応する1組のコントロール(例えば、スワイプジェスチャが上方向スワイプジェスチャである場合)又は赤目軽減ツール5206に対応する1組のコントロール(例えば、スワイプジェスチャが下方向スワイプジェスチャである場合)を表示する。この実施例の続きとして、動的ファンクション行104は、第1の方向(例えば、動的ファンクション行104の主寸法に対する水平方向)のスワイプジェスチャを検出したことに応じて、ウィンドウ5200内の写真Bの向きを調整する。
図5EEに関連する別の実施例では、動的ファンクション行104は、第2の方向(例えば、動的ファンクション行104の主寸法に対する垂直方向)のスワイプジェスチャを検出したことに応じて、情報アフォーダンス5178に関連付けられた1組のコントロール(例えば、スワイプジェスチャが上方向スワイプジェスチャである場合)又は写真追加アフォーダンス5182に関連付けられた1組のコントロール(例えば、スワイプジェスチャが下方向スワイプジェスチャである場合)を表示する。この実施例の続きとして、動的ファンクション行104は、第1の方向(例えば、動的ファンクション行104の主寸法に対する水平方向)のスワイプジェスチャを検出したことに応じて、切り抜きツール5210に対応する1組のコントロール(例えば、スワイプジェスチャが右から左へのスワイプジェスチャである場合)又は赤目軽減ツール5206に対応する1組のコントロール(例えば、スワイプジェスチャが左から右へのスワイプジェスチャである場合)を表示する。
図7A〜7Cにおける動作について記載された特定の順序は単なる一例であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の再順序付けをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法600、800、900、及び1000)に関して本明細書で記載されている他のプロセスの詳細は、また、図7A〜図7Cに関連して上述されている方法700に類似の方法で適用可能であることを留意されたい。
図8A〜8Bは、いくつかの実施形態に係る、フルスクリーンモード中にアプリケーションの機能を維持する方法のフローチャートである。方法800は、プロセッサ、プライマリディスプレイ、メモリ、並びに、物理入力メカニズム及び物理入力メカニズムに隣接したタッチスクリーンディスプレイを少なくとも部分的に収容する筐体を備えるコンピューティングシステムで実行される。方法800の一部の動作が、任意選択的に、組み合わされ、及び/又は、一部の動作の順序が、任意選択的に変えられる。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A〜2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110内で実施されるプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(図2A〜2D)内で実施されるプライマリディスプレイ102(図2A〜2D)である。いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図1A〜1Bの動的ファンクション行104)及び入力メカニズム(例えば、図1A〜1Bの1組の物理キー106)を少なくとも部分的に収容する、ポータブルコンピューティングシステム100(図1A〜1B)の本体部分120である。代替として、いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図2A〜2Bの動的ファンクション行104)及び入力メカニズム(例えば、図2A〜2Bの1組の物理キー106)を少なくとも部分的に収容する、デスクトップコンピューティングシステム200の外付けキーボード206(図2A〜2B)である。代替として、いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図2Cの動的ファンクション行104)及び入力メカニズム(例えば、図2Cのタッチパッド108)を少なくとも部分的に収容する、デスクトップコンピューティングシステム200の第1の入力メカニズム212(図2C)である。
コンピューティングシステムは、コンピューティングシステムによって実行されるアプリケーション用の第1のユーザインタフェースを、プライマリディスプレイ上に通常モードで表示し、第1のユーザインタフェースは、アプリケーションに関連付けられた1つ以上のアフォーダンスの少なくとも第1の1組を含む(802)。例えば、図5Zは、プライマリディスプレイ102が、第1のユーザインタフェースを写真アプリケーション用のウィンドウ5166と共に通常表示モードで表示することを示す。図5Zでは、プライマリディスプレイ102上で、ウィンドウ5166内の選択された写真Bにフォーカスが当たっており、ウィンドウ5166は、選択された写真Bに対して、検索、ズーム、スライドショー、共有、及び設定などの機能/動作を実行するための選択可能なアフォーダンス(すなわち、第1の1組のアフォーダンス)を含む。
コンピューティングシステムは、アプリケーション用の第1のユーザインタフェースの少なくとも一部をプライマリディスプレイ上にフルスクリーンモードで表示するためのユーザ入力を検出する(804)。例えば、検出されたユーザ入力は、プライマリディスプレイ102又は動的ファンクション行104上に表示されたフルスクリーンビューアフォーダンス又はスライドショーアフォーダンスの選択に対応する。
いくつかの実施形態では、アプリケーション用の第1のユーザインタフェースの少なくとも一部をプライマリディスプレイ上にフルスクリーンモードで表示するためのユーザ入力は、タッチスクリーンディスプレイ上で検出されたタッチ入力及びプライマリディスプレイ上の第1のユーザインタフェース内で選択されたコントロールのうちの少なくとも1つである(806)。第1の実施例では、図5Zは、プライマリディスプレイ102が、スライドショーアフォーダンスに対応する場所にカーソル504を表示することを示す。第2の実施例では、図5BBは、動的ファンクション行104が、フルスクリーンアフォーダンス5196に対応する場所で接触5196(例えば、タップ接触)を受けること及び検出することを示す。
ユーザ入力を検出したことに応じて、コンピューティングシステムは、第1のユーザインタフェース内のアプリケーションに関連付けられた第1の1組の1つ以上のアフォーダンスをプライマリディスプレイ上に表示することを停止し、アプリケーション用の第1のユーザインタフェースの一部をプライマリディスプレイ上にフルスクリーンモードで表示し、アプリケーションを制御するための、第1の1組の1つ以上のアフォーダンスに対応する第2の1組の1つ以上のアフォーダンスを、人の介入なしで自動的にタッチスクリーンディスプレイ上に表示する(808)。引き続き上記の第1の実施例を参照すると、図5AAは、プライマリディスプレイ102が、図5Zでカーソル504によるスライドショーアフォーダンスの選択を検出したことに応じて、ユーザの写真ライブラリの全写真サブセクションからの写真のスライドショーをウィンドウ5188に表示することを示す。図5AAは、動的ファンクション行104が、図5Zでカーソル504によるスライドショーアフォーダンスの選択を検出したことに応じて、サムネイル画像5192−Y、5192−Z、5192−A、5192−B、5192−C、5192−D、及び5192−E(すなわち、第2の1組のアフォーダンス)を表示することも示す。サムネイル画像5192−Y、5192−Z、5192−A、5192−B、5192−C、5192−D、及び5192−Eは、ユーザの写真ライブラリの全写真サブセクションに関連付けられたスライドショー用の一連の写真に対応する。図5AAでは、写真Bに対応するアフォーダンス5192−Bは、プライマリディスプレイ102上で現在写真Bにフォーカスが当たっていることを示すために、動的ファンクション行104によって目立つように(例えば、太字テキスト及び太い境界線を使用して)表示される。
引き続き上記の第2の実施例を参照すると、図5CCは、プライマリディスプレイ102が、図5BBでフルスクリーンアフォーダンス5196の選択を検出したことに応じて、写真Bをウィンドウ5200にフルスクリーンモードで表示することを示す。図5DDは、動的ファンクション行104が、図5CCで編集アフォーダンス5180の選択を検出したことに応じて、1組の編集ツール5205(すなわち、第2の1組のアフォーダンス)を表示することも示す。
別の実施例では、プライマリディスプレイ102上でウェブブラウザアプリケーション又はウェブブラウザアプリケーションに対応するユーザインタフェースの一部にフォーカスが当たっており、かつコンピューティングシステムがフルスクリーンモードに入るためのユーザ入力を検出した場合、プライマリディスプレイ102は現在アクティブなタブをフルスクリーンモードで表示し、かつ動的ファンクション行104はウェブブラウザアプリケーション内の開いているタブに対応するサムネイル画像を少なくとも1つのシステムレベルアフォーダンスと共に表示する。例えば、コンピューティングシステムのユーザは、動的ファンクション行104上のそれぞれのタブに対応するサムネイルを選択することによって、それぞれのタブをプライマリディスプレイ102上にフルスクリーンモードで表示することができる。
いくつかの実施形態では、第2の1組の1つ以上のアフォーダンスは、第1の1組の1つ以上のアフォーダンスである(810)。例えば、第2の1組のアフォーダンスは、アプリケーションに関連付けられた第1の1組のアフォーダンスの少なくとも一部を含む。別の実施例では、第2の1組のアフォーダンスは、アプリケーションに関連付けられた第1の1組のアフォーダンスを含む。別の実施例では、第2の1組のアフォーダンスは、アプリケーションに関連付けられた第1の1組のアフォーダンスと同じである。例えば、第2の1組のアフォーダンスは、写真編集コントロール、ゲームコントロール、スライドショーコントロール及びプレビュー、ウェブブラウザの現在開いているウェブページタブなどの、コンピューティングシステムによって実行されるアプリケーションに関連付けられたコントロールを含む。
いくつかの実施形態では、第2の1組の1つ以上のアフォーダンスは、フルスクリーンモードに対応するコントロールを含む(812)。例えば、図5AAは、動的ファンクション行104が、ユーザの写真ライブラリの全写真サブセクションに関連付けられたスライドショー用の一連の写真に対応するサムネイル画像5192−Y、5192−Z、5192−A、5192−B、5192−C、5192−D、及び5192−E(すなわち、第2の1組のアフォーダンス)を表示することを示す。例えば、コンピューティングシステムのユーザは、アフォーダンス5192のうちの1つを選択することによって、特定の写真までスキップして進むか又は特定の写真までスキップして戻ることができる。更に、例えば、コンピューティングシステムのユーザは、動的ファンクション行104上で右から左へのスワイプジェスチャを実行することによって先に進むように閲覧するか、又は動的ファンクション行104上で左から右へのスワイプジェスチャを実行することによって一連の写真を前に戻るように閲覧することができる。更に、図5AAでは、動的ファンクション行104は、(例えば、タップ接触を介して)アクティブ化されたときに、スライドショーを一時停止させ、かつプライマリディスプレイ102にフルスクリーンモードを終了させる、一時停止アフォーダンス5190を表示する。
いくつかの実施形態では、第2の1組の1つ以上のアフォーダンスは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む(814)。例えば、図5AAは、動的ファンクション行104が、サムネイル画像5192及び一時停止アフォーダンス5190を少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)及び常駐コントロール(例えば、アフォーダンス516及び534)と共に表示することを示す。
いくつかの実施形態では、コンピューティングシステムは、タッチスクリーンディスプレイ上に表示された第2の1組のアフォーダンスのうちの1つを選択するユーザタッチ入力を検出し、かつコンピューティングシステムは、ユーザタッチ入力を検出したことに応じて、第2の1組のアフォーダンスのうちの選択された1つにしたがって、プライマリディスプレイ上にフルスクリーンモードで表示されているアプリケーション用の第1のユーザインタフェースの一部を変更する(816)。例えば、図5EEでは、コンピューティングシステムのユーザは、スライダ5210上又は1組のコントロール5209内を起点とする場所で左から右へのスワイプ/ドラッグジェスチャ又は右から左へのスワイプ/ドラッグジェスチャを実行することによって、プライマリディスプレイ102によって表示されたウィンドウ5200内の写真Bの向きを調整することができる。
いくつかの実施形態では、コンピューティングシステムは、アプリケーション用の第1のユーザインタフェースの一部をプライマリディスプレイ上にフルスクリーンモードで表示した後、フルスクリーンモードを終了するための後続のユーザ入力を検出し、後続のユーザ入力を検出したことに応じて、コンピューティングシステムによって実行されるアプリケーション用の第1のユーザインタフェースをプライマリディスプレイ上に通常モードで表示し、第1のユーザインタフェースは、アプリケーションに関連付けられた第1の1組の1つ以上のアフォーダンスを含み、アプリケーションを制御するための、第1の1組の1つ以上のアフォーダンスに対応する第2の1組の1つ以上のアフォーダンスの少なくとも下位セットの表示をタッチスクリーンディスプレイ上で維持する(818)。一実施例では、図5AAは、動的ファンクション行104が、一時停止アフォーダンス5190に対応する場所で接触5194(例えば、タップ接触)を受けること及び検出することを示す。この実施例の続きとして、プライマリディスプレイ102はフルスクリーンモードを終了し、図5BBは、プライマリディスプレイ102が、図5AAで一時停止アフォーダンス5190の選択を検出したことに応じて、写真Bをウィンドウ5166内の拡張ビューに表示することを示す。別の実施例では、図5EEは、動的ファンクション行104が、エスケープアフォーダンス516に対応する場所で接触5216(例えば、タップ接触)を受けること及び検出することを示す。この実施例の続きとして、プライマリディスプレイ102はフルスクリーンモードを終了し、図5FFは、プライマリディスプレイ102が、図5EEでエスケープアフォーダンス516の選択を検出したことに応じて、写真Bをウィンドウ5166内の拡張ビューに表示することを示す。この実施例の続きとして、図5FFは、動的ファンクション行104が、図5EEで表示された第2の1組のアフォーダンスの少なくとも下位セットの表示を維持することも示す。
図8A〜8Bにおける動作について記載された特定の順序は単なる一例であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の再順序付けをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法600、700、900、及び1000)に関して本明細書で記載されている他のプロセスの詳細は、また、図8A〜8Bに関連して上述されている方法800に類似の方法で適用可能であることを留意されたい。
図9A〜9Bは、いくつかの実施形態に係る、タッチスクリーンディスプレイ上に通知を表示する方法のフローチャートである。方法900は、プロセッサ、プライマリディスプレイ、メモリ、並びに、物理入力メカニズム及び物理入力メカニズムに隣接したタッチスクリーンディスプレイを少なくとも部分的に収容する筐体を備えるコンピューティングシステムで実行される。方法900の一部の動作が、任意選択的に、組み合わされ、及び/又は、一部の動作の順序が、任意選択的に変えられる。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A〜2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110内で実施されるプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(図2A〜2D)内で実施されるプライマリディスプレイ102(図2A〜2D)である。いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図1A〜1Bの動的ファンクション行104)及び入力メカニズム(例えば、図1A〜1Bの1組の物理キー106)を少なくとも部分的に収容する、ポータブルコンピューティングシステム100(図1A〜1B)の本体部分120である。代替として、いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図2A〜2Bの動的ファンクション行104)及び入力メカニズム(例えば、図2A〜2Bの1組の物理キー106)を少なくとも部分的に収容する、デスクトップコンピューティングシステム200の外付けキーボード206(図2A〜2B)である。代替として、いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図2Cの動的ファンクション行104)及び入力メカニズム(例えば、図2Cのタッチパッド108)を少なくとも部分的に収容する、デスクトップコンピューティングシステム200の第1の入力メカニズム212(図2C)である。
コンピューティングシステムは、コンピューティングシステムによって実行されるアプリケーション用の第1のユーザインタフェースをプライマリディスプレイ上に表示する(902)。例えば、図5TTは、プライマリディスプレイ102が、タブB用の(例えば、www.website_B.com/homeに対応する)インタフェースを含む第1のユーザインタフェースをブックマークサイドバーと共にウィンドウ5224内に表示することを示す。図5TTでは、ブックマークサイドバーを囲む太線によって示されるように、プライマリディスプレイ102上で、ブックマークサイドバーにフォーカスが当たっている。
コンピューティングシステムは、アプリケーションに対応する1組の1つ以上のアフォーダンスを含む第2のユーザインタフェースをタッチスクリーンディスプレイ上に表示する(904)。上記の実施例の続きとして、図5TTは、動的ファンクション行104が、プライマリディスプレイ102上でブックマークサイドバーにフォーカスが当たっていることの結果として、全ての既存のブックマークに対応する1組のブックマークアフォーダンス5278を含む第2のユーザインタフェースを表示することを示す。
いくつかの実施形態では、コンピューティングシステムは、通知を検出する前に、通知をタッチスクリーンディスプレイ上に表示しかつ通知をプライマリディスプレイ上に表示しないようにするための通知設定を選択するユーザ入力を検出する(906)。いくつかの実施形態では、コンピューティングシステムのユーザは、設定パネル内で、受信した通知がプライマリディスプレイ102及び動的ファンクション行104のうちの1つ以上に表示されるかどうかを指定することができる。いくつかの実施形態では、コンピューティングシステムはデフォルトで、受信した通知をプライマリディスプレイ102上ではなく動的ファンクション行104上に表示する。
コンピューティングシステムは通知を検出する(908)。いくつかの実施形態では、通知はアプリケーション(例えば、図5TTのウェブブラウザアプリケーション)に関連付けられる。いくつかの実施形態では、通知は、前景で実行されているか又は背景のアプリケーションと共に実行されているアプリケーションに関連付けられる。例えば、通知は、新たに受信した電子メール、インスタントメッセージ、若しくはSMSに関連付けられたアラートなどのモードアラート又はリアルタイム通知、ソーシャルメディアアプリケーション内の投稿又は返答などの、アプリケーション内で新たに検出された発生に関連付けられた通知、保存/終了ダイアログボックス又は他のプロンプトなどの、コンピューティングシステムによって実行されるアプリケーションに関連付けられたモードアラートなどのうちの1つである。
コンピューティングシステムは、通知を検出したことに応じて、アプリケーションに対応する1組の1つ以上のアフォーダンス及び検出された通知の少なくとも一部をタッチスクリーンディスプレイ上の第2のユーザインタフェースに同時に表示し、検出された通知はプライマリディスプレイ上に表示されない(910)。例えば、いくつかの実施形態では、動作906で説明した通知設定に基づき、検出された通知の少なくとも一部が、動的ファンクション行104上に表示された第2のユーザインタフェース上に重ね合わされる。追加で及び/又は代替として、いくつかの実施形態では、通知は、プライマリディスプレイ102によって表示された第1のユーザインタフェース上に重ね合わされる。このため、コンピューティングシステムのユーザは、そのような選択可能なコントロールがプライマリディスプレイ上に表示されたときに、手を1組の物理キーから離して別の入力デバイス(例えば、マウス)へと動かすことなく、通知を表示し、その通知に応答することができる。例えば、ユーザの手に関してはキーボードとマウスとの間、及びユーザの目に関してはキーボードとディスプレイとの間の、このモード切り換えの減少は、より直感的なユーザエクスペリエンス及びより効率的なヒューマン−マシンインタフェースを提供する。
例えば、図5Vは、プライマリディスプレイ102及び動的ファンクション行104が、図5Uでカーソル504による終了アフォーダンスの選択を検出したことに応じて、モードアラート5156を表示することを示す。図5Vでは、モードアラート5156は、ウィンドウ580を閉じる前に下書き電子メールを保存するようユーザに促し、「保存」アフォーダンス5158、「保存しない」アフォーダンス5160、及び「キャンセル」アフォーダンス5162を含む。別の実施例では、図5Xは、プライマリディスプレイ102及び動的ファンクション行104が、指定された物理キーの組み合わせ(例えば、Alt+Tab)に対応する信号をポータブルコンピューティングシステム100(図1A〜1B)の1組の物理キー106から又はデスクトップコンピューティングシステム200(図2A〜2D)の外付けキーボード206の1組の物理キー106から受信したことに応じて、アプリケーション選択ウィンドウ5164を表示することを示す。図5Xでは、アプリケーション選択ウィンドウ5164は、コンピューティングシステムのユーザが、背景に位置し得る現在実行中のアプリケーション間の切り替えを行うことを可能にする。
更に別の実施例では、図5FFは、動的ファンクション行104が、コンピューティングシステムによる通知5218の受信に応じて、アフォーダンス5178、5180、5182、及び5184上に重ねられた通知5218を表示することを示す。図5FFでは、通知5218は、Suzie S.によってコンピューティングシステムのユーザに送信されたSMS、インスタントメッセージなどに対応し、通知の内容は「今夜映画はどうですか?」と尋ねている。更に別の実施例では、図5KKは、プライマリディスプレイ102及び動的ファンクション行104が、図5JJでカーソル504による購入アフォーダンスの選択を検出したことに応じて、モードアラート5240を表示することを示す。図5KKでは、動的ファンクション行104上に表示されたモードアラート5240は、指紋を動的ファンクション行104の指紋領域5244内で提供するようコンピューティングシステムのユーザに促し、かつ、(例えば、タップ接触を介して)アクティブ化されたときに購入をキャンセルさせるキャンセルアフォーダンス5242も含む。
更に別の実施例では、図5OOは、プライマリディスプレイ102が、コンピューティングシステムによる通知5264の受信に応じて、ウィンドウ5264上に重ねられた通知5264を表示することを示す。図5OOでは、通知5264は、MASによってコンピューティングシステムのユーザに送信されたSMS、インスタントメッセージなどに対応し、通知の内容は「もう着きましたか?」と尋ねている。更に別の実施例では、図5UUは、動的ファンクション行104が、図5TTでカーソル504による終了アフォーダンスの選択を検出したことに応じて、1組のブックマークアフォーダンス5278上に重ねられたモードアラート5280を表示することを示す。図5UUでは、モードアラート5280は、ウェブブラウザアプリケーション内の全ての開いているタブを閉じる意図を確定するようコンピューティングシステムのユーザに促す。更に別の実施例では、図5AAAは、動的ファンクション行104が、図5CCCで電源コントロール534の選択を検出したことに応じて、モードアラート5308を表示することを示す。図5DDDでは、モードアラート5308は、ログアウト/電源オフオプションをログアウトアフォーダンス5310、再起動アフォーダンス5312、電源オフアフォーダンス5314、及びキャンセルアフォーダンス5316のうちの1つから選択するようコンピューティングシステムのユーザに促す。
いくつかの実施形態では、タッチスクリーンディスプレイ上に表示された通知の一部は、検出された通知に応答するための複数のオプションのうちの1つを選択するようコンピューティングシステムのユーザに促す(912)。例えば、図5Vでは、プライマリディスプレイ102及び動的ファンクション行104によって表示されたモードアラート5156は、ウィンドウ580を閉じる前に下書き電子メールを保存するようユーザに促し、「保存」アフォーダンス5158、「保存しない」アフォーダンス5160、及び「キャンセル」アフォーダンス5162を含む。別の実施例では、図5UUで動的ファンクション行104によって表示されたモードアラート5280は、ウェブブラウザアプリケーション内の全ての開いているタブを閉じる意図を確定するようコンピューティングシステムのユーザに促す。更に別の実施例では、図5DDDで動的ファンクション行104によって表示されたモードアラート5308は、ログアウト/電源オフオプションをログアウトアフォーダンス5310、再起動アフォーダンス5312、電源オフアフォーダンス5314、及びキャンセルアフォーダンス5316のうちの1つから選択するようコンピューティングシステムのユーザに促す。
いくつかの実施形態では、タッチスクリーンディスプレイ上に表示された通知の一部は、検出された通知への1つ以上の提案された応答を含む(914)。例えば、図5QQは、動的ファンクション行104が、図5PPで通知5264内の場所の接触5266を検出したことに応じて、応答ダイアログボックス5268を表示することを示す。図5QQでは、応答ダイアログボックス5268は、図5OO〜5PPに示す通知5264の内容に対する複数の予測応答を含む。図5QQでは、応答ダイアログボックス5268は、第1の予測応答5270(「はい。」)、第2の予測応答5272(「いいえ。」)、及び第3の予測応答5274(「まだ途中です!」)を含む。図5QQは、動的ファンクション行104が、第1の予測応答5270に対応する場所で接触5276(例えば、タップ接触)を受けること及び検出することも示す。例えば、コンピューティングシステムは、第1の予測応答5270の選択に応じて、コンピューティングシステムのユーザへの通知5264の送信に使用されたものと同じ通信モード(例えば、SMS、インスタントメッセージなど)を介して、第1の予測応答5270(「はい。」)をMASへと送信させる。別の実施例では、コンピューティングシステムは、第1の予測応答5270の選択に応じて、(例えば、ユーザによって選択されるか又はソフトウェア内で設定された)デフォルト通信モードを介して、第1の予測応答5270(「はい。」)をMASへと送信させる。
いくつかの実施形態では、通知は、着信インスタントメッセージ、SMS、電子メール、音声通話、又はビデオ通話のうちの少なくとも1つに対応する(916)。例えば、図5FFでは、通知5218は、Suzie S.によってコンピューティングシステムのユーザに送信されたSMS、インスタントメッセージなどに対応する。別の実施例では、図5LLでインタフェース5248がC.Cheungからの着信音声通話に対応し、図5MMでインタフェース5256がC.Cheungとコンピューティングシステムのユーザとの間で進行している音声通話に対応する。更に別の実施例では、通知5264は、図5OO〜5PPで、MASによってコンピューティングシステムのユーザへと送信されたSMS、インスタントメッセージなどに対応する。
いくつかの実施形態では、通知は、コンピューティングシステムのプロセッサによって実行されているアプリケーションによって、アプリケーションを閉じるか又はアプリケーション内でアクションを実行するユーザ入力に応じて発行されるモードアラートに対応する(918)。第1の実施例では、図5Vは、モードアラート5156が、図5Uでカーソル504による終了アフォーダンスの選択を検出したことに応じて、ウィンドウ580を閉じる前に、下書き電子メールを保存するようコンピューティングシステムのユーザに促すことを示す。第2の実施例では、図5KKは、モードアラート5240が、図5JJでカーソル504による購入アフォーダンスの選択を検出したことに応じて、購入を検証するために、指紋を提供するようコンピューティングシステムのユーザ100に促すことを示す。第3の実施例では、図5UUは、モードアラート5280が、図5TTでカーソル504による終了アフォーダンスの選択を検出したことに応じて、ウェブブラウザアプリケーション内の全ての開いているタブを閉じる意図を確定するようコンピューティングシステムのユーザに促すことを示す。
いくつかの実施形態では、1組の1つ以上のアフォーダンスは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含み、通知は、入力メカニズムの1つ以上の部分を選択するユーザ入力(例えば、Alt+Tab又は別のキーボードの組み合わせ)又は少なくとも1つのシステムレベルアフォーダンス(例えば、電源コントロールアフォーダンス)に対応する(920)。一実施例では、図5Xは、動的ファンクション行104が、指定された物理キーの組み合わせ(例えば、Alt+Tab)に対応する信号をポータブルコンピューティングシステム100(図1A〜1B)の1組の物理キー106から又はデスクトップコンピューティングシステム200(図2A〜2D)の外付けキーボード206の1組の物理キー106から受信したことに応じて、アプリケーション選択ウィンドウ5164を表示することを示す。別の実施例では、図5DDDは、動的ファンクション行104が、図5CCCで電源コントロール534の選択を検出したことに応じて、モードアラート5308を表示することを示す。
いくつかの実施形態では、コンピューティングシステムは、検出された通知の一部に対応するユーザタッチ入力をタッチスクリーンディスプレイ上で検出する(922)。ユーザタッチ入力が第1のタイプ(例えば、スワイプして非表示にする)に対応するという判定に従って、コンピューティングシステムは、検出された通知の一部をタッチスクリーンディスプレイ上の第2のユーザインタフェースに表示することを停止する。ユーザタッチ入力が第1のタイプとは別個の第2のタイプ(例えば、タップしてアクションを実行する)に対応するという判定に従って、コンピューティングシステムは、検出された通知に関連付けられたアクション(例えば、新たに受信した電子メール、SMS、又はIMに応答するためのダイアログを開く、ドキュメントを保存する、プログラムを終了するなど)を実行する。例えば、図5FFは、動的ファンクション行104が、通知5128内の第1の場所5222−Aから第2の場所5222−Bへの接触5220による左から右へのスワイプジェスチャを検出することを示す。この実施例の続きとして、図5GGは、動的ファンクション行104が、図5FFで左から右へのスワイプジェスチャを検出したことに応じて、通知5218を表示することを停止することを示す。別の実施例では、図5PPは、動的ファンクション行104が、通知5264内の場所で接触5266(例えば、タップ接触)を受けること及び検出することを示す。この実施例の続きとして、図5QQは、動的ファンクション行104が、図5PPで通知5264内の場所の接触5266を検出したことに応じて、応答ダイアログボックス5268を表示することを示す。
図9A〜9Bにおける動作について記載された特定の順序は単なる一例であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の再順序付けをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法600、700、800、及び1000)に関して本明細書で記載されている他のプロセスの詳細は、また、図9A〜9Bに関連して上述されている方法900に類似の方法で適用可能であることを留意されたい。
図10A〜10Cは、いくつかの実施形態に係る、ユーザインタフェースの部分を移動させる方法のフローチャートである。方法1000は、プロセッサ、プライマリディスプレイ、メモリ、並びに、物理入力メカニズム及び物理入力メカニズムに隣接したタッチスクリーンディスプレイを少なくとも部分的に収容する筐体を備えるコンピューティングシステムで実行される。方法1000の一部の動作が、任意選択的に、組み合わされ、及び/又は、一部の動作の順序が、任意選択的に変えられる。
いくつかの実施形態では、コンピューティングシステムは、ポータブルコンピューティングシステム100(図1A)又はデスクトップコンピューティングシステム200(図2A〜2D)である。いくつかの実施形態では、プライマリディスプレイは、ポータブルコンピューティングシステム100(図1A)のディスプレイ部分110内で実施されるプライマリディスプレイ102(図1A)である。代替として、いくつかの実施形態では、プライマリディスプレイは、外付けディスプレイデバイス204(図2A〜2D)内で実施されるプライマリディスプレイ102(図2A〜2D)である。いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図1A〜1Bの動的ファンクション行104)及び入力メカニズム(例えば、図1A〜1Bの1組の物理キー106)を少なくとも部分的に収容する、ポータブルコンピューティングシステム100(図1A〜1B)の本体部分120である。代替として、いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図2A〜2Bの動的ファンクション行104)及び入力メカニズム(例えば、図2A〜2Bの1組の物理キー106)を少なくとも部分的に収容する、デスクトップコンピューティングシステム200の外付けキーボード206(図2A〜2B)である。代替として、いくつかの実施形態では、筐体は、タッチスクリーンディスプレイ(例えば、図2Cの動的ファンクション行104)及び入力メカニズム(例えば、図2Cのタッチパッド108)を少なくとも部分的に収容する、デスクトップコンピューティングシステム200の第1の入力メカニズム212(図2C)である。
コンピューティングシステムは、1つ以上のユーザインタフェース要素を含むユーザインタフェースをプライマリディスプレイ上に表示する(1002)。例えば、図5OOは、プライマリディスプレイ102が、ウィンドウ5224内のタブB用のインタフェース及びウィンドウ5224上に重ねられた通知5264を表示することを示す。図5OOでは、タブB用のインタフェースは、ウェブサイトBの(例えば、www.website_B.com/homeというURLに関連付けられた)ホームウェブページを示す。
コンピューティングシステムは、プライマリディスプレイ上でフォーカスが当たっている1つ以上のユーザインタフェース要素のうちのアクティブユーザインタフェース要素を特定し、アクティブユーザインタフェース要素は、コンピューティングシステムによって実行されるアプリケーションに関連付けられている(1004)。例えば、図5OOでは、タブBを囲む太線及びタブBの太字テキストによって示されるように、プライマリディスプレイ102上で、タブB用のインタフェースにフォーカスが当たっている。
コンピューティングシステムは、プライマリディスプレイ上でフォーカスが当たっているアクティブユーザインタフェース要素を特定したことに応じて、アプリケーションに対応する1つ以上の1組のアフォーダンスをタッチスクリーンディスプレイ上に表示する(1006)。例えば、図5OOでは、動的ファンクション行104が、アドレスバー5234内のウェブサイトBのホームウェブページ(例えば、www.website_B.com/home)、最近閲覧したウェブページ間をナビゲートするためのアフォーダンス5230及び5232、現在のウェブページをお気に入り又はブックマークリストに追加するためのアフォーダンス5238、並びにタブA及びCにそれぞれアクセスするためのアフォーダンス5262−A及び5262−Bを含む、ウェブブラウザアプリケーション用のコントロール(すなわち、1組の1つ以上のアフォーダンス)を表示する。
コンピューティングシステムは、ユーザインタフェースのそれぞれの部分を移動させるためのユーザ入力を検出する(1008)。いくつかの実施形態では、ユーザインタフェースの部分は、メニュー、ツールバー、ツールセット、通知などである。例えば、コンピューティングシステムは、メニューをプライマリディスプレイ102の最下部(又はユーザによって定義された他の場所)までドラッグするジェスチャ、又は、メニューを動的ファンクション行104へと移動させるための、右クリックアクション若しくは他の対応するアフォーダンスを介した命令を検出する。一実施例では、図5OOは、コンピューティングシステムのユーザが通知5264をカーソル504によってプライマリディスプレイ102の右下隅にある既定の場所へとドラッグすることを、プライマリディスプレイ102が表示することを示す。別の実施例では、図5SSは、コンピューティングシステムのユーザがブックマークサイドバーをカーソル504によってプライマリディスプレイ102の右下隅にある既定の場所へとドラッグすることを、プライマリディスプレイ102が表示することを示す。
いくつかの実施形態では、ユーザインタフェースのそれぞれの部分は、コンピューティングシステムによって実行されるアプリケーションに対応するメニューである(1010)。例えば、ユーザインタフェースのそれぞれの部分は、ワードプロセッシングアプリケーション用のメニュー又はツールバーである。例えば、図5SSでは、カーソル504によってドラッグされているそれぞれのユーザインタフェースのそれぞれの部分は、ウィンドウ5224内のブックマークサイドバーである。
いくつかの実施形態では、ユーザインタフェースのそれぞれの部分は、通知又はモードアラートのうちの少なくとも1つである(1012)。例えば、図5OOでは、カーソル504によってドラッグされているそれぞれのユーザインタフェースのそれぞれの部分は、通知5264である。
ユーザ入力を検出したことに応じて、かつユーザ入力が既定のアクション基準を満たすという判定に従って、コンピューティングシステムは、ユーザインタフェースのそれぞれの部分をプライマリディスプレイ上に表示することを停止し、1組の1つ以上のアフォーダンスの少なくとも下位セットをタッチスクリーンディスプレイ上に表示することを停止し、ユーザインタフェースのそれぞれの部分の表現をタッチスクリーンディスプレイ上に表示する(1014)。一実施例では、図5PPは、図5OOでコンピューティングシステムのユーザが通知5264をカーソル504によってプライマリディスプレイ102の右下隅にある既定の場所へとドラッグしたことに応じて、プライマリディスプレイが通知5264を表示することを停止すること、及び動的ファンクション行104がアフォーダンス5262−A及び5262−B上に重ねられた通知5264を表示することを示す。別の実施例では、図5TTは、図5SSでコンピューティングシステムのユーザがブックマークサイドバーをカーソル504によってプライマリディスプレイ102の右下隅にある既定の場所へとドラッグしたことに応じて、動的ファンクション行104が、ウェブブラウザアプリケーションに関連付けられたコントロールを図5SSに示すように表示することを停止すること、及び全ての既存のブックマークに対応する1組のブックマークアフォーダンス5278を表示することを示す。
いくつかの実施形態では、既定のアクション基準は、ユーザ入力が、ユーザインタフェースのそれぞれの部分をプライマリディスプレイの既定の場所へとドラッグするドラッグジェスチャであるときに満たされる(1016)。いくつかの実施形態では、既定の場所は、コンピューティングシステムのユーザによって設定されたか又はソフトウェア内でデフォルトで設定された複数の既定の場所のうちの1つである。一実施例では、図5PPで、コンピューティングシステムのユーザは通知5264をカーソル504によって既定の場所(例えば、プライマリディスプレイ102の右下隅)へとドラッグする。別の実施例では、図5SSで、コンピューティングシステムのユーザはブックマークサイドバーをカーソル504によって既定の場所(例えば、プライマリディスプレイ102の右下隅)へとドラッグする。
いくつかの実施形態では、既定のアクション基準は、ユーザ入力が、ユーザインタフェースのそれぞれの部分をタッチスクリーンディスプレイへと移動させることに対応する所定の入力であるときに満たされる(1018)。例えば、プライマリディスプレイ102は、ワードプロセッシングアプリケーション用のウィンドウを、ワードプロセッシングアプリケーション用のウィンドウ上に重ねられた書式設定ツールバーと共に表示する。この実施例の続きとして、書式設定ツールバーを右クリックした後に特定の表示オプションを選択するか、又はプライマリディスプレイ102上で書式設定ツールバーにフォーカスが当たっている間に特定の表示オプションを選択したことに応じて、プライマリディスプレイ102は書式設定ツールバーを表示することを停止し、動的ファンクション行は書式設定ツールバーを表示する。
いくつかの実施形態では、ユーザインタフェースのそれぞれの部分の表現は、タッチスクリーンディスプレイ上の1組の1つ以上のアフォーダンス上に重ね合わされる(1020)。例えば、図5PPは、図5OOでコンピューティングシステムのユーザが通知5264をカーソル504によってプライマリディスプレイ102の右下隅にある既定の場所へとドラッグしたことに応じて、動的ファンクション行104がアフォーダンス5262−A及び5262−B上に重ねられた通知5264を表示することを示す。
いくつかの実施形態では、1組の1つ以上のアフォーダンスは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含み、かつコンピューティングシステムは、ユーザインタフェースのそれぞれの部分の表現をタッチスクリーンディスプレイ上に表示した後、少なくとも1つのシステムレベルアフォーダンスの表示をタッチスクリーンディスプレイ上で維持する(1022)。例えば、図5PPでは、動的ファンクション行104は、アフォーダンス5262−A及び5262−B上に重ねられた通知5264を、少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)及び常駐コントロール(例えば、エスケープアフォーダンス516及び電源コントロール534)と共に表示する。例えば、図5TTでは、動的ファンクション行104は、1組のブックマークアフォーダンス5278を、少なくとも1つのシステムレベルアフォーダンス(例えば、アフォーダンス542)及び常駐コントロール(例えば、エスケープアフォーダンス516及び電源コントロール534)と共に表示する。
いくつかの実施形態では、コンピューティングシステムは、ユーザ入力を検出したことに応じて、かつユーザ入力が既定のアクション基準を満たさないという判定に従って、ユーザインタフェースのそれぞれの部分の表示をプライマリディスプレイ上で維持し、1組の1つ以上のアフォーダンスの表示をタッチスクリーンディスプレイ上で維持する(1024)。例えば、図5OOに関連して、コンピューティングシステムのユーザが通知5264をカーソル504によってプライマリディスプレイ102の左下隅へとドラッグした場合、通知5264はプライマリディスプレイ102の左下隅に表示され、左下隅は既定の場所ではない(例えば、右下隅が既定の場所である)ため、動的ファンクション行104が通知5264を表示する。
図10A〜10Cにおける動作について記載された特定の順序は単なる一例であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の再順序付けをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法600、700、800、及び900)に関して本明細書で記載されている他のプロセスの詳細は、また、図10A〜10Cに関連して上述されている方法1000に類似の方法で適用可能であることを留意されたい。
いくつかの実施形態によれば、図11は、説明される様々な実施形態の原理にしたがって構成された、電子デバイス1100の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はこれらの組み合わせによって、任意選択的に実施される。図11で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。説明を容易にするために、電子デバイス1100は、その構成要素が電子デバイス300(図3)に対応する、ポータブルコンピューティングシステム100(図1A〜1B)として実施される。当業者は、電子デバイス1100がどのようにデスクトップコンピューティングシステム200(図2A〜2D)内でも実施され得るかを理解するであろう。
図11に示すように、電子デバイス1100は、情報を表示するように構成されたプライマリディスプレイユニット1102(例えば、図1A及び2A〜2Dのプライマリディスプレイ102)、ユーザ入力を受け取るように構成された物理入力ユニット1104、情報を表示するように構成されたタッチスクリーンディスプレイ(touch screen display、TSD)ユニット(本明細書では「タッチスクリーンディスプレイ」又は「タッチスクリーン」と呼ばれることもある)1106(例えば、図1A〜1B及び2A〜2Dの動的ファンクション行104)、1つ以上のセンサによってタッチスクリーンディスプレイユニット1106上の接触を受け取るように構成されたタッチ感知面ユニット1108、並びにプライマリディスプレイユニット1102、物理入力ユニット1104、タッチスクリーンディスプレイユニット1106、及びタッチ感知面ユニット1108に結合された処理ユニット1110を備える。いくつかの実施形態では、処理ユニット1110は、プライマリディスプレイ制御ユニット1112、タッチスクリーンディスプレイ(TSD)制御ユニット1114、フォーカス特定ユニット1116、判定ユニット1118、入力検出ユニット1120、入力タイプ判定ユニット1122、実行ユニット1124、及びメディア再生判定ユニット1126を備える。
処理ユニット1110は、1つ以上のユーザインタフェース要素を含む第1のユーザインタフェースを(例えば、プライマリディスプレイ制御ユニット1112によって)プライマリディスプレイユニット1102上に表示させ、プライマリディスプレイユニット1102上でフォーカスが当たっている1つ以上のユーザインタフェース要素の中からアクティブユーザインタフェース要素を(例えば、フォーカス特定ユニット1116によって)特定し、プライマリディスプレイユニット1102上でフォーカスが当たっているアクティブユーザインタフェース要素が、処理ユニット1110によって実行されるアプリケーションに関連付けられているどうかを(例えば、判定ユニット1118によって)判定するように構成される。処理ユニット1110は、プライマリディスプレイ上でフォーカスが当たっているアクティブユーザインタフェース要素ユニット1102がアプリケーションに関連付けられているという判定に従って、(A)アプリケーションに対応する第1の1組の1つ以上のアフォーダンス及び(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む第2のユーザインタフェースを、タッチスクリーンディスプレイユニット1106上に(例えば、タッチスクリーンディスプレイ制御ユニット1114によって)表示させるように構成される。
いくつかの実施形態では、電子デバイスは、(i)プライマリディスプレイユニット1102、処理ユニット1110、及び第1の通信回路ユニットを備えるプライマリコンピューティングユニット、及び(ii)プライマリコンピューティングユニットとは別個かつ別々である、タッチスクリーンディスプレイユニット1106、タッチ感知面ユニット1108、物理入力ユニット1104、及び第1の通信回路ユニットと通信するための第2の通信回路ユニットを備える統合入力ユニットを更に備える。
いくつかの実施形態では、物理入力ユニット1104は複数の物理キーを備える。
いくつかの実施形態では、物理入力ユニット1104はタッチパッドを備える。
いくつかの実施形態では、処理ユニット1110は、第1のユーザインタフェースの前景でアプリケーションを実行するように構成される。
いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、選択されるとシステムレベル機能に対応する複数のシステムレベルアフォーダンスをタッチスクリーンディスプレイユニット1106上に表示させるように構成される。
いくつかの実施形態では、少なくとも1つのシステムレベルアフォーダンスは、電源コントロール又はエスケープコントロールのうちの1つに対応する。
いくつかの実施形態では、タッチスクリーンディスプレイユニット1106上の第2のユーザインタフェース内に表示されるアフォーダンスのうちの少なくとも1つは、多機能アフォーダンスである。
いくつかの実施形態では、処理ユニット1110は、タッチ感知面ユニット1108上の多機能アフォーダンスを選択するユーザタッチ入力を(例えば、入力検出ユニット1120によって)検出し、ユーザタッチ入力が第1のタイプに対応するという(例えば、入力タイプ判定ユニット1122による)判定に従って、多機能アフォーダンスに関連付けられた第1の機能を(例えば、実行ユニット1124によって)実行し、ユーザタッチ入力が第1のタイプとは別個の第2のタイプに対応するという(例えば、入力タイプ判定ユニット1122による)判定に従って、多機能アフォーダンスに関連付けられた第2の機能を(例えば、実行ユニット1124によって)実行するように構成される。
いくつかの実施形態では、処理ユニット1110は、アクティブユーザインタフェース要素がアプリケーションに関連付けられていないという判定に従って、(C)電子デバイス1100のオペレーティングシステムコントロールに対応する、第1の1組の1つ以上のアフォーダンスとは別個の第2の1組の1つ以上のアフォーダンスを含む、第3のユーザインタフェースをタッチスクリーンディスプレイユニット1106上に(例えば、タッチスクリーンディスプレイ制御ユニット1114によって)表示させるように構成される。
いくつかの実施形態では、第2の1組の1つ以上のアフォーダンスは、(B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む、オペレーティングシステムコントロールの拡張セットである。
いくつかの実施形態では、処理ユニット1110は、タッチ感知面ユニット1108上の第1の1組のアフォーダンスのうちの1つを選択するユーザタッチ入力を(例えば、入力検出ユニット1120によって)検出し、ユーザタッチ入力を検出したことに応じて、アプリケーションの機能に対応する異なる1組のアフォーダンスをタッチスクリーンディスプレイユニット1106上に(例えば、タッチスクリーンディスプレイ制御ユニット1114によって)表示させ、タッチスクリーンディスプレイユニット1106上の少なくとも1つのシステムレベルアフォーダンスの表示を(例えば、タッチスクリーンディスプレイ制御ユニット1114によって)維持するように構成される。
いくつかの実施形態では、処理ユニット1110は、タッチ感知面ユニット1108上の少なくとも1つのシステムレベルアフォーダンスを選択する後続のユーザタッチ入力を(例えば、入力検出ユニット1120によって)検出し、後続のユーザタッチ入力を検出したことに応じて、システムレベル機能に対応する複数のシステムレベルアフォーダンス及びアプリケーションに対応する少なくとも1つのアプリケーションレベルアフォーダンスをタッチスクリーンディスプレイユニット1106上に(例えば、タッチスクリーンディスプレイ制御ユニット1114によって)表示させるように構成される。
いくつかの実施形態では、処理ユニット1110は、第2のユーザインタフェースをタッチスクリーンディスプレイユニット1106上に表示した後、プライマリディスプレイユニット1102上でフォーカスが当たっている第2のアクティブユーザインタフェース要素を(例えば、フォーカス特定ユニット1116によって)特定し、第2のアクティブユーザインタフェース要素が処理ユニット1110によって実行される異なるアプリケーションに対応するかどうかを(例えば、判定ユニット1118によって)判定するように構成される。処理ユニット1110は、第2のアクティブユーザインタフェース要素が異なるアプリケーションに対応するという判定に従って、(D)異なるアプリケーションに対応する第3の1組の1つ以上のアフォーダンス、及び(E)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む、第4のユーザインタフェースをタッチスクリーンディスプレイユニット1106上に(例えば、タッチスクリーンディスプレイ制御ユニット1114によって)表示させるように構成される。
いくつかの実施形態では、処理ユニット1110は、第2のアクティブユーザインタフェース要素を(例えば、フォーカス特定ユニット1116によって)特定した後、異なるアプリケーションに関連付けられていないメディアアイテムが電子デバイス1100によって再生されているかどうかを(例えば、メディア再生判定ユニット1126によって)判定し、メディアアイテムが電子デバイス1100によって再生されているという(例えば、メディア再生判定ユニット1126による)判定に従って、タッチスクリーンディスプレイユニット1106上で、メディアアイテムを制御するための少なくとも1つの常駐アフォーダンスを第4のユーザインタフェース上に(例えば、タッチスクリーンディスプレイ制御ユニット1114によって)表示させるように構成される。
いくつかの実施形態では、少なくとも1つの常駐アフォーダンスは、メディアアイテムに対応するフィードバックを表示する。
いくつかの実施形態では、処理ユニット1110は、上書きキーに対応するユーザ入力を(例えば、入力検出ユニット1120によって)検出し、ユーザ入力を検出したことに応じて、第2のユーザインタフェースの1つ以上のアフォーダンスの少なくとも第1の1組をタッチスクリーンディスプレイユニット1106上に表示することを(例えば、タッチスクリーンディスプレイ制御ユニット1114によって)停止し、第1の1組のデフォルトファンクションキーをタッチスクリーンディスプレイユニット1106上に(例えば、タッチスクリーンディスプレイ制御ユニット1114によって)表示させるように構成される。
いくつかの実施形態では、処理ユニット1110は、第1の1組のデフォルトファンクションキーをタッチスクリーンディスプレイユニット1106上に表示した後、タッチスクリーンディスプレイユニット1106の主軸と略平行な方向へのタッチ感知面ユニット1108上のジェスチャを(例えば、入力検出ユニット1120によって)検出し、略水平なスワイプジェスチャを検出したことに応じて、少なくとも1つの別個のファンクションキーを含む第2の1組のデフォルトファンクションキーをタッチスクリーンディスプレイユニット1106上に(例えば、タッチスクリーンディスプレイ制御ユニット1114によって)表示させるように構成される。
上述の情報処理方法での動作は、汎用プロセッサ(例えば、図3A及び図4に関連して上述されたようなもの)又は特定用途向けチップなどの、情報処理装置内の1つ以上の機能モジュールを稼働することによって、任意選択的に実施される。
図6A〜6Dを参照して上述された動作は、図3A〜3B、又は図11に示される構成要素によって、任意選択的に実施される。例えば、検出動作626及び628は、任意選択的に、イベントソータ370、イベント認識部380、及びイベントハンドラ190によって実行される。イベントソータ370のイベントモニタ371は、タッチ感知ディスプレイとして実施される場合、ディスプレイシステム312上の接触を検出し、イベントディスパッチャモジュール374は、イベント情報をアプリケーション340−1に配布する。アプリケーション340−1のそれぞれのイベント認識部380は、イベント情報をそれぞれのイベント定義386と比較し、タッチ感知ディスプレイ上の第1の場所の第1の接触が既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部380は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ390をアクティブ化させる。イベントハンドラ390は、アプリケーション内部状態392を更新するために、データアップデーター376若しくはオブジェクトアップデーター377を、任意選択的に用いるか又は呼び出す。いくつかの実施形態において、イベントハンドラ390は、アプリケーションにより表示されるものを更新するためのそれぞれのGUIアップデーター378にアクセスする。同様に、当業者にとって、他の処理が図3A〜3Bに示される構成要素に基づいてどのように実施されるかは明らかであるだろう。
いくつかの実施形態によれば、図12は、説明される様々な実施形態の原理にしたがって構成された、電子デバイス1200の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はこれらの組み合わせによって、任意選択的に実施される。図12で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。説明を容易にするために、電子デバイス1200は、その構成要素が電子デバイス300(図3)に対応する、ポータブルコンピューティングシステム100(図1A〜1B)として実施される。当業者は、電子デバイス1200がどのようにデスクトップコンピューティングシステム200(図2A〜2D)内でも実施され得るかを理解するであろう。
図12に示すように、電子デバイス1200は、情報を表示するように構成されたプライマリディスプレイユニット1202(例えば、図1A及び2A〜2Dのプライマリディスプレイ102)、ユーザ入力を受け取るように構成された物理入力ユニット1204、情報を表示するように構成されたタッチスクリーンディスプレイ(TSD)ユニット(本明細書では「タッチスクリーンディスプレイ」又は「タッチスクリーン」と呼ばれることもある)1206(例えば、図1A〜1B及び2A〜2Dの動的ファンクション行104)、1つ以上のセンサによってタッチスクリーンディスプレイユニット1206上の接触を受け取るように構成されたタッチ感知面ユニット1208、並びにプライマリディスプレイユニット1202、物理入力ユニット1204、タッチスクリーンディスプレイユニット1206、及びタッチ感知面ユニット1208に結合された処理ユニット1210を備える。いくつかの実施形態では、処理ユニット1210は、プライマリディスプレイ制御ユニット1212、タッチスクリーンディスプレイ(TSD)制御ユニット1214、入力検出ユニット1216、及び入力タイプ判定ユニット1218を備える。
処理ユニット1210は、処理ユニット1210によって実行されるアプリケーション用の第1のユーザインタフェースをプライマリディスプレイユニット1202上に(例えば、プライマリディスプレイ制御ユニット1212によって)表示させ、アプリケーションに対応する第1の1組の1つ以上のアフォーダンス含む、第2のユーザインタフェースをタッチスクリーンディスプレイユニット1206上に(例えば、タッチスクリーンディスプレイ制御ユニット1214によって)表示させ、第1の1組の1つ以上のアフォーダンスはアプリケーションの第1の部分に対応し、タッチ感知面ユニット1208上のスワイプジェスチャを(例えば、入力検出ユニット1216によって)検出するように構成される。処理ユニット1210は、スワイプジェスチャが第1の方向(例えば、水平)に実行されたという(例えば、入力タイプ判定ユニット1218による)判定に従って、アプリケーションに対応する第2の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイユニット1206上に(例えば、タッチスクリーンディスプレイ制御ユニット1214によって)表示させるように構成され、第2の1組の1つ以上のアフォーダンスのうちの少なくとも1つのアフォーダンスは第1の1組の1つ以上のアフォーダンスとは別個であり、第2の1組の1つ以上のアフォーダンスもまたアプリケーションの第1の部分に対応する。処理ユニット1210は、スワイプジェスチャが第1の方向に対して略直角な第2の方向(例えば、垂直)に実行されたという(例えば、入力タイプ判定ユニット1218による)判定に従って、アプリケーションに対応する第3の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイユニット1206上に(例えば、タッチスクリーンディスプレイ制御ユニット1214によって)表示させるように構成され、第3の1組の1つ以上のアフォーダンスは第2の1組の1つ以上のアフォーダンスとは別個であり、第3の1組の1つ以上のアフォーダンスは、アプリケーションの第1の部分とは別個のアプリケーションの第2の部分に対応する。
いくつかの実施形態では、スワイプジェスチャを検出する前に、第2の部分がプライマリディスプレイユニット1202上の第1のユーザインタフェース内のコンパクトビューに表示され、処理ユニット1210は、スワイプジェスチャが第1の方向に対して略直角な第2の方向に実行されたという判定に従って、第2の部分をプライマリディスプレイユニット1202上の第1のユーザインタフェース内の拡張ビューに(例えば、プライマリディスプレイ制御ユニット1212によって)表示させるように構成される。
いくつかの実施形態では、アプリケーション用の第1のユーザインタフェースは、プライマリディスプレイユニット1202上にフルスクリーンモードで表示され、タッチスクリーンディスプレイユニット1206上に表示される第1の1組の1つ以上のアフォーダンスは、フルスクリーンモードに対応するコントロールを含む。
いくつかの実施形態では、第2の1組の1つ以上のアフォーダンス及び第3の1組の1つ以上のアフォーダンスは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む。
いくつかの実施形態では、処理ユニット1210は、第3の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイユニット1206上に表示した後、第1のユーザインタフェース上の第1の部分を選択するユーザ入力を(例えば、入力検出ユニット1216によって)検出し、ユーザ入力を検出したことに応じて、アプリケーションの第2の部分に対応する第3の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイユニット1206上に表示することを(例えば、タッチスクリーンディスプレイ制御ユニット1214によって)停止し、アプリケーションの第1の部分に対応する第2の1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイユニット1206上に(例えば、タッチスクリーンディスプレイ制御ユニット1214によって)表示させるように構成される。
いくつかの実施形態では、第1の方向は、タッチスクリーンディスプレイユニット1206の主寸法に対して略平行である。
いくつかの実施形態では、第1の方向は、タッチスクリーンディスプレイユニット1206の主寸法に対して略直角である。
いくつかの実施形態では、第1の部分はアプリケーションのメニュー、タブ、フォルダ、ツールセット、又はツールバーのうちの1つであり、第2の部分はアプリケーションのメニュー、タブ、フォルダ、ツールセット、又はツールバーのうちの1つである。
図7A〜7Bを参照して上述された動作は、図3A〜3B、又は図12に示される構成要素によって、任意選択的に実施される。例えば、検出動作710は、任意選択的に、イベントソータ370、イベント認識部380、及びイベントハンドラ190によって実施される。イベントソータ370のイベントモニタ371は、タッチ感知ディスプレイとして実施される場合、ディスプレイシステム312上の接触を検出し、イベントディスパッチャモジュール374は、イベント情報をアプリケーション340−1に配布する。アプリケーション340−1のそれぞれのイベント認識部380は、イベント情報をそれぞれのイベント定義386と比較し、タッチ感知ディスプレイ上の第1の場所の第1の接触が既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部380は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ390をアクティブ化させる。イベントハンドラ390は、アプリケーション内部状態392を更新するために、データアップデーター376若しくはオブジェクトアップデーター377を、任意選択的に用いるか又は呼び出す。いくつかの実施形態において、イベントハンドラ390は、アプリケーションにより表示されるものを更新するためのそれぞれのGUIアップデーター378にアクセスする。同様に、当業者にとって、他の処理が図3A〜3Bに示される構成要素に基づいてどのように実施されるかは明らかであるだろう。
いくつかの実施形態によれば、図13は、説明される様々な実施形態の原理にしたがって構成された、電子デバイス1300の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はこれらの組み合わせによって、任意選択的に実施される。図13で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。説明を容易にするために、電子デバイス1300は、その構成要素が電子デバイス300(図3)に対応する、ポータブルコンピューティングシステム100(図1A〜1B)として実施される。当業者は、電子デバイス1300がどのようにデスクトップコンピューティングシステム200(図2A〜2D)内でも実施され得るかを理解するであろう。
図13に示すように、電子デバイス1300は、情報を表示するように構成されたプライマリディスプレイユニット1302(例えば、図1A及び2A〜2Dのプライマリディスプレイ102)、ユーザ入力を受け取るように構成された物理入力ユニット1304、情報を表示するように構成されたタッチスクリーンディスプレイ(TSD)ユニット(本明細書では「タッチスクリーンディスプレイ」又は「タッチスクリーン」と呼ばれることもある)1306(例えば、図1A〜1B及び2A〜2Dの動的ファンクション行104)、1つ以上のセンサによってタッチスクリーンディスプレイユニット1306上の接触を受け取るように構成されたタッチ感知面ユニット1308、並びにプライマリディスプレイユニット1302、物理入力ユニット1304、タッチスクリーンディスプレイユニット1306、及びタッチ感知面ユニット1308に結合された処理ユニット1310を備える。いくつかの実施形態では、処理ユニット1310は、プライマリディスプレイ制御ユニット1312、タッチスクリーンディスプレイ(TSD)制御ユニット1314、入力検出ユニット1316、及び変更ユニット1318を備える。
処理ユニット1310は、処理ユニット1310によって実行されるアプリケーション用の第1のユーザインタフェースをプライマリディスプレイユニット1302上に(例えば、プライマリディスプレイ制御ユニット1312によって)通常モードで表示させ、第1のユーザインタフェースはアプリケーションに関連付けられた第1の1組の1つ以上のアフォーダンスを含み、アプリケーション用の第1のユーザインタフェースの少なくとも一部をプライマリディスプレイユニット1302上にフルスクリーンモードで表示するためのユーザ入力を(例えば、入力検出ユニット1316によって)検出するように構成される。処理ユニット1310は、ユーザ入力を検出したことに応じて、アプリケーションに関連付けられた第1の1組の1つ以上のアフォーダンスをプライマリディスプレイユニット1302上の第1のユーザインタフェース内に表示することを(例えば、プライマリディスプレイ制御ユニット1312によって)停止し、アプリケーション用の第1のユーザインタフェースの一部をプライマリディスプレイユニット1302上に(例えば、プライマリディスプレイ制御ユニット1312によって)フルスクリーンモードで表示させ、アプリケーションを制御するための、第1の1組の1つ以上のアフォーダンスに対応する第2の1組の1つ以上のアフォーダンスを、人の介入なしで自動的にタッチスクリーンディスプレイユニット1306上に(例えば、タッチスクリーンディスプレイ制御ユニット1314によって)表示させるように構成される。
いくつかの実施形態では、第2の1組の1つ以上のアフォーダンスは、第1の1組の1つ以上のアフォーダンスである。
いくつかの実施形態では、第2の1組の1つ以上のアフォーダンスは、フルスクリーンモードに対応するコントロールを含む。
いくつかの実施形態では、処理ユニット1310は、タッチ感知面ユニット1308上の第2の1組のアフォーダンスのうちの1つを選択するユーザタッチ入力を(例えば、入力検出ユニット1316によって)検出するように構成され、かつ処理ユニット1310は、ユーザタッチ入力を検出したことに応じて、第2の1組のアフォーダンスのうちの選択された1つに従って、プライマリディスプレイユニット1302上にフルスクリーンモードで表示されているアプリケーション用の第1のユーザインタフェースの一部を(例えば、変更ユニット1318によって)変更するように構成される。
いくつかの実施形態では、処理ユニット1310は、アプリケーション用の第1のユーザインタフェースの一部をプライマリディスプレイユニット1302上にフルスクリーンモードで表示した後、フルスクリーンモードを終了するための後続のユーザ入力を(例えば、入力検出ユニット1316によって)検出し、後続のユーザ入力を検出したことに応じて、処理ユニット1310によって実行されるアプリケーション用の第1のユーザインタフェースをプライマリディスプレイユニット1302上に(例えば、プライマリディスプレイ制御ユニット1312によって)通常モードで表示させ、第1のユーザインタフェースはアプリケーションに関連付けられた第1の1組の1つ以上のアフォーダンスを含み、アプリケーションを制御するための、第1の1組の1つ以上のアフォーダンスに対応する第2の1組の1つ以上のアフォーダンスの少なくとも下位セットの表示をタッチスクリーンディスプレイユニット1306上で(例えば、タッチスクリーンディスプレイ制御ユニット1314によって)維持するように構成される。
いくつかの実施形態では、アプリケーション用の第1のユーザインタフェースの少なくとも一部をプライマリディスプレイユニット1302上にフルスクリーンモードで表示するためのユーザ入力は、タッチ感知面ユニット1308上で検出されたタッチ入力及びプライマリディスプレイユニット1302上の第1のユーザインタフェース内で選択されたコントロールのうちの少なくとも1つである。
いくつかの実施形態では、第2の1組の1つ以上のアフォーダンスは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含む。
図8A〜8Bを参照して上述された動作は、図3A〜3B、又は図13に示される構成要素によって、任意選択的に実施される。例えば、検出動作804及び816は、任意選択的に、イベントソータ370、イベント認識部380、及びイベントハンドラ190によって実行される。イベントソータ370のイベントモニタ371は、タッチ感知ディスプレイとして実施される場合、ディスプレイシステム312上の接触を検出し、イベントディスパッチャモジュール374は、イベント情報をアプリケーション340−1に配布する。アプリケーション340−1のそれぞれのイベント認識部380は、イベント情報をそれぞれのイベント定義386と比較し、タッチ感知ディスプレイ上の第1の場所の第1の接触が既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部380は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ390をアクティブ化させる。イベントハンドラ390は、アプリケーション内部状態392を更新するために、データアップデーター376若しくはオブジェクトアップデーター377を、任意選択的に用いるか又は呼び出す。いくつかの実施形態において、イベントハンドラ390は、アプリケーションにより表示されるものを更新するためのそれぞれのGUIアップデーター378にアクセスする。同様に、当業者にとって、他の処理が図3A〜3Bに示される構成要素に基づいてどのように実施されるかは明らかであるだろう。
いくつかの実施形態によれば、図14は、説明される様々な実施形態の原理に従って構成された、電子デバイス1400の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はこれらの組み合わせによって、任意選択的に実施される。図14で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。説明を容易にするために、電子デバイス1400は、その構成要素が電子デバイス300(図3)に対応する、ポータブルコンピューティングシステム100(図1A〜1B)として実施される。当業者は、電子デバイス1400がどのようにデスクトップコンピューティングシステム200(図2A〜2D)内でも実施され得るかを理解するであろう。
図14に示すように、電子デバイス1400は、情報を表示するように構成されたプライマリディスプレイユニット1402(例えば、図1A及び2A〜2Dのプライマリディスプレイ102)、ユーザ入力を受け取るように構成された物理入力ユニット1404、情報を表示するように構成されたタッチスクリーンディスプレイ(TSD)ユニット(本明細書では「タッチスクリーンディスプレイ」又は「タッチスクリーン」と呼ばれることもある)1406(例えば、図1A〜1B及び2A〜2Dの動的ファンクション行104)、1つ以上のセンサによってタッチスクリーンディスプレイユニット1406上の接触を受け取るように構成されたタッチ感知面ユニット1408、並びにプライマリディスプレイユニット1402、物理入力ユニット1404、タッチスクリーンディスプレイユニット1406、及びタッチ感知面ユニット1408に結合された処理ユニット1410を備える。いくつかの実施形態では、処理ユニット1410は、プライマリディスプレイ制御ユニット1412、タッチスクリーンディスプレイ(TSD)制御ユニット1414、通知ユニット1416、入力検出ユニット1418、入力タイプ判定ユニット1420、及び実行ユニット1422を備える。
処理ユニット1410は、処理ユニット1410によって実行されるアプリケーション用の第1のユーザインタフェースをプライマリディスプレイユニット1402上に(例えば、プライマリディスプレイ制御ユニット1412によって)表示させ、アプリケーションに対応する1組の1つ以上のアフォーダンスを含む第2のユーザインタフェースをタッチスクリーンディスプレイユニット1406上に(例えば、タッチスクリーンディスプレイ制御ユニット1414によって)表示させ、通知を(例えば、通知ユニット1416によって)検出し、通知を検出したことに応じて、アプリケーションに対応する1組の1つ以上のアフォーダンス及び検出された通知の少なくとも一部を、タッチスクリーンディスプレイユニット1406上の第2のユーザインタフェースに(例えば、タッチスクリーンディスプレイ制御ユニット1414によって)同時に表示させ、検出された通知はプライマリディスプレイユニット1402上に表示されない、ように構成される。
いくつかの実施形態では、処理ユニット1410は、通知を検出する前に、通知をタッチスクリーンディスプレイユニット1406上に表示しかつ通知をプライマリディスプレイユニット1402上に表示しないための通知設定を選択するユーザ入力を(例えば、入力検出ユニット1418によって)検出するように構成される。
いくつかの実施形態では、処理ユニット1410は、検出された通知の一部に対応するタッチ感知面ユニット1408上のユーザタッチ入力を(例えば、入力検出ユニット1418によって)検出するように構成される。処理ユニット1410は、ユーザタッチ入力が第1のタイプ(例えば、スワイプジェスチャ)に対応するという(例えば、入力タイプ判定ユニット1420による)判定に従って、検出された通知の一部をタッチスクリーンディスプレイユニット1406上の第2のユーザインタフェースに表示することを(例えば、タッチスクリーンディスプレイ制御ユニット1414によって)停止するように構成される。処理ユニット1410は、ユーザタッチ入力が第1のタイプとは別個の第2のタイプ(例えば、タップ接触)に対応するという(例えば、入力タイプ判定ユニット1420による)判定に従って、検出された通知に関連付けられたアクションを(例えば、実行ユニット1422によって)実行するように構成される。
いくつかの実施形態では、タッチスクリーンディスプレイユニット1406上に表示された通知の一部は、検出された通知に応答するための複数のオプションのうちの1つを選択するよう電子デバイス1400のユーザに促す。
いくつかの実施形態では、タッチスクリーンディスプレイユニット1406上に表示された通知の一部は、検出された通知への1つ以上の提案された応答を含む。
いくつかの実施形態では、通知は、着信インスタントメッセージ、SMS、電子メール、音声通話、又はビデオ通話のうちの少なくとも1つに対応する。
いくつかの実施形態では、通知は、アプリケーションを閉じるか又はアプリケーション内でアクションを実行するユーザ入力に応じて、処理ユニット1410によって実行されているアプリケーションによって発行されるモードアラートに対応する。
いくつかの実施形態では、1組の1つ以上のアフォーダンスは、少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含み、通知は、入力メカニズムの1つ以上の部分又は少なくとも1つのシステムレベルアフォーダンスを選択するユーザ入力に対応する。
図9A〜9Bを参照して上述された動作は、図3A〜3B、又は図14に示される構成要素によって、任意選択的に実施される。例えば、検出動作922は、任意選択的に、イベントソータ370、イベント認識部380、及びイベントハンドラ190によって実施される。イベントソータ370のイベントモニタ371は、タッチ感知ディスプレイとして実施される場合、ディスプレイシステム312上の接触を検出し、イベントディスパッチャモジュール374は、イベント情報をアプリケーション340−1に配布する。アプリケーション340−1のそれぞれのイベント認識部380は、イベント情報をそれぞれのイベント定義386と比較し、タッチ感知ディスプレイ上の第1の場所の第1の接触が既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部380は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ390をアクティブ化させる。イベントハンドラ390は、アプリケーション内部状態392を更新するために、データアップデーター376若しくはオブジェクトアップデーター377を、任意選択的に用いるか又は呼び出す。いくつかの実施形態において、イベントハンドラ390は、アプリケーションにより表示されるものを更新するためのそれぞれのGUIアップデーター378にアクセスする。同様に、当業者にとって、他の処理が図3A〜3Bに示される構成要素に基づいてどのように実施されるかは明らかであるだろう。
いくつかの実施形態によれば、図15は、説明される様々な実施形態の原理に従って構成された、電子デバイス1500の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はこれらの組み合わせによって、任意選択的に実施される。図15で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。説明を容易にするために、電子デバイス1500は、その構成要素が電子デバイス300(図3)に対応する、ポータブルコンピューティングシステム100(図1A〜1B)として実施される。当業者は、電子デバイス1500がどのようにデスクトップコンピューティングシステム200(図2A〜2D)内でも実施され得るかを理解するであろう。
図15に示すように、電子デバイス1500は、情報を表示するように構成されたプライマリディスプレイユニット1502(例えば、図1A及び2A〜2Dのプライマリディスプレイ102)、ユーザ入力を受け取るように構成された物理入力ユニット1504、情報を表示するように構成されたタッチスクリーンディスプレイ(TSD)ユニット(本明細書では「タッチスクリーンディスプレイ」又は「タッチスクリーン」と呼ばれることもある)1506(例えば、図1A〜1B及び2A〜2Dの動的ファンクション行104)、1つ以上のセンサによってタッチスクリーンディスプレイユニット1506上の接触を受け取るように構成されたタッチ感知面ユニット1508、並びにプライマリディスプレイユニット1502、物理入力ユニット1504、タッチスクリーンディスプレイユニット1506、及びタッチ感知面ユニット1508に結合された処理ユニット1510を備える。いくつかの実施形態では、処理ユニット1510は、プライマリディスプレイ制御ユニット1512、タッチスクリーンディスプレイ(TSD)制御ユニット1514、特定ユニット1516、入力検出ユニット1518、及び判定ユニット1520を備える。
処理ユニット1510は、1つ以上のユーザインタフェース要素を含むユーザインタフェースを(例えば、プライマリディスプレイ制御ユニット1512によって)プライマリディスプレイユニット1502上に表示させ、プライマリディスプレイユニット1502上でフォーカスが当たっている1つ以上のユーザインタフェース要素のうちのアクティブユーザインタフェース要素を(例えば、特定ユニット1516によって)特定し、アクティブユーザインタフェース要素は、処理ユニット1510によって実行されるアプリケーションに関連付けられており、プライマリディスプレイユニット1502上でフォーカスが当たっているアクティブユーザインタフェース要素を特定したことに応じて、アプリケーションに対応する1組の1つ以上のアフォーダンスをタッチスクリーンディスプレイユニット1506上に(例えば、タッチスクリーンディスプレイ制御ユニット1514によって)表示させるように構成される。処理ユニット1510は、ユーザインタフェースのそれぞれの部分を移動させるためのユーザ入力を(例えば、入力検出ユニット1518によって)検出し、ユーザ入力を検出したことに応じて、かつユーザ入力が既定のアクション基準を満たすという(例えば、判定ユニット1520による)判定に従って、ユーザインタフェースのそれぞれの部分をプライマリディスプレイユニット1502上に表示することを(例えば、プライマリディスプレイ制御ユニット1512によって)停止し、1組の1つ以上のアフォーダンスの少なくとも下位セットをタッチスクリーンディスプレイユニット1506上に表示することを(例えば、タッチスクリーンディスプレイ制御ユニット1514によって)停止し、ユーザインタフェースのそれぞれの部分の表現をタッチスクリーンディスプレイユニット1506上に(例えば、タッチスクリーンディスプレイ制御ユニット1514によって)表示させるように構成される。
いくつかの実施形態では、ユーザインタフェースのそれぞれの部分は、処理ユニット1510によって実行されるアプリケーションに対応するメニューである。
いくつかの実施形態では、ユーザインタフェースのそれぞれの部分は、通知又はモードアラートのうちの少なくとも1つである。
いくつかの実施形態では、既定のアクション基準は、ユーザ入力が、ユーザインタフェースのそれぞれの部分をプライマリディスプレイユニット1502の既定の場所へとドラッグするドラッグジェスチャであるときに満たされる。
いくつかの実施形態では、既定のアクション基準は、ユーザ入力が、ユーザインタフェースのそれぞれの部分をタッチスクリーンディスプレイユニット1506へと移動させることに対応する所定の入力であるときに満たされる。
いくつかの実施形態では、処理ユニット1510は、ユーザ入力を検出したことに応じて、かつユーザ入力が既定のアクション基準を満たさないという(例えば、判定ユニット1520による)判定に従って、ユーザインタフェースのそれぞれの部分の表示をプライマリディスプレイユニット1502上で(例えば、プライマリディスプレイ制御ユニット1512によって)維持し、1組の1つ以上のアフォーダンスの表示をタッチスクリーンディスプレイユニット1506上で(例えば、タッチスクリーンディスプレイ制御ユニット1514によって)維持するように構成される。
いくつかの実施形態では、1組の1つ以上のアフォーダンスは少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスを含み、処理ユニット1510は、ユーザインタフェースのそれぞれの部分の表現をタッチスクリーンディスプレイユニット1506上に表示した後、少なくとも1つのシステムレベルアフォーダンスの表示をタッチスクリーンディスプレイユニット1506上で(例えば、タッチスクリーンディスプレイ制御ユニット1514によって)維持するように構成される。
いくつかの実施形態では、ユーザインタフェースのそれぞれの部分の表現は、タッチスクリーンディスプレイユニット1506上の1組の1つ以上のアフォーダンス上に重ね合わされる。
図10A〜10Cを参照して上述された動作は、図3A〜3B、又は図15に示される構成要素によって、任意選択的に実施される。例えば、検出動作1008は、任意選択的に、イベントソータ370、イベント認識部380、及びイベントハンドラ190によって実施される。イベントソータ370のイベントモニタ371は、タッチ感知ディスプレイとして実施される場合、ディスプレイシステム312上の接触を検出し、イベントディスパッチャモジュール374は、イベント情報をアプリケーション340−1に配布する。アプリケーション340−1のそれぞれのイベント認識部380は、イベント情報をそれぞれのイベント定義386と比較し、タッチ感知ディスプレイ上の第1の場所の第1の接触が既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの既定のイベント又はサブイベントが検出されると、イベント認識部380は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ390をアクティブ化させる。イベントハンドラ390は、アプリケーション内部状態392を更新するために、データアップデーター376若しくはオブジェクトアップデーター377を、任意選択的に用いるか又は呼び出す。いくつかの実施形態において、イベントハンドラ390は、アプリケーションにより表示されるものを更新するためのそれぞれのGUIアップデーター378にアクセスする。同様に、当業者にとって、他の処理が図3A〜3Bに示される構成要素に基づいてどのように実施されるかは明らかであるだろう。
上述の説明は、説明の目的上、特定の実施形態を参照して説明されている。しかし、上述の例示的説明は、網羅的であること、又は本発明を、開示されている寸分違わない形態に限定することを意図されてはいない。上述の教示を考慮すれば、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、及び想到される特定の用途に好適な様々な改良で本発明及び様々な実施形態を最良な形で使用することを可能とするために、これらの実施形態を選択し説明した。

Claims (20)

  1. プライマリディスプレイを含む第1の筐体と、(i)物理キーボード及び(ii)前記プライマリディスプレイとは別個であるタッチ感知式セカンダリディスプレイを少なくとも部分的に格納する第2の筐体と、を含むコンピューティングシステムの1つ以上のプロセッサによって実行される1つ以上のアプリケーションを含むコンピュータプログラムであって、
    1つ以上のユーザインタフェース要素を含む第1のユーザインタフェースを前記プライマリディスプレイ上に表示し、
    前記1つ以上のユーザインタフェース要素の中から、前記プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素を特定し、
    前記プライマリディスプレイ上でフォーカスが当たっている前記アクティブなユーザインタフェース要素が、前記コンピューティングシステムによって実行されるアプリケーションと関連付けられているかどうかを判定し、及び
    前記プライマリディスプレイ上でフォーカスが当たっている前記アクティブなユーザインタフェース要素が、前記コンピューティングシステムによって実行される前記アプリケーションと関連付けられているという判定に従って、
    (A)前記アプリケーションに対応する第1の1組の1つ以上のアフォーダンスと、
    (B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスと、
    を含む第2のユーザインタフェースを前記タッチ感知式セカンダリディスプレイ上に表示する、
    命令も含むコンピュータプログラム。
  2. 前記コンピューティングシステムが、
    (i)前記プライマリディスプレイ、前記1つ以上のプロセッサ、メモリ、及びプライマリコンピューティングデバイス通信回路を含む前記第1の筐体を含むプライマリコンピューティングデバイスと、
    (ii)前記第2の筐体、前記タッチ感知式セカンダリディスプレイ、前記物理キーボード、及び前記プライマリコンピューティングデバイス通信回路と通信する入力デバイス通信回路を含む入力デバイスであって、前記プライマリコンピューティングデバイスとは別個かつ別々である、入力デバイスと、
    を更に含む、請求項1に記載のコンピュータプログラム。
  3. 前記物理キーボードが複数の物理キーを含む、請求項1に記載のコンピュータプログラム。
  4. 前記アプリケーションが、前記第1のユーザインタフェースの前景において前記1つ以上のプロセッサによって実行される、請求項1に記載のコンピュータプログラム。
  5. 前記少なくとも1つのシステムレベルアフォーダンスが、選択されると、システムレベル機能に対応する複数のシステムレベルアフォーダンスを前記タッチ感知式セカンダリディスプレイ上に表示させるように構成される、請求項1に記載のコンピュータプログラム。
  6. 前記少なくとも1つのシステムレベルアフォーダンスが、電源コントロール又はエスケープコントロールのうちの1つに対応する、請求項1に記載のコンピュータプログラム。
  7. 前記第2のユーザインタフェース上に表示された前記アフォーダンスのうちの少なくとも1つが、多機能アフォーダンスである、請求項1に記載のコンピュータプログラム。
  8. 前記コンピュータプログラムが、
    前記多機能アフォーダンスを選択するユーザタッチ入力を検出し、
    前記ユーザタッチ入力が第1のタイプに対応するという判定に従って、前記多機能アフォーダンスと関連付けられた第1の機能を実行し、及び
    前記ユーザタッチ入力が、前記第1のタイプとは別個である第2のタイプに対応するという判定に従って、前記多機能アフォーダンスと関連付けられた第2の機能を実行する、
    命令を更に含む、請求項7に記載のコンピュータプログラム。
  9. 前記命令が、前記1つ以上のプロセッサによって実行されると、前記コンピューティングシステムに、
    前記アクティブなユーザインタフェース要素が、前記コンピューティングシステムによって実行される前記アプリケーションと関連付けられていないという判定に従って、
    (C)前記コンピューティングシステムのオペレーティングシステムコントロールに対応する第2の1組の1つ以上のアフォーダンスであって、前記第1の1組の1つ以上のアフォーダンスとは別個である、第2の1組の1つ以上のアフォーダンス
    を含む第3のユーザインタフェースを前記タッチ感知式セカンダリディスプレイ上に表示させる、請求項1に記載のコンピュータプログラム。
  10. 前記第2の1組の1つ以上のアフォーダンスが、(B)前記少なくとも1つのシステムレベル機能に対応する前記少なくとも1つのシステムレベルアフォーダンス、を含むオペレーティングシステムコントロールの拡張セットである、請求項9に記載のコンピュータプログラム。
  11. 前記コンピュータプログラムが、
    前記第1の1組のアフォーダンスのうちの1つを選択するユーザタッチ入力を検出し、並びに
    前記ユーザタッチ入力を検出したことに応答して、
    前記アプリケーションの機能に対応する異なる1組のアフォーダンスを表示し、及び
    前記少なくとも1つのシステムレベルアフォーダンスの表示を維持する、
    命令を更に含む、請求項1に記載のコンピュータプログラム。
  12. 前記コンピュータプログラムが、
    前記少なくとも1つのシステムレベルアフォーダンスを選択する後続のユーザタッチ入力を検出し、及び
    前記後続のユーザタッチ入力を検出したことに応答して、システムレベル機能に対応する複数のシステムレベルアフォーダンス、及び前記アプリケーションに対応する少なくとも1つのアプリケーションレベルアフォーダンスを表示する、
    命令を更に含む、請求項11に記載のコンピュータプログラム。
  13. 前記コンピュータプログラムが、
    前記タッチ感知式セカンダリディスプレイ上の前記第2のユーザインタフェースを表示した後に、前記プライマリディスプレイ上でフォーカスが当たっている前記1つ以上のユーザインタフェース要素の中から第2のアクティブなユーザインタフェース要素を特定し、
    前記第2のアクティブなユーザインタフェース要素が、前記コンピューティングシステムによって実行される異なるアプリケーションに対応するかどうかを判定し、及び
    前記第2のアクティブなユーザインタフェース要素が前記異なるアプリケーションに対応するという判定に従って、
    (D)前記異なるアプリケーションに対応する第3の1組の1つ以上のアフォーダンスと、
    (E)前記少なくとも1つのシステムレベル機能に対応する前記少なくとも1つのシステムレベルアフォーダンスと、
    を含む第4のユーザインタフェースを前記タッチ感知式セカンダリディスプレイ上に表示する、
    命令を更に含む、請求項1に記載のコンピュータプログラム。
  14. 前記コンピュータプログラムが、
    前記第2のアクティブなユーザインタフェース要素を特定した後に、前記異なるアプリケーションと関連付けられていないメディアアイテムが前記コンピューティングシステムによって再生されているかどうかを判定し、及び
    メディアアイテムが前記コンピューティングシステムによって再生されているという判定に従って、前記メディアアイテムを制御するための少なくとも1つの常駐アフォーダンスを前記タッチ感知式セカンダリディスプレイ上に表示する、
    命令を更に含む、請求項13に記載のコンピュータプログラム。
  15. 前記少なくとも1つの常駐アフォーダンスが、前記メディアアイテムに対応するフィードバックを表示する、請求項14に記載のコンピュータプログラム。
  16. 前記コンピュータプログラムが、
    オーバライドキーに対応するユーザ入力を検出し、並びに
    前記ユーザ入力を検出したことに応答して、
    前記第2のユーザインタフェースの少なくとも前記第1の1組の1つ以上のアフォーダンスを前記タッチ感知式セカンダリディスプレイ上に表示するのを停止し、及び
    第1の1組のデフォルトのファンクションキーを前記タッチ感知式セカンダリディスプレイ上に表示する、命令を更に含む、請求項1に記載のコンピュータプログラム。
  17. 前記コンピュータプログラムが、
    前記第1の1組のデフォルトのファンクションキーを表示した後に、前記タッチ感知式セカンダリディスプレイの主軸に対して略平行である方向のスワイプジェスチャを前記タッチ感知式セカンダリディスプレイ上で検出し、及び
    前記スワイプジェスチャを検出したことに応答して、少なくとも1つの別個のファンクションキーを有する第2の1組のデフォルトのファンクションキーを前記タッチ感知式セカンダリディスプレイ上に表示する、
    命令を更に含む、請求項16に記載のコンピュータプログラム。
  18. 前記タッチ感知式セカンダリディスプレイ上に表示される前記第1の1組の1つ以上のアフォーダンスは、前記プライマリディスプレイ上でフォーカスが当たっている前記アクティブなユーザインタフェース要素に基づいて決定される、請求項1に記載のコンピュータプログラム。
  19. 1つ以上のプロセッサと、メモリと、プライマリディスプレイを含む第1の筐体と、(i)物理キーボード及び(ii)前記プライマリディスプレイとは別個であるタッチ感知式セカンダリディスプレイを少なくとも部分的に格納する第2の筐体と、を含むコンピューティングシステムにおいて、
    1つ以上のユーザインタフェース要素を含む第1のユーザインタフェースを前記プライマリディスプレイ上に表示することと、
    前記1つ以上のユーザインタフェース要素の中から、前記プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素を特定することと、
    前記プライマリディスプレイ上でフォーカスが当たっている前記アクティブなユーザインタフェース要素が、前記コンピューティングシステムによって実行されるアプリケーションと関連付けられているかどうかを判定することと、
    前記プライマリディスプレイ上でフォーカスが当たっている前記アクティブなユーザインタフェース要素が、前記コンピューティングシステムによって実行される前記アプリケーションと関連付けられているという判定に従って、
    (A)前記アプリケーションに対応する第1の1組の1つ以上のアフォーダンスと、
    (B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスと、
    を含む第2のユーザインタフェースを前記タッチ感知式セカンダリディスプレイ上に表示することと、
    を含む方法。
  20. コンピューティングシステムであって、
    1つ以上のプロセッサと、
    プライマリディスプレイを含む第1の筐体と、
    (i)物理キーボード及び(ii)前記プライマリディスプレイとは別個であるタッチ感知式セカンダリディスプレイを少なくとも部分的に格納する第2の筐体と、
    メモリと、
    1つ以上のプログラムと、
    を備え、前記1つ以上のプログラムが、前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、
    1つ以上のユーザインタフェース要素を含む第1のユーザインタフェースを前記プライマリディスプレイ上に表示し、
    前記1つ以上のユーザインタフェース要素の中から、前記プライマリディスプレイ上でフォーカスが当たっているアクティブなユーザインタフェース要素を特定し、
    前記プライマリディスプレイ上でフォーカスが当たっている前記アクティブなユーザインタフェース要素が、前記コンピューティングシステムによって実行されるアプリケーションと関連付けられているかどうかを判定し、及び
    前記プライマリディスプレイ上でフォーカスが当たっている前記アクティブなユーザインタフェース要素が、前記コンピューティングシステムによって実行される前記アプリケーションと関連付けられているという判定に従って、
    (A)前記アプリケーションに対応する第1の1組の1つ以上のアフォーダンスと、
    (B)少なくとも1つのシステムレベル機能に対応する少なくとも1つのシステムレベルアフォーダンスと、を含む第2のユーザインタフェースを前記タッチ感知式セカンダリディスプレイ上に表示する、
    命令を含むコンピューティングシステム。
JP2016548096A 2014-01-23 2015-01-23 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、プログラム及び方法 Active JP6255109B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461930663P 2014-01-23 2014-01-23
US61/930,663 2014-01-23
US201562104023P 2015-01-15 2015-01-15
US62/104,023 2015-01-15
PCT/US2015/012694 WO2015112868A1 (en) 2014-01-23 2015-01-23 Virtual computer keyboard

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016158867A Division JP6359056B2 (ja) 2014-01-23 2016-08-12 仮想コンピュータキーボード

Publications (2)

Publication Number Publication Date
JP2017504128A JP2017504128A (ja) 2017-02-02
JP6255109B2 true JP6255109B2 (ja) 2017-12-27

Family

ID=52450641

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2016548096A Active JP6255109B2 (ja) 2014-01-23 2015-01-23 タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、プログラム及び方法
JP2016158867A Active JP6359056B2 (ja) 2014-01-23 2016-08-12 仮想コンピュータキーボード
JP2018116341A Active JP6728275B2 (ja) 2014-01-23 2018-06-19 仮想コンピュータキーボード
JP2020071844A Active JP6908753B2 (ja) 2014-01-23 2020-04-13 仮想コンピュータキーボード
JP2021110169A Pending JP2021168168A (ja) 2014-01-23 2021-07-01 仮想コンピュータキーボード
JP2023095728A Pending JP2023126782A (ja) 2014-01-23 2023-06-09 仮想コンピュータキーボード

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2016158867A Active JP6359056B2 (ja) 2014-01-23 2016-08-12 仮想コンピュータキーボード
JP2018116341A Active JP6728275B2 (ja) 2014-01-23 2018-06-19 仮想コンピュータキーボード
JP2020071844A Active JP6908753B2 (ja) 2014-01-23 2020-04-13 仮想コンピュータキーボード
JP2021110169A Pending JP2021168168A (ja) 2014-01-23 2021-07-01 仮想コンピュータキーボード
JP2023095728A Pending JP2023126782A (ja) 2014-01-23 2023-06-09 仮想コンピュータキーボード

Country Status (6)

Country Link
US (6) US10606539B2 (ja)
EP (3) EP3097472B1 (ja)
JP (6) JP6255109B2 (ja)
CN (6) CN106233241B (ja)
DK (2) DK179448B1 (ja)
WO (1) WO2015112868A1 (ja)

Families Citing this family (163)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9881528B2 (en) 2011-10-13 2018-01-30 Manufacturing Resources International, Inc. Transparent liquid crystal display on display case
US11089134B1 (en) 2011-12-19 2021-08-10 Majen Tech, LLC System, method, and computer program product for coordination among multiple devices
US10776103B2 (en) 2011-12-19 2020-09-15 Majen Tech, LLC System, method, and computer program product for coordination among multiple devices
US10057400B1 (en) 2012-11-02 2018-08-21 Majen Tech, LLC Lock screen interface for a mobile device apparatus
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US9774917B1 (en) 2012-12-10 2017-09-26 Apple Inc. Channel bar user interface
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
US11431834B1 (en) 2013-01-10 2022-08-30 Majen Tech, LLC Screen interface for a mobile device apparatus
US10051103B1 (en) 2013-01-10 2018-08-14 Majen Tech, LLC Screen interface for a mobile device apparatus
EP3008566B1 (en) 2013-06-09 2018-10-24 Apple Inc. Device, method, and graphical user interface for moving user interface objects
US11914419B2 (en) 2014-01-23 2024-02-27 Apple Inc. Systems and methods for prompting a log-in to an electronic device based on biometric information received from a user
JP6255109B2 (ja) 2014-01-23 2017-12-27 アップル インコーポレイテッド タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、プログラム及び方法
US20150293530A1 (en) * 2014-02-28 2015-10-15 Invensys Systems, Inc. Manufacturing execution system authorization
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US9633366B2 (en) 2014-06-16 2017-04-25 Manufacturing Resources International, Inc. System for tracking and analyzing display case usage
EP3126953A1 (en) 2014-06-24 2017-02-08 Apple Inc. Column interface for navigating in a user interface
EP4242814A3 (en) 2014-06-24 2023-10-18 Apple Inc. Input device and user interface interactions
WO2015200535A1 (en) * 2014-06-24 2015-12-30 Google Inc. Methods, systems and media for performing personalized actions on mobile devices associated with a media presentation device
CN107529009B (zh) 2014-09-02 2020-06-30 苹果公司 远程相机用户界面
US10649273B2 (en) 2014-10-08 2020-05-12 Manufacturing Resources International, Inc. LED assembly for transparent liquid crystal display and static graphic
US9832847B2 (en) * 2014-10-09 2017-11-28 Manufacturing Resources International, Inc. System for decreasing energy usage of a transparent LCD display case
US10182665B2 (en) 2014-10-15 2019-01-22 Manufacturing Resources International, Inc. System and method for preventing damage to products
CN105786371A (zh) * 2014-12-25 2016-07-20 富泰华工业(深圳)有限公司 电子装置及其界面显示控制方法
KR102314109B1 (ko) * 2015-01-05 2021-10-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
CN104536766B (zh) * 2015-01-09 2018-01-26 京东方科技集团股份有限公司 一种电子设备的控制方法及电子设备
EP3553659B1 (en) * 2015-02-24 2022-11-23 Huawei Technologies Co., Ltd. Multi-operating system device, notification device and methods thereof
CN108353126B (zh) 2015-04-23 2019-08-23 苹果公司 处理相机的内容的方法、电子设备和计算机可读存储介质
USD779544S1 (en) * 2015-05-27 2017-02-21 Gamblit Gaming, Llc Display screen with graphical user interface
US10417447B2 (en) * 2015-06-15 2019-09-17 Arris Enterprises Llc Selective display of private user information
KR101675396B1 (ko) * 2015-08-17 2016-11-11 주식회사 티비알 키보드의 버튼 눌림 인식 방법
TWI628569B (zh) * 2015-09-30 2018-07-01 蘋果公司 具有適應性輸入列之鍵盤
US10402617B2 (en) * 2015-09-30 2019-09-03 Apple Inc. Input devices incorporating biometric sensors
US20170134471A1 (en) * 2015-11-10 2017-05-11 Genband Us Llc Web-Based Client for Providing Real-Time Communications
US10445350B2 (en) 2015-11-15 2019-10-15 Microsoft Technology Licensing, Llc Optimizing content for consistent presentation through collaboration database service
JP2017181584A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
US11582215B2 (en) 2016-06-12 2023-02-14 Apple Inc. Modifying security state with secured range detection
DK179757B1 (en) * 2016-06-12 2019-05-08 Apple Inc. User Interface for Camera Effects
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US11176237B2 (en) * 2016-06-12 2021-11-16 Apple Inc. Modifying security state with secured range detection
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
US11250118B2 (en) 2016-06-12 2022-02-15 Apple Inc. Remote interaction with a device using secure range detection
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
KR20190026850A (ko) 2016-07-08 2019-03-13 매뉴팩처링 리소시스 인터내셔널 인코포레이티드 통합형 전자 디스플레이를 갖는 미러
US20180034764A1 (en) * 2016-07-29 2018-02-01 Linkedin Corporation Selecting applications for message handling
AU2017100879B4 (en) * 2016-07-29 2017-09-28 Apple Inc. Systems, devices, and methods for dynamically providing user interface controls at touch-sensitive secondary display
KR20180015441A (ko) * 2016-08-03 2018-02-13 엘지전자 주식회사 롤리 키보드
US20180068313A1 (en) 2016-09-06 2018-03-08 Apple Inc. User interfaces for stored-value accounts
US10394449B2 (en) 2016-09-23 2019-08-27 Apple Inc. Dynamic function row management
US10732996B2 (en) * 2016-09-23 2020-08-04 Apple Inc. Dynamic function row constraints
US10223128B2 (en) 2016-09-23 2019-03-05 Apple Inc. Booting and power management
US10261667B2 (en) 2016-09-23 2019-04-16 Apple Inc. Dynamic function row item discovery and context
US20210191527A1 (en) * 2016-10-07 2021-06-24 Hewlett-Packard Development Company, L.P. Keyboard with secondary display device
US10496808B2 (en) * 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
USD842892S1 (en) * 2016-10-27 2019-03-12 Apple Inc. Electronic device with pair of display screens or portions thereof each with graphical user interface
USD927529S1 (en) 2019-01-11 2021-08-10 Apple Inc. Electronic device with pair of display screens or portions thereof each with graphical user interface
USD817993S1 (en) * 2016-10-27 2018-05-15 Apple Inc. Display screen or portion thereof with graphical user interface
USD943624S1 (en) 2016-10-27 2022-02-15 Apple Inc. Electronic device with pair of display screens or portions thereof each with animated graphical user interface
US10848483B2 (en) * 2016-12-08 2020-11-24 Ricoh Company, Ltd. Shared terminal, communication system, and display control method, and recording medium
US11036354B2 (en) * 2016-12-19 2021-06-15 Oracle International Corporation Integrating desktop and mobile devices
CN106775743B (zh) * 2016-12-27 2020-05-19 宇龙计算机通信科技(深圳)有限公司 一种底部托盘与虚拟按键显示方法、装置和终端
USD841673S1 (en) * 2017-01-06 2019-02-26 Honda Motor Co., Ltd. Display screen with graphical user interface
US11678445B2 (en) 2017-01-25 2023-06-13 Apple Inc. Spatial composites
US20180239885A1 (en) * 2017-02-21 2018-08-23 Qualcomm Incorporated User equipment with smart biometric unlock
CN114756781A (zh) 2017-02-27 2022-07-15 华为技术有限公司 一种显示收藏对象的方法和终端
KR20190130140A (ko) 2017-03-29 2019-11-21 애플 인크. 통합형 인터페이스 시스템을 갖는 디바이스
CN108664080A (zh) * 2017-03-31 2018-10-16 华硕电脑股份有限公司 控制方法、电子装置及非瞬时电脑可读取记录介质
WO2018195730A1 (zh) * 2017-04-24 2018-11-01 北京小米移动软件有限公司 屏幕控制方法及装置
CN108804000B (zh) * 2017-04-26 2021-07-27 深圳富泰宏精密工业有限公司 电子装置及外接显示器操作方法
US10382372B1 (en) 2017-04-27 2019-08-13 Snap Inc. Processing media content based on original context
DK179932B1 (en) 2017-05-16 2019-10-11 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR NAVIGATING, DISPLAYING, AND EDITING MEDIA ITEMS WITH MULTIPLE DISPLAY MODES
US10466889B2 (en) 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10747403B2 (en) 2017-08-07 2020-08-18 International Business Machines Corporation Adaptable user input interface
CN107562347B (zh) * 2017-09-07 2021-04-13 北京小米移动软件有限公司 显示对象的方法和装置
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
KR102143148B1 (ko) 2017-09-09 2020-08-10 애플 인크. 생체측정 인증의 구현
US10496172B2 (en) * 2017-09-27 2019-12-03 Qualcomm Incorporated Method and apparatus for haptic feedback
US10394342B2 (en) * 2017-09-27 2019-08-27 Facebook Technologies, Llc Apparatuses, systems, and methods for representing user interactions with real-world input devices in a virtual space
US10915151B2 (en) 2017-09-29 2021-02-09 Apple Inc. Multi-part device enclosure
US11194463B2 (en) * 2017-11-08 2021-12-07 Google Llc Methods, systems, and media for presenting offset content
US10642317B2 (en) * 2018-01-24 2020-05-05 Dell Products L.P. Clasp with integrated biometric sensor to authenticate a user of a dual-housing device
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US10635134B2 (en) * 2018-05-11 2020-04-28 Apple Inc. Systems and methods for customizing display modes for a touch-sensitive secondary display
USD896248S1 (en) 2018-05-12 2020-09-15 Canva Pty Ltd. Display screen or portion thereof with an animated graphical user interface
CN111356979B (zh) * 2018-05-25 2023-12-29 苹果公司 具有动态显示界面的便携式计算机
CN108829304A (zh) * 2018-05-29 2018-11-16 维沃移动通信有限公司 一种显示控制方法及终端
USD869491S1 (en) * 2018-06-03 2019-12-10 Apple Inc. Electronic device with graphical user interface
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
DK201870354A1 (en) 2018-06-03 2019-12-20 Apple Inc. SETUP PROCEDURES FOR AN ELECTRONIC DEVICE
USD947206S1 (en) * 2018-08-15 2022-03-29 Asustek Computer Inc. Electronic device with animated graphical user interface
USD951243S1 (en) * 2018-08-15 2022-05-10 Asustek Computer Inc. Electronic device with display screen with animated graphical user interface and keyboard
US11175769B2 (en) 2018-08-16 2021-11-16 Apple Inc. Electronic device with glass enclosure
US10705570B2 (en) 2018-08-30 2020-07-07 Apple Inc. Electronic device housing with integrated antenna
US11258163B2 (en) 2018-08-30 2022-02-22 Apple Inc. Housing and antenna architecture for mobile device
US11189909B2 (en) 2018-08-30 2021-11-30 Apple Inc. Housing and antenna architecture for mobile device
US11133572B2 (en) 2018-08-30 2021-09-28 Apple Inc. Electronic device with segmented housing having molded splits
TWM593701U (zh) * 2018-09-03 2020-04-11 文榮創讀股份有限公司 個人化自動播放設定系統
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US10275331B1 (en) 2018-11-27 2019-04-30 Capital One Services, Llc Techniques and system for optimization driven by dynamic resilience
US10282248B1 (en) 2018-11-27 2019-05-07 Capital One Services, Llc Technology system auto-recovery and optimality engine and techniques
CN109743448B (zh) * 2018-12-26 2020-10-16 南京维沃软件技术有限公司 提示方法及终端设备
USD928829S1 (en) * 2019-02-15 2021-08-24 Canva Pty Ltd. Display screen or portion thereof with an animated graphical user interface
USD926204S1 (en) * 2019-02-15 2021-07-27 Canva Pty Ltd Display screen or portion thereof with a graphical user interface
CN113711169A (zh) 2019-03-24 2021-11-26 苹果公司 包括内容项的可选表示的用户界面
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
EP3928526A1 (en) 2019-03-24 2021-12-29 Apple Inc. User interfaces for viewing and accessing content on an electronic device
US11962836B2 (en) 2019-03-24 2024-04-16 Apple Inc. User interfaces for a media browsing application
CN114399013A (zh) 2019-04-17 2022-04-26 苹果公司 无线可定位标签
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
EP3977245A1 (en) 2019-05-31 2022-04-06 Apple Inc. User interfaces for a podcast browsing and playback application
US10698701B1 (en) 2019-06-01 2020-06-30 Apple Inc. User interface for accessing an account
CN110727380A (zh) * 2019-08-28 2020-01-24 华为技术有限公司 一种消息提醒方法及电子设备
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11762809B2 (en) * 2019-10-09 2023-09-19 Capital One Services, Llc Scalable subscriptions for virtual collaborative workspaces
KR20210044025A (ko) * 2019-10-14 2021-04-22 삼성전자주식회사 전자 장치 및 그의 멀티 윈도우를 이용한 팝업 윈도우를 처리하는 방법
CN110764858A (zh) * 2019-10-18 2020-02-07 北京百度网讯科技有限公司 显示方法、显示装置和电子设备
USD973676S1 (en) * 2019-11-27 2022-12-27 GE Precision Healthcare LLC Display screen with graphical user interface
USD989773S1 (en) * 2019-11-27 2023-06-20 GE Precision Healthcare LLC Display screen with graphical user interface
USD973677S1 (en) * 2019-11-27 2022-12-27 GE Precision Healthcare LLC Display screen with graphical user interface
US11426055B2 (en) 2020-02-21 2022-08-30 Ambu A/S Medical visualisation system including a monitor and a graphical user interface therefore
WO2021165358A1 (en) * 2020-02-21 2021-08-26 Ambu A/S User interface for a medical visualisation system
US11416127B2 (en) 2020-03-10 2022-08-16 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
WO2021225250A1 (ko) * 2020-05-07 2021-11-11 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP6818959B1 (ja) * 2020-05-29 2021-01-27 三菱電機株式会社 表示器
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11601419B2 (en) 2020-06-21 2023-03-07 Apple Inc. User interfaces for accessing an account
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
CN113453063B (zh) * 2021-06-18 2023-04-07 Vidaa(荷兰)国际控股有限公司 一种资源播放方法及显示设备
JP2023019653A (ja) * 2021-07-29 2023-02-09 株式会社リコー 機器、表示方法、プログラム
USD1025092S1 (en) * 2021-08-12 2024-04-30 Lg Display Co., Ltd. Display panel with graphical user interface
WO2023043012A1 (ko) * 2021-09-15 2023-03-23 사회복지법인 삼성생명공익재단 영상 컨텐츠를 이용한 바이오피드백 방법, 컴퓨터 프로그램 및 시스템
US20230136004A1 (en) * 2021-10-30 2023-05-04 Quoori Inc. System and method of quoori filmstrip feature
US11630524B1 (en) * 2021-12-09 2023-04-18 Majestic Devices Wireless input output apparatus
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
EP4273678A1 (en) 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
WO2023229932A1 (en) * 2022-05-23 2023-11-30 Snap Inc. Context cards for media supplementation
US11893960B1 (en) * 2022-08-31 2024-02-06 Dell Products L.P. Information handling system collaborative touchpad display brightness management
US11983399B2 (en) 2022-08-31 2024-05-14 Dell Products L.P. Information handling system collaborative touchpad gesture activation and management
US11977733B2 (en) 2022-08-31 2024-05-07 Dell Products L.P. Information handling system collaborative touchpad dynamic scaling
US11899923B1 (en) 2022-08-31 2024-02-13 Dell Products L.P. Information handling system collaborative touchpad cursor over control icons

Family Cites Families (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3956745A (en) * 1971-12-16 1976-05-11 The Marconi Company Limited Programmable keyboard arrangements
JP3288085B2 (ja) * 1992-10-23 2002-06-04 株式会社日立製作所 携帯型情報通信装置
US6396483B1 (en) * 1996-06-28 2002-05-28 Jeffrey H. Hiller Keyboard incorporating multi-function flat-panel input device and/or display
JPH10124217A (ja) 1996-10-16 1998-05-15 Hitachi Electron Service Co Ltd 入力機能を有する補助出力表示装置
EP1016066A4 (en) * 1997-03-31 2001-06-13 G & R Associates Inc COMPUTER / TELEPHONE INTEGRATION WITH INTELLIGENT KEYBOARD, AND ASSOCIATED METHOD
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6111527A (en) 1998-06-18 2000-08-29 Susel; Irving Expandable keyboard
KR100695509B1 (ko) * 1999-11-08 2007-03-15 삼성전자주식회사 지문인식이 가능한 디스플레이시스템 및 시스템 구동방법
GB2357335B (en) * 1999-12-17 2004-04-07 Nokia Mobile Phones Ltd Fingerprint recognition and pointing device
JP4672108B2 (ja) * 2000-06-01 2011-04-20 シャープ株式会社 情報処理装置およびその制御方法
US20020018585A1 (en) * 2000-07-19 2002-02-14 Kim Young Wan System and method for cardless secure credit transaction processing
US7730401B2 (en) 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
US8990713B2 (en) * 2011-09-27 2015-03-24 Z124 Unified desktop triad control user interface for an application manager
JP2003162355A (ja) * 2001-11-26 2003-06-06 Sony Corp タスクの表示切り替え方法及び携帯機器及び携帯通信機器
JP2003339079A (ja) * 2002-05-20 2003-11-28 Ntt Docomo Inc 移動通信端末、プログラム及び記録媒体
JP3892760B2 (ja) 2002-05-31 2007-03-14 株式会社東芝 情報処理装置
US7221330B2 (en) 2002-12-09 2007-05-22 Nokia Corporation Folding terminal with slider to fix terminal in a flat unfolded configuration
JP4402365B2 (ja) * 2003-04-14 2010-01-20 富士通株式会社 端末
US7884804B2 (en) 2003-04-30 2011-02-08 Microsoft Corporation Keyboard with input-sensitive display device
US20040239615A1 (en) 2003-05-27 2004-12-02 International Business Machines Corporation System and method for providing a computer user with alerts using a lighted mouse pad
JP4193669B2 (ja) * 2003-10-14 2008-12-10 ソニー株式会社 通話システム及び画像情報送受信方法
JP2006018613A (ja) * 2004-07-02 2006-01-19 Oki Electric Ind Co Ltd 自動取引装置
US20060020904A1 (en) * 2004-07-09 2006-01-26 Antti Aaltonen Stripe user interface
US7703036B2 (en) * 2004-08-16 2010-04-20 Microsoft Corporation User interface for displaying selectable software functionality controls that are relevant to a selected object
US8207816B2 (en) 2005-07-18 2012-06-26 Law Enforcement Intelligent Devices, Llc Biometric access control system
US7838687B2 (en) * 2005-08-29 2010-11-23 Brown University Redox-active polymers and their applications
JP4736049B2 (ja) * 2006-04-26 2011-07-27 ニプロ株式会社 注射器
JP2007289457A (ja) * 2006-04-26 2007-11-08 Matsushita Electric Ind Co Ltd 指紋認証装置および指紋認証方法
CN101535940B (zh) * 2006-09-06 2013-06-12 苹果公司 用于即时消息传送的便携式电子设备
JP4702239B2 (ja) * 2006-09-20 2011-06-15 株式会社日立製作所 生体認証装置及びこれを備えた情報処理装置
JP4971768B2 (ja) * 2006-12-07 2012-07-11 キヤノン株式会社 編集装置、編集方法、およびプログラム
US8205150B2 (en) * 2007-01-22 2012-06-19 Cfph, Llc Document changes
CN101252607A (zh) 2007-02-25 2008-08-27 北京三星通信技术研究有限公司 带有扩展显示屏的滑盖式手机
EP1990744B1 (en) * 2007-05-09 2013-01-23 Research In Motion Limited User interface for editing photo tags
KR101066736B1 (ko) * 2007-06-12 2011-09-21 엘지전자 주식회사 휴대용 단말기
US8078984B2 (en) * 2007-06-19 2011-12-13 Microsoft Corporation Virtual keyboard text replication
CN101884188A (zh) * 2007-07-12 2010-11-10 创新投资有限责任公司 身份鉴别和受保护访问系统、组件和方法
KR101369676B1 (ko) 2007-07-25 2014-03-04 엘지전자 주식회사 휴대용 컴퓨터의 보조 입출력 장치 및 이를 이용한애플리케이션의 실행 방법
JP5012376B2 (ja) * 2007-09-28 2012-08-29 ブラザー工業株式会社 カラオケ用リモコン
WO2009049331A2 (en) * 2007-10-08 2009-04-16 Van Der Westhuizen Willem Mork User interface
US8893039B2 (en) * 2007-12-11 2014-11-18 Panasonic Corporation Apparatus and method for automatic focus shift
JP4697551B2 (ja) * 2007-12-21 2011-06-08 ソニー株式会社 通信装置、入力制御方法及び入力制御プログラム
CN101232678A (zh) * 2007-12-27 2008-07-30 华为技术有限公司 一种菜单选择的方法和终端
JP2009169735A (ja) 2008-01-17 2009-07-30 Sharp Corp 情報処理表示装置
US8776198B2 (en) 2008-02-01 2014-07-08 Oracle International Corporation Techniques for non-unique identity establishment
US20090201254A1 (en) * 2008-02-08 2009-08-13 Elliot Rais Transportable/convertible desktop computer
JP5567783B2 (ja) 2008-03-27 2014-08-06 オリンパスイメージング株式会社 画像表示装置
TWI360775B (en) 2008-04-22 2012-03-21 Htc Corp Method and apparatus for operating user interface
JP4171770B1 (ja) 2008-04-24 2008-10-29 任天堂株式会社 オブジェクト表示順変更プログラム及び装置
CN103135933B (zh) * 2008-04-29 2016-05-11 宏达国际电子股份有限公司 用户界面的操作方法及装置
DE602008005865D1 (de) * 2008-05-29 2011-05-12 Lg Electronics Inc Transparente Anzeige und Betriebsverfahren dafür
US8099332B2 (en) * 2008-06-06 2012-01-17 Apple Inc. User interface for application management for a mobile device
KR101485392B1 (ko) * 2008-06-19 2015-01-23 엘지전자 주식회사 휴대 단말기
JP2011018085A (ja) * 2008-06-19 2011-01-27 Panasonic Corp 情報処理装置
JP2010009534A (ja) 2008-06-30 2010-01-14 Fujitsu Ltd 電子装置及び表示方法
US20100037064A1 (en) * 2008-08-06 2010-02-11 Allen Ku Method of encryption and decryption and a keyboard apparatus integrated with functions of memory card reader and fingerprint encryption/decryption
CN101382842A (zh) 2008-08-22 2009-03-11 合肥工业大学 单行按键超小型键盘及其复用键值的切换方法
JP2010066918A (ja) 2008-09-09 2010-03-25 Nec Personal Products Co Ltd 情報処理装置および表示制御方法
US9026462B2 (en) * 2008-09-30 2015-05-05 Apple Inc. Portable point of purchase user interfaces
JP5526397B2 (ja) 2008-10-28 2014-06-18 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラム
JP5278948B2 (ja) 2008-12-01 2013-09-04 シャープ株式会社 オブジェクト表示装置、オブジェクト表示方法、およびオブジェクト表示プログラム
CN101441525B (zh) 2008-12-13 2010-06-02 旭丽电子(广州)有限公司 电脑键盘
US9842356B2 (en) * 2008-12-17 2017-12-12 Iii Holdings 1, Llc System, method, apparatus and computer program product for interfacing a multi-card radio frequency (RF) device with a mobile communications device
US20100156595A1 (en) * 2008-12-24 2010-06-24 Kwok Fong Wong Control Panel for Controlling Information Processing System
KR101569776B1 (ko) * 2009-01-09 2015-11-19 삼성전자주식회사 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법
JP2010183500A (ja) * 2009-02-09 2010-08-19 Sony Corp 情報処理装置および方法、並びにプログラム
US9852761B2 (en) * 2009-03-16 2017-12-26 Apple Inc. Device, method, and graphical user interface for editing an audio or video attachment in an electronic message
CN101520720A (zh) * 2009-04-08 2009-09-02 李丽丽 一种显示系统及其显示装置
US20100265182A1 (en) * 2009-04-20 2010-10-21 Microsoft Corporation Context-based state change for an adaptive input device
CN101876879B (zh) 2009-04-29 2012-09-19 深圳富泰宏精密工业有限公司 双轴式滑动界面应用系统及方法
US8417297B2 (en) * 2009-05-22 2013-04-09 Lg Electronics Inc. Mobile terminal and method of providing graphic user interface using the same
KR101587211B1 (ko) * 2009-05-25 2016-01-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP4910119B2 (ja) * 2009-07-01 2012-04-04 テクトロニクス・インターナショナル・セールス・ゲーエムベーハー 測定装置の制御方法
CN101727287B (zh) * 2009-12-29 2012-11-14 宇龙计算机通信科技(深圳)有限公司 一种定制信息的提示方法、系统及移动终端
CA2881533A1 (en) 2010-01-26 2011-08-04 Touchtunes Music Corporation Digital jukebox device with improved user interfaces, and associated methods
CN102279698A (zh) * 2010-01-29 2011-12-14 诺基亚公司 虚拟键盘、输入方法和相关的存储介质
EP2355017A1 (en) * 2010-02-04 2011-08-10 Research In Motion Limited Method for advanced email thread management
US9513801B2 (en) 2010-04-07 2016-12-06 Apple Inc. Accessing electronic notifications and settings icons with gestures
WO2011130422A2 (en) * 2010-04-13 2011-10-20 Visa International Service Association Mobile phone as a switch
JP2012004747A (ja) * 2010-06-15 2012-01-05 Toshiba Corp 電子機器および画像表示方法
JP2012003508A (ja) 2010-06-16 2012-01-05 Toshiba Corp 情報処理装置、方法及びプログラム
US8248373B2 (en) * 2010-06-18 2012-08-21 Microsoft Corporation Contextual control of dynamic input device
JP5023193B2 (ja) * 2010-06-28 2012-09-12 株式会社東芝 情報処理装置
KR101688942B1 (ko) * 2010-09-03 2016-12-22 엘지전자 주식회사 다중 디스플레이에 기반한 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기
US20120068933A1 (en) * 2010-09-17 2012-03-22 Microsoft Corporation Interactive keyboard with multiple different key arrangements
JP5269851B2 (ja) * 2010-09-27 2013-08-21 富士フイルム株式会社 画像編集装置及びその画像編集方法並びにそのプログラム
US8548992B2 (en) * 2010-10-28 2013-10-01 Cary Scott Abramoff User interface for a digital content management system
US20120117569A1 (en) * 2010-11-08 2012-05-10 Kwift SAS Task automation for unformatted tasks determined by user interface presentation formats
CN103502920B (zh) * 2011-01-05 2015-10-21 雷蛇(亚太)私人有限公司 使用可显示的键盘、辅助键盘和/或其它用户输入设备管理、选择和更新可视界面内容的系统及方法
US9369635B1 (en) 2011-01-07 2016-06-14 Apptopus, Inc. Director/camera communication system and method for wireless multi-camera video production
JP2012160111A (ja) * 2011-02-02 2012-08-23 Itoki Corp メッセージ表示システム、メッセージ表示装置及びメッセージ表示プログラム
KR102014273B1 (ko) * 2011-02-10 2019-08-26 삼성전자주식회사 터치 스크린 디스플레이를 구비한 휴대 기기 및 그 제어 방법
US8467663B2 (en) * 2011-02-18 2013-06-18 Apple Inc. Video context popups
WO2012125990A2 (en) 2011-03-17 2012-09-20 Laubach Kevin Input device user interface enhancements
EP2500807A1 (en) * 2011-03-18 2012-09-19 Research In Motion Limited Portable electronic device including touch-sensitive display and method of entering text via virtual keyboard
WO2012159070A2 (en) * 2011-05-18 2012-11-22 Nextgenid, Inc. Multi-biometric enrollment kiosk including biometric enrollment and verification, face recognition and fingerprint matching systems
US8627096B2 (en) 2011-07-14 2014-01-07 Sensible Vision, Inc. System and method for providing secure access to an electronic device using both a screen gesture and facial biometrics
TWI461963B (zh) * 2011-08-17 2014-11-21 Wistron Corp 電腦鍵盤及其控制方法
US9933935B2 (en) * 2011-08-26 2018-04-03 Apple Inc. Device, method, and graphical user interface for editing videos
US8922476B2 (en) 2011-08-31 2014-12-30 Lenovo (Singapore) Pte. Ltd. Information handling devices with touch-based reflective display
US20130067545A1 (en) * 2011-09-13 2013-03-14 Sony Computer Entertainment America Llc Website Security
JP5908691B2 (ja) * 2011-09-28 2016-04-26 京セラ株式会社 携帯電子機器
US9043411B2 (en) * 2011-09-29 2015-05-26 Microsoft Technology Licensing, Llc Inline message composing with visible list view
US9454186B2 (en) * 2011-09-30 2016-09-27 Nokia Technologies Oy User interface
JP5930363B2 (ja) * 2011-11-21 2016-06-08 株式会社ソニー・インタラクティブエンタテインメント 携帯情報機器およびコンテンツ表示方法
US9147181B2 (en) * 2011-12-07 2015-09-29 International Business Machines Corporation Pre-transmission contextual electronic message prompting
US9400893B2 (en) 2011-12-15 2016-07-26 Facebook, Inc. Multi-user login for shared mobile devices
US20130173925A1 (en) * 2011-12-28 2013-07-04 Ester Yen Systems and Methods for Fingerprint-Based Operations
EP2660692A1 (en) * 2012-04-30 2013-11-06 BlackBerry Limited Configurable touchscreen keyboard
CN202562233U (zh) * 2012-05-02 2012-11-28 刘方旭 一种电加热压缩空气升温置换罐
US20130322705A1 (en) 2012-05-30 2013-12-05 Google Inc. Facial and fingerprint authentication
KR101909030B1 (ko) 2012-06-08 2018-10-17 엘지전자 주식회사 비디오 편집 방법 및 이를 위한 디지털 디바이스
EP2685555B1 (en) * 2012-07-12 2016-09-28 BlackBerry Limited A tri-band antenna for noncellular wireless applications
US20190056828A1 (en) 2012-09-06 2019-02-21 Google Inc. User interface transitions
US9696879B2 (en) 2012-09-07 2017-07-04 Google Inc. Tab scrubbing using navigation gestures
TW201413564A (zh) * 2012-09-20 2014-04-01 Hon Hai Prec Ind Co Ltd 桌面切換系統及方法
US8861005B2 (en) 2012-09-28 2014-10-14 Interactive Memories, Inc. Methods for real time discovery, selection, and engagement of most economically feasible printing service vendors among multiple known vendors
US20140157209A1 (en) * 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures
SG11201407413WA (en) 2012-12-07 2014-12-30 Yota Devices Ipr Ltd Display surface contains a cut out region reformatting display data
EP2742869A1 (en) * 2012-12-12 2014-06-18 Samsung Medison Co., Ltd. Ultrasound apparatus and method of inputting information into the same
DE112014000351T5 (de) 2013-01-04 2015-09-17 Johnson Controls Technology Company Kontextbasierte Fahrzeug-Benutzerschnittstellen-Rekonfiguration
CN103235688A (zh) * 2013-04-17 2013-08-07 昆山富泰科电脑有限公司 一种在智能设备通知栏快捷处理消息的方法与图形用户界面
KR102147686B1 (ko) 2013-06-21 2020-08-26 삼성전자주식회사 오브젝트 실행 장치 및 방법
KR101584590B1 (ko) 2013-07-11 2016-01-13 삼성전자주식회사 어플리케이션을 표시하는 사용자 단말 장치 및 그 방법
JP6255109B2 (ja) 2014-01-23 2017-12-27 アップル インコーポレイテッド タッチ感知式セカンダリディスプレイにおいてユーザインタフェースコントロールを動的に提供するシステム、プログラム及び方法
US11237710B2 (en) 2014-06-30 2022-02-01 Lenovo (Singapore) Pte. Ltd. Multi-function slide control
KR102358749B1 (ko) 2014-12-26 2022-02-07 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
US20170315704A1 (en) 2016-05-02 2017-11-02 Microsoft Technology Licensing, Llc Application user interfaces with scrollable color palettes
AU2017100879B4 (en) 2016-07-29 2017-09-28 Apple Inc. Systems, devices, and methods for dynamically providing user interface controls at touch-sensitive secondary display

Also Published As

Publication number Publication date
CN111488113B (zh) 2023-11-28
JP6908753B2 (ja) 2021-07-28
CN106445184B (zh) 2019-05-17
US10606539B2 (en) 2020-03-31
EP3872659A1 (en) 2021-09-01
US10908864B2 (en) 2021-02-02
DK201670559A1 (en) 2016-07-27
US20200225902A1 (en) 2020-07-16
CN111488111B (zh) 2023-10-20
DK179303B1 (en) 2018-04-23
CN111488112A (zh) 2020-08-04
CN106233241A (zh) 2016-12-14
JP2018173974A (ja) 2018-11-08
JP2020144878A (ja) 2020-09-10
US20170010847A1 (en) 2017-01-12
CN111488113A (zh) 2020-08-04
CN111488110A (zh) 2020-08-04
DK179448B1 (da) 2018-10-11
US10613808B2 (en) 2020-04-07
WO2015112868A1 (en) 2015-07-30
EP3097472A1 (en) 2016-11-30
JP2017504128A (ja) 2017-02-02
CN106445184A (zh) 2017-02-22
JP2021168168A (ja) 2021-10-21
US20220244900A1 (en) 2022-08-04
CN111488111A (zh) 2020-08-04
CN111488112B (zh) 2024-03-08
US20170010771A1 (en) 2017-01-12
EP3130999B1 (en) 2019-01-23
DK201670555A1 (ja) 2016-07-26
US20170010846A1 (en) 2017-01-12
CN106233241B (zh) 2020-03-31
US11321041B2 (en) 2022-05-03
JP6728275B2 (ja) 2020-07-22
CN111488110B (zh) 2023-03-24
JP6359056B2 (ja) 2018-07-18
US20210048967A1 (en) 2021-02-18
EP3130999A1 (en) 2017-02-15
EP3097472B1 (en) 2021-09-29
JP2017027605A (ja) 2017-02-02
US10754603B2 (en) 2020-08-25
JP2023126782A (ja) 2023-09-12

Similar Documents

Publication Publication Date Title
JP6908753B2 (ja) 仮想コンピュータキーボード
US20240061557A1 (en) Device, Method, and Graphical User Interface for Providing Navigation and Search Functionalities
US20210019028A1 (en) Method, device, and graphical user interface for tabbed and private browsing
US20220222093A1 (en) User interface for a touch screen device in communication with a physical keyboard
US20240143024A1 (en) Systems and Methods for Prompting a Log-In to an Electronic Device Based on Biometric Information Received from a User
US20220391603A1 (en) Content translation user interfaces
US10306047B2 (en) Mechanism for providing user-programmable button

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160812

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170508

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171201

R150 Certificate of patent or registration of utility model

Ref document number: 6255109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250