JP5829996B2 - ユーザインタフェースとの制限対話を設定するためのデバイス、方法及びグラフィカルユーザインタフェース - Google Patents

ユーザインタフェースとの制限対話を設定するためのデバイス、方法及びグラフィカルユーザインタフェース Download PDF

Info

Publication number
JP5829996B2
JP5829996B2 JP2012224547A JP2012224547A JP5829996B2 JP 5829996 B2 JP5829996 B2 JP 5829996B2 JP 2012224547 A JP2012224547 A JP 2012224547A JP 2012224547 A JP2012224547 A JP 2012224547A JP 5829996 B2 JP5829996 B2 JP 5829996B2
Authority
JP
Japan
Prior art keywords
user interface
touch
gesture
interface objects
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012224547A
Other languages
English (en)
Other versions
JP2013140561A (ja
Inventor
ティー. シーモア エリック
ティー. シーモア エリック
ビー. フレイザック クリストファー
ビー. フレイザック クリストファー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2013140561A publication Critical patent/JP2013140561A/ja
Application granted granted Critical
Publication of JP5829996B2 publication Critical patent/JP5829996B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H04M1/724631User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device by limiting the access to the user interface, e.g. locking a touch-screen or a keypad
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M19/00Current supply arrangements for telephone systems
    • H04M19/02Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations

Description

本発明は、一般に、ユーザインタフェースオブジェクトを含むユーザインタフェースを表示するタッチ感知面を有する電子デバイスを含むがそれに限定されないタッチ感知面を有する電子デバイスに関する。
近年、コンピュータ及び他の電子コンピューティングデバイスに対して、タッチ感知面を入力デバイスとして益々使用するようになってきている。例示的なタッチ感知面は、タッチパッド及びタッチスクリーンディスプレイを含む。そのような面は、ディスプレイ上のユーザインタフェースオブジェクトを操作するために広く使用される。
場合によっては、電子デバイスのユーザインタフェースとの対話を制限するのが望ましいだろう。例えば、未成年者が誤って他のアプリケーション及びシステム機能にアクセスしたりあるいはファイルを削除したりすることなくデバイスの特定のアプリケーションを使用できるように、親又は教師は、タッチスクリーン、ハードウェアボタン、センサ及び/又はユーザインタフェースの他の部分のある特定のアイコンを無効にしたいと思うだろう。同様に、認知機能障害者(例えば、自閉症)のための介護者は、認知機能障害者が現在のタスクから気をそらすタッチスクリーン、ハードウェアボタン、センサ及び/又はユーザインタフェースの他の部分のある特定のアイコンを無効にし且つ/あるいは隠蔽することにより、デバイスとの対話を制限したいと思うだろう。別の例として、ユーザは、デバイスをデバイスのアプリケーション及びシステム機能へのアクセスを制限するキオスクモードに設定したいと思うだろう。
しかし、ユーザインタフェースを制限対話設定する既存の方法は、複雑であり且つ非効率的である。一般にユーザは、多数のメニュー及び/又は画面を操作して制限を設定しなければならない。更に既存の方法はデバイスを設定するのに必要以上に長い時間がかかり、エネルギーを浪費する。この後者の点は、バッテリで動作するデバイスにおいて特に重要である。
従って、ユーザインタフェースとの制限対話を設定するのにより高速で且つより効率的な方法及びインタフェースを有する電子デバイスが必要とされる。そのような方法及びインタフェースは、制限対話を設定するための従来の方法を補完又は置き換えてもよい。そのような方法及びインタフェースは、ユーザの認識に対する負荷を軽減し、より効率的なヒューマンマシンインタフェースを生成する。バッテリで動作するデバイスの場合、そのような方法及びインタフェースにより、節電され、バッテリ充電間隔は長くなる。
タッチ感知面を有する電子デバイスに対するユーザインタフェースに関わる上記の欠点及び他の問題は、開示するデバイスにより軽減又は解消される。いくつかの実施形態において、デバイスはデスクトップコンピュータである。いくつかの実施形態において、デバイスは携帯可能である(例えば、ノートブックコンピュータ、タブレットコンピュータ又はハンドヘルドデバイス)。いくつかの実施形態において、デバイスはタッチパッドを有する。いくつかの実施形態において、デバイスはタッチセンシティブディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても既知である)を有する。いくつかの実施形態において、デバイスは、グラフィカルユーザインタフェース(GUI)と、1つ以上のプロセッサと、メモリと、複数の機能を実行するためのメモリに格納された1つ以上のモジュール、プログラム又は命令の集合とを有する。いくつかの実施形態において、ユーザは主にタッチ感知面に対する指の接触及びジェスチャを介してGUIと対話する。いくつかの実施形態において、機能は、画像編集、描画、提示、ワードプロセシング、ウェブサイト作成、ディスクオーサリング、表作成、ゲーム、電話、テレビ会議、電子メール送信、インスタントメッセージング、ワークアウトサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽再生及び/又はデジタルビデオ再生を含んでもよい。これらの機能を実行する実行可能な命令は、コンピュータ可読記憶媒体又は1つ以上のプロセッサにより実行されるように構成された他のコンピュータプログラムに含まれてもよい。
いくつかの実施形態によると、方法は、ディスプレイ及びタッチ感知面を有する電子デバイスにおいて実行される。方法は、非制限対話モード中に第1の入力を検出する工程と、第1の入力の検出に応じて非制限対話モードとは異なる対話設定モードを開始する工程とを備える。方法は、対話設定モード中、ディスプレイに複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェースを表示する工程と、第1のユーザインタフェースを表示している間にタッチ感知面に対する1つ以上のジェスチャ入力を検出する工程と、タッチ感知面上で検出されたそれぞれのジェスチャ入力について、複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトがそれぞれのジェスチャ入力に対応するかを判定する工程と、検出された1つ以上のジェスチャ入力に対応する複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合と検出された1つ以上のジェスチャ入力に対応しない複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合とを視覚的に区別する工程とを更に備える。方法は、第2の入力を検出する工程と、第2の入力の検出に応じて、対話設定モードを終了して非制限対話モードとは異なる制限対話モードを開始する工程とを更に備える。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチ感知面と、1つ以上のプロセッサと、メモリと、1つ以上のプログラムとを備える。1つ以上のプログラムは、メモリに格納され、1つ以上のプロセッサにより実行されるように構成される。1つ以上のプログラムは、非制限対話モード中に第1の入力を検出する命令と、第1の入力の検出に応じて非制限対話モードとは異なる対話設定モードを開始する命令とを含む。1つ以上のプログラムは、対話設定モード中に、ディスプレイに複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェースを表示する命令と、第1のユーザインタフェースを表示している間にタッチ感知面に対する1つ以上のジェスチャ入力を検出する命令と、タッチ感知面上で検出されたそれぞれのジェスチャ入力について、複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトがそれぞれのジェスチャ入力に対応するかを判定する命令と、検出された1つ以上のジェスチャ入力に対応する複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合と検出された1つ以上のジェスチャ入力に対応しない複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合とを視覚的に区別する命令とを更に含む。1つ以上のプログラムは、第2の入力を検出する命令と、第2の入力の検出に応じて、対話設定モードを終了して非制限対話モードとは異なる制限対話モードを開始する命令とを更に含む。
いくつかの実施形態によると、コンピュータ可読記憶媒体は、ディスプレイ及びタッチ感知面を有する電子デバイスにより実行されると、電子デバイスに、非制限対話モード中に第1の入力を検出する工程と、第1の入力の検出に応じて非制限対話モードとは異なる対話設定モードを開始する工程とを実行させるための命令を格納している。コンピュータ可読記憶媒体は、対話設定モード中に、ディスプレイに複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェースを表示する命令と、第1のユーザインタフェースを表示している間にタッチ感知面に対する1つ以上のジェスチャ入力を検出する命令と、タッチ感知面上で検出されたそれぞれのジェスチャ入力について、複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトがそれぞれのジェスチャ入力に対応するかを判定する命令と、検出された1つ以上のジェスチャ入力に対応する複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合と検出された1つ以上のジェスチャ入力に対応しない複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合とを視覚的に区別する命令とを更に含む。コンピュータ可読記憶媒体は、第2の入力を検出する命令と、第2の入力の検出に応じて、対話設定モードを終了して非制限対話モードとは異なる制限対話モードを開始する命令とを更に含む。
いくつかの実施形態によると、ディスプレイと、タッチ感知面と、メモリと、メモリに格納された1つ以上のプログラムを実行するための1つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースは、対話設定モードで複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェースを備える。第1のユーザインタフェースを表示している間、タッチ感知面に対する1つ以上のジェスチャ入力が検出される。タッチ感知面上で検出されたそれぞれのジェスチャ入力について、複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトがそれぞれのジェスチャ入力に対応するかが判定される。検出された1つ以上のジェスチャ入力に対応する複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合は、検出された1つ以上のジェスチャ入力に対応しない複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合と視覚的に区別される。第2の入力の検出に応じて、対話設定モードを終了して非制限対話モードとは異なる制限対話モードを開始する。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチ感知面と、非制限対話モード中に使用可能な第1の入力を検出する手段と、第1の入力の検出に応じて使用可能な非制限対話モードとは異なる対話設定モードを開始する手段とを備える。電子デバイスは、ディスプレイに複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェースを表示する手段と、第1のユーザインタフェースを表示している間に使用可能なタッチ感知面に対する1つ以上のジェスチャ入力を検出する手段と、タッチ感知面上で検出されたそれぞれのジェスチャ入力について、複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトがそれぞれのジェスチャ入力に対応するかを判定する手段と、検出された1つ以上のジェスチャ入力に対応する複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合と検出された1つ以上のジェスチャ入力に対応しない複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合とを視覚的に区別する手段とを含む対話設定モード中に使用可能な手段を更に備える。電子デバイスは、第2の入力を検出する手段と、第2の入力の検出に応じて使用可能な対話設定モードを終了して非制限対話モードとは異なる制限対話モードを開始する手段とを更に備える。
いくつかの実施形態によると、ディスプレイ及びタッチ感知面を有する電子デバイス用の情報処理装置は、非制限対話モード中に使用可能な第1の入力を検出する手段と、第1の入力の検出に応じて使用可能な非制限対話モードとは異なる対話設定モードを開始する手段とを備える。情報処理装置は、ディスプレイに複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェースを表示する手段と、第1のユーザインタフェースを表示している間に使用可能なタッチ感知面に対する1つ以上のジェスチャ入力を検出する手段と、タッチ感知面上で検出されたそれぞれのジェスチャ入力に対して、複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトがそれぞれのジェスチャ入力に対応するかを判定する手段と、検出された1つ以上のジェスチャ入力に対応する複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合と検出された1つ以上のジェスチャ入力に対応しない複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合とを視覚的に区別する手段とを含む対話設定モード中に使用可能な手段を更に備える。情報処理装置は、第2の入力を検出する手段と、第2の入力の検出に応じて使用可能な対話設定モードを終了して非制限対話モードとは異なる制限対話モードを開始する手段とを更に備える。
いくつかの実施形態によると、電子デバイスは、対話設定モード中に複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェースを表示するように構成された表示部と、第1のユーザインタフェースが表示されている間にタッチ感知面に対する1つ以上のジェスチャ入力を検出するように構成されたタッチ感知面部とを備える。電子デバイスは、表示部及びタッチ感知面に結合された処理部を更に備える。処理部は、タッチ感知面で検出されたそれぞれのジェスチャ入力に対して、複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトがそれぞれのジェスチャ入力に対応するかを判定するように構成される。処理部は、検出された1つ以上のジェスチャ入力に対応する複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合と検出された1つ以上のジェスチャ入力に対応しない複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合との視覚区別を有効にするように更に構成される。処理部は、第2の入力の検出に応じて、対話設定モードを終了して非制限対話モードとは異なる制限対話モードを開始するように更に構成される。
従って、ディスプレイ及びタッチ感知面を有する電子デバイスには、ユーザインタフェースとの制限対話を設定するためのより高速で、より効率的な方法及びインタフェースが提供され、それによりそのようなデバイスに対する効果、効率及びユーザの満足度を向上する。そのような方法及びインタフェースは、ユーザインタフェースとの制限対話を設定する従来の方法を補完又は置き換えてもよい。
本発明の上述した実施形態及び追加の実施形態をより適切に理解するために、以下の図面と共に以下の発明を実施するための形態を参照するべきである。図中、同様の図中符号は対応する部分を示す。
図1Aは、いくつかの実施形態に係るタッチセンシティブディスプレイを有するポータブル多機能デバイスを示すブロック図である。 図1Bは、いくつかの実施形態に係るイベント処理のための例示的な構成要素を示すブロック図である。 図2は、いくつかの実施形態に係るタッチスクリーンを有するポータブル多機能デバイスを示す図である。 図3は、いくつかの実施形態に係るディスプレイ及びタッチ感知面を有する例示的な多機能デバイスを示すブロック図である。 図4Aは、いくつかの実施形態に係るポータブル多機能デバイスにおけるアプリケーションのメニューに対する例示的なユーザインタフェースを示す図である。 図4Bは、いくつかの実施形態に係るディスプレイとは別個のタッチ感知面を有する多機能デバイスに対する例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係るユーザインタフェースとの制限対話を設定するための例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係るユーザインタフェースとの制限対話を設定する方法を示すフローチャートである。 図7は、いくつかの実施形態に係る電子デバイスを示す機能ブロック図である。
場合によっては、電子デバイスのユーザインタフェースとの対話を制限するのが望ましいだろう。タッチスクリーン、ハードウェアボタン、センサ及び/又はユーザインタフェースの他の部分のある特定のアイコンは、無効にされる必要があるだろう。しかし、ユーザインタフェースを制限対話設定する既存の方法は、複雑であり且つ非効率的である。以下に説明する実施形態において、ユーザインタフェースを制限対話設定するために改善された方法は、1つ以上のユーザインタフェースオブジェクトが1つ以上の単純なタッチ入力に基づいて停止のために選択されうる対話設定モードでユーザインタフェースを表示することで実現される。また、デバイスの回転、振動及び動きへの応答等のユーザインタフェースの他の部分が更に無効にされうる。制限対話モード中、対話設定モードで選択された1つ以上のユーザインタフェースオブジェクトは、ユーザが停止されたユーザインタフェースオブジェクトと対話できないように停止される(例えば、無効にされるかあるいは起動を防止される)。この方法により、ユーザインタフェースとの制限対話を設定するための効率的で直観的な処理を提供するため、ユーザインタフェースを設定するための余分な別個のステップは必要ない。
以下において、図1A及び1B、図2、並びに図3は、例示的なデバイスを説明する。図4A及び図4B、並びに図5A〜図5Zは、ユーザインタフェースとの制限対話を設定するための例示的なユーザインタフェースを示す。図6A〜図6Dは、ユーザインタフェースとの制限対話を設定する方法を示すフローチャートである。図5A〜図5Zのユーザインタフェースは、図6A〜図6Dの処理を示すために使用される。
<例示的なデバイス>
実施形態を詳細に参照する。実施形態の例を添付の図面に示す。以下の詳細な説明において、本発明を完全に理解できるように多くの特定の詳細を示す。しかし、本発明は、それら特定の詳細を含まずに実施されてもよいことが当業者には明らかとなるだろう。他の例において、実施形態の態様を不必要に曖昧にしないために、周知の方法、手順、構成要素、回路及びネットワークについては詳細に説明していない。
本明細書において第1、第2等の用語が種々の要素を説明するために使用されるが、それらの要素はこれらの用語により限定されるべきではないことが理解されるだろう。これらの用語は、1つの要素を別の要素と区別するためだけに使用される。例えば本発明の範囲から逸脱せずに、第1のユーザインタフェースが第2のユーザインタフェースと呼ばれてもよく、同様に第2のユーザインタフェースが第1のユーザインタフェースと呼ばれてもよい。第1のユーザインタフェース及び第2のユーザインタフェースは、双方ともユーザインタフェースであるが同一のユーザインタフェースではない。
本明細書の本発明の説明において使用される専門用語は、特定の実施形態を説明するためだけのものであり、本発明を限定することを意図しない。本発明の説明及び添付の特許請求の範囲において使用されるように、特に指定のない限り、単数形は複数形も含むことを意図する。本明細書で使用されるような「及び/又は」という用語は、一覧表示された関連する項目の1つ以上のあらゆる全ての可能な組み合わせを参照し且つ含むことが理解されるだろう。「含む」及び/又は「備える」という用語は、本明細書において使用される場合、記載される特徴、数字、ステップ、動作、要素及び/又は構成要素の存在を特定するが、1つ以上の他の特徴、数字、ステップ、動作、要素、構成要素及び/又はそれらの集合の存在又は追加を除外しないことが更に理解されるだろう。
本明細書で使用されるように、「場合」という用語は、状況に応じて「時」、あるいは「判定することに応じて」又は「検出することに応じて」を意味すると解釈されてもよい。同様に、「判定された場合」又は「[明示された状態又はイベント]が検出された場合」という句は、状況に応じて「判定した時」又は「判定することに応じて」、あるいは「[明示された状態又はイベント]を検出した時」又は「[明示された状態又はイベント]を検出することに応じて」を意味すると解釈されてもよい。
電子デバイス、そのようなデバイスに対するユーザインタフェース及びそのようなデバイスを使用するための関連する処理の実施形態を説明する。いくつかの実施形態において、デバイスは、PDA機能及び/又は音楽プレーヤ機能等の他の機能も含む移動電話等のポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、アップル社(Apple Inc.)(カリフォルニア州クパチーノ)のiPhone(r)デバイス、iPod Touch(r)デバイス及びiPad(r)デバイスを含むがこれらに限定されない。タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するラップトップコンピュータ又はタブレットコンピュータ等の他のポータブル電子デバイスが更に使用されてもよい。いくつかの実施形態において、デバイスはポータブル通信デバイスではなくタッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するデスクトップコンピュータであることが理解されるべきである。
以下の説明において、ディスプレイ及びタッチ感知面を含む電子デバイスを説明する。しかし、電子デバイスは、物理的なキーボード、マウス及び/又はジョイスティック等の1つ以上の他の物理的なユーザインタフェースデバイスを含んでもよいことが理解されるべきである。
一般にデバイスは、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、表計算アプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、ワークアウトサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション及び/又はデジタルビデオプレーヤアプリケーションのうちの1つ以上等の種々のアプリケーションをサポートする。
デバイスにおいて実行されてもよい種々のアプリケーションは、タッチ感知面等の少なくとも1つの共通の物理的なユーザインタフェースデバイスを使用してもよい。タッチ感知面の1つ以上の機能及びデバイスに表示された対応する情報は、1つのアプリケーションから次のアプリケーションへ及び/又は各アプリケーション内で調整及び/又は変更されてもよい。このように、デバイスの共通の物理的アーキテクチャ(タッチ感知面等)は、直観的で且つユーザに透過的なユーザインタフェースにより種々のアプリケーションをサポートしてもよい。
次に、タッチセンシティブディスプレイを有するポータブルデバイスの実施形態に注目する。図1Aは、いくつかの実施形態に係るタッチセンシティブディスプレイ112を有するポータブル多機能デバイス100を示すブロック図である。タッチセンシティブディスプレイ112は、便宜上「タッチスクリーン」と呼ばれる場合があり、タッチセンシティブディスプレイシステムとして既知であるか又はタッチセンシティブディスプレイシステムと呼ばれてもよい。デバイス100は、メモリ102(1つ以上のコンピュータ可読記憶媒体を含んでもよい)、メモリコントローラ122、1つ以上の処理部(CPU)120、周辺インタフェース118、RF回路網108、オーディオ回路網110、スピーカ111、マイク113、入出力(I/O)サブシステム106、他の入力又は制御デバイス116及び外部ポート124を含んでもよい。デバイス100は、1つ以上の光センサ164を含んでもよい。これらの構成要素は、1つ以上の通信バス又は信号線103を介して通信してもよい。
デバイス100は、ポータブル多機能デバイスの単なる一例であり、デバイス100は、図示するより多くの又は少ない構成要素を有してもよく、2つ以上の構成要素を組み合わせてもよく、あるいは構成要素の異なる構成又は配置を有してもよいことが理解されるべきである。図1Aに示した種々の構成要素は、1つ以上の信号処理及び/又は特定用途向け集積回路を含むハードウェア、ソフトウェア、あるいはハードウェア及びソフトウェア双方の組み合わせで実現されてもよい。
メモリ102は、高速ランダムアクセスメモリを含んでもよく、1つ以上の磁気ディスク記憶装置、フラッシュメモリ素子又は他の不揮発性固体メモリ素子等の不揮発性メモリを更に含んでもよい。CPU120及び周辺インタフェース118等のデバイス100の他の構成要素によるメモリ102へのアクセスは、メモリコントローラ122により制御されてもよい。
周辺インタフェース118は、デバイスの入出力周辺装置をCPU120及びメモリ102に結合するために使用されうる。1つ以上のプロセッサ120は、メモリ102に格納された種々のソフトウェアプログラム及び/又は命令の集合を実行し、デバイス100に対して種々の機能を実行し且つデータを処理する。
いくつかの実施形態において、周辺インタフェース118、CPU120及びメモリコントローラ122は、チップ104等のシングルチップに実現されてもよい。いくつかの他の実施形態において、それらは別個のチップに実現されてもよい。
RF(無線周波数)回路網108は、電磁信号とも呼ばれるRF信号を受信及び送出する。RF回路網108は、電気信号を電磁信号に及び電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路網108は、それらの機能を実行する既知の回路網を含んでもよい。回路網は、アンテナシステム、RFトランシーバ、1つ以上の増幅器、チューナ、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(SIM)カード及びメモリ等を含むがこれらに限定されない。RF回路網108は、ワールドワイドウェブ(WWW)とも呼ばれるインターネット、イントラネット、並びに/あるいは携帯電話網、無線ローカルエリアネットワーク(LAN)及び/又はメトロポリタンエリアネットワーク(MAN)等の無線ネットワーク等のネットワークと通信してもよく、無線通信により他のデバイスと通信してもよい。無線通信は、汎ヨーロッパデジタル移動通信システム(GSM:登録商標)、GSMの拡張向け高速データ(EDGE)、高速ダウンリンクパケットアクセス(HSDPA)、高速アップリンクパケットデータアクセス(HSUPA)、広帯域符号分割多元接続(W−CDMA)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、Bluetooth(登録商標)、Wi−Fi(Wireless Fidelity)(例えば、IEEE802.11a、IEEE802.11b、IEEE802.11g及び/又はIEEE802.11n)、VoIP(voice over IP(インターネットプロトコル))、Wi−MAX、電子メールに対するプロトコル(例えば、インターネットメッセージアクセスプロトコル(IMAP)及び/又は郵便局プロトコル(POP))、インスタントメッセージング(例えば、拡張可能メッセージング/プレゼンスプロトコル(XMPP)、SIMPLE(SIP(セッション開始プロトコル) for Instant Messaging and Presence Leveraging Extensions)、インスタントメッセージング/プレゼンスサービス(IMPS))及び/又はショートメッセージサービス(SMS)、あるいは本明細書の出願時点ではまだ開発されていない通信プロトコルを含む他のあらゆる適切な通信プロトコルを含むがこれらに限定されない複数の通信規格、プロトコル及び技術のいずれかを使用してもよい。
オーディオ回路網110、スピーカ111及びマイク113は、ユーザとデバイス100との間のオーディオインタフェースを提供する。オーディオ回路網110は、周辺インタフェース118からオーディオデータを受信し、オーディオデータを電気信号に変換し、電気信号をスピーカ111に送信する。スピーカ111は、電気信号を可聴音波に変換する。オーディオ回路網110は、マイク113により音波から変換された電気信号を更に受信する。オーディオ回路網110は、電気信号をオーディオデータに変換し、オーディオデータを処理するために周辺インタフェース118に送信する。オーディオデータは、周辺インタフェース118によりメモリ102及び/又はRF回路網108から検索されてもよく且つ/又はメモリ102及び/又はRF回路網108に送信されてもよい。いくつかの実施形態において、オーディオ回路網110はヘッドセットジャック(例えば、図2の212)を更に含む。ヘッドセットジャックは、出力のみのヘッドフォン又は出力(例えば、片方又は両方の耳に対するヘッドフォン)及び入力(例えば、マイク)の双方を有するヘッドセット等の取り外し可能オーディオ入出力周辺装置とオーディオ回路網110との間のインタフェースを提供する。
I/Oサブシステム106は、タッチスクリーン112及び他の入力制御デバイス116等のデバイス100上の入出力周辺装置を周辺インタフェース118に結合する。I/Oサブシステム106は、ディスプレイコントローラ156及び他の入力又は制御デバイスに対する1つ以上の入力コントローラ160を含んでもよい。1つ以上の入力コントローラ160は、他の入力又は制御デバイス116から電気信号を受信し、他の入力又は制御デバイス116に電気信号を送出する。他の入力制御デバイス116は、物理的なボタン(例えば、押しボタン、ロッカーボタン等)、ダイヤル、スライダスイッチ、ジョイスティック及びクリックホイール等を含んでもよい。いくつかの別の実施形態において、入力コントローラ160は、キーボード、赤外線ポート、USBポート及びマウス等のポインタデバイスのいずれかに結合されてもよい(又はいずれにも結合されなくてもよい)。1つ以上のボタン(例えば、図2の208)は、スピーカ111及び/又はマイク113の音量制御のための上下ボタンを含んでもよい。1つ以上のボタンは、押しボタン(例えば、図2の206)を含んでもよい。
タッチセンシティブディスプレイ112は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチスクリーン112から電気信号を受信し且つ/又はタッチスクリーン112に電気信号を送出する。タッチスクリーン112は、ユーザに対して視覚出力を表示する。視覚出力は、グラフィックス、テキスト、アイコン、ビデオ及びそれらのあらゆる組み合わせ(総称して「グラフィックス」と呼ぶ)を含んでもよい。いくつかの実施形態において、視覚出力の一部又は全てはユーザインタフェースオブジェクトに対応してもよい。
タッチスクリーン112は、触覚及び/又は触感接触に基づいてユーザからの入力を受け入れるタッチ感知面、センサ又はセンサの集合を有する。タッチスクリーン112及びディスプレイコントローラ156(メモリ102中のあらゆる関連するモジュール及び/又は命令の集合と共に)は、タッチスクリーン112で接触(及び接触のあらゆる移動又は中断)を検出し、検出した接触をタッチスクリーン112に表示されるユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ又は画像)との対話に変換する。例示的な一実施形態において、タッチスクリーン112とユーザとの間の接触点はユーザの指に対応する。
タッチスクリーン112は、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術又はLED(発光ダイオード)技術を使用してもよいが、他のディスプレイ技術が他の実施形態において使用されてもよい。タッチスクリーン112及びディスプレイコントローラ156は、静電容量技術、抵抗技術、赤外線技術及び表面弾性波技術、並びに他の近接センサアレイ又はタッチスクリーン112との1つ以上の接触点を判定する他の要素を含むがこれらに限定されない現在既知であるか又は後で開発される複数のタッチ検知技術のいずれかを使用して接触及び接触のあらゆる移動又は中断を検出してもよい。例示的な一実施形態において、アップル社(Apple Inc.)(カリフォルニア州クパチーノ)のiPhone(r)、iPod Touch(r)及びiPad(r)において見られるような投影相互キャパシタンス感知技術が使用される。
タッチスクリーン112は、100dpiを上回るビデオ解像度を有してもよい。いくつかの実施形態において、タッチスクリーンは、約160dpiのビデオ解像度を有する。ユーザは、スタイラス及び指等のあらゆる適切なオブジェクト又は付属品を使用してタッチスクリーン112と接触してもよい。いくつかの実施形態において、ユーザインタフェースは、主に指を使用した接触及びジェスチャで動作するように設計される。指を使用した接触及びジェスチャは、スタイラスを使用した入力と比較して、タッチスクリーンに対する指の接触領域が大きいため精度が低い。いくつかの実施形態において、デバイスは、指を使用した粗入力を高精度なポインタ/カーソル位置又はユーザの所望の動作を実行するためのコマンドに変換する。
いくつかの実施形態において、タッチスクリーンに加えて、デバイス100は、特定の機能を起動又は停止するためのタッチパッド(不図示)を含んでもよい。いくつかの実施形態において、タッチパッドは、タッチスクリーンとは異なり視覚出力を表示しないデバイスのタッチ感知領域である。タッチパッドは、タッチスクリーン112とは別個のタッチ感知面又はタッチスクリーンにより形成されたタッチ感知面の拡張部であってもよい。
デバイス100は、種々の構成要素に電力を供給する電力系統162を更に含む。電力系統162は、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、充電システム、電源異常検出回路、電力コンバータ又はインバータ、電力状態表示器(例えば、発光ダイオード(LED))、並びにポータブルデバイスにおける電力の生成、管理及び配分と関連する他のあらゆる構成要素を含んでもよい。
デバイス100は、1つ以上の光センサ164を更に含んでもよい。図1Aは、I/Oサブシステム106の光センサコントローラ158に結合された光センサを示す。光センサ164は、電荷結合素子(CCD)又は相補型金属酸化膜半導体(CMOS)フォトトランジスタを含んでもよい。光センサ164は、1つ以上のレンズから投影される環境からの光を受け、その光を画像を表すデータに変換する。結像モジュール143(カメラモジュールとも呼ばれる)と共に、光センサ164は静止画又はビデオを撮影してもよい。いくつかの実施形態において、光センサは、タッチスクリーンディスプレイが静止画及び/又はビデオ画像を取得するためにファインダとして使用されてもよいようにデバイスの前面にあるタッチスクリーンディスプレイ112の反対側のデバイス100の裏面に配置される。いくつかの実施形態において、別の光センサは、ユーザの画像がテレビ会議のために取得されてもよく、その一方でユーザがタッチスクリーンディスプレイにおいて他のテレビ会議参加者を見れるようにデバイスの前面に配置される。
デバイス100は、1つ以上の近接センサ166を更に含んでもよい。図1Aは、周辺インタフェース118に結合された近接センサ166を示す。あるいは、近接センサ166は、I/Oサブシステム106の入力コントローラ160に結合されてもよい。いくつかの実施形態において、多機能デバイスがユーザの耳の近くに置かれた時(例えば、ユーザが電話をかけている時)、近接センサは、電源が落とされ、タッチスクリーン112を無効にする。
デバイス100は、1つ以上の加速度計168を更に含んでもよい。図1Aは、周辺インタフェース118に結合された加速度計168を示す。あるいは、加速度計168は、I/Oサブシステム106の入力コントローラ160に結合されてもよい。いくつかの実施形態において、情報は、1つ以上の加速度計から受信されるデータの解析に基づいて縦表示又は横表示でタッチスクリーンディスプレイに表示される。デバイス100は、加速度計168に加えて、デバイス100の位置及び向き(例えば、縦向き又は横向き)に関する情報を取得するために磁力計(不図示)及びGPS(あるいはGLONASS又は他のグローバルナビゲーションシステム)受信機(不図示)をオプションとして含む。
いくつかの実施形態において、メモリ102に格納されたソフトウェアコンポーネントは、オペレーティングシステム126、通信モジュール(又は命令の集合)128、接触/動きモジュール(又は命令の集合)130、グラフィックスモジュール(又は命令の集合)132、テキスト入力モジュール(又は命令の集合)134、全地球測位システム(GPS)モジュール(又は命令の集合)135及びアプリケーション(又は命令の集合)136を含む。更にいくつかの実施形態において、図1A及び図3に示すように、メモリ102はデバイス/グローバル内部状態157を格納する。デバイス/グローバル内部状態157は、現在アクティブであるアプリケーションがある場合はそのアプリケーションを示すアクティブアプリケーション状態と、タッチスクリーンディスプレイ112の種々の領域を占有するアプリケーション、ビュー又は他の情報を示す表示状態と、デバイスの種々のセンサ及び入力制御デバイス116から取得される情報を含むセンサ状態と、デバイスの位置及び/又は姿勢に関する位置情報とのうちの1つ以上を含む。
オペレーティングシステム126(例えば、Darwin、RTXC、LINUX(登録商標)、UNIX(登録商標)、OS X、WINDOWS(登録商標)又はVxWorks等の組み込みオペレーティングシステム)は、一般的なシステムタスク(例えば、メモリ管理、記憶装置制御、電力管理等)を制御及び管理する種々のソフトウェアコンポーネント及び/又はドライバを含み、種々のハードウェアコンポーネントとソフトウェアコンポーネントとの間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介する他のデバイスとの通信を容易にし、RF回路網108及び/又は外部ポート124により受信されたデータを処理するための種々のソフトウェアコンポーネントを更に含む。外部ポート124(例えば、USB(Universal Serial Bus)、FIREWIRE等)は、他のデバイスに直接結合するように構成されるか、あるいはネットワーク(例えば、インターネット、無線LAN等)を介して間接的に結合するように構成される。いくつかの実施形態において、外部ポートは、iPod(アップル社(Apple Inc.)の登録商標)デバイスで使用される30ピンコネクタと同一であるか、あるいはそれに類似し且つ/又は互換性がある複数ピン(例えば、30ピン)コネクタである。
接触/動きモジュール130は、タッチスクリーン112(ディスプレイコントローラ156と共に)及び他のタッチセンシティブデバイス(例えば、タッチパッド又は物理的なクリックホイール)との接触を検出してもよい。接触/動きモジュール130は、接触が起こったかの判定(例えば、フィンガーダウンイベントの検出)、接触の移動があるかの判定及びタッチ感知面にわたる移動の追跡(例えば、1つ以上のフィンガードラッグイベントの検出)、並びに接触が中止されたかの判定(例えば、フィンガーアップイベント又は接触の中断の検出)等の接触の検出に関連する種々の動作を実行するための種々のソフトウェアコンポーネントを含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、接触点の速度(speed)(大きさ)、速度(velocity)(大きさ及び方向)及び/又は加速度(大きさ及び/又は方向の変化)を判定することを含んでもよい。これらの動作は、単一の接触(例えば、1本の指の接触)又は複数の同時の接触(例えば、「マルチタッチ」/複数本の指の接触)に適用されてもよい。いくつかの実施形態において、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッドに対する接触を検出する。
接触/動きモジュール130は、ユーザにより入力されたジェスチャを検出してもよい。タッチ感知面に対する種々のジェスチャは、種々の接触パターンを有する。従って、ジェスチャは特定の接触パターンを検出することにより検出されてもよい。例えばフィンガータップジェスチャを検出することは、フィンガーダウンイベントを検出し、その後フィンガーダウンイベント(例えば、アイコンの位置における)と同一の位置(又はほぼ同一の位置)におけるフィンガーアップ(リフトオフ)イベントを検出することを含む。別の例として、タッチ感知面上でフィンガースワイプジェスチャを検出することは、フィンガーダウンイベントを検出し、その後1つ以上のフィンガードラッグイベントを検出し、その後フィンガーアップ(リフトオフ)イベントを検出することを含む。
グラフィックスモジュール132は、表示されるグラフィックスの明度を変更するコンポーネントを含むタッチスクリーン112又は他のディスプレイ上にグラフィックスをレンダリング及び表示する種々の既知のソフトウェアコンポーネントを含む。本明細書で使用されるように、「グラフィックス」という用語はユーザに対して表示されうるあらゆるオブジェクトを含み、オブジェクトはテキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクト等)、デジタル画像、ビデオ及びアニメーション等を含むがこれらに限定されない。
いくつかの実施形態において、グラフィックスモジュール132は、使用されるグラフィックスを表すデータを格納する。各グラフィックスは対応するコードに割り当てられてもよい。グラフィックスモジュール132は、必要に応じて座標データ及び他のグラフィックスプロパティデータと共に表示されるグラフィックスを特定する1つ以上のコードをアプリケーション等から受信し、ディスプレイコントローラ156に出力するためにスクリーン画像データを生成する。
グラフィックスモジュール132の構成要素であってもよいテキスト入力モジュール134は、種々のアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147及びテキスト入力を必要とする他のあらゆるアプリケーション)にテキストを入力するためのソフトキーボードを提供する。
GPSモジュール135は、デバイスの位置を判定し、種々のアプリケーションにおいて使用するためにその情報を提供する(例えば、位置を使用して電話をかける際に使用するために電話138に、ピクチャ/ビデオメタデータとしてカメラ143に、並びに天気ウィジェット、ローカル職業別電話帳ウィジェット及びマップ/ナビゲーションウィジェット等の位置を使用したサービスを提供するアプリケーションに)。
アプリケーション136は、以下のモジュール(又は命令の集合)、あるいはそれらの部分集合又は上位集合を含んでもよい。
・連絡先モジュール137(電話帳又は連絡先リストと呼ばれることもある)
・電話モジュール138
・テレビ会議モジュール139
・電子メールクライアントモジュール140
・インスタントメッセージング(IM)モジュール141
・ワークアウトサポートモジュール142
・静止画及び/又はビデオ画像のためのカメラモジュール143
・画像管理モジュール144
・ブラウザモジュール147
・カレンダモジュール148
・天気ウィジェット149−1、株価ウィジェット149−2、計算機ウィジェット149−3、アラーム時計ウィジェット149−4及びユーザにより取得された他のウィジェット、並びにユーザ作成ウィジェット149−6のうちの1つ以上の含んでもよいウィジェットモジュール149
・ユーザ作成ウィジェット149−6を作成するウィジェット作成モジュール150
・検索モジュール151
・ビデオ再生モジュール及び音楽再生モジュールから構成されてもよいビデオ及び音楽再生モジュール152
・メモモジュール153
・マップモジュール154及び/又は
・オンラインビデオモジュール155
メモリ102に格納されてもよい他のアプリケーション136の例は、他のワードプロセシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化、デジタル権利管理、音声認識及び音声複製を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132及びテキスト入力モジュール134と共に、連絡先モジュール137は、電話帳又は連絡先リスト(例えば、メモリ102又はメモリ370中の連絡先モジュール137のアプリケーション初期状態192に格納された)を管理するために使用されてもよい。これは、電話帳に名前を追加すること、電話帳から名前を削除すること、電話番号、電子メールアドレス、住所又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類及びソートすること、並びに電話138、テレビ会議139、電子メール140又はIM141による通信を開始及び/又は容易にするために電話番号又は電子メールアドレスを提供すること等を含む。
RF回路網108、オーディオ回路網110、スピーカ111、マイク113、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132及びテキスト入力モジュール134と共に、電話モジュール138は、電話番号に対応する文字列を入力したり、電話帳137の1つ以上の電話番号にアクセスしたり、入力された電話番号を修正したり、各電話番号をダイヤルしたり、会話をしたり、且つ会話が完了した時に切断するか又は電話を切ったりするために使用されてもよい。上述したように、無線通信は、複数の通信規格、プロトコル及び技術のうちのいずれかを使用してもよい。
RF回路網108、オーディオ回路網110、スピーカ111、マイク113、タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触モジュール130、グラフィックスモジュール132、テキスト入力モジュール134、連絡先リスト137及び電話モジュール138と共に、テレビ会議モジュール139は、ユーザ命令に従ってユーザと1人以上の他の参加者との間のテレビ会議を開始、実行及び終了する実行可能な命令を含む。
RF回路網108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132及びテキスト入力モジュール134と共に、電子メールクライアントモジュール140は、ユーザ命令に応じて電子メールを作成、送出、受信及び管理する実行可能な命令を含む。画像管理モジュール144と共に、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画又はビデオ画像を含む電子メールの作成及び送出を非常に容易にする。
RF回路網108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132及びテキスト入力モジュール134と共に、インスタントメッセージングモジュール141は、インスタントメッセージに対応する文字列を入力したり、以前に入力された文字を修正したり、各インスタントメッセージを送信したり(例えば、電話技術を使用したインスタントメッセージに対してショートメッセージサービス(SMS)又はマルチメディアメッセージサービス(MMS)プロトコルを使用するか、あるいはインターネットを使用したインスタントメッセージに対してXMPP、SIMPLE又はIMPSを使用して)、インスタントメッセージを受信したり、受信したインスタントメッセージを閲覧したりする実行可能な命令を含む。いくつかの実施形態において、送信及び/又は受信したインスタントメッセージは、MMS及び/又は拡張メッセージングサービス(EMS)でサポートされるようなグラフィックス、写真、オーディオファイル、ビデオファイル及び/又は他の添付ファイルを含んでもよい。本明細書で使用されるように、「インスタントメッセージング」は、電話技術を使用したメッセージ(例えば、SMS又はMMSを使用して送出されたメッセージ)及びインターネットを使用したメッセージ(例えば、XMPP、SIMPLE又はIMPSを使用して送出されたメッセージ)を示す。
RF回路網108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132、テキスト入力モジュール134、GPSモジュール135、マップモジュール154及び音楽プレーヤモジュール146と共に、ワークアウトサポートモジュール142は、ワークアウト(例えば、時間、距離及び/又はカロリー燃焼目標を含む)を作成したり、ワークアウトセンサ(スポーツデバイス)と通信したり、ワークアウトセンサデータを受信したり、ワークアウトを監視するために使用されるセンサを校正したり、ワークアウトのための音楽を選択及び再生したり、並びにワークアウトデータを表示、格納及び送信したりする実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触モジュール130、グラフィックスモジュール132及び画像管理モジュール144と共に、カメラモジュール143は、静止画又はビデオ(ビデオストリームを含む)を撮影してそれらをメモリ102に格納したり、静止画又はビデオの特性を修正したり、あるいは静止画又はビデオをメモリ102から削除したりする実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132、テキスト入力モジュール134及びカメラモジュール143と共に、画像管理モジュール144は、静止画及び/又はビデオ画像を整理、修正(例えば、編集)、あるいは操作、ラベル付け、削除、提示(例えば、デジタルスライドショー又はアルバムにおいて)及び格納する実行可能な命令を含む。
RF回路網108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132及びテキスト入力モジュール134と共に、ブラウザモジュール147は、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルを検索、リンク、受信及び表示することを含むユーザ命令に従ってインターネットをブラウズする実行可能な命令を含む。
RF回路網108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140及びブラウザモジュール147と共に、カレンダモジュール148は、ユーザ命令に従ってカレンダ及びカレンダと関連付けられたデータ(例えば、カレンダエントリ、to doリスト等)を作成、表示、修正及び格納する実行可能な命令を含む。
RF回路網108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132、テキスト入力モジュール134及びブラウザモジュール147と共に、ウィジェットモジュール149は、ユーザによりダウンロード及び使用されてもよいミニアプリケーション(例えば、天気ウィジェット149−1、株価ウィジェット149−2、計算機ウィジェット149−3及びアラーム時計ウィジェット149−4)、あるいはユーザにより作成されてもよいミニアプリケーション(例えば、ユーザ作成ウィジェット149−6)である。いくつかの実施形態において、ウィジェットは、HTML(ハイパーテキストマークアップ言語)ファイル、CSS(カスケーディングスタイルシート)ファイル及びJavaScript(登録商標)ファイルを含む。いくつかの実施形態において、ウィジェットは、XML(拡張マークアップ言語)ファイル及びJavaScriptファイル(例えば、Yahoo!ウィジェット)を含む。
RF回路網108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132、テキスト入力モジュール134及びブラウザモジュール147と共に、ウィジェット作成モジュール150は、ウィジェットを作成するためにユーザにより使用されてもよい(例えば、ウェブページのユーザが指定した部分をウィジェットにする)。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132及びテキスト入力モジュール134と共に、検索モジュール151は、ユーザ命令に従って1つ以上の検索基準(例えば、1つ以上のユーザが指定した検索語)に一致するメモリ102中のテキスト、音楽、サウンド、画像、ビデオ及び/又は他のファイルを検索する実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132、オーディオ回路網110、スピーカ111、RF回路網108及びブラウザモジュール147と共に、ビデオ及び音楽プレーヤモジュール152は、ユーザが記録された音楽及びMP3ファイル又はAACファイル等の1つ以上のファイル形式で格納された他のサウンドファイルをダウンロード及び再生することを可能にする実行可能な命令、並びにビデオを表示、提示又は再生する(例えば、タッチスクリーン112又は外部ポート124を介して接続された外部ディスプレイにおいて)実行可能な命令を含む。いくつかの実施形態において、デバイス100は、iPod(アップル社(Apple Inc.)の登録商標)等のMP3プレーヤの機能性を含んでもよい。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132及びテキスト入力モジュール134と共に、メモモジュール153は、ユーザ命令に従ってメモ及びto doリスト等を作成及び管理する実行可能な命令を含む。
RF回路網108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132、テキスト入力モジュール134、GPSモジュール135及びブラウザモジュール147と共に、マップモジュール154は、ユーザ命令に従って地図及び地図と関連付けられたデータ(例えば、走行方向、特定の位置又はその近くの店舗及び他の地点情報に関するデータ、並びに他の位置に基づくデータ)を受信、表示、修正及び格納するために使用されてもよい。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックスモジュール132、オーディオ回路網110、スピーカ111、RF回路網108、テキスト入力モジュール134、電子メールクライアントモジュール140及びブラウザモジュール147と共に、オンラインビデオモジュール155は、ユーザが特定のオンラインビデオに対するリンクを含む電子メールにアクセスし、それをブラウズ、受信(例えば、ストリーミング及び/又はダウンロードすることにより)、再生(例えば、タッチスクリーン又は外部ポート124を介して接続された外部ディスプレイにおいて)、送出し、あるいはH.264等の1つ以上のファイル形式でオンラインビデオを管理することを可能にする命令を含む。いくつかの実施形態において、特定のオンラインビデオに対するリンクを送出するために、電子メールクライアントモジュール140ではなくインスタントメッセージングモジュール141が使用される。
上記の識別されたモジュール及びアプリケーションの各々は、上述した1つ以上の機能及び本出願で説明された方法(例えば、コンピュータにより実現される方法及び本明細書で説明される他の情報処理方法)を実行する実行可能な命令の集合に対応する。これらのモジュール(すなわち、命令の集合)は、独立したソフトウェアプログラム、手順又はモジュールとして実現される必要はないため、種々の実施形態においてこれらのモジュールの種々の部分集合が組み合わされてもよく、あるいは再構成されてもよい。いくつかの実施形態において、メモリ102は、上記で識別されたモジュール及びデータ構造の部分集合を格納してもよい。更にメモリ102は、上記で説明されていない追加のモジュール及びデータ構造を格納してもよい。
いくつかの実施形態において、デバイス100は、デバイスにおける所定の機能の集合の動作がタッチスクリーン及び/又はタッチパッドを介して排他的に実行されるデバイスである。デバイス100の動作に対する主な入力制御デバイスとしてタッチスクリーン及び/又はタッチパッドを使用することにより、デバイス100における物理的な入力制御デバイス(例えば、押しボタン及びダイヤル等)の数が減少されてもよい。
タッチスクリーン及び/又はタッチパッドを介して排他的に実行されてもよい所定の機能の集合は、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態において、タッチパッドは、ユーザによりタッチされた時にデバイス100に表示されてもよいあらゆるユーザインタフェースからメイン、ホーム又はルートメニューにデバイス100を操作する。そのような実施形態において、タッチパッドは「メニューボタン」と呼ばれてもよい。いくつかの他の実施形態において、メニューボタンは、タッチパッドではなく物理的な押しボタン又は他の物理的な入力制御デバイスであってもよい。
図1Bは、いくつかの実施形態に係るイベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態において、メモリ102(図1A)又はメモリ370(図3)は、イベントソータ170(例えば、オペレーティングシステム126における)及び各アプリケーション136−1(例えば、上述したアプリケーション137〜151、155、380〜390のうちのいずれか)を含む。
イベントソータ170は、イベント情報を受信し、アプリケーション136−1及びイベント情報の配信先となるアプリケーション136−1のアプリケーションビュー191を判定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。いくつかの実施形態において、アプリケーション136−1は、アプリケーション内部状態192を含み、これは、アプリケーションがアクティブであるか又は実行している時にタッチセンシティブディスプレイ112に表示される現在のアプリケーションビューを示す。いくつかの実施形態において、デバイス/グローバル内部状態157は、現在アクティブであるアプリケーションを判定するためにイベントソータ170により使用され、アプリケーション内部状態192は、イベント情報の配信先となるアプリケーションビュー191を判定するためにイベントソータ170により使用される。
いくつかの実施形態において、アプリケーション内部状態192は、アプリケーション136−1が実行を再開する時に使用される再開情報と、表示されている情報を示すか又はアプリケーション136−1による表示の準備が整っているユーザインタフェース状態情報と、ユーザが前の状態又はアプリケーション136−1のビューに戻ることを可能にする状態キューと、ユーザにより行われた前の動作のリドゥ/アンドゥキューとのうちの1つ以上等の追加の情報を含む。
イベントモニタ171は、周辺インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部であるタッチセンシティブディスプレイ112に対するユーザタッチ)に関する情報を含む。周辺インタフェース118は、近接センサ166等のセンサ、加速度計168及び/又はマイク113、あるいはI/Oサブシステム106から受信する(オーディオ回路網110を介して)情報を送信する。周辺インタフェース118がI/Oサブシステム106から受信する情報は、タッチセンシティブディスプレイ112又はタッチ感知面からの情報を含む。
いくつかの実施形態において、イベントモニタ171は、所定の間隔で周辺インタフェース118に要求を送出する。それに応じて、周辺インタフェース118はイベント情報を送信する。他の実施形態において、周辺インタフェース118は、重要なイベント(例えば、所定の雑音閾値より高く且つ/又は所定の期間より長い期間の入力の受信)があった時にのみイベント情報を送信する。
いくつかの実施形態において、イベントソータ170は、ヒットビュー判定モジュール172及び/又はアクティブイベントレコグナイザ判定モジュール173を更に含む。
ヒットビュー判定モジュール172は、タッチセンシティブディスプレイ112が2つ以上のビューを表示した時にサブイベントが行われた1つ以上のビュー内の位置を判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見れる制御及び他の要素から構成される。
アプリケーションと関連付けられたユーザインタフェースの別の態様は、本明細書においてアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることもあるビューの集合であり、このビューにおいて、情報が表示され且つタッチジェスチャが発生する。タッチが検出されるアプリケーションビュー(各アプリケーションの)は、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応してもよい。例えばタッチが検出される最下位レベルのビューはヒットビューと呼ばれてもよく、適切な入力として認識されるイベントの集合は、タッチジェスチャを開始する最初のタッチのヒットビューに少なくとも部分的に基づいて判定されてもよい。
ヒットビュー判定モジュール172は、タッチジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層に編成された複数のビューを有する場合、ヒットビュー判定モジュール172は、サブイベントを処理すべき階層の最下位のビューとしてヒットビューを識別する。殆どの状況において、ヒットビューは、開始サブイベント(すなわち、イベント又は潜在的なイベントを形成するサブイベントのシーケンスの第1のサブイベント)が発生する最下位レベルのビューである。ヒットビューは、ヒットビュー判定モジュールにより識別されると、一般に、ヒットビューとして識別された同一のタッチ又は入力ソースに関連する全てのサブイベントを受信する。
アクティブイベントレコグナイザ判定モジュール173は、特定のサブイベントのシーケンスを受信すべきであるビュー階層内の1つ以上のビューを判定する。いくつかの実施形態において、アクティブイベントレコグナイザ判定モジュール173は、ヒットビューのみが特定のサブイベントのシーケンスを受信すべきであると判定する。他の実施形態において、アクティブイベントレコグナイザ判定モジュール173は、サブイベントの物理的な位置を含む全てのビューが能動的に関わるビューであると判定するため、能動的に関わる全てのビューが特定のサブイベントのシーケンスを受信すべきであると判定する。他の実施形態において、タッチサブイベントが1つの特定のビューと関連付けられた領域に全体的に制限される場合でも、階層の上位レベルのビューは能動的に関わるビューとして依然として存在する。
イベントディスパッチャモジュール174は、イベント情報をイベントレコグナイザ(例えば、イベントレコグナイザ180)にディスパッチする。アクティブイベントレコグナイザ判定モジュール173を含む実施形態において、イベントディスパッチャモジュール174は、アクティブイベントレコグナイザ判定モジュール173により判定されたイベントレコグナイザにイベント情報を配信する。いくつかの実施形態において、イベントディスパッチャモジュール174は、各イベント受信部モジュール182により検索されるイベント情報をイベントキューに格納する。
いくつかの実施形態において、オペレーティングシステム126はイベントソータ170を含む。あるいは、アプリケーション136−1はイベントソータ170を含む。更に他の実施形態において、イベントソータ170は、スタンドアロンモジュールであるか、あるいは接触/動きモジュール130等のメモリ102に格納された別のモジュールの一部である。
いくつかの実施形態において、アプリケーション136−1は、複数のイベントハンドラ190及び1つ以上のアプリケーションビュー191を含む。各アプリケーションビューは、アプリケーションのユーザインタフェースの各ビュー内で発生するタッチイベントを処理する命令を含む。アプリケーション136−1の各アプリケーションビュー191は、1つ以上のイベントレコグナイザ180を含む。一般に、各アプリケーションビュー191は複数のイベントレコグナイザ180を含む。他の実施形態において、1つ以上のイベントレコグナイザ180は、ユーザインタフェースキット(不図示)又はアプリケーション136−1がメソッド及び他のプロパティを継承する上位レベルのオブジェクト等の独立したモジュールの一部である。いくつかの実施形態において、各イベントハンドラ190は、データ更新部176、オブジェクト更新部177、GUI更新部178及び/又はイベントソータ170から受信したイベントデータ179のうちの1つ以上を含む。イベントハンドラ190は、データ更新部176、オブジェクト更新部177又はGUI更新部178を利用するか又は呼び出して、アプリケーション内部状態192を更新してもよい。あるいは、1つ以上のアプリケーションビュー191は、1つ以上の各イベントハンドラ190を含む。また、いくつかの実施形態において、データ更新部176、オブジェクト更新部177及びGUI更新部178のうちの1つ以上が各アプリケーションビュー191に含まれる。
各イベントレコグナイザ180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受信し、イベント情報からイベントを識別する。イベントレコグナイザ180は、イベント受信部182とイベント比較部184とを含む。いくつかの実施形態において、イベントレコグナイザ180は、メタデータ183及びイベント配信命令188(サブイベント配信命令を含んでもよい)の少なくとも部分集合を更に含む。
イベント受信部182は、イベントソータ170からイベント情報を受信する。イベント情報は、サブイベント、例えばタッチ又はタッチの移動に関する情報を含む。サブイベントに依存して、イベント情報は、サブイベントの位置等の追加の情報を更に含む。サブイベントがタッチの動きに関係する場合、イベント情報は、サブイベントの速度及び方向を更に含んでもよい。いくつかの実施形態において、イベントは1つの向きから別の向き(例えば、縦向きから横向き又は横向きから縦向き)へのデバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの態勢とも呼ばれる)に関する対応する情報を含む。
イベント比較部184は、イベント情報を所定のイベント定義又はサブイベント定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定又は更新する。いくつかの実施形態において、イベント比較部184はイベント定義186を含む。イベント定義186は、例えばイベント1(187−1)及びイベント2(187−2)等であるイベント(例えば、所定のサブイベントのシーケンス)の定義を含む。いくつかの実施形態において、イベント187のサブイベントは、例えばタッチの開始、タッチの終了、タッチの移動、タッチの取り消し及び複数のタッチを含む。一例において、イベント1(187−1)の定義は、表示されたオブジェクトに対するダブルタップである。ダブルタップは、例えば所定のフェーズに対する表示オブジェクトへの第1のタッチ(タッチの開始)と、所定のフェーズに対する第1のリフトオフ(タッチの終了)と、所定のフェーズに対する表示オブジェクトへの第2のタッチ(タッチの開始)と、所定のフェーズに対する第2のリフトオフ(タッチの終了)とを含む。別の例において、イベント2(187−2)の定義は、表示オブジェクトに対するドラッグである。例えばドラッグは、所定のフェーズに対する表示オブジェクトへのタッチ(又は接触)と、タッチセンシティブディスプレイ112にわたるタッチの移動と、タッチのリフトオフ(タッチの終了)とを含む。いくつかの実施形態において、イベントは1つ以上の関連するイベントハンドラ190に対する情報を更に含む。
いくつかの実施形態において、イベント定義187は、各ユーザインタフェースオブジェクトに対するイベントの定義を含む。いくつかの実施形態において、イベント比較部184は、サブイベントと関連付けられるユーザインタフェースオブジェクトを判定するためにヒットテストを実行する。例えば3つのユーザインタフェースオブジェクトがタッチセンシティブディスプレイ112に表示されるアプリケーションビューにおいて、タッチがタッチセンシティブディスプレイ112で検出された時、イベント比較部184は、3つのユーザインタフェースオブジェクトのうちどのユーザインタフェースオブジェクトがタッチ(サブイベント)と関連付けられるかを判定するためにヒットテストを実行する。各表示オブジェクトが各イベントハンドラ190と関連付けられる場合、イベント比較部は、ヒットテストの結果を使用して、起動されるべきイベントハンドラ190を判定する。例えばイベント比較部184は、ヒットテストをトリガするオブジェクト及びサブイベントと関連付けられたイベントハンドラを選択する。
いくつかの実施形態において、各イベント187に対する定義は、サブイベントのシーケンスがイベントレコグナイザのイベントの種類に対応するか否かを判定するまでイベント情報の配信を遅延させる遅延動作を更に含む。
各イベントレコグナイザ180は、一連のサブイベントがイベント定義186のいずれのイベントとも一致しないと判定した場合、イベント不可能状態、イベント失敗状態又はイベント終了状態になり、その後、タッチジェスチャの後続のサブイベントを無視する。この状況において、ヒットビューに対してアクティブのままである他のイベントレコグナイザがある場合、それらのイベントレコグナイザは実行中のタッチジェスチャのサブイベントを追跡及び処理し続ける。
いくつかの実施形態において、各イベントレコグナイザ180は、イベント配信システムが能動的に関わるイベントレコグナイザへのサブイベント配信を実行すべきである方法を示す設定可能なプロパティ、フラグ及び/又はリストを有するメタデータ183を含む。いくつかの実施形態において、メタデータ183は、イベントレコグナイザが互いに対話してもよい方法を示す設定可能なプロパティ、フラグ及び/又はリストを含む。いくつかの実施形態において、メタデータ183は、サブイベントがビュー階層又はプログラム階層の種々のレベルに配信されるかを示す設定可能なプロパティ、フラグ及び/又はリストを含む。
いくつかの実施形態において、各イベントレコグナイザ180は、イベントの1つ以上の特定のサブイベントが認識された時にイベントと関連付けられたイベントハンドラ190を起動する。いくつかの実施形態において、各イベントレコグナイザ180は、イベントと関連付けられたイベント情報をイベントハンドラ190に配信する。イベントハンドラ190を起動することは、各ヒットビューへのサブイベントの送出(及び遅延された送出)とは異なる。いくつかの実施形態において、イベントレコグナイザ180は、認識されたイベントと関連付けられたフラグをスローし、フラグと関連付けられたイベントハンドラ190は、フラグをキャッチして所定の処理を実行する。
いくつかの実施形態において、イベント配信命令188は、イベントハンドラを起動することなくサブイベントに関するイベント情報を配信するサブイベント配信命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベントハンドラ又は能動的に関わるビューにイベント情報を配信する。一連のサブイベント又は能動的に関わるビューと関連付けられたイベントハンドラは、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態において、データ更新部176は、アプリケーション136−1で使用されるデータを作成及び更新する。例えばデータ更新部176は、連絡先モジュール137で使用される電話番号を更新するか、あるいはビデオプレーヤモジュール145で使用されるビデオファイルを格納する。いくつかの実施形態において、オブジェクト更新部177は、アプリケーション136−1で使用されるオブジェクトを作成及び更新する。例えばオブジェクト更新部176は、新しいユーザインタフェースオブジェクトを作成するか、あるいはユーザインタフェースオブジェクトの位置を更新する。GUI更新部178はGUIを更新する。例えばGUI更新部178は、表示情報を準備し、タッチセンシティブディスプレイに表示するためにその情報をグラフィックスモジュール132に送出する。
いくつかの実施形態において、イベントハンドラ190は、データ更新部176、オブジェクト更新部177及びGUI更新部178を含むか又はそれらへのアクセス権を有する。いくつかの実施形態において、データ更新部176、オブジェクト更新部177及びGUI更新部178は、各アプリケーション136−1又はアプリケーションビュー191の単一のモジュールに含まれる。他の実施形態において、それらは2つ以上のソフトウェアモジュールに含まれる。
タッチセンシティブディスプレイに対するユーザタッチのイベント処理に関する上記説明は、入力デバイスを含む多機能デバイス100を動作させるための他の形式のユーザ入力にも当てはまり、ユーザ入力の全てがタッチ画面上で開始されるわけではなく、例えば認識されるイベントを定義するサブイベントに対応する入力として利用されてもよい単一又は複数のキーボードの押下又は保持を伴うか又は伴わないマウスの移動及びマウスボタンの押下、タッチパッドにおけるユーザの移動、タップ、ドラッグ、スクロール等、ペンスタイラスの入力、デバイスの移動、音声命令、検出された眼球運動、バイオメトリック入力及び/又はそれらの組み合わせを連携することが理解される。
図2は、いくつかの実施形態に係るタッチスクリーン112を有するポータブル多機能デバイス100を示す。タッチスクリーンは、ユーザインタフェース(UI)200内に1つ以上のグラフィックスを表示してもよい。本実施形態及び以下に説明する他の実施形態において、ユーザは、例えば1本以上の指202(図中、縮尺通りに描かれていない)又は1つ以上のスタイラス203(図中、縮尺通りに描かれていない)を使用してグラフィックスに対してジェスチャを実行することにより1つ以上のグラフィックスを選択してもよい。いくつかの実施形態において、ユーザが1つ以上のグラフィックスとの接触を中断した時、1つ以上のグラフィックスの選択が行われる。いくつかの実施形態において、ジェスチャは、1つ以上のタップ、1つ以上のスワイプ(左から右、右から左、上方向及び/又は下方向)、並びに/あるいはデバイス100と接触した指の回転(右から左、左から右、上方向及び/又は下方向)等のジェスチャを含む。いくつかの実施形態において、グラフィックスとの不注意による接触はそのグラフィックスを選択しなくてもよい。例えば選択に対応するジェスチャがタップである場合、アプリケーションアイコン上を移動するスワイプジェスチャは、対応するアプリケーションを選択しなくてもよい。
デバイス100は、「home」又はメニューボタン204等の1つ以上の物理的なボタンを更に含んでもよい。上述したように、メニューボタン204は、デバイス100で実行されてもよいアプリケーションの集合のいずれのアプリケーション136に操作するのにも使用されてもよい。あるいは、いくつかの実施形態において、メニューボタンは、タッチスクリーン112に表示されたGUIのソフトキーとして実現される。
一実施形態において、デバイス100は、タッチスクリーン112、メニューボタン204、デバイスの電源をON/OFFにし且つデバイスをロックするための押しボタン206、音量調整ボタン208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212及びドッキング/充電外部ポート124を含む。押しボタン206は、ボタンを押下し且つ押下状態で所定の時間間隔の間ボタンを保持することによりデバイスの電源をON/OFFし、ボタンを押下し且つ所定の時間間隔が経過する前にボタンを解放することによりデバイスをロックし、且つ/あるいはデバイスをアンロック又はアンロック処理を開始するために使用されてもよい。別の一実施形態において、デバイス100は、マイク113を介していくつかの機能の起動又は停止のための音声入力を更に受け付けてもよい。
図3は、いくつかの実施形態に係るディスプレイ及びタッチ感知面を有する例示的な多機能デバイスを示すブロック図である。デバイス300は携帯可能である必要はない。いくつかの実施形態において、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育デバイス(子供の学習玩具等)、ゲームシステム又は制御デバイス(例えば、家庭用又は産業用コントローラ)である。一般にデバイス300は、1つ以上の処理部(CPU)310、1つ以上のネットワーク又は他の通信インタフェース360、メモリ370及びそれら構成要素を相互接続する1つ以上の通信バス320を含む。通信バス320は、システム構成要素間を相互接続し且つ通信を制御する回路網(チップセットと呼ばれることもある)を含んでもよい。デバイス300は、一般にタッチスクリーンディスプレイであるディスプレイ340を備える入出力(I/O)インタフェース330を含む。I/Oインタフェース330は、キーボード及び/又はマウス(又は他のポインティングデバイス)350とタッチパッド355とを更に含んでもよい。メモリ370は、DRAM、SRAM、DDR RAM又は他のランダムアクセス固体メモリ素子等の高速ランダムアクセスメモリを含み、1つ以上の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリ素子又は他の不揮発性固体記憶装置等の不揮発性メモリを含んでもよい。メモリ370は、CPU310から遠隔地に配置された1つ以上の記憶装置をオプションとして含んでもよい。いくつかの実施形態において、メモリ370は、ポータブル多機能デバイス100(図1)のメモリ102に格納されたプログラム、モジュール及びデータ構造に類似するプログラム、モジュール及びデータ構造、あるいはそれらの部分集合を格納する。更にメモリ370は、ポータブル多機能デバイス100のメモリ102に存在しない追加のプログラム、モジュール及びデータ構造を格納してもよい。例えばデバイス300のメモリ370は、描画モジュール380、プレゼンテーションモジュール382、ワードプロセシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388及び/又は表計算モジュール390を格納してもよいが、その一方でポータブル多機能デバイス100(図1)のメモリ102はそれらモジュールを格納しなくてもよい。
図3の上記で識別された各要素は、上述した1つ以上のメモリ素子に格納されてもよい。上記で識別された各モジュールは、上述した機能を実行する命令の集合に対応する。上記で識別されたモジュール又はプログラム(すなわち、命令の集合)は、独立したソフトウェアプログラム、手順又はモジュールとして実現される必要はなく、種々の実施形態において、それらモジュールの種々の部分集合は組み合わされてもよく又は再構成されてもよい。いくつかの実施形態において、メモリ370は、上記で識別されたモジュール及びデータ構造の部分集合を格納してもよい。更にメモリ370は、上述されていない追加のモジュール及びデータ構造を格納してもよい。
次に、ポータブル多機能デバイス100で実現されてもよいユーザインタフェース(「UI」)の実施形態に注目する。
図4Aは、いくつかの実施形態に係るポータブル多機能デバイス100のアプリケーションのメニューに対する例示的なユーザインタフェースを示す。同様のユーザインタフェースがデバイス300において実現されてもよい。いくつかの実施形態において、ユーザインタフェース400は、以下の要素、あるいはそれらの部分集合又は上位集合を含む。
・セルラ及びWi−Fi信号等の無線通信に対する信号強度標識402
・時間404
・Bluetooth標識405
・バッテリ状態標識406
・頻繁に使用されるアプリケーションのアイコンを含むトレイ408
・応答できなかった通話又はボイスメールメッセージの数の標識414を含んでもよい電話138
・未読の電子メール数の標識410を含んでもよい電子メールクライアント140
・ブラウザ147
・iPod(アップル社(Apple Inc.)の登録商標)モジュール152とも呼ばれるビデオ及び音楽プレーヤモジュール152
・他のアプリケーションに対するアイコン
・IM141
・画像管理144
・カメラ143
・天気149−1
・株価149−2
・ワークアウトサポート142
・カレンダ148
・アラーム時計149−4
・マップ154
・メモ153
・デバイス100及びその種々のアプリケーション136に対する設定へのアクセス権を提供する設定412
・YouTube(グーグル社(Google Inc.)の登録商標)モジュール155とも呼ばれるオンラインビデオモジュール155
図4Bは、ディスプレイ450(例えば、タッチスクリーンディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を有するデバイス(例えば、図3のデバイス300)における例示的なユーザインタフェースを示す。以下の多くの例がタッチスクリーンディスプレイ112(タッチ感知面及びディスプレイが組み合わされている)における入力を参照して与えられるが、いくつかの実施形態において、デバイスは図4Bに示すようにディスプレイとは別個のタッチ感知面上で入力を検出する。いくつかの実施形態において、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)における主軸(例えば、図4Bの453)に対応する主軸(例えば、図4Bの452)を有する。これらの実施形態によると、デバイスは、ディスプレイ上の各位置に対応する位置(例えば、図4Bにおいて、460は468に対応し、462は470に対応する)におけるタッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このように、タッチ感知面(例えば、図4Bの451)においてデバイスにより検出されたユーザ入力(例えば、接触460及び462、並びにそれらの移動)は、タッチ感知面がディスプレイとは別個である場合に多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインタフェースを操作するためにデバイスにより使用される。本明細書で説明される他のユーザインタフェースに対して同様の方法が使用されてもよいことが理解されるべきである。
更に以下の例は主に指入力(例えば、指の接触、フィンガータップジェスチャ、フィンガースワイプジェスチャ)を参照して与えられるが、いくつかの実施形態において、1つ以上の指入力が別の入力デバイスからの入力(例えば、マウスを使用した入力又はスタイラス入力)により置き換えられることが理解されるべきである。例えばスワイプジェスチャはマウスクリック(例えば、接触の代わり)、その後のスワイプの経路に沿うカーソルの移動(例えば、接触の移動の代わり)により置き換えられてもよい。別の例として、タップジェスチャは、カーソルがタップジェスチャの位置の上に配置されている間のマウスクリックにより置き換えられてもよい(例えば、接触の検出の後に接触の検出を中止する代わり)。同様に、複数のユーザ入力が同時に検出される場合、複数のコンピュータマウスが同時に使用されてもよいこと又はマウス及び指の接触が同時に使用されてもよいことが理解されるべきである。
<ユーザインタフェース及び関連する処理>
次に、デバイス300又はポータブル多機能デバイス100等のディスプレイ及びタッチ感知面を有する電子デバイスにおいて実現されてもよいユーザインタフェース(「UI」)及び関連する処理の実施形態に注目する。
図5A〜図5Zは、いくつかの実施形態に係るユーザインタフェースとの制限対話を設定するための例示的なユーザインタフェースを示す。これらの図面のユーザインタフェースは、図6A〜図6Dの処理を含む以下に説明する処理を示すために使用される。
図5A〜図5Pは、いくつかの実施形態に係る教育アプリケーションの例示的なユーザインタフェースを示す。
図5Aは、教育アプリケーションの例示的なユーザインタフェース502を示す。図5Aにおいて、ユーザインタフェース502は、デバイス100のタッチスクリーン112に表示される。ユーザインタフェース502は、複数のユーザインタフェースオブジェクト(例えば、文字「A」、単語「Apple」、リンゴの画像)、並びに起動された時にそれぞれの動作を開始する複数のメニューバーユーザインタフェースオブジェクト504−1、504−2、504−3、504−4、504−5、504−6及び504−7を含む。例えば、ユーザインタフェースオブジェクト504−1は、起動された時に(例えば、タップジェスチャにより)表示されたコンテンツ(例えば、文字「A」、単語「Apple」、リンゴの画像)を前のページのコンテンツに置き換えることを開始し、ユーザインタフェース504−7は、起動された時に(例えば、タップジェスチャにより)表示されたコンテンツを次のページのコンテンツに置き換えることを開始し、ユーザインタフェースオブジェクト504−2は、起動された時に(例えば、タップジェスチャにより)それぞれのアプリケーション(例えば、教育アプリケーション)に表示するように構成された文書又はファイルのリストの表示を開始し、ユーザインタフェースオブジェクト504−3は、起動された時に(例えば、タップジェスチャにより)ヘルプメニュー又はヘルプダイアログの表示を開始し、ユーザインタフェースオブジェクト504−4は、起動された時に(例えば、タップジェスチャにより)表示プロパティメニューの表示を開始し、ユーザインタフェースオブジェクト504−5は、起動された時に(例えば、タップジェスチャにより)ブックマークメニューの表示を開始し、ユーザインタフェースオブジェクト504−6は、起動された時に(例えば、タップジェスチャにより)設定メニューの表示を開始する。
図5Aは、タッチジェスチャ503がタッチスクリーン112で検出されることを更に示す。タッチジェスチャ503の検出に応じて、デバイス100は、文字「A」の発音に対応する音声を生成する(例えばデバイス100は、文字「A」の発音を格納するオーディオクリップを再生する)。図5Aは、ユーザ入力505がホームボタン204に対して提供される(例えば、ホームボタン204が3回続けて繰り返し押下される)ことを更に示す。ユーザ入力505に応じて表示された例示的な応答を図5Bに示す。
図5Bは、いくつかの実施形態において、例示的なパスワードメニュー506がユーザ入力505(図5A)に応じてタッチスクリーン112のユーザインタフェース502上に表示されることを示す。ユーザは、パスワードメニュー506の数字ボタンを逐次起動してもよい(例えば、タップジェスチャにより)。ユーザが提供した数字の順序が予め選択されたパスワードに一致する場合、デバイス100は対話設定モード、図5Cに示すユーザインタフェースを開始する。あるいは、いくつかの実施形態において、ユーザ入力505(図5A)に応じて、デバイス100は、パスワードメニュー506(図5B)を表示することなく直接対話設定モードを開始する。
図5Cは、縮小して表示されたユーザインタフェース502を含む対話設定モードの例示的なユーザインタフェース501を示す。換言すると、ユーザインタフェース502は、対話設定モード(図5C)において図5Aに示した非制限対話モードより小さく表示される。いくつかの実施形態において、対話設定モードのユーザインタフェース501は、起動された時に(例えば、タップジェスチャにより)対話設定モードの終了及び非制限対話モードの開始を開始するキャンセルユーザインタフェースオブジェクト516を含む。デバイス100が対話設定モードを終了すると、いくつかの実施形態において、図5Aに示したユーザインタフェースが表示される。いくつかの実施形態において、対話設定モードのユーザインタフェース501は、起動された時に(例えば、タップジェスチャにより)対話設定モードの終了及び制限対話モードの開始を開始するスタートユーザインタフェースオブジェクト518を含む。これは、図5M〜図5O、図5T、図5X及び図5Zに関して以下に説明される。
いくつかの実施形態において、図5Cのユーザインタフェース501は、選択された時に制限対話モード中のタッチスクリーン112に対するタッチ入力を無視することをデバイス100により行うタッチ対話制御ユーザインタフェースオブジェクト508と、選択された時に制限対話モード中のデバイス100の回転を無視することをデバイス100により行う回転対話制御ユーザインタフェースオブジェクト510と、選択された時に制限対話モード中のデバイス100の振動を無視することをデバイス100により行う振動対話制御ユーザインタフェースオブジェクト512と、選択された時に制限対話モード中のデバイス100の移動を無視することをデバイス100により行う動き対話制御ユーザインタフェースオブジェクト514とのうちの1つ以上を含む。本明細書において使用されるように、特定の入力(例えば、タッチ入力、デバイスの振動、デバイスの移動等)を無視することは、デバイスが制限対話モードである場合にそのような特定の入力に応答しないことを意味する。これに対して、非制限対話モードである場合、デバイス100は、タッチスクリーン112に対するタッチ入力(例えば、図5Aのタッチジェスチャ503)に応答し、デバイス100の回転の検出に応じてユーザインタフェースを縦向きから横向き又は横向きから縦向きに回転し、デバイス100の振動の検出に応じて第1の所定の動作(例えば、アンドゥ動作)を実行し、且つ/あるいはデバイス100の移動の検出に応じて第2の所定の動作(例えば、ユーザインタフェースの更新)を実行する。図5Cは、タッチジェスチャ507(例えば、タップジェスチャ)がタッチ対話制御ユーザインタフェースオブジェクト508に対応する位置において検出されることにより、制限対話モードで停止のためにタッチスクリーンディスプレイ全体での全てのタッチ対話を選択することを示す。タッチジェスチャ507に応じて表示された例示的なユーザインタフェースを図5Dに示す。
図5Dは、タッチ対話制御ユーザインタフェースオブジェクト508に対応する位置におけるタッチジェスチャ507(図5C)に応じて、ユーザインタフェース502に対するタッチ対話が制限対話モード中に無視されることをタッチ対話制御ユーザインタフェースオブジェクト508が示すことを例示する(例えば、タッチ対話制御ユーザインタフェースオブジェクト508を横切る斜線に注目する)。また、タッチ対話制御ユーザインタフェースオブジェクト508に対応する位置におけるタッチジェスチャ507(図5C)に応じて、ユーザインタフェース502全体は視覚的に区別される(例えば、淡色表示され、網掛け表示され、異なる色で表示され、1つ以上の標識でマーク付けされる)。タッチ対話制御ユーザインタフェースオブジェクト508に対応する位置における後続のタッチジェスチャ(例えば、タップジェスチャ)は、ユーザインタフェース502の視覚区別を排除し、タッチスクリーン112に対するタッチ対話が制限対話モード中に完全には無効にされないことを示す。
同様に、いくつかの実施形態において、ユーザインタフェースオブジェクト510、512及び514の1つ以上は、デバイス100がデバイス100の回転、振動及び/又は移動を無視する(すなわち、それに応答しない)ように構成されるかを示す(例えば、それぞれのアイコンを横切る1本以上の斜線を表示する)。
図5E及び図5Fは、タッチ対話制御ユーザインタフェースオブジェクト508を起動することでユーザインタフェース502全体に対するタッチ入力を無視するのではなく、1つ以上の別個のユーザインタフェースオブジェクトが停止のために選択されてもよいことを示す。
図5Eにおいて、タッチジェスチャ509がユーザインタフェースオブジェクト504−2に対応する位置において検出されることにより、制限対話モード中に停止のためにユーザインタフェースオブジェクト502−4を選択する。
図5Fは、タッチジェスチャ509(図5E)に応じて、ユーザインタフェースオブジェクト504−2が視覚的に区別される(例えば、ユーザインタフェースオブジェクト504−2が淡色表示され、且つ/あるいは標識528がユーザインタフェースオブジェクト504−2上に又はそれに隣接して表示される)ことを示す。いくつかの実施形態において、デバイス100が対話設定モード中、1つ以上の更なるタッチジェスチャが1つ以上の他のユーザインタフェースオブジェクトに対応するそれぞれの位置におけるタッチスクリーン112で検出されることにより、制限対話モード中に停止のために1つ以上の他のユーザインタフェースオブジェクトを選択する。いくつかの実施形態において、ユーザインタフェースオブジェクト504−2に対する後続のタッチジェスチャ(例えば、タップジェスチャ)は、起動のためにユーザインタフェースオブジェクト504−2を選択し、(すなわち、停止のためにユーザインタフェースオブジェクト504−2を選択解除し)、ユーザインタフェースオブジェクト504−2の視覚区別を排除する。デバイス100が制限対話モードを開始した後(例えば、「スタート」アイコン、すなわちユーザインタフェースオブジェクト518に対するタップジェスチャに応じて)、ユーザインタフェースオブジェクト504−2が対話設定モードで停止のために選択された場合、デバイス100は、制限対話モード中のユーザインタフェースオブジェクト504−2に対応する位置におけるタッチ入力を無視する。
いくつかの実施形態において、デバイス100が対話設定モード中、多数のタッチジェスチャ(例えば、別個のタップジェスチャ、あるいは1つ以上のタップジェスチャ及び/又は1つ以上のスワイプジェスチャの集合)が複数のユーザインタフェースオブジェクトに対応するそれぞれの位置におけるタッチスクリーン112で検出されることにより、停止のために複数のユーザインタフェースオブジェクトを選択する。デバイス100が制限対話モードを開始した後(例えば、「スタート」アイコン、すなわちユーザインタフェースオブジェクト518に対するタップジェスチャに応じて)、複数のユーザインタフェースオブジェクトが対話設定モードで停止のために選択された場合、デバイス100は、制限対話モード中の選択された複数のユーザインタフェースオブジェクトに対応する位置におけるタッチ入力を無視する。
図5G及び図5Hは、デバイス100が対話設定モード中に停止のために1つ以上のユーザインタフェースオブジェクトを選択するための別の方法を示す。図5Gにおいて、タッチジェスチャ511はタッチスクリーン112で検出される。タッチジェスチャ511は、タッチスクリーン112との接触を維持しつつ、矩形に類似するクローズドパスに沿ってタッチスクリーン112にわたり移動する。
図5Hは、デバイス100がタッチジェスチャ511の移動により描画された形状を矩形として認識し、且つタッチジェスチャ511の経路に対応する矩形のサイズ及び位置を判定することを示す。いくつかの実施形態において、タッチジェスチャ511の経路に対応すると判定された矩形520は、タッチスクリーン112に表示される。一般に矩形520は、残りのユーザインタフェース502とは視覚的に区別される。
いくつかの実施形態において、削除ユーザインタフェースオブジェクト564は、タッチジェスチャ511の経路に対応する形状(例えば、矩形520)上に又はそれに隣接して表示される。削除ユーザインタフェースオブジェクト564に対応するタッチスクリーン112上の位置においてタッチジェスチャを検出することに応じて、タッチジェスチャ511の経路に対応する形状の表示を中止する(不図示)。
いくつかの実施形態において、矩形520等のタッチジェスチャ511の経路に対応する形状は、タッチジェスチャに従って移動される。例えば、矩形520がタッチスクリーン112に表示されている間、指の接触561は、矩形520に対応するタッチスクリーン112上の位置において検出されてもよい。指の接触561がタッチスクリーン112で検出されている間、矩形520は指の接触561の移動に従って移動する(例えば、タッチスクリーン112での指の接触561の検出が中止されるまで、矩形520はタッチスクリーン112に対する指の接触561により移動する)。あるいは、指の接触561及び563の移動は、矩形520を移動するために使用されてもよい(例えば、指の接触561と563との間の中間点により矩形520の位置を判定する)。
いくつかの実施形態において、矩形520等のタッチジェスチャ511の経路に対応する形状は、タッチジェスチャに従ってサイズ変更される。例えば、矩形520のサイズは、指の接触561及び563により実行されたピンチアウトジェスチャ(例えば、2本の指が離れる方向に移動する指の接触561及び563)に応じて拡大される。同様に、いくつかの実施形態において、矩形520のサイズは、指の接触561及び563により実行されたピンチジェスチャ(例えば、2本の指が近接する方向に移動する指の接触561及び563)に応じて縮小される。いくつかの実施形態において、ピンチジェスチャ又はピンチアウトジェスチャは、形状のアスペクト比を変更することなく形状のサイズを変更する。いくつかの実施形態において、水平のピンチジェスチャ又はピンチアウトジェスチャ(例えば、指が相対的に水平に移動する指の接触561及び563)は、形状の高さを変更することなく形状の幅を変更することにより、形状のアスペクト比を変更する。いくつかの実施形態において、垂直のピンチジェスチャ又はピンチアウトジェスチャ(例えば、指が相対的に垂直に移動する指の接触561及び563)は、形状の幅を変更することなく形状の高さを変更することにより、形状のアスペクト比を変更する。いくつかの実施形態において、斜めのピンチジェスチャ又はピンチアウトジェスチャ(例えば、移動の水平成分及び垂直成分の双方で相対的に移動する指の接触561及び563)は、斜めのピンチ及びピンチアウトの水平成分に従って形状の幅を変更し、斜めのピンチ又はピンチアウトの垂直成分に従って形状の高さを変更する。
いくつかの実施形態において、矩形520等のタッチジェスチャ511の経路に対応する形状は、タッチジェスチャに従って(例えば、指の接触561及び563に基づいて)移動、回転且つ/あるいはサイズ変更される。
あるいは、タッチジェスチャ511の経路に対応する形状は、単一のフィンガージェスチャによりサイズ変更されてもよい。いくつかの実施形態において、1つ以上のリサイズハンドル562は、タッチジェスチャ511の経路に対応する形状(例えば、矩形520)の1つ以上の縁部に沿ってタッチスクリーン112に表示される。それぞれのリサイズハンドルに対する指の接触及びタッチスクリーン112にわたる指の接触の移動の検出に応じて、形状はサイズ変更される。
デバイス100が制限対話モードを開始した後(例えば、ユーザインタフェースオブジェクト518に対するタップジェスチャに応じて)、矩形520が表示され、デバイス100は、制限対話モード中の矩形520内に配置されたあらゆるユーザインタフェースオブジェクト(例えば、文字「A」)に対応する位置におけるタッチ入力を無視する。
図5I〜図5Kは、デバイス100が対話設定モード中に停止のために1つ以上のユーザインタフェースオブジェクトを選択するための別の方法を示す。図5Iにおいて、タッチジェスチャ513はタッチスクリーン112で検出される。タッチジェスチャ513は、タッチスクリーン112との接触を維持しつつ、オープンパスに沿ってタッチスクリーン112にわたり移動する。オープンパスは、ユーザインタフェースオブジェクト504−1〜504−7を交差する(あるいはそれらと接触する)ことにより、ユーザインタフェースオブジェクト504−1〜504−7を選択する。いくつかの実施形態において、オープンパスに隣接して(例えば、オープンパスからの所定の距離内に)配置された1つ以上のユーザインタフェースオブジェクトは、オープンパスにより交差されない場合でも停止のために更に選択される。
図5Jは、タッチジェスチャ513(図5I)による選択の結果、ユーザインタフェースオブジェクト504−1〜504−7が視覚的に区別されることを示す。デバイス100が制限対話モードを開始した後(例えば、ユーザインタフェースオブジェクト518に対するタップジェスチャに応じて)、ユーザインタフェースオブジェクト504−1〜504−7が対話設定モードで停止のために選択された場合、デバイス100は、制限対話モード中のユーザインタフェースオブジェクト504−1〜504−7のいずれかに対応する位置におけるタッチ入力を無視する。
図5Kは、図5Jに示したものとは別のユーザインタフェースを示す。図5Kにおいて、タッチジェスチャ513により描画されたオープンパスを取り囲む所定の形状522(例えば、矩形)は、視覚的に区別される。いくつかの実施形態において、所定の形状522、並びにそのサイズ及び位置は、所定の形状522がタッチジェスチャ513(図5I)のオープンパスにより交差される全てのユーザインタフェースオブジェクトを含むように選択される。デバイス100が制限対話モードを開始した後(例えば、ユーザインタフェースオブジェクト518に対するタップジェスチャに応じて)、所定の形状522が表示され、デバイス100は、制限対話モード中に所定の形状522内に配置されたあらゆるユーザインタフェースオブジェクト(例えば、ユーザインタフェースオブジェクト504−1〜504−7)に対応する位置におけるタッチ入力を無視する。
図5Lにおいて、タッチジェスチャ515(例えば、タップジェスチャ)は、対話設定モードの終了及び制限対話モードの開始をデバイスにより行うユーザインタフェースオブジェクト518に対応する位置において検出される。ユーザインタフェースオブジェクト518に対応する位置においてタッチジェスチャ515(図5L)を検出することに応じて表示されてもよい2つの例示的なユーザインタフェース524及び526は、それぞれ、図5M及び図5Nに示される。
図5Mにおいて、タッチジェスチャ517(例えば、タップジェスチャ)は、所定の形状522に配置されたユーザインタフェースオブジェクト504−3に対応する位置において制限対話モードで検出される。ユーザインタフェースオブジェクト504−3に対応する位置においてタッチジェスチャ517を検出することに応じて、デバイス100は、タッチジェスチャ517を無視する(すなわち、それに応答しない)。図5Mは、タッチジェスチャ519(例えば、タップジェスチャ)がタッチスクリーン112に表示された文字「A」に対応する位置において制限対話モードで検出されることを更に示す。文字「A」に対応する位置におけるタッチスクリーン112でタッチジェスチャ519を検出することに応じて、ユーザインタフェースのこの部分が対話設定モード中に停止のために選択されなかったため、デバイス100は、文字「A」の発音に対応する音声を生成する。
あるいは、図5Nにおいて、複数のユーザインタフェースオブジェクト(例えば、文字「A」、単語「Apple」及びリンゴの画像)は、形状522及び所定の形状522(図5L)内に配置されたユーザインタフェースオブジェクト504−1〜504−7を表示することなくタッチスクリーン112に表示される。図5Nにおいて、デバイスは、図5Lの所定の形状522に対応する領域のタッチ入力に応答しない。文字「A」に対応する位置におけるタッチスクリーン112でタッチジェスチャ(例えば、不図示のタップジェスチャ)を検出することに応じて、ユーザインタフェースのこの部分が対話設定モード中に停止のために選択されなかったため、デバイス100は、文字「A」の発音に対応する音声を生成する。
図5Nは、ユーザ入力521(例えば、ホームボタン204のトリプルクリック)の検出を更に示す。
図5Oは、いくつかの実施形態において、ユーザ入力521(図5N)の検出に応じてパスワードメニュー506がユーザインタフェース526上に表示されることを示す。ユーザは、パスワードメニュー506の数字ボタンを逐次起動してもよい(例えば、タップジェスチャにより)。ユーザが提供した番号の順序が予め選択されたパスワードに一致する場合、デバイス100は、制限対話モードを終了し、非制限対話モード、図5Pに示すユーザインタフェースを開始する。あるいは、いくつかの実施形態において、ユーザ入力521(図5N)に応じて、デバイス100は、パスワードメニュー506を表示することなく、直接、制限対話モードを終了し、非制限対話モードを開始する。いくつかの実施形態において、制限対話モードを終了するためのパスワードは、対話設定モードを開始するためのパスワード(図5B)と同一である。あるいは、制限対話モードを終了するためのパスワードは、対話設定モードを開始するためのパスワードとは異なってもよい。
図5Pは、デバイス100が制限対話モードを終了し且つ非制限対話モードを開始した後(例えば、図5Nのユーザ入力521及び必要に応じて図5Oの一致するパスワードの入力に応じて)のユーザインタフェース502を示す。名前が示すように、非制限対話モードにおいて、ユーザインタフェースオブジェクトは、いくつかのユーザインタフェースオブジェクトを無効にするかあるいはその起動を防止することなく(それは制限対話モードで起こる)、動作及び応答するように構成される。例えば図5Pにおいて、タッチジェスチャ523(例えば、タップジェスチャ)は、ユーザインタフェースオブジェクト504−3に対応する位置において非制限対話モードで検出される。ユーザインタフェースオブジェクト504−3に対応する位置においてタッチジェスチャ523を検出することに応じて、デバイス100は、ユーザインタフェース502上にヘルプメニュー又はヘルプダイアログを表示する。図5Pは、タッチジェスチャ525(例えば、タップジェスチャ)が文字「A」に対応する位置において非制限対話モードで検出されることを更に示す。文字「A」に対応する位置においてタッチジェスチャ525を検出することに応じて、デバイス100は、文字「A」の発音に対応する音声を生成する。オブジェクト504−3及び文字「A」は、一般に非制限対話モードでタッチ入力に応答する。
図5Q〜図5Tは、いくつかの実施形態に係るカードマッチングゲームの例示的なユーザインタフェースを示す。
図5Qは、「メニュー」ボタン及び「終了」ボタン等の複数のユーザインタフェースオブジェクト、複数のカード、ユーザ命令メッセージ(例えば、「一致するカードを見つける」)及び広告表示のための領域を含むカードマッチングゲームの例示的なユーザインタフェース532を示す。
図5Qにおいて、ユーザ入力531(例えば、ホームボタン204のトリプルクリック)が検出される。
図5Rは、カードマッチングゲームに対する対話設定モードの例示的なユーザインタフェースを示す。図5Rにおいて、ユーザインタフェース532は縮小して表示される。換言すると、ユーザインタフェース532は、対話設定モード(図5R)において非制限対話モード(図5Q)より小さく表示される。
図5Rにおいて、ジェスチャ入力533、535、537及び539(例えば、タップジェスチャ)は、ユーザインタフェース532の複数のユーザインタフェースオブジェクトに対応する位置において検出されることにより、複数のユーザインタフェースオブジェクトを選択する。
図5Sは、選択された複数のユーザインタフェースオブジェクトが視覚的に区別されることを示す。図5Sは、タッチジェスチャ541がユーザインタフェースオブジェクト518、すなわち対話設定モードを終了し且つ制限対話モードを開始するための「スタート」アイコンに対応する位置において検出されることを更に示す。
図5Tは、ユーザインタフェースオブジェクト518に対応する位置においてタッチジェスチャ541を検出することに応じて表示された例示的なユーザインタフェース534を示す。図5Tにおいて、ジェスチャ入力533、535、537及び539(図5R)により選択されないユーザインタフェースオブジェクトはタッチスクリーン112に表示され続け、残りのタッチスクリーン112は視覚的に区別される(例えば、淡色表示、マスク、変換等される)。いくつかの実施形態において、デバイス100は、タッチジェスチャ541に応じてジェスチャ入力533、535、537及び539(図5R)により選択されないユーザインタフェースオブジェクトのみを表示する。いくつかの実施形態において、ジェスチャ入力533、535、537及び539(図5R)により選択されないユーザインタフェースオブジェクトは、回転、センタリング及び/又はサイズ変更されてディスプレイ中に表示される(不図示)。
図5Tは、タッチジェスチャ543(例えば、タップジェスチャ)がジェスチャ入力533、535、537及び539により選択されないユーザインタフェースオブジェクト(例えば、カードマッチングゲームのカード)に対応する位置において検出されることを更に示す。ジェスチャ入力533、535、537及び539により選択されないユーザインタフェースオブジェクトに対応する位置においてタッチジェスチャ543を検出することに応じて、デバイス100は、所定の動作(例えば、タッチジェスチャ543に対応する位置において配列されたカードをめくるアニメーションを表示する)を実行する。図5Tは、タッチジェスチャ(例えば、タップジェスチャ)が視覚的に区別される(例えば、マスクされる)ユーザインタフェースオブジェクト(例えば、図5Tには示さない図5Qに示した「メニュー」ユーザインタフェースオブジェクト)の位置において検出される。視覚的に区別される(例えば、マスクされる)ユーザインタフェースオブジェクトにおいてタッチジェスチャ545を検出することに応じて、デバイス100はタッチジェスチャ545を無視する(それに応答しない)。
図5U〜図5Xは、いくつかの実施形態に係る楽器アプリケーション(例えば、アップル社(Apple Inc.)によるGarageBand)の例示的なユーザインタフェースを示す。
図5Uは、ギター弦、自動再生(autoplay)ダイヤル、コード(chords)/音(notes)スイッチ、ギター選択ボタン及び複数のメニューバーユーザインタフェースオブジェクト等の複数のユーザインタフェースオブジェクトを含む楽器アプリケーションの例示的なユーザインタフェース552を示す。
図5Uにおいて、ユーザ入力511(例えば、ホームボタン204のトリプルクリック)が検出される。
図5Vは、楽器アプリケーションに対する対話設定モードの例示的なユーザインタフェースを示す。図5Vにおいて、ユーザインタフェース522は縮小して表示される。換言すると、ユーザインタフェース552は、対話設定モード(図5V)において図5Uに示した非制限対話モードより小さく表示される。
図5Vは、ジェスチャ入力553がタッチスクリーン112で検出されることを更に示す。図5Rに示すように、ジェスチャ入力553は、指の接触の経路が複数のユーザインタフェースオブジェクトと交差するタッチスクリーン112にわたる指の接触のドラッグを含む。
図5Wは、ジェスチャ入力553(図5V)に対応する所定の形状556がジェスチャ553の検出に応じて表示されることを示す。いくつかの実施形態において、透明(例えば、所定の形状556の境界線のみが可視である)、半透明又は不透明な所定の形状556は、タッチスクリーン112に表示される。図5Wは、タッチジェスチャ555がユーザインタフェースオブジェクト518、すなわち対話設定モードを終了し且つ制限対話モードを開始するための「スタート」アイコンに対応する位置において検出されることを更に示す。
図5Xは、ユーザインタフェースオブジェクト518に対応する位置においてタッチジェスチャ555(図5W)を検出することに応じて表示された例示的なユーザインタフェース554を示す。図5Xにおいて、所定の形状556は、所定の形状556内に配置されたユーザインタフェースオブジェクトを視覚的に区別する(例えば、半透明の所定の形状556により所定の形状556内に配置されたユーザインタフェースオブジェクトをマスクすることにより)。図5Xは、タッチジェスチャ557がギター弦ユーザインタフェースオブジェクトに対応する位置において検出されることを更に示す。ギター弦ユーザインタフェースオブジェクトに対応する位置においてタッチジェスチャ557を検出することに応じて、デバイス100は、タッチジェスチャ557の位置に対応する音を演奏する(例えばデバイス100は、Gコードに対応する音を演奏する)。図5Xは、タッチジェスチャ559(例えば、タップジェスチャ)が視覚的に区別される(例えば、マスクされる)ユーザインタフェースオブジェクト(例えば、「my songs」ユーザインタフェースオブジェクト)において検出されることを更に示す。視覚的に区別される(例えば、マスクされる)ユーザインタフェースオブジェクトにおいてタッチジェスチャ559を検出することに応じて、デバイス100は、タッチジェスチャ559を無視する(それに応答しない)。
図5Y及び図5Zは、いくつかの実施形態に係るフォルダの例示的なユーザインタフェースを示す。図5Yは、ファイルアイコン又はアプリケーションアイコン(例えば、アルファベット、数字、単語及びカウント)、ディレクトリのリスト(例えば、デバイス、無題、無題1等)及び複数のメニューバーユーザインタフェースオブジェクト等の複数のユーザインタフェースオブジェクトを含むフォルダの例示的なユーザインタフェース572を示す。ユーザインタフェース572は、この場合繰り返される必要のない上述の他のユーザインタフェースの構成に類似した方法で制限対話に対して構成されてもよい。
図5Zは、いくつかの実施形態に係る制限対話モードのフォルダの例示的なユーザインタフェース574を示す。図5Zにおいて、ユーザインタフェース572(図5Y)の対応するアイコンと比較して変化していないファイルアイコン又はアプリケーションアイコン(例えば、アルファベット、数字、単語及びカウント)、並びに他のユーザインタフェースオブジェクト及び領域(例えば、ディレクトリのリスト及びメニューバーユーザインタフェースオブジェクト)は、視覚的に区別される。ファイルアイコン又はアプリケーションアイコンのうちの1つに対応する位置におけるタッチジェスチャ(例えば、タップジェスチャ)が対応するアプリケーションを実行すること又は対応するファイルを開くことを開始する一方で、1つ以上の視覚的に区別された領域に対応する位置におけるタッチジェスチャ(例えば、タップジェスチャ)は無視される。
図6A〜図6Dは、いくつかの実施形態に係るユーザインタフェースとの制限対話を設定する方法600を示すフローチャートである。方法600は、ディスプレイ及びタッチ感知面を有する電子デバイス(例えば、図3のデバイス300又は図1のポータブル多機能デバイス100)において実行される。いくつかの実施形態において、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面はディスプレイ上にある。いくつかの実施形態において、ディスプレイはタッチ感知面とは別個のものである。方法600のいくつかの動作は組み合わされてもよく、且つ/又はいくつかの動作の順序は変更されてもよい。
以下に説明するように、方法600は、電子デバイスに対するユーザインタフェースとの制限対話を設定する直観的な方法を提供する。方法は、ユーザインタフェースとの制限対話を設定する時のユーザの認識に対してかかる負荷を軽減し、より効率的なヒューマンマシンインタフェースを生成する。バッテリにより動作する電子デバイスの場合、ユーザによるユーザインタフェースとの制限対話の設定が高速且つ効率的になるほど、節電され、バッテリ充電間隔は長くなる。
非制限対話モード中、デバイスは、第1の入力(例えば、図5A及び図5Bのパスコードの後続の入力を用いてあるいは用いずにホームボタン204に対するトリプルクリック505を検出すること、物理ボタンの特定の組合せを押下すること、タッチ感知面の所定の領域を同時に又は所定のシーケンスに従ってタッチすること等)を検出する(602)。
第1の入力の検出に応じて、デバイスは、非制限対話モード(例えば、図5C)とは異なる対話設定モードを開始する(604)。
対話設定モード中、デバイスは、ディスプレイに複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェース(例えば、図5Cのユーザインタフェース501は、文字「A」、単語「Apple」、リンゴの画像、並びに複数のメニューバーユーザインタフェースオブジェクト504−1、504−2、504−3、504−4、504−5、504−6及び504−7をユーザインタフェース502に含む)を表示する(606)。
いくつかの実施形態において、対話設定モードの第1のユーザインタフェースは、第1の入力を検出する直前に非制限対話モードで表示されたユーザインタフェースを含み、第1の入力を検出する直前に非制限対話モードで表示されたユーザインタフェースは、複数のユーザインタフェースオブジェクトを含む(608)。例えば、図5Cのユーザインタフェース501は、非制限対話モード(例えば、図5A)で以前に表示されたユーザインタフェース502を含み、ユーザインタフェース502は、文字「A」、単語「Apple」、リンゴの画像、並びに複数のメニューバーユーザインタフェースオブジェクト504−1、504−2、504−3、504−4、504−5、504−6及び504−7を含む。
いくつかの実施形態において、第1の入力を検出する直前に非制限対話モードで表示されたユーザインタフェースは、非制限対話モード(例えば、図5Aのユーザインタフェース502)で第1の縮尺で表示され、対話設定モードで第1のユーザインタフェース(例えば、図5Cのユーザインタフェース501内のユーザインタフェース502)に第1の縮尺より小さな第2の縮尺で表示される(610)。いくつかの実施形態において、デバイスは、対話設定モードで第1のユーザインタフェースの一部になるように縮小する第1の入力を検出する直前に非制限対話モードで表示されたユーザインタフェースのアニメーションを表示する。
いくつかの実施形態において、第1のユーザインタフェースは、第1の入力の検出に応じて表示される(612)。例えばいくつかの実施形態において、図5Cのユーザインタフェースは、ユーザ入力505(図5A)に応じて表示される。例えばいくつかの実施形態において、図5Cのユーザインタフェースは、パスワード(図5B)の入力に応じて表示される。
いくつかの実施形態において、対話設定モードで表示された第1のユーザインタフェース501は、選択された時に制限対話モード中のタッチ感知面に対するタッチ入力を無視することを電子デバイスにより行うタッチ対話制御ユーザインタフェースオブジェクト(例えば、図5Cのユーザインタフェースオブジェクト508)と、選択された時に制限対話モード中の電子デバイスの回転を無視することを電子デバイスにより行う回転対話制御ユーザインタフェースオブジェクト(例えば、図5Cのユーザインタフェースオブジェクト510)と、選択された時に制限対話モード中の電子バイスの振動を無視することを電子デバイスにより行う振動対話制御ユーザインタフェースオブジェクト(例えば、図5Cのユーザインタフェースオブジェクト512)と、選択された時に制限対話モード中の電子デバイスの移動を無視することを電子デバイスにより行う動き対話制御ユーザインタフェースオブジェクト(例えば、図5Cのユーザインタフェースオブジェクト514)とのうちの少なくとも1つを含む(614)。
第1のユーザインタフェースを表示している間、デバイスは、タッチ感知面に対する1つ以上のジェスチャ入力(例えば、図5Cのタッチジェスチャ507、図5Eのタッチジェスチャ509、図5Gのタッチジェスチャ511、図5Iのタッチジェスチャ513又は図5Rのタッチジェスチャ533、535、537及び539)を検出する(図6Bの616)。
タッチ感知面上で検出されたそれぞれのジェスチャ入力に対して、デバイスは、複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトがそれぞれのジェスチャ入力に対応するかを判定する(618)。例えば、ユーザインタフェースオブジェクト508に対するタッチジェスチャ507(図5C)の検出に応じて、デバイスは、ユーザインタフェース502の複数のユーザインタフェースオブジェクトがタッチジェスチャ507に対応すると判定する。図5E及び図5Fにおいて、タッチジェスチャ509の検出に応じて、デバイスは、ユーザインタフェースオブジェクト504−2がタッチジェスチャ509に対応すると判定する。図5G及び図5Hにおいて、タッチジェスチャ511の検出に応じて、デバイスは、文字「A」がタッチジェスチャ511に対応すると判定する。図5I〜図5Kにおいて、タッチジェスチャ513の検出に応じて、デバイスは、ユーザインタフェースオブジェクト504−1〜504−7がタッチジェスチャ513に対応すると判定する。図5R及び図5Sにおいて、タッチジェスチャ533、535、537及び539の検出に応じて、デバイスは、各タッチジェスチャ533、535、537及び539に対応するユーザインタフェースオブジェクトを判定する。
いくつかの実施形態において、複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトがそれぞれのジェスチャ入力に対応するかを判定することは、それぞれのジェスチャ入力に対応する、複数の所定の形状における所定の形状、所定の形状のサイズ、及び、所定の形状の位置を判定することを含む(620)。換言すると、所定の形状は、それぞれのジェスチャ入力により描画された形状に対応する。例示的な所定の形状は、矩形、正方形、円及び楕円形を含む。いくつかの実施形態において、所定の形状は、第1のユーザインタフェースで重ね合わせられる。いくつかの実施形態において、更なるジェスチャは、所定の形状の最初のサイズ及び/又は最初の位置を調整するために使用されてもよく、例えば、ピンチアウトジェスチャは所定の形状を拡大するために、所定の形状の境界に対するドラッグジェスチャは所定の形状をサイズ変更するために、所定の形状内のドラッグジェスチャは所定の形状を移動するために使用されてもよい。いくつかの実施形態において、判定することは、複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトが判定された位置における判定されたサイズの判定された所定の形状に対応するかを判定することを更に含む。換言すると、それぞれのユーザインタフェースオブジェクトに対して、デバイスは、それぞれのジェスチャ入力に対応する所定の形状がそれぞれのユーザインタフェースオブジェクトの上に重なるかを判定する。例えば図5Hにおいて、デバイスは、所定の形状520(タッチジェスチャ511に対応する)が文字「A」の上に重なると判定し、その判定に従って文字「A」を選択する。
いくつかの実施形態において、それぞれのジェスチャ入力は、オープンパスジェスチャ(例えば、図5Iのタッチジェスチャ513及び図5Vのタッチジェスチャ553等の取り消し線又はねじれた線)である(622)。いくつかの実施形態において、それぞれのジェスチャ入力は、クローズドパスジェスチャ(図5Gのタッチジェスチャ511)である。
いくつかの実施形態において、デバイスは、検出された1つ以上のジェスチャ入力に対応する複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合及び検出された1つ以上のジェスチャ入力に対応しない複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合を識別する。例えば図5Fにおいて、デバイスは、ユーザインタフェースオブジェクト504−2をタッチジェスチャ509に対応するユーザインタフェースオブジェクトとして識別し、文字「A」、単語「Apple」、リンゴの画像、並びにメニューバーユーザインタフェースオブジェクト504−1、504−3、504−4、504−5、504−6及び504−7をタッチジェスチャ509に対応しないユーザインタフェースオブジェクトとして識別する。
デバイスは、検出された1つ以上のジェスチャ入力に対応する複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合と検出された1つ以上のジェスチャ入力に対応しない複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合とを視覚的に区別する(624)。例えば図5Mにおいて、ユーザインタフェースオブジェクト504−1〜504−7は、文字「A」、単語「Apple」及びリンゴの画像等のユーザインタフェース502の他のユーザインタフェースオブジェクトと視覚的に区別される。いくつかの実施形態において、ユーザインタフェースオブジェクトの第1の集合を視覚的に区別することは、ユーザインタフェースオブジェクトの第2の集合の淡色表示されていない表示を維持しつつユーザインタフェースオブジェクトの第1の集合の表示を淡色表示すること及び/又はユーザインタフェースオブジェクトの第1の集合上にあるいはそれに隣接して1つ以上の標識(例えば、図5Fの標識528)を表示することを含む。いくつかの実施形態において、ユーザインタフェースオブジェクトの第1の集合のそれぞれのユーザインタフェースオブジェクトは、それぞれのユーザインタフェースオブジェクトに対応するそれぞれのジェスチャ入力を検出することに応じて視覚的に区別される。いくつかの実施形態において、それぞれの標識は、ユーザインタフェースオブジェクトの第1の集合の対応する1つ以上のユーザインタフェースオブジェクト上に又はそれに隣接して表示された所定の形状である。例えば図5Fにおいて、標識528は、ユーザインタフェースオブジェクト504−2上に表示される。いくつかの実施形態において、それぞれの標識は、ユーザインタフェースオブジェクトの第1の集合の対応する1つ以上のユーザインタフェースオブジェクト上に表示されるそれぞれのジェスチャ入力に対応する自由形式の形状である。いくつかの実施形態において、所定の形状又は自由形式の形状の不透明度は、対話設定モードで調整されてもよい。
デバイスは、第2の入力(例えば、図5Lのスタートボタン518に対するタップジェスチャ515)を検出する(626)。
第2の入力の検出に応じて、デバイスは、対話設定モードを終了して非制限対話モードとは異なる制限対話モードを開始する(図6Cの628)。いくつかの実施形態において、制限対話モードがユーザインタフェースオブジェクトの第1の集合のユーザインタフェースオブジェクト(例えば、図5Mの504−1〜504−7等のユーザインタフェースオブジェクト)の起動を防止する(例えば、無効にする)のに対し、ユーザインタフェースオブジェクトの第1の集合のこれらのユーザインタフェースオブジェクトは、非制限対話モード(例えば、図5P)で起動可能である。
いくつかの実施形態において、ユーザは、無効にされるユーザインタフェースオブジェクトを選択するのではなく有効にされたままのユーザインタフェースオブジェクトを選択するためにジェスチャ入力を使用してもよい。これらの実施形態の場合、ユーザインタフェースオブジェクトの第2の集合は、検出された1つ以上のジェスチャ入力に対応する複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトを含み、ユーザインタフェースオブジェクトの第1の集合は、検出された1つ以上のジェスチャ入力に対応しない複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトを含む。
いくつかの実施形態において、デバイスは、制限対話モードで第1のユーザインタフェースを少なくともユーザインタフェースオブジェクトの第2の集合を含む第2のユーザインタフェースに置き換える(630)。例えば図5Mにおいて、ユーザインタフェース524は、ユーザインタフェースオブジェクトの第2の集合(例えば、文字「A」、単語「Apple」及びリンゴの画像)、並びにユーザインタフェースオブジェクトの第1の集合(例えば、図5Lに示したユーザインタフェースオブジェクト504−1〜504−7)を含む。いくつかの実施形態において、第2のユーザインタフェースはユーザインタフェースオブジェクトの第1の集合の表示を含まない。例えば図5Nにおいて、ユーザインタフェース526は、ユーザインタフェースオブジェクトの第2の集合(例えば、文字「A」、単語「Apple」及びリンゴの画像)を含むが、ユーザインタフェースオブジェクトの第1の集合(例えば、図5Lに示したユーザインタフェースオブジェクト504−1〜504−7)を含まない。いくつかの実施形態において、制限対話モードの第2のユーザインタフェースは、対話設定モード中に作成されたユーザインタフェースオブジェクトの第1の集合とユーザインタフェースオブジェクトの第2の集合との視覚区別を維持する。いくつかの実施形態において、第2のユーザインタフェースは、ユーザインタフェースオブジェクトの第2の集合の淡色表示されていない表示を含みつつ、ユーザインタフェースオブジェクトの第1の集合の淡色表示された表示を含む。いくつかの実施形態において、第2のユーザインタフェースは、ユーザインタフェースオブジェクトの第2の集合の強調表示を含む。いくつかの実施形態において、第2のユーザインタフェースは、回転、センタリング及び/又はディスプレイの所定の表示領域に適合されたユーザインタフェースオブジェクトの第2の集合を含む。いくつかの実施形態において、制限対話モード中、デバイスは、ユーザインタフェースオブジェクトの第1の集合のユーザインタフェースオブジェクトに対応する位置におけるタッチ感知面上で第1のジェスチャを検出し、第1のジェスチャ(例えば、図5Mのタッチジェスチャ517)を無視する。換言すると、制限対話モード中、デバイスは、対話設定モードで停止のために選択されたユーザインタフェースオブジェクトに対するジェスチャに応答しない(あるいは軽視する)。
いくつかの実施形態において、第2のユーザインタフェースは、第2の入力の検出に応じて第1のユーザインタフェースを置き換える(632)。例えば、図5Lに示したユーザインタフェースは、タッチジェスチャ515(図5L)の検出に応じてユーザインタフェース524(図5M)に置き換えられる。
いくつかの実施形態において、対話設定モード中、デバイスは、それぞれの物理ボタン(例えば、図2の押しボタン206及び/又は音量調整ボタン208)の起動を無視する。いくつかの実施形態において、制限対話モード中、デバイスは、それぞれの物理ボタン(例えば、図2の押しボタン206及び/又は音量調整ボタン208)の起動を無視する。
いくつかの実施形態において、制限対話モード中、デバイスは、ユーザインタフェースオブジェクトの第2の集合のユーザインタフェースオブジェクトに対応する位置におけるタッチ感知面上で第2のジェスチャを検出し、第2のジェスチャの検出に応じて、ユーザインタフェースオブジェクトの第2の集合のユーザインタフェースオブジェクトに対応する所定の動作を実行する(634)。いくつかの実施形態において、制限対話モードのユーザインタフェースオブジェクトの第2の集合のユーザインタフェースオブジェクトに対応する所定の動作は、非制限対話モードのユーザインタフェースオブジェクトの第2の集合のユーザインタフェースオブジェクトに対応する所定の動作と同一である。例えば図5Mにおいて、文字「A」に対応する位置におけるタッチスクリーン112に対するタッチジェスチャ519に応じて、デバイス100は、文字「A」の発音に対応する音声を生成する。
いくつかの実施形態において、制限対話モード中、デバイスは、所定のユーザ入力(例えば、ホームボタン204のトリプルクリック等の図5Nのユーザ入力521)を検出し、所定のユーザ入力の検出に応じて制限対話モード終了画面(例えば、図5Oのパスワードメニュー506)をディスプレイに表示し、制限対話モード終了画面を表示している間に1つ以上の入力を検出し(例えば、図5Oのパスワードメニュー506の数字ボタンに対するタップジェスチャ等の1つ以上のジェスチャをタッチ感知面上で検出する)、検出された1つ以上の入力が制限対話モードを終了するための所定の入力(例えば、所定の数字の順序)に一致するかを判定し、検出された1つ以上の入力が制限対話モードを終了するための所定の入力に一致しないとの判定に従って、制限対話モード終了画面をディスプレイに表示するのを中止する(すなわち、間違ったパスワードが一度入力されると、パスワードメニュー506は、ユーザの気をそれ以上そらさないように消える)(636)。いくつかの実施形態において、制限対話モードを終了する試みが失敗した後、デバイスは、少なくとも所定の期間(例えば、1分間、2分間、5分間等)制限対話モード終了画面を表示しないだろう。
いくつかの実施形態において、デバイスは、制限対話モードを終了する(図6Dの638)(例えば、図5Nのパスコードの入力に後続するホームボタン204に対するトリプルクリック521を検出すること、物理ボタンの特定の組合せを押下すること、例えば所定のシーケンスでタッチ感知面の4つの隅をタッチすること等のタッチ感知面の所定の領域を同時に又は所定のシーケンスに従ってタッチすることに応じて)。その後デバイスは、非制限対話モードを開始し、非制限対話モード中、ユーザインタフェースオブジェクトの第1の集合の第1のユーザインタフェースオブジェクト(例えば、図5Pのユーザインタフェースオブジェクト504−3)に対応する位置におけるタッチ感知面上で第3のジェスチャ(例えば、図5Pのタッチジェスチャ523)を検出し、第3のジェスチャの検出に応じて、ユーザインタフェースオブジェクトの第1の集合の第1のユーザインタフェースオブジェクトに対応する第1の所定の動作を実行し(例えば、ヘルプメニュー又はヘルプダイアログは、図5Pに示したユーザインタフェース502上に表示される)、ユーザインタフェースオブジェクトの第2の集合の第2のユーザインタフェースオブジェクト(例えば、図5Pの文字「A」)に対応する位置におけるタッチ感知面上で第4のジェスチャ(例えば、図5Pのタッチジェスチャ525)を検出し、第4のジェスチャの検出に応じて、ユーザインタフェースオブジェクトの第2の集合の第2のユーザインタフェースオブジェクトに対応する第2の所定の動作を実行する(例えばデバイスは、文字「A」の発音に対応する音声を生成する)。
いくつかの実施形態において、デバイスがプラグ接続されたのを検出することに応じて(例えば、デバイスの図2の外部ポート124は、ケーブルでプラグ接続されるかあるいはクレードルにプラグ接続される)、デバイスは制限対話モードを終了する。
いくつかの実施形態において、制限対話モードを終了した直後、デバイスは、非制限対話モード(例えば、図5P)を開始するのではなく、対話設定モード(例えば、図5L)を開始する。
いくつかの実施形態において、ユーザインタフェースオブジェクトの第1の集合及びユーザインタフェースオブジェクトの第2の集合を識別する情報は、それぞれのユーザに対して設定される個別プロファイル(例えば、図1Aの個別プロファイル159)に格納される(640)。例えば、教育アプリケーションに対するユーザインタフェースオブジェクトの予め選択された第1の集合は、第1のユーザに対する個別プロファイルに格納されてもよく、教育アプリケーションに対するユーザインタフェースオブジェクトの予め選択された第2の集合は、第2のユーザに対する個別プロファイルに格納されてもよい。ユーザインタフェースオブジェクトの予め選択された第1の集合及び第2の集合は、個々のユーザ毎に(例えば、個々のユーザのスキル及びニーズに基づいて)ユーザインタフェースの迅速なカスタマイズを容易にするために使用されてもよい。例えば、全てのメニューバーユーザインタフェースオブジェクト(例えば、図5Jのユーザインタフェースオブジェクト504−1〜504−7)が第1のユーザに対して停止されてもよいのに対し、メニューバーユーザインタフェースオブジェクトの部分集合(例えば、図5Jのユーザインタフェースオブジェクト504−2〜504−6)のみが第2のユーザに対して停止されてもよい。それにより、第2のユーザは、更なる機能(例えば、前のページ又は次のページに操作すること)を実行できる。いくつかの実施形態において、デバイスは、アプリケーション毎に個別プロファイルを含む。例えばデバイスは、第1のアプリケーション(例えば、教育アプリケーション)用のそれぞれのユーザに対する第1の個別プロファイル及び第2のアプリケーション(例えば、カードマッチングゲームアプリケーション)用のそれぞれのユーザに対する第2の個別プロファイルを格納してもよい。
図6A〜図6Dの動作が説明された特定の順序は、例示にすぎず、説明された順序が動作を実行できる唯一の順序であると示すことを意図しないことが理解されるべきである。本明細書において説明された動作を記録する種々の方法は、当業者により理解されるだろう。簡潔にするために、本明細書においてこれら詳細は繰り返さない。
いくつかの実施形態によると、図7は、上述の本発明の原理に従って構成された電子デバイス700を示す機能ブロック図である。デバイスの機能ブロックは、本発明の原理を実行するハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで実現されてもよい。図7に説明する機能ブロックが上述の本発明の原理を実現するために組み合わされてもよく、あるいはサブブロックに分けられてもよいことは、当業者により理解される。従って、本明細書の説明は、本明細書において説明する機能ブロックの考えられるあらゆる組合せ又は分離、あるいは更なる定義を支援してもよい。
図7に示すように、電子デバイス700は、対話設定モード中に複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェースを表示するように構成された表示部702と、第1のユーザインタフェースが表示されている間にタッチ感知面部704に対する1つ以上のジェスチャ入力を検出するように構成されたタッチ感知面部704と、表示部702及びタッチ感知面部704に結合された処理部706とを備える。いくつかの実施形態において、処理部706は、判定部708と、視覚区別有効化部710と、モード終了部712と、モード開始部714と、表示有効化部716と、置換部718と、無視部720と、実行部722と、表示中止部724と、格納部726と、検出部728とを含む。
処理部706は、タッチ感知面部704で検出されたそれぞれのジェスチャ入力に対して、複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトがそれぞれのジェスチャ入力に対応し(例えば、判定部708を用いて)、検出された1つ以上のジェスチャ入力に対応する複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合と検出された1つ以上のジェスチャ入力に対応しない複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合との視覚区別を有効にし(例えば、視覚区別有効化部710を用いて)、且つ第2の入力の検出に応じて、対話設定モードを終了して非制限対話モードとは異なる制限対話モードを開始する(例えば、モード終了部712を用いて)ように構成される。
いくつかの実施形態において、対話設定モードの第1のユーザインタフェースは、第1の入力を検出する直前に非制限対話モードで表示された(例えば、表示部702に)ユーザインタフェースを含み、第1の入力を検出する直前に非制限対話モードで表示されたユーザインタフェースは、複数のユーザインタフェースオブジェクトを含む。
いくつかの実施形態において、第1の入力を検出する直前に非制限対話モードで表示された(例えば、表示部702に)ユーザインタフェースは、非制限対話モードで第1の縮尺で表示され、対話設定モードで第1のユーザインタフェースに第1の縮尺より小さな第2の縮尺で表示される(例えば、表示有効化部716を用いて表示部702に)。
いくつかの実施形態において、第1のユーザインタフェースは、第1の入力の検出(例えば、検出部728を用いた)に応じて表示される(例えば、表示有効化部716を用いて表示部702に)。
いくつかの実施形態において、対話設定モードで表示された(例えば、表示有効化部716を用いて表示部702に)第1のユーザインタフェースは、選択された時に制限対話モード中のタッチ感知面部704に対するタッチ入力を無視することを電子デバイス700により行うタッチ対話制御ユーザインタフェースオブジェクトと、選択された時に制限対話モード中の電子デバイス700の回転を無視することを電子デバイス700により行う回転対話制御ユーザインタフェースオブジェクトと、選択された時に制限対話モード中の電子デバイス700の振動を無視することを電子デバイス700により行う振動対話制御ユーザインタフェースオブジェクトと、選択された時に制限対話モード中の電子デバイス700の移動を無視することを電子デバイス700により行う動き対話制御ユーザインタフェースオブジェクトとのうちの少なくとも1つを含む。
いくつかの実施形態において、処理部706は、それぞれのジェスチャ入力に対応する複数の所定の形状、所定の形状のサイズ及び所定の形状の位置から所定の形状を判定し(例えば、判定部708を用いて)、且つ複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトが判定された位置における判定されたサイズの判定された所定の形状に対応するかを判定する(例えば、判定部708を用いて)ように構成される。
いくつかの実施形態において、処理部706は、制限対話モードで第1のユーザインタフェースを少なくともユーザインタフェースオブジェクトの第2の集合を含む第2のユーザインタフェースに置き換え(例えば、置換部718を用いて)、制限対話モード中、ユーザインタフェースオブジェクトの第1の集合のユーザインタフェースオブジェクトに対応する位置におけるタッチ感知面部704で第1のジェスチャを検出し(例えば、検出部728を用いて)、且つ第1のジェスチャを無視する(例えば、無視部720を用いて)ように構成される。
いくつかの実施形態において、第2のユーザインタフェースは、第2の入力の検出に応じて第1のユーザインタフェースを置き換える(例えば、置換部718を用いて)。
いくつかの実施形態において、処理部706は、制限対話モード中、ユーザインタフェースオブジェクトの第2の集合のユーザインタフェースオブジェクトに対応する位置におけるタッチ感知面部704で第2のジェスチャを検出し、且つ第2のジェスチャの検出に応じて、ユーザインタフェースオブジェクトの第2の集合のユーザインタフェースオブジェクトに対応する所定の動作を実行する(例えば、実行部722を用いて)ように構成される。
いくつかの実施形態において、処理部706は、制限対話モードを終了し(例えば、モード終了部712を用いて)、非制限対話モードを開始し(例えば、モード開始部714を用いて)、非制限対話モード中、ユーザインタフェースオブジェクトの第1の集合の第1のユーザインタフェースオブジェクトに対応する位置におけるタッチ感知面部704で第3のジェスチャを検出し(例えば、検出部728を用いて)、第3のジェスチャの検出に応じて、ユーザインタフェースオブジェクトの第1の集合の第1のユーザインタフェースオブジェクトに対応する第1の所定の動作を実行し(例えば、実行部722を用いて)、ユーザインタフェースオブジェクトの第2の集合の第2のユーザインタフェースオブジェクトに対応する位置におけるタッチ感知面部704で第4のジェスチャを検出し(例えば、検出部728を用いて)、且つ第4のジェスチャの検出に応じて、ユーザインタフェースオブジェクトの第2の集合の第2のユーザインタフェースオブジェクトに対応する第2の所定の動作を実行する(例えば、実行部722を用いて)ように構成される。
いくつかの実施形態において、処理部706は、制限対話モード中、所定のユーザ入力を検出し(例えば、検出部728を用いて)、所定のユーザ入力の検出に応じて表示部702での制限対話モード終了画面の表示を有効にし(例えば、表示有効化部716を用いて)、制限対話モード終了画面の表示を有効にしている間に1つ以上の入力を検出し(例えば、検出部728を用いて)、検出された1つ以上の入力が制限対話モードを終了するための所定の入力に一致するかを判定し(例えば、判定部708を用いて)、検出された1つ以上の入力が制限対話モードを終了するための所定の入力に一致しないとの判定に従って、制限対話モード終了画面を表示部702に表示するのを中止する(例えば、表示中止部724を用いて)ように構成される。
いくつかの実施形態において、ユーザインタフェースオブジェクトの第1の集合及びユーザインタフェースオブジェクトの第2の集合を識別する情報は、それぞれのユーザに対して設定される個別プロファイルに格納される(例えば、格納部726を用いて)。
いくつかの実施形態において、それぞれのジェスチャ入力はオープンパスジェスチャである。
上述した情報処理方法における動作は、汎用プロセッサ又は特定用途向けチップ等の情報処理装置における1つ以上の機能モジュールを実行することにより実現されてもよい。これらのモジュール、これらのモジュールの組み合わせ及び/又は汎用ハードウェアとのそれらの組み合わせ(例えば、図1A及び図3に関して上述したような)は全て、本発明の保護の範囲に含まれる。
図6A〜図6Dを参照して上述した動作は、図1A及び図1Bに示した構成要素により実現されてもよい。例えば、検出動作602、対話設定モード開始動作604及び表示動作606は、イベントソータ170、イベントレコグナイザ180及びイベントハンドラ190により実現されてもよい。イベントソータ170のイベントモニタ171はタッチセンシティブディスプレイ112で接触を検出し、イベントディスパッチャモジュール174はイベント情報をアプリケーション136−1に配信する。アプリケーション136−1の各イベントレコグナイザ180は、イベント情報を各イベント定義186と比較し、タッチ感知面上の第1の位置における第1の接触(又はデバイスの回転)がユーザインタフェースにおけるオブジェクトの選択等の所定のイベント又はサブイベント、あるいは1つの向きから別の向きへのデバイスの回転に対応するかを判定する。所定の各イベント又はサブイベントが検出された場合、イベントレコグナイザ180は、イベント又はサブイベントの検出と関連付けられたイベントハンドラ190を起動する。イベントハンドラ190は、アプリケーション内部状態192を更新するためにデータ更新部176又はオブジェクト更新部177を利用してもよくあるいは呼び出してもよい。いくつかの実施形態において、イベントハンドラ190は、各GUI更新部178にアクセスし、アプリケーションにより表示されているものを更新する。同様に、他の処理が図1A及び図1Bに示す構成要素に基づいて実現されうる方法は、当業者には明らかとなるだろう。
説明の目的で、特定の実施形態を参照して上記説明を行った。しかし、上記の例示的な説明は、本発明を網羅すること又は開示された厳密な形式に限定することを意図しない。多くの変更及び変形が上記教示に鑑みて可能である。本発明の原理及びその実際的な応用例を最適に説明するために実施形態を選択して説明した。これにより、当業者は、考えられる特定の用途に適するような本発明及び種々の変更を含む種々の実施形態を最適に利用できる。

Claims (24)

  1. ディスプレイと、
    タッチ感知面と、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムとを備え、
    前記1つ以上のプログラムは前記メモリに格納され、前記1つ以上のプロセッサにより実行されるように構成され、前記1つ以上のプログラムは、
    非制限対話モード中に第1の入力を検出する命令と、
    前記第1の入力の検出に応じて前記非制限対話モードとは異なる対話設定モードを開始する命令と、
    前記対話設定モード中に、
    前記ディスプレイに複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェースを表示する命令と、
    前記第1のユーザインタフェースを表示している間に、前記タッチ感知面上での1つ以上のジェスチャ入力を検出する命令と、
    前記タッチ感知面上で検出されたそれぞれのジェスチャ入力について、前記複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトが前記それぞれのジェスチャ入力に対応するかを判定する命令と、
    前記検出された1つ以上のジェスチャ入力に対応する前記複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合と、前記検出された1つ以上のジェスチャ入力に対応しない前記複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合とを、視覚的に区別する命令と、
    前記第1のユーザインタフェースを表示している間に第2の入力を検出する命令と、
    前記第1のユーザインタフェースを表示している間の前記第2の入力の検出に応じて、前記対話設定モードを終了して前記非制限対話モードとは異なる制限対話モードを開始する命令と、
    前記制限対話モード中に、
    所定のユーザ入力を検出する命令と、
    前記所定のユーザ入力の検出に応じて制限対話モード終了画面を前記ディスプレイに表示する命令と、
    前記制限対話モード終了画面を表示している間に1つ以上の入力を検出する命令と、
    前記検出された1つ以上の入力が前記制限対話モードを終了するための所定の入力に一致するかを判定する命令と、
    前記検出された1つ以上の入力が前記制限対話モードを終了するための前記所定の入力に一致しないとの判定に従って、前記制限対話モード終了画面を前記ディスプレイに表示するのを中止する命令とを含むことを特徴とする電子デバイス。
  2. 前記対話設定モードの前記第1のユーザインタフェースは、前記第1の入力を検出する直前に前記非制限対話モードで表示されたユーザインタフェースを含み、
    前記第1の入力を検出する直前に前記非制限対話モードで表示された前記ユーザインタフェースは、前記複数のユーザインタフェースオブジェクトを含むことを特徴とする請求項1記載の電子デバイス。
  3. 前記対話設定モードで表示された前記第1のユーザインタフェースは、
    前記制限対話モード中に選択されると、前記電子デバイスが前記タッチ感知面上でのタッチ入力を無視することになるタッチ対話制御ユーザインタフェースオブジェクトと、
    前記制限対話モード中に選択されると、前記電子デバイスが前記電子デバイスの回転を無視することになる回転対話制御ユーザインタフェースオブジェクトと、
    前記制限対話モード中に選択されると、前記電子デバイスが前記電子デバイスの振動を無視することになる振動対話制御ユーザインタフェースオブジェクトと、
    前記制限対話モード中に選択されると、前記電子デバイスが前記電子デバイスの移動を無視することになる動き対話制御ユーザインタフェースオブジェクトとのうち、少なくとも1つを含むことを特徴とする請求項1記載の電子デバイス。
  4. 前記1つ以上のプログラムは、
    前記制限対話モードにおいて前記第1のユーザインタフェースを少なくとも前記ユーザインタフェースオブジェクトの第2の集合を含む第2のユーザインタフェースに置き換える命令と、
    前記制限対話モード中に、
    前記ユーザインタフェースオブジェクトの第1の集合のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上での第1のジェスチャを検出する命令と、
    前記第1のジェスチャを無視する命令と
    を含むことを特徴とする請求項1記載の電子デバイス。
  5. 前記1つ以上のプログラムは、
    前記制限対話モード中に、
    前記ユーザインタフェースオブジェクトの第2の集合のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上での第2のジェスチャを検出する命令と、
    前記第2のジェスチャの検出に応じて、前記ユーザインタフェースオブジェクトの第2の集合の前記ユーザインタフェースオブジェクトに対応する所定の動作を実行する命令と
    を含むことを特徴とする請求項1記載の電子デバイス。
  6. 前記1つ以上のプログラムは、
    前記制限対話モードを終了する命令と、
    前記非制限対話モードを開始する命令と、
    前記非制限対話モード中に、
    前記ユーザインタフェースオブジェクトの第1の集合の第1のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上での第3のジェスチャを検出する命令と、
    前記第3のジェスチャの検出に応じて、前記ユーザインタフェースオブジェクトの第1の集合の前記第1のユーザインタフェースオブジェクトに対応する第1の所定の動作を実行する命令と、
    前記ユーザインタフェースオブジェクトの第2の集合の第2のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上での第4のジェスチャを検出する命令と、
    前記第4のジェスチャの検出に応じて、前記ユーザインタフェースオブジェクトの第2の集合の前記第2のユーザインタフェースオブジェクトに対応する第2の所定の動作を実行する命令と
    を含むことを特徴とする請求項1記載の電子デバイス。
  7. ディスプレイ及びタッチ感知面を有する電子デバイスが、
    非制限対話モード中に第1の入力を検出する工程と、
    前記第1の入力の検出に応じて前記非制限対話モードとは異なる対話設定モードを開始する工程と、
    前記対話設定モード中に、
    前記ディスプレイに複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェースを表示する工程と、
    前記第1のユーザインタフェースを表示している間に前記タッチ感知面上での1つ以上のジェスチャ入力を検出する工程と、
    前記タッチ感知面上で検出されたそれぞれのジェスチャ入力について、前記複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトが前記それぞれのジェスチャ入力に対応するかを判定する工程と、
    前記検出された1つ以上のジェスチャ入力に対応する前記複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合と前記検出された1つ以上のジェスチャ入力に対応しない前記複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合とを視覚的に区別する工程と、
    前記第1のユーザインタフェースを表示している間に第2の入力を検出する工程と、
    前記第1のユーザインタフェースを表示している間の前記第2の入力の検出に応じて、前記対話設定モードを終了して前記非制限対話モードとは異なる制限対話モードを開始する工程と、
    前記制限対話モード中に、
    所定のユーザ入力を検出する工程と、
    前記所定のユーザ入力の検出に応じて制限対話モード終了画面を前記ディスプレイに表示する工程と、
    前記制限対話モード終了画面を表示している間に1つ以上の入力を検出する工程と、
    前記検出された1つ以上の入力が前記制限対話モードを終了するための所定の入力に一致するかを判定する工程と、
    前記検出された1つ以上の入力が前記制限対話モードを終了するための前記所定の入力に一致しないとの判定に従って、前記制限対話モード終了画面を前記ディスプレイに表示するのを中止する工程とを備えることを特徴とする方法。
  8. 前記対話設定モードの前記第1のユーザインタフェースは、前記第1の入力を検出する直前に前記非制限対話モードで表示されたユーザインタフェースを含み、
    前記第1の入力を検出する直前に前記非制限対話モードで表示された前記ユーザインタフェースは、前記複数のユーザインタフェースオブジェクトを含むことを特徴とする請求項記載の方法。
  9. 前記対話設定モードで表示された前記第1のユーザインタフェースは、
    前記制限対話モード中に選択されると、前記電子デバイスが前記タッチ感知面上でのタッチ入力を無視することになるタッチ対話制御ユーザインタフェースオブジェクトと、
    前記制限対話モード中に選択されると、前記電子デバイスが前記電子デバイスの回転を無視することになる回転対話制御ユーザインタフェースオブジェクトと、
    前記制限対話モード中に選択されると、前記電子デバイスが前記電子デバイスの振動を無視することになる振動対話制御ユーザインタフェースオブジェクトと、
    前記制限対話モード中に選択されると、前記電子デバイスが前記電子デバイスの移動を無視することになる動き対話制御ユーザインタフェースオブジェクトとのうち、少なくとも1つを含むことを特徴とする請求項記載の方法。
  10. 前記制限対話モードにおいて前記第1のユーザインタフェースを少なくとも前記ユーザインタフェースオブジェクトの第2の集合を含む第2のユーザインタフェースに置き換える工程と、
    前記制限対話モード中に、
    前記ユーザインタフェースオブジェクトの第1の集合のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上での第1のジェスチャを検出する工程と、
    前記第1のジェスチャを無視する工程と
    を備えることを特徴とする請求項記載の方法。
  11. 前記制限対話モード中に、
    前記ユーザインタフェースオブジェクトの第2の集合のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上での第2のジェスチャを検出する工程と、
    前記第2のジェスチャの検出に応じて、前記ユーザインタフェースオブジェクトの第2の集合の前記ユーザインタフェースオブジェクトに対応する所定の動作を実行する工程と
    を備えることを特徴とする請求項記載の方法。
  12. 前記制限対話モードを終了する工程と、
    前記非制限対話モードを開始する工程と、
    前記非制限対話モード中に、
    前記ユーザインタフェースオブジェクトの第1の集合の第1のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上での第3のジェスチャを検出する工程と、
    前記第3のジェスチャの検出に応じて、前記ユーザインタフェースオブジェクトの第1の集合の前記第1のユーザインタフェースオブジェクトに対応する第1の所定の動作を実行する工程と、
    前記ユーザインタフェースオブジェクトの第2の集合の第2のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上での第4のジェスチャを検出する工程と、
    前記第4のジェスチャの検出に応じて、前記ユーザインタフェースオブジェクトの第2の集合の前記第2のユーザインタフェースオブジェクトに対応する第2の所定の動作を実行する工程と
    を備えることを特徴とする請求項記載の方法。
  13. 1つ以上のプログラムを格納するコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、ディスプレイ及びタッチ感知面を有する電子デバイスにより実行されると、前記電子デバイスに、
    非制限対話モード中に第1の入力を検出する工程と、
    前記第1の入力の検出に応じて前記非制限対話モードとは異なる対話設定モードを開始する工程と、
    前記対話設定モード中に、
    前記ディスプレイに複数のユーザインタフェースオブジェクトを含む第1のユーザインタフェースを表示する工程と、
    前記第1のユーザインタフェースを表示している間に前記タッチ感知面上での1つ以上のジェスチャ入力を検出する工程と、
    前記タッチ感知面上で検出されたそれぞれのジェスチャ入力について、前記複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトが前記それぞれのジェスチャ入力に対応するかを判定する工程と、
    前記検出された1つ以上のジェスチャ入力に対応する前記複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合と前記検出された1つ以上のジェスチャ入力に対応しない前記複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第2の集合とを視覚的に区別する工程と、
    前記第1のユーザインタフェースを表示している間に第2の入力を検出する工程と、
    前記第1のユーザインタフェースを表示している間の前記第2の入力の検出に応じて、前記対話設定モードを終了して前記非制限対話モードとは異なる制限対話モードを開始する工程と、
    前記制限対話モード中に、
    所定のユーザ入力を検出する工程と、
    前記所定のユーザ入力の検出に応じて制限対話モード終了画面を前記ディスプレイに表示する工程と、
    前記制限対話モード終了画面を表示している間に1つ以上の入力を検出する工程と、
    前記検出された1つ以上の入力が前記制限対話モードを終了するための所定の入力に一致するかを判定する工程と、
    前記検出された1つ以上の入力が前記制限対話モードを終了するための前記所定の入力に一致しないとの判定に従って、前記制限対話モード終了画面を前記ディスプレイに表示するのを中止する工程とを実行させるための命令を含むことを特徴とするコンピュータ可読記憶媒体。
  14. 前記対話設定モードの前記第1のユーザインタフェースは、前記第1の入力を検出する直前に前記非制限対話モードで表示されたユーザインタフェースを含み、
    前記第1の入力を検出する直前に前記非制限対話モードで表示された前記ユーザインタフェースは、前記複数のユーザインタフェースオブジェクトを含むことを特徴とする請求項13記載のコンピュータ可読記憶媒体。
  15. 前記対話設定モードで表示された前記第1のユーザインタフェースは、
    前記制限対話モード中に選択されると、前記電子デバイスが前記タッチ感知面上でのタッチ入力を無視することになるタッチ対話制御ユーザインタフェースオブジェクトと、
    前記制限対話モード中に選択されると、前記電子デバイスが前記電子デバイスの回転を無視することになる回転対話制御ユーザインタフェースオブジェクトと、
    前記制限対話モード中に選択されると、前記電子デバイスが前記電子デバイスの振動を無視することになる振動対話制御ユーザインタフェースオブジェクトと、
    前記制限対話モード中に選択されると、前記電子デバイスが前記電子デバイスの移動を無視することになる動き対話制御ユーザインタフェースオブジェクトとのうち、少なくとも1つを含むことを特徴とする請求項13記載のコンピュータ可読記憶媒体。
  16. 前記制限対話モードにおいて前記第1のユーザインタフェースを少なくとも前記ユーザインタフェースオブジェクトの第2の集合を含む第2のユーザインタフェースに置き換える工程と、
    前記制限対話モード中に、
    前記ユーザインタフェースオブジェクトの第1の集合のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上での第1のジェスチャを検出する工程と、
    前記第1のジェスチャを無視する工程と
    を前記電子デバイスに実行させるための命令を含むことを特徴とする請求項13記載のコンピュータ可読記憶媒体。
  17. 前記制限対話モード中に、
    前記ユーザインタフェースオブジェクトの第2の集合のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上での第2のジェスチャを検出する工程と、
    前記第2のジェスチャの検出に応じて、前記ユーザインタフェースオブジェクトの第2の集合の前記ユーザインタフェースオブジェクトに対応する所定の動作を実行する工程と
    を前記電子デバイスに実行させるための命令を含むことを特徴とする請求項13記載のコンピュータ可読記憶媒体。
  18. 前記制限対話モードを終了する工程と、
    前記非制限対話モードを開始する工程と、
    前記非制限対話モード中に、
    前記ユーザインタフェースオブジェクトの第1の集合の第1のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上での第3のジェスチャを検出する工程と、
    前記第3のジェスチャの検出に応じて、前記ユーザインタフェースオブジェクトの第1の集合の前記第1のユーザインタフェースオブジェクトに対応する第1の所定の動作を実行する工程と、
    前記ユーザインタフェースオブジェクトの第2の集合の第2のユーザインタフェースオブジェクトに対応する位置における前記タッチ感知面上で第4のジェスチャを検出する工程と、
    前記第4のジェスチャの検出に応じて、前記ユーザインタフェースオブジェクトの第2の集合の前記第2のユーザインタフェースオブジェクトに対応する第2の所定の動作を実行する工程と
    を前記電子デバイスに実行させるための命令を含むことを特徴とする請求項13記載のコンピュータ可読記憶媒体。
  19. 前記複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトが前記それぞれのジェスチャ入力に対応するかの前記判定には、
    前記タッチ感知面上で検出された前記それぞれのジェスチャ入力に対応する経路を判定することと、
    前記複数のユーザインタフェースオブジェクトのうちの前記1つ以上のユーザインタフェースオブジェクトが前記経路により囲まれているかを判定することと
    が含まれる、請求項1記載の電子デバイス。
  20. 前記検出された1つ以上のジェスチャ入力に対応する前記複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合を視覚的に区別することは、前記第1のユーザインタフェースにおける領域を視覚的に区別することを含み、前記領域の境界は、前記第1のユーザインタフェースの境界とは独立している、ことを特徴とする請求項1記載の電子デバイス。
  21. 前記複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトが前記それぞれのジェスチャ入力に対応するかの前記判定には、
    前記タッチ感知面上で検出された前記それぞれのジェスチャ入力に対応する経路を判定することと、
    前記複数のユーザインタフェースオブジェクトのうちの前記1つ以上のユーザインタフェースオブジェクトが前記経路により囲まれているかを判定することと
    が含まれる、請求項7記載の方法。
  22. 前記検出された1つ以上のジェスチャ入力に対応する前記複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合を視覚的に区別することは、前記第1のユーザインタフェースにおける領域を視覚的に区別することを含み、前記領域の境界は、前記第1のユーザインタフェースの境界とは独立している、ことを特徴とする請求項7記載の方法。
  23. 前記複数のユーザインタフェースオブジェクトのうちの1つ以上のユーザインタフェースオブジェクトが前記それぞれのジェスチャ入力に対応するかの前記判定には、
    前記タッチ感知面上で検出された前記それぞれのジェスチャ入力に対応する経路を判定することと、
    前記複数のユーザインタフェースオブジェクトのうちの前記1つ以上のユーザインタフェースオブジェクトが前記経路により囲まれているかを判定することと
    が含まれる、請求項13記載のコンピュータ可読記憶媒体。
  24. 前記検出された1つ以上のジェスチャ入力に対応する前記複数のユーザインタフェースオブジェクトのうちのユーザインタフェースオブジェクトの第1の集合を視覚的に区別することは、前記第1のユーザインタフェースにおける領域を視覚的に区別することを含み、前記領域の境界は、前記第1のユーザインタフェースの境界とは独立している、ことを特徴とする請求項13記載のコンピュータ可読記憶媒体。
JP2012224547A 2011-12-29 2012-10-09 ユーザインタフェースとの制限対話を設定するためのデバイス、方法及びグラフィカルユーザインタフェース Active JP5829996B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161581615P 2011-12-29 2011-12-29
US61/581,615 2011-12-29
US13/436,433 US8812994B2 (en) 2011-12-29 2012-03-30 Device, method, and graphical user interface for configuring restricted interaction with a user interface
US13/436,433 2012-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015209145A Division JP6336425B2 (ja) 2011-12-29 2015-10-23 ユーザインタフェースとの制限対話を設定するためのデバイス、方法及びグラフィカルユーザインタフェース

Publications (2)

Publication Number Publication Date
JP2013140561A JP2013140561A (ja) 2013-07-18
JP5829996B2 true JP5829996B2 (ja) 2015-12-09

Family

ID=47137552

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012224547A Active JP5829996B2 (ja) 2011-12-29 2012-10-09 ユーザインタフェースとの制限対話を設定するためのデバイス、方法及びグラフィカルユーザインタフェース
JP2015209145A Active JP6336425B2 (ja) 2011-12-29 2015-10-23 ユーザインタフェースとの制限対話を設定するためのデバイス、方法及びグラフィカルユーザインタフェース

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015209145A Active JP6336425B2 (ja) 2011-12-29 2015-10-23 ユーザインタフェースとの制限対話を設定するためのデバイス、方法及びグラフィカルユーザインタフェース

Country Status (6)

Country Link
US (2) US8812994B2 (ja)
EP (1) EP2610722B1 (ja)
JP (2) JP5829996B2 (ja)
KR (2) KR101470088B1 (ja)
CN (1) CN103218148B (ja)
AU (1) AU2012238304B2 (ja)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US9374607B2 (en) * 2012-06-26 2016-06-21 Sonos, Inc. Media playback system with guest access
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
JP5596914B2 (ja) * 2008-09-16 2014-09-24 富士通株式会社 端末装置、表示制御方法、及び表示機能を備えたプログラム
JP5664103B2 (ja) * 2010-10-08 2015-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
KR101882339B1 (ko) 2011-08-30 2018-07-27 삼성전자주식회사 휴대단말기의 어플리케이션 관리장치 및 방법
KR101873744B1 (ko) * 2011-11-29 2018-07-03 엘지전자 주식회사 이동단말기 및 그 제어방법
US9292195B2 (en) 2011-12-29 2016-03-22 Apple Inc. Device, method, and graphical user interface for configuring and implementing restricted interactions for applications
US9372978B2 (en) 2012-01-20 2016-06-21 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
KR101963787B1 (ko) * 2012-07-09 2019-03-29 삼성전자주식회사 휴대 단말기의 부가 기능 운용 방법 및 장치
JP6086188B2 (ja) * 2012-09-04 2017-03-01 ソニー株式会社 音響効果調整装置および方法、並びにプログラム
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9270760B2 (en) * 2012-10-15 2016-02-23 Google Inc. Cross-platform child mode for applications
US9589538B2 (en) * 2012-10-17 2017-03-07 Perceptive Pixel, Inc. Controlling virtual objects
US9262523B2 (en) * 2012-10-29 2016-02-16 Adobe Systems Incorporated Enhancement of touch user experiences
US9575562B2 (en) * 2012-11-05 2017-02-21 Synaptics Incorporated User interface systems and methods for managing multiple regions
EP2741199B1 (en) * 2012-12-06 2020-08-05 Samsung Electronics Co., Ltd Application individual lock mechanism for a touch screen device
TW201426402A (zh) * 2012-12-25 2014-07-01 Askey Computer Corp 指環型遙控裝置及其放大縮小的控制方法、點選控制方法
US9836154B2 (en) * 2013-01-24 2017-12-05 Nook Digital, Llc Selective touch scan area and reporting techniques
KR102038467B1 (ko) * 2013-03-05 2019-10-30 삼성전자주식회사 암호 설정 방법 및 장치와, 락 해제 방법 및 장치
US9164674B2 (en) * 2013-03-28 2015-10-20 Stmicroelectronics Asia Pacific Pte Ltd Three-dimensional gesture recognition system, circuit, and method for a touch screen
TWI520034B (zh) * 2013-04-29 2016-02-01 緯創資通股份有限公司 判斷觸控手勢之方法及觸控系統
US9065861B2 (en) * 2013-05-07 2015-06-23 Brandon M. Singer Method of interacting with social media post using mobile electronic device
US20140375572A1 (en) * 2013-06-20 2014-12-25 Microsoft Corporation Parametric motion curves and manipulable content
KR101474467B1 (ko) * 2013-07-09 2014-12-19 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9671944B2 (en) * 2013-07-12 2017-06-06 Microsoft Technology Licensing, Llc Inclusion/exclusion user interface controls for range filters
US9426605B2 (en) * 2013-10-10 2016-08-23 Yahoo! Inc. Cross device information exchange using gestures and locations
US20150127505A1 (en) * 2013-10-11 2015-05-07 Capital One Financial Corporation System and method for generating and transforming data presentation
US20150121546A1 (en) * 2013-10-25 2015-04-30 Tracfone Wireless, Inc. Device and Process for Restricting Access to Features on Electronic Devices Based on the Size of the Surface Area of the Finger and Other Factors
KR20150057100A (ko) * 2013-11-18 2015-05-28 삼성전자주식회사 3d 객체 편집을 위한 전자 장치 및 방법
CN103616984B (zh) * 2013-11-25 2017-12-29 联想(北京)有限公司 信息处理方法和电子设备
US9405759B2 (en) * 2013-11-20 2016-08-02 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device
CN103593122B (zh) * 2013-11-20 2017-07-25 联想(北京)有限公司 一种信息处理方法和电子设备
CN103631495B (zh) * 2013-11-25 2017-03-22 联想(北京)有限公司 信息处理方法和电子设备
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
CN103905640A (zh) * 2014-03-12 2014-07-02 惠州Tcl移动通信有限公司 移动终端及其防止误拨的方法
US20150293681A1 (en) * 2014-04-09 2015-10-15 Google Inc. Methods, systems, and media for providing a media interface with multiple control interfaces
USD769275S1 (en) * 2014-04-30 2016-10-18 Tencent Technology (Shenzhen) Company Limited Portion of a display screen with graphical user interface
US10789642B2 (en) 2014-05-30 2020-09-29 Apple Inc. Family accounts for an online content storage sharing service
US10055567B2 (en) 2014-05-30 2018-08-21 Apple Inc. Proximity unlock and lock operations for electronic devices
US10042547B2 (en) * 2014-06-17 2018-08-07 Vmware, Inc. User interface control based on pinch gestures
GB201413836D0 (en) 2014-08-05 2014-09-17 Arm Ip Ltd Device security apparatus and methods
EP3964931A1 (en) * 2014-09-02 2022-03-09 Apple Inc. Semantic framework for variable haptic output
EP3189404B1 (en) * 2014-09-02 2019-09-04 Spring Power Holdings Limited A human-computer interface device and system
US20160179355A1 (en) * 2014-12-23 2016-06-23 General Electric Company System and method for managing image scan parameters in medical imaging
US9875346B2 (en) 2015-02-06 2018-01-23 Apple Inc. Setting and terminating restricted mode operation on electronic devices
EP3674857B1 (en) 2015-03-19 2022-04-20 Huawei Technologies Co., Ltd. Touch event processing method and apparatus, and terminal device
KR102317847B1 (ko) * 2015-04-28 2021-10-27 삼성전자주식회사 메시지 처리 방법 및 이를 지원하는 전자 장치
CN104991451A (zh) * 2015-04-29 2015-10-21 武汉振道世纪科技有限公司 智能家居测控充电音乐万年历
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
WO2017000138A1 (en) * 2015-06-29 2017-01-05 Orange Method for controlling the execution of a program configurable into a disabled state and enabled state
CN105025331A (zh) * 2015-07-22 2015-11-04 无锡天脉聚源传媒科技有限公司 一种控制视频播出的方法及装置
GB2540965B (en) * 2015-07-31 2019-01-30 Arm Ip Ltd Secure configuration data storage
GB2540961B (en) 2015-07-31 2019-09-18 Arm Ip Ltd Controlling configuration data storage
CN105160527A (zh) * 2015-08-31 2015-12-16 小米科技有限责任公司 移动支付方法及装置
US10101872B2 (en) * 2015-09-17 2018-10-16 Hewlett-Packard Development Company, L.P. Operating system events of a kiosk device
US9679547B1 (en) * 2016-04-04 2017-06-13 Disney Enterprises, Inc. Augmented reality music composition
DK180122B1 (en) 2016-06-12 2020-05-19 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
JP6668972B2 (ja) * 2016-06-27 2020-03-18 富士ゼロックス株式会社 情報処理装置及びプログラム
EP3674871A1 (en) * 2016-09-06 2020-07-01 Apple Inc. Devices, methods, and graphical user interfaces for providing haptic feedback
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
CN106507201A (zh) * 2016-10-09 2017-03-15 乐视控股(北京)有限公司 一种视频播放控制方法及装置
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
EP3324270A1 (en) * 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
WO2018227899A1 (zh) 2017-06-14 2018-12-20 北京小米移动软件有限公司 应用交互方法、交互方法及装置
CN109218275B (zh) * 2017-07-07 2021-09-21 北京小米移动软件有限公司 应用交互方法及装置
CN107480502A (zh) * 2017-09-07 2017-12-15 广东欧珀移动通信有限公司 指纹识别方法、装置、移动终端及存储介质
CN110045825B (zh) * 2018-03-27 2022-05-13 杭州凌感科技有限公司 用于车辆交互控制的手势识别系统
US10872024B2 (en) 2018-05-08 2020-12-22 Apple Inc. User interfaces for controlling or presenting device usage on an electronic device
US11363137B2 (en) 2019-06-01 2022-06-14 Apple Inc. User interfaces for managing contacts on another electronic device
USD947219S1 (en) * 2019-09-12 2022-03-29 Lenovo (Beijing) Co., Ltd. Display screen or portion thereof with graphical user interface
USD976268S1 (en) * 2019-10-10 2023-01-24 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN114697686B (zh) * 2020-12-25 2023-11-21 北京达佳互联信息技术有限公司 一种线上互动方法、装置、服务器及存储介质
US11960615B2 (en) 2021-06-06 2024-04-16 Apple Inc. Methods and user interfaces for voice-based user profile management
KR102575821B1 (ko) * 2021-11-15 2023-09-06 동서대학교 산학협력단 이메일소프트웨어구동 디지털액터 운용시스템
CN115202530B (zh) * 2022-05-26 2024-04-09 当趣网络科技(杭州)有限公司 一种用户界面的手势交互方法和系统

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149525A (ja) 1992-10-30 1994-05-27 Oki Electric Ind Co Ltd 表示制御方法
US5550968A (en) 1994-04-12 1996-08-27 International Business Machines Corporation Method and system for providing access security to controls in a graphical user interface
JP2001005599A (ja) 1999-06-22 2001-01-12 Sharp Corp 情報処理装置及び情報処理方法並びに情報処理プログラムを記録した記録媒体
AU2001251231A1 (en) 2000-03-31 2001-10-15 Sun Microsystems, Inc. Efficient user interface for setting application program user preferences
JP2001356878A (ja) 2000-06-14 2001-12-26 Hitachi Ltd アイコン制御方法
KR100697416B1 (ko) 2003-09-30 2007-03-20 교세라 가부시키가이샤 모바일 통신 단말기, 정보 제공 시스템 및 프로그램을기록한 컴퓨터 판독가능한 기록 매체
JP2005276120A (ja) * 2004-03-26 2005-10-06 Fujitsu Component Ltd タッチパネル入力装置及びその入力制御システム
US20060140200A1 (en) 2004-11-24 2006-06-29 Black Jeffery D User-controlled telecommunications system
US20060136829A1 (en) * 2004-12-09 2006-06-22 Microsoft Corporation Customizable user interface for exposing customized application functionality sets
US20060155546A1 (en) * 2005-01-11 2006-07-13 Gupta Anurag K Method and system for controlling input modalities in a multimodal dialog system
US20070024646A1 (en) * 2005-05-23 2007-02-01 Kalle Saarinen Portable electronic apparatus and associated method
US20080020803A1 (en) * 2006-07-18 2008-01-24 Motorola, Inc. Methods and devices for restricting access to mobile communication device functionality
US7865837B1 (en) * 2006-07-28 2011-01-04 Intuit Inc. User interface including an element for selecting customization or help screens
US8098798B2 (en) 2006-10-31 2012-01-17 Alcatel Lucent Logging call data for failed emergency calls
US7860489B2 (en) 2007-03-26 2010-12-28 Research In Motion Limited System and method for providing a user interface for managing calls received at a mobile device
US20080254767A1 (en) * 2007-04-10 2008-10-16 Sharp Laboratories Of America, Inc. System and method for limiting access to features in a mobile telecommunications device
CN101578570B (zh) 2007-07-04 2011-09-21 索尼株式会社 输入设备、控制设备、控制系统、控制方法、以及手持设备
US11126321B2 (en) * 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US8130206B2 (en) * 2007-10-09 2012-03-06 Nokia Corporation Apparatus, method, computer program and user interface for enabling a touch sensitive display
JP2009110378A (ja) 2007-10-31 2009-05-21 Fuji Xerox Co Ltd 表示装置、画像形成装置、情報処理装置、情報処理システム及びプログラム
JP2009140018A (ja) * 2007-12-03 2009-06-25 Canon Inc 情報処理システム及びその処理方法、装置及びプログラム
US20090172576A1 (en) * 2007-12-28 2009-07-02 Nixon Cheaz Method and System for Enabling and Disabling Features of a Computer Application Using a Preview Mode Within a Graphical User Interface
JP5383053B2 (ja) * 2008-01-29 2014-01-08 京セラ株式会社 表示機能付き端末装置
JP5243115B2 (ja) * 2008-06-27 2013-07-24 京セラ株式会社 携帯端末および携帯端末制御プログラム
KR101517967B1 (ko) * 2008-07-07 2015-05-06 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8115609B2 (en) * 2008-07-22 2012-02-14 Nissaf Ketari Multi function bluetooth apparatus
WO2010044151A1 (ja) 2008-10-15 2010-04-22 富士通株式会社 選択入力受付プログラム、情報処理装置および選択入力受付方法
US8261361B2 (en) * 2009-03-11 2012-09-04 Microsoft Corporation Enabling sharing of mobile communication device
JP2010211631A (ja) * 2009-03-11 2010-09-24 Toshiba Tec Corp 情報処理装置
US9250788B2 (en) 2009-03-18 2016-02-02 IdentifyMine, Inc. Gesture handlers of a gesture engine
US9413831B2 (en) * 2009-04-15 2016-08-09 Wyse Technology L.L.C. Method and apparatus for authentication of a remote session
KR20100123108A (ko) * 2009-05-14 2010-11-24 삼성전자주식회사 휴대 단말기의 아이콘 위치 이동 운용 방법 및 이를 지원하는 휴대 단말기
KR101564222B1 (ko) * 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
JP5268812B2 (ja) * 2009-07-22 2013-08-21 京セラドキュメントソリューションズ株式会社 コンピュータプログラム
US9563350B2 (en) * 2009-08-11 2017-02-07 Lg Electronics Inc. Mobile terminal and method for controlling the same
US8442600B1 (en) * 2009-12-02 2013-05-14 Google Inc. Mobile electronic device wrapped in electronic display
US20110252376A1 (en) * 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Concurrently Open Software Applications
US9081973B2 (en) * 2010-04-23 2015-07-14 Psion Inc. Restricting user access on shared computer
CA2797231C (en) * 2010-04-23 2018-09-25 Jonathan Seliger System and method for internet meta-browser for users with disabilities
JP4950321B2 (ja) * 2010-04-26 2012-06-13 京セラ株式会社 文字入力装置、文字入力方法および文字入力プログラム
KR101673925B1 (ko) * 2010-05-26 2016-11-09 삼성전자주식회사 터치 락 상태를 가지는 단말기 및 이의 운용 방법
JP5640467B2 (ja) * 2010-06-01 2014-12-17 ソニー株式会社 表示方法および情報処理装置
KR101684970B1 (ko) * 2010-08-18 2016-12-09 엘지전자 주식회사 이동단말기 및 그 제어방법
JP5388994B2 (ja) 2010-11-19 2014-01-15 キヤノン株式会社 印刷装置及びその制御方法、プログラム
KR101788048B1 (ko) * 2010-12-02 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8699998B2 (en) 2011-08-10 2014-04-15 Qualcomm Incorporated Controlling text messages on a mobile device
US8855723B2 (en) 2011-09-25 2014-10-07 Peter J. Lynch, III Temporal incoming communication notification management
KR101853856B1 (ko) * 2011-10-04 2018-05-04 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP5762944B2 (ja) * 2011-12-28 2015-08-12 京セラ株式会社 装置、方法、及びプログラム
US9094534B2 (en) 2011-12-29 2015-07-28 Apple Inc. Device, method, and graphical user interface for configuring and implementing restricted interactions with a user interface
US9292195B2 (en) 2011-12-29 2016-03-22 Apple Inc. Device, method, and graphical user interface for configuring and implementing restricted interactions for applications

Also Published As

Publication number Publication date
US20150153911A1 (en) 2015-06-04
EP2610722A2 (en) 2013-07-03
US20130174100A1 (en) 2013-07-04
EP2610722A3 (en) 2015-09-02
KR101470088B1 (ko) 2014-12-05
KR20130077773A (ko) 2013-07-09
AU2012238304A1 (en) 2013-07-18
KR101624791B1 (ko) 2016-05-26
US9703450B2 (en) 2017-07-11
CN103218148A (zh) 2013-07-24
JP2013140561A (ja) 2013-07-18
US8812994B2 (en) 2014-08-19
EP2610722B1 (en) 2019-01-02
KR20140094489A (ko) 2014-07-30
AU2012238304B2 (en) 2015-01-22
CN103218148B (zh) 2017-04-05
JP6336425B2 (ja) 2018-06-06
JP2016048563A (ja) 2016-04-07

Similar Documents

Publication Publication Date Title
JP6336425B2 (ja) ユーザインタフェースとの制限対話を設定するためのデバイス、方法及びグラフィカルユーザインタフェース
US10209879B2 (en) Device, method, and graphical user interface for configuring and implementing restricted interactions for applications
JP6190902B2 (ja) 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース
US9094534B2 (en) Device, method, and graphical user interface for configuring and implementing restricted interactions with a user interface
JP6126255B2 (ja) ソフトキーボードを操作するためのデバイス、方法及びグラフィカルユーザインタフェース
US10809912B2 (en) Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
US8826164B2 (en) Device, method, and graphical user interface for creating a new folder
US8595645B2 (en) Device, method, and graphical user interface for marquee scrolling within a display area
US8572481B2 (en) Device, method, and graphical user interface for displaying additional snippet content
US8806362B2 (en) Device, method, and graphical user interface for accessing alternate keys
US20150309692A1 (en) Device, method, and graphical user interface for copying formatting attributes
AU2015202073B2 (en) Device, method, and graphical user interface for configuring restricted interaction with a user interface
WO2014158630A1 (en) Device, method, and graphical user interface for configuring and implementing restricted interactions for applications

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140421

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141031

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151023

R150 Certificate of patent or registration of utility model

Ref document number: 5829996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250