JP2023539020A - オフスクリーンジェスチャ検出を使用したコンピューティングデバイス対話モードの開始 - Google Patents
オフスクリーンジェスチャ検出を使用したコンピューティングデバイス対話モードの開始 Download PDFInfo
- Publication number
- JP2023539020A JP2023539020A JP2023505446A JP2023505446A JP2023539020A JP 2023539020 A JP2023539020 A JP 2023539020A JP 2023505446 A JP2023505446 A JP 2023505446A JP 2023505446 A JP2023505446 A JP 2023505446A JP 2023539020 A JP2023539020 A JP 2023539020A
- Authority
- JP
- Japan
- Prior art keywords
- computing device
- gesture
- mobile computing
- identifying
- housing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/033—Indexing scheme relating to G06F3/033
- G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
方法の例は、ハウジングと存在感知ディスプレイとを含むモバイルコンピューティングデバイスが、1つ以上のセンサに含まれる少なくとも慣性測定ユニットによって提供されるセンサ信号の第1のグループに基づいて、ハウジングの部分において実行される少なくとも1つの第1のジェスチャを特定することを備え、1つ以上の部分はディスプレイとは別個であり、方法はさらに、対話モードを開始することと、モバイルコンピューティングデバイスの特定の機能に関連付けられた対話モードのための少なくとも1つの視覚または音声インジケータを出力することと、1つ以上のセンサによって提供されるセンサ信号の第3のグループに基づいて、特定の機能のユーザ選択を確認するために、ハウジングの1つ以上の部分において実行される少なくとも1つの第2のジェスチャを特定することと、少なくとも1つの第2のジェスチャを特定することに応答して、特定の機能を実行することとを備える。
Description
背景
モバイルコンピューティングデバイスを含む既存のコンピューティングデバイスは、さまざまな異なるアプリケーションを実行するように構成され得る。多くの場合、これらのコンピューティングデバイスは、ユーザがこれらのアプリケーションによって出力されるグラフィカルユーザインターフェイスと対話することを可能にするタッチスクリーンを提供する。たとえば、ユーザは、1本以上の指を使用して、タッチスクリーンにおいてタッチベースのジェスチャを実行し得る。タッチスクリーンにおいてこれらのタッチベースのジェスチャを検出すると、アプリケーションは、タッチスクリーンに表示されるオブジェクトの選択、移動、または操作などの1つ以上の対応する機能を実行し得る。他の場合には、特定のコンピューティングデバイスは、ユーザがそのようなデバイスの背面ハウジングにおいて複数のタップジェスチャを実行することに応答して、定義された機能(たとえば、スクリーンショットのキャプチャ、デバイスロック機能の実行)を実行するように構成され得る。
モバイルコンピューティングデバイスを含む既存のコンピューティングデバイスは、さまざまな異なるアプリケーションを実行するように構成され得る。多くの場合、これらのコンピューティングデバイスは、ユーザがこれらのアプリケーションによって出力されるグラフィカルユーザインターフェイスと対話することを可能にするタッチスクリーンを提供する。たとえば、ユーザは、1本以上の指を使用して、タッチスクリーンにおいてタッチベースのジェスチャを実行し得る。タッチスクリーンにおいてこれらのタッチベースのジェスチャを検出すると、アプリケーションは、タッチスクリーンに表示されるオブジェクトの選択、移動、または操作などの1つ以上の対応する機能を実行し得る。他の場合には、特定のコンピューティングデバイスは、ユーザがそのようなデバイスの背面ハウジングにおいて複数のタップジェスチャを実行することに応答して、定義された機能(たとえば、スクリーンショットのキャプチャ、デバイスロック機能の実行)を実行するように構成され得る。
概要
本開示は、オフスクリーンジェスチャ検出を使用して、たとえば、デバイスハウジングの1つ以上の部分においてユーザによって行われる1つ以上のオフスクリーンジェスチャ(たとえば、タップジェスチャ)を検出するために、コンピューティングデバイス対話モードを開始するための技術に関する。そのような対話モードを開始すると、コンピューティングデバイスは、1つ以上の追加的に検出されたオンスクリーンジェスチャおよび/またはオフスクリーンジェスチャに基づいて、1つ以上の機能を実行するように構成され得る。オフスクリーン対話は、場合によっては、片手および/またはアイズフリーモバイル対話を可能にし得る。さまざまな例では、モバイルコンピューティングデバイスは、1つ以上のセンサ(たとえば、加速度計、ジャイロスコープ、および/または磁力計のうちの1つ以上を含む慣性測定ユニット)を利用して、デバイスハウジングの1つ以上の部分においてユーザによって実行されるオフスクリーンジェスチャを検出可能である。
本開示は、オフスクリーンジェスチャ検出を使用して、たとえば、デバイスハウジングの1つ以上の部分においてユーザによって行われる1つ以上のオフスクリーンジェスチャ(たとえば、タップジェスチャ)を検出するために、コンピューティングデバイス対話モードを開始するための技術に関する。そのような対話モードを開始すると、コンピューティングデバイスは、1つ以上の追加的に検出されたオンスクリーンジェスチャおよび/またはオフスクリーンジェスチャに基づいて、1つ以上の機能を実行するように構成され得る。オフスクリーン対話は、場合によっては、片手および/またはアイズフリーモバイル対話を可能にし得る。さまざまな例では、モバイルコンピューティングデバイスは、1つ以上のセンサ(たとえば、加速度計、ジャイロスコープ、および/または磁力計のうちの1つ以上を含む慣性測定ユニット)を利用して、デバイスハウジングの1つ以上の部分においてユーザによって実行されるオフスクリーンジェスチャを検出可能である。
一例では、方法は、ハウジングと存在感知表示デバイスとを含むモバイルコンピューティングデバイスが、少なくとも慣性測定ユニットによって提供されるセンサ信号の第1のグループに基づいて、ハウジングの1つ以上の部分において実行される少なくとも1つの第1のジェスチャを特定することを備え、ハウジングの1つ以上の部分は、存在感知表示デバイスとは別個であり、慣性測定ユニットは、モバイルコンピューティングデバイスの1つ以上のセンサに含まれ、方法はさらに、少なくとも1つの第1のジェスチャを特定することに応答して、モバイルコンピューティングデバイスが、対話モードを開始することと、モバイルコンピューティングデバイスの特定の機能に関連付けられた対話モードのための少なくとも1つの視覚または音声インジケータを出力することと、モバイルコンピューティングデバイスが、対話モードのための少なくとも1つの視覚または音声インジケータに関連付けられた特定の機能のユーザ選択を確認するために、1つ以上のセンサによって提供されるセンサ信号の第3のグループに基づいて、ハウジングの1つ以上の部分において実行される少なくとも1つの第2のジェスチャを特定することと、少なくとも1つの第2のジェスチャを特定することに応答して、モバイルコンピューティングデバイスが、特定の機能を実行することとを備える。
別の例では、モバイルコンピューティングデバイスは、存在感知表示デバイスと、存在感知ディスプレイに結合されたハウジングと、慣性測定ユニットを含む1つ以上のセンサと、少なくとも1つのプロセッサと、コンピュータ読取可能ストレージデバイスとを備える。コンピュータ読取可能ストレージデバイスは、少なくとも1つのプロセッサによって実行可能な命令を記憶するように構成され、命令は、少なくとも慣性測定ユニットによって提供されるセンサ信号の第1のグループに基づいて、ハウジングの1つ以上の部分において実行される少なくとも1つの第1のジェスチャを特定させ、ハウジングの1つ以上の部分は、存在感知表示デバイスとは別個であり、命令はさらに、少なくとも1つの第1のジェスチャを特定することに応答して、対話モードを開始させ、モバイルコンピューティングデバイスの特定の機能に関連付けられた対話モードのための少なくとも1つの視覚または音声インジケータを出力させ、対話モードのための少なくとも1つの視覚または音声インジケータに関連付けられた特定の機能のユーザ選択を確認するために、1つ以上のセンサによって提供されるセンサ信号の第3のグループに基づいて、ハウジングの1つ以上の部分において実行される少なくとも1つの第2のジェスチャを特定させ、少なくとも1つの第2のジェスチャを特定することに応答して、特定の機能を実行させる。
別の例では、コンピュータ読取可能ストレージデバイスは、実行されると、モバイルコンピューティングデバイスの少なくとも1つのプロセッサに動作を実行させる命令を記憶する。これらの動作の例は、少なくとも慣性測定ユニットによって提供されるセンサ信号の第1のグループに基づいて、モバイルコンピューティングデバイスのハウジングの1つ以上の部分において実行される少なくとも1つの第1のジェスチャを特定することを含み、ハウジングの1つ以上の部分は、存在感知表示デバイスとは別個であり、慣性測定ユニットは、モバイルコンピューティングデバイスの1つ以上のセンサに含まれ、動作はさらに、少なくとも1つの第1のジェスチャを特定することに応答して、対話モードを開始することと、モバイルコンピューティングデバイスの特定の機能に関連付けられた対話モードのための少なくとも1つの視覚または音声インジケータを出力することと、対話モードのための少なくとも1つの視覚または音声インジケータに関連付けられた特定の機能のユーザ選択を確認するために、1つ以上のセンサによって提供されるセンサ信号の第3のグループに基づいて、ハウジングの1つ以上の部分において実行される少なくとも1つの第2のジェスチャを特定することと、少なくとも1つの第2のジェスチャを特定することに応答して、特定の機能を実行することとを含む。
1つ以上の例について、添付の図面および以下の説明に詳細に記載されている。本開示の他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。
詳細な説明
図1A~図1Cは、本開示の1つ以上の態様に係る、オフスクリーンジェスチャ検出を使用して、モバイルコンピューティングデバイス100のための対話モードを開始するように構成されたモバイルコンピューティングデバイス100の例を示す概念図である。モバイルコンピューティングデバイス100の例は、限定されないが、携帯電話、タブレットコンピュータ、携帯情報端末(PDA)、ポータブルゲームデバイス、ポータブルメディアプレーヤ、ウェアラブルコンピューティングデバイス(たとえば、腕時計、手首装着型コンピューティングデバイス、頭部装着型コンピューティングデバイス)、または他のタイプのコンピューティングデバイスを含み得る。以下でさらに詳細に説明するように、モバイルコンピューティングデバイス100は、1つ以上のプロセッサでもよい、または1つ以上のプロセッサを含んでもよい。モバイルコンピューティングデバイス100は、表示デバイス102(たとえば、存在感知表示デバイス)および1つ以上のセンサ104を備える。センサ104は、タッチセンサまたは存在感知センサ、マイクロフォン、内部測定ユニット(たとえば、1つ以上のジャイロスコープ、加速度計、磁力計)、気圧計、カメラセンサ、光センサ、および温度センサ等の任意の数の1つ以上のセンサを含んでもよい。場合によっては、センサ104のうちの1つ以上は、表示デバイス102(たとえば、表示デバイス102が存在感知ディスプレイを備える場合)に含まれてもよい、または他の態様ではそれと関連付けられてもよい。
図1A~図1Cは、本開示の1つ以上の態様に係る、オフスクリーンジェスチャ検出を使用して、モバイルコンピューティングデバイス100のための対話モードを開始するように構成されたモバイルコンピューティングデバイス100の例を示す概念図である。モバイルコンピューティングデバイス100の例は、限定されないが、携帯電話、タブレットコンピュータ、携帯情報端末(PDA)、ポータブルゲームデバイス、ポータブルメディアプレーヤ、ウェアラブルコンピューティングデバイス(たとえば、腕時計、手首装着型コンピューティングデバイス、頭部装着型コンピューティングデバイス)、または他のタイプのコンピューティングデバイスを含み得る。以下でさらに詳細に説明するように、モバイルコンピューティングデバイス100は、1つ以上のプロセッサでもよい、または1つ以上のプロセッサを含んでもよい。モバイルコンピューティングデバイス100は、表示デバイス102(たとえば、存在感知表示デバイス)および1つ以上のセンサ104を備える。センサ104は、タッチセンサまたは存在感知センサ、マイクロフォン、内部測定ユニット(たとえば、1つ以上のジャイロスコープ、加速度計、磁力計)、気圧計、カメラセンサ、光センサ、および温度センサ等の任意の数の1つ以上のセンサを含んでもよい。場合によっては、センサ104のうちの1つ以上は、表示デバイス102(たとえば、表示デバイス102が存在感知ディスプレイを備える場合)に含まれてもよい、または他の態様ではそれと関連付けられてもよい。
くわえて、モバイルコンピューティングデバイス100は、ハウジング103も備える。ハウジング103は、1つ以上の前面部分、1つ以上の背面部分、および1つ以上の側面部分(たとえば、左側面部分、右側面部分、上側面部分、下側面部分)などの1つ以上の部分を含み得る。さまざまな例では、モバイルコンピューティングデバイス100の前面側は、表示デバイス102と、ハウジング103の1つ以上の前面部分とを含み得る。モバイルコンピューティングデバイス100の前面側と反対側に位置するモバイルコンピューティングデバイス100の裏面側または背面側は、ハウジング103の1つ以上の背面部分を含み得る。モバイルコンピューティングデバイス100の正面側および背面側に隣接するモバイルコンピューティングデバイス100の残りの側面またはエッジは、ハウジング103の1つ以上の側面部分を含んでもよい。ハウジング103は、表示デバイス102を含んでも含まなくてもよい。ハウジング103の1つ以上の部分(たとえば、ハウジング103の1つ以上の側面部分および/または背面部分)は、表示デバイス102とは別個であり、かつ区別される。
表示デバイス102は、コンピューティングデバイス100のための入力デバイスおよび/または出力デバイスとして機能し得る。表示デバイス102は、さまざまな技術を使用して実装され得る。たとえば、表示デバイス102は、抵抗膜方式タッチスクリーン、表面弾性波タッチスクリーン、容量性タッチスクリーン、投影静電容量式タッチスクリーン、存在感知スクリーン、音響パルス認識タッチスクリーン、レーダ技術を介して動きを検出する存在感知スクリーン、または別の存在感知技術など、存在感知入力デバイスを使用する入力デバイスとして機能し得る。上述のように、特定の場合には、センサ104のうちの1つ以上は、表示デバイス102内に含まれてもよい、または他の態様ではそれと関連付けられてもよい。表示デバイス102は、液晶ディスプレイ(LCD)、ドットマトリックスディスプレイ、発光ダイオード(LED)ディスプレイ、有機発光ダイオード(OLED)ディスプレイ、電子インク、またはモバイルコンピューティングデバイス100のユーザに可視情報を出力可能な同様のモノクロもしくはカラーディスプレイなど、1つ以上の表示デバイスのいずれかを使用する出力デバイスとして機能し得る。たとえば、表示デバイス102は、モバイルコンピューティングデバイス100で実行するアプリケーション132のさまざまなユーザインターフェイスに関連付けられた出力を提示し得る。ユーザは、アプリケーション132の各々のそれぞれのユーザインターフェイスと対話して、コンピューティングモバイルデバイス100に、対応するアプリケーション機能に関する動作を実行させることができる。
いくつかの例では、モバイルコンピューティングデバイス100は、(図2に示すような)1つ以上の通信ユニットを含み得る。これらの通信ユニットは、1つ以上の他のコンピューティングデバイスに対するデータの送信および/または受信が可能である。いくつかの例では、通信ユニットは、無線および/または有線通信をサポートし、それらは、任意のさまざまな通信プロトコルを使用してデータを送信および/または受信し得る。
モバイルコンピューティングデバイス100は、UIモジュール130、ジェスチャ検出モジュール134、対話モードセレクタ136、および1つ以上の対話モードモジュール138を実行するように構成されている。UIモジュール130、アプリケーション132、ジェスチャ検出モジュール134、対話モードセレクタ136、および対話モードモジュール138は、モバイルコンピューティングデバイス100に常駐するおよび/またはそこで実行するソフトウェア、ハードウェア、および/またはファームウェアの任意の組み合わせを使用して、本明細書で説明する動作を実行し得る。モバイルコンピューティングデバイス100は、1つ以上のプロセッサを使用して、モジュール130,134,136,138およびアプリケーション132を実行し得る。モバイルコンピューティングデバイス100は、場合によっては、基礎をなすハードウェア上で実行する1つ以上の仮想マシンとして、モジュール130,134,136,138およびアプリケーション132を実行し得る。モジュール130,134,136,138およびアプリケーション132は、さまざまな方法で実装され得る。たとえば、モジュール130,134,136,138および/またはアプリケーション132のいずれかは、ダウンロード可能またはプリインストールされたアプリケーション、すなわち「アプリ」として実装されてもよい。いくつかの例では、これらのうちの1つ以上は、オペレーティングシステムまたはコンピューティングプラットフォームのサービスとして実行することができる。
モバイルコンピューティングデバイス100のアプリケーション132は、モバイルコンピューティングデバイス100のためのさまざまな機能を実行し得る、または1つ以上のサービスにアクセスし得る。電子メールアプリケーション、カメラアプリケーション、カレンダーアプリケーション、メッセージングアプリケーション、ソーシャルメディアアプリケーション、旅行アプリケーション、ゲームアプリケーション、株式アプリケーション、および天気アプリケーションはすべて、アプリケーション132の例である。
UIモジュール130は、表示デバイス102に、グラフィカルユーザインターフェイスをユーザに対して提示させ得る。たとえば、グラフィカルユーザインターフェイスは、表示デバイス102の種々の場所において表示されるグラフィカル要素(たとえば、表示)を含んでもよい。UIモジュール130は、場合によっては、モバイルコンピューティングデバイス100のさまざまなコンポーネント、アプリケーション、および/またはモジュールの間の仲介として機能して、表示デバイス102によって検出された入力に基づいて判定を行い、表示デバイス102によって提示される出力を生成し得る。たとえば、UIモジュール130は、表示デバイス102によって検出された入力に関連する情報を表示デバイス102から受信し、モジュール130,134,136,138および/またはアプリケーション132のうちの1つ以上に入力情報を送信し得る。UIモジュール130はまた、モジュール130,134,136,138および/またはアプリケーション132から出力情報を受信し、表示デバイス102において表示するための出力情報を提供し得る。
ユーザは、経時的にモバイルコンピューティングデバイス100と能動的に対話し得る。モバイルコンピューティングデバイス100は、実行中にユーザがアプリケーション132のうちの1つ以上などのモバイルコンピューティングデバイス100と対話可能な1つ以上の対話モードを提供し得る。多くの場合、ユーザは、モバイルコンピューティングデバイス100と対話するために、1つ以上のジェスチャを実行可能である。
モバイルデバイス入力(たとえば、表示デバイス102がタッチスクリーンなどの存在感知ディスプレイを備える場合)の唯一の方法としての表示デバイス102の使用は、特定の制限によってますます困難になる可能性がある。たとえば、片手での使用が困難であること、および操作する指によって視覚情報が遮断されることが、これらの制約のうちの2つの場合がある。結果として、本開示は、表示デバイス102とのオンスクリーン対話だけでなく、モバイルコンピューティングデバイス100上の既存のセンサ104を使用するオフスクリーン対話も利用するための技術について説明する。
たとえば、センサ104は、表示デバイス102に関連付けられた他のセンサ(たとえば、存在感知センサ)に加えて、1つ以上のジャイロスコープ、加速度計、および/または磁力計を含む慣性測定ユニット(IMU)(たとえば、図2の慣性測定ユニット233)を含み得る。センサ104によって提供される入力に基づいて、ジェスチャ検出モジュール134は、さまざまな例において、以下でさらに詳細に説明するように、オフスクリーンジェスチャ(たとえば、タップ)認識のために多入力多出力畳み込みニューラルネットワークを使用し得る。この検出方法によって、各々が1つの認識タスクであり得る複数のジェスチャ属性の予測が可能になる。これらのジェスチャ属性は、以下でさらに説明するように、ジェスチャ位置、ジェスチャ方向、ジェスチャ条件、および/またはジェスチャ力を含み得る。
一例として、ユーザは、モバイルコンピューティングデバイス100においてジェスチャを実行するために片手または両手を使用することができ、ジェスチャは、表示デバイス102において実行されるジェスチャ、および/または表示デバイス102において実行されないオフスクリーンジェスチャを含み得る。オフスクリーンジェスチャは、モバイルコンピューティングデバイス100のハウジング103の1つ以上の部分(たとえば、1つ以上の背面部分および/または側面部分)で実行されるジェスチャを含み得る。
たとえば、図1Aの例では、ユーザは、右手113を使用して、モバイルコンピューティング100において1つ以上のジェスチャを実行し得る。右手113は、指115,116,117,118および119を含む。図1Aに示すように、ユーザの右手113は、モバイルコンピューティングデバイス100を保持している。親指115は、ハウジング103の1つ以上の右側面部分と接触しており、指117,118,119は、ハウジング103の1つ以上の左側面部分と接触している。くわえて、人差し指116は、図1Aに示されるように、ハウジング103の1つ以上の背面部分101と接触している。背面部分101は、ハウジング103の背面または裏面に含まれる1つ以上の特定の部分または領域を備え得る。
以下でより詳細に説明するように、モバイルコンピューティングデバイス100は、ジェスチャ検出モジュール134を使用して、少なくともセンサ104に含まれる慣性測定ユニット(IMU)によって提供されるセンサ信号の第1のグループに基づいて、表示デバイス102とは別個のハウジング103の1つ以上の部分において実行される少なくとも1つのジェスチャを特定し得る。たとえば、ジェスチャ検出モジュール134は、センサ104に含まれるIMUによって提供されるセンサ信号のグループに基づいて、ハウジング103の1つ以上の背面部分101においてユーザの指116によって実行される1つ以上のバックタップジェスチャ(たとえば、ダブルバックタップジェスチャ)を特定し得る。場合によっては、IMU(たとえば、図2に示すIMU233)は、ジャイロスコープ、加速度計、および/または磁力計のうちの1つ以上の任意の組み合わせを含み得る。
ジェスチャ検出モジュール134が少なくとも1つのジェスチャを特定することに応答して、モバイルコンピューティングデバイス100は、対話モードセレクタ136および/または対話モードモジュール138を使用して、対話モードを開始し得る。場合によっては、対話モードモジュール138の各々は、アプリケーション132の実行中にユーザと対話するためのそれぞれの対話モードを提供することができる。たとえば、以下でさらに詳細に説明するように、また図2にも示すように、対話モードモジュール138は、アクセシビリティモードモジュール240、アシストモードモジュール、慣性モードモジュール、および/または背景モードモジュールを含み得る。
対話モードモジュール138のうちの1つ以上は、センサ104によって提供されるセンサ信号の第2のグループに基づいて、モバイルコンピューティングデバイス100の特定の機能に関連付けられた対話モードのための少なくとも1つの視覚または音声インジケータを出力し得る。たとえば、ジェスチャ検出モジュール134がダブルバックタップジェスチャを特定すると、対話モジュールセレクタ136は、対話モードモジュール138によって提供されるアクセシビリティモードを選択し得る。アクセシビリティモードは、ユーザがモバイルコンピューティングデバイス100と、たとえば表示デバイス102と対話している間に、音声および/または視覚アクセシビリティ機能を提供し得る。
たとえば、図1Aに示されるように、そのようなアクセシビリティモードの間、ユーザは、1本以上の指を使用して、表示デバイス102において出力されるコンテンツを探索してもよい。図1Aは、モバイルコンピューティングデバイス100がUIモジュール130を使用して、日付(たとえば、「5月5日火曜日」)および温度(たとえば、「60°F」)情報を表示デバイス102において出力し得ることを示す。UIモジュール130はまた、アプリケーション132などの異なるコンポーネントまたはアプリケーションに関連付けられたさまざまなグラフィカルアイコンを出力してもよい。図1Aでは、モバイルコンピューティングデバイス100によって実行され得る4つの異なるアプリケーション(たとえば、「アプリ1」、「アプリ2」、「アプリ3」、および「アプリ4」)に対応する4つのそのようなグラフィカルアイコンが、表示デバイス102に表示されている。
これらの4つのグラフィカルアイコンの各々は、表示デバイス102において出力されるグラフィカルユーザインターフェイス(GUI)の特定のそれぞれの領域に表示され得る。たとえば、第1のアプリケーション(「アプリ1」)に関連付けられた第1のアイコンは、GUIの領域108内に表示可能であり、第2のアプリケーション(「アプリ2」)に関連付けられた第2のアイコンは、GUIの領域110内に表示可能であり、第3のアプリケーション(「アプリ3」)に関連付けられた第3のアイコンは、GUIの領域112内に表示可能であり、第4のアプリケーション(「アプリ4」)に関連付けられた第4のアイコンは、GUIの領域114内に表示可能である。
上述のように、アクセシビリティモード中、ユーザは、1本以上の指を使用して、表示デバイス102において出力されるGUIのコンテンツを探索可能である。場合によっては、対話モジュールモジュール138は、モバイルコンピューティングデバイス100が現在アクセシビリティモードで動作していることを示す別のグラフィカルアイコン106を出力してもよい。表示デバイス102が存在感知ディスプレイを備える場合、ユーザ(たとえば、視覚障害者ユーザ)は、1本以上の指(たとえば、右手113またはユーザの左手の1本以上の指)を使用して、表示デバイス102において1つ以上のタッチジェスチャ(たとえば、スライドジェスチャまたは動きジェスチャ)を実行し得る。センサ104のうちの1つ以上によって提供されるセンサ信号(たとえば、表示デバイス102によって出力されるGUIの1つ以上の領域における任意の指のタッチまたは存在を特定する1つ以上のセンサ)に基づいて、対話モジュール138は、モバイルコンピューティングデバイス100の特定の機能に関連付けられた対話モードのための少なくとも1つの視覚または音声インジケータを出力し得る。
たとえば、ユーザが指を使用して、表示デバイス102において出力されるGUIの領域108内の任意の位置に触れる、またはそれに近接する場合、対話モードモジュール138は、第1のアプリケーション(「アプリ1」)に関連付けられた音声インジケータを出力し得る。一例として、対話モードモジュール138は、この第1のアプリケーション(たとえば、電子メールアプリケーション)の名前を聴覚的に特定するために、フレーズ「アプリ1」を指定する(たとえば、モバイルコンピューティングデバイス100のスピーカデバイスにおける)音声スピーチ出力を出力してもよい。出力される音声スピーチは、ジェスチャが実行されるグラフィカルユーザインターフェイスの領域108において表示されるコンテンツを示す。その結果、ユーザは、ユーザの指が領域108に触れると、この第1のアプリケーションの名前を聞くことができる。
図1Bに示すように、ユーザがユーザの指を領域114内の位置に移動し続ける場合、対話モードモジュール138は、この第2のアプリケーション(たとえば、計算機アプリケーション)の名前を聴覚的に特定するために、「アプリ4」というフレーズを指定する音声スピーチ出力を提供し得る。図1Bの例に示すように、ユーザは、右手113の指115を領域114に移動させてもよいが、他の例では、ユーザは、右手113の任意の他の指またはユーザの左手の任意の指を領域114に移動してもよい。このように、ユーザは、表示デバイスにおいて出力されるGUIを横切って1本以上の指をナビゲートして、たとえば、ユーザの指(複数可)が現在位置するGUIの領域と関連付けられたアプリケーションの識別子の対応する名前を聞くことができる。
特定の例では、上述のように領域108,110,112,114に関連付けられた情報の1つ以上の音声インジケータを提供することに加えて、またはその代わりに、対話モードモジュール138は、対話モード(たとえば、アクセシビリティモード)のための1つ以上の視覚的インジケータを表示デバイス102として出力し得る。たとえば、ユーザが第4のアプリケーション(「アプリ4」)に関連付けられた領域114内に指115を移動させた上記の例を続けると、フレーズ「アプリ4」を指定する音声出力を提供することに加えて、対話モードモジュール138はまた、たとえば、図1Cに示すように、領域114に含まれる「アプリ4」用のグラフィカルアイコンの視覚的な拡大図を(たとえば、視覚障害者ユーザのために)提供することによって、領域114用の「アプリ4」に関連付けられた視覚的インジケータを提供してもよい。図1Cは、現在のタッチジェスチャが指115によって実行される領域114に表示されるコンテンツであり得る、拡大鏡アイコン121内に含まれるこのコンテンツのそのような視覚的な拡大図を示す。
ユーザが表示デバイス102において出力された情報(たとえば、領域108,110および/または112に含まれる情報)をさらに探索することを望む場合、ユーザは、指115を表示デバイス102で移動させて、指115が領域から領域に移動すると、これらの領域のいずれかに含まれるコンテンツの視覚および/または音声インジケータを受信し得る。この場合、図1Cに示す拡大鏡アイコン121はまた、GUI内で視覚的に移動して、指115が移動されると、これらの領域内のコンテンツを選択的に拡大してもよい。特定の場合、対話モードモジュール138は、指115が領域から領域へ移動すると、必ずしも音声インジケータ(たとえば、音声語または音声フレーズ)を出力することなく、図1Cに示すような1つ以上の視覚的インジケータのみを出力し得る。そのような態様で、対話モードモジュール138は、表示デバイス102において出力されるコンテンツを横切る1本以上の指のユーザナビゲーションに応答して、視覚および/または音声インジケータを提供し得る。
そのようなナビゲーションに応答して、ユーザはまた、GUIのそれぞれの領域内に含まれるグラフィカルアイコンのいずれかを選択することが可能であってもよい。たとえば、ユーザの指が領域114に位置する場合、ユーザは、たとえば、指116を使用して、ハウジング103の部分101においてシングルバックタップジェスチャを行うこと等によって、「アプリ4」用のグラフィカルアイコンを選択するための1つ以上のジェスチャを行うことが可能であり得る。
ジェスチャ検出モジュール134は、センサ104によって提供されるセンサ信号のさらに別のグループに基づいて、領域114に関連付けられた第4のアプリケーションの実行などの特定の機能のユーザ選択を確認するために、ハウジング103の1つ以上の部分において実行されるこの少なくとも1つの第2のジェスチャを特定し得る。少なくとも1つの第2のジェスチャを特定することに応答して、モバイルコンピューティングデバイス100は、対応する機能を実行する(たとえば、アプリケーション132から第4のアプリケーションを実行する)ことができる。したがって、そのような対話モードを開始すると、モバイルコンピューティングデバイス100は、1つ以上の検出されたオンスクリーンおよび/またはオフスクリーンジェスチャに基づいて、1つ以上の機能を実行するように構成され得る。オフスクリーン対話は、さまざまな場合において、片手および/またはアイズフリーモバイル対話を可能にし得る。ジェスチャ検出モジュール134が、現在の対話モードを終了するユーザの意図を示す、センサ104によって提供される1つ以上のさらに別のセンサ信号の検出に基づいて、ハウジング103の1つ以上の部分において実行されるさらに別のジェスチャ(たとえば、別のバックタップジェスチャ)を特定すると、対話モードモジュール138は、この対話モードを終了することができる。
図2は、本開示の1つ以上の態様に係る、モバイルコンピューティングデバイス200の例を示すブロック図である。モバイルコンピューティングデバイス200は、図1A~図1Cに示すモバイルコンピューティングデバイス100の一例を備えてもよく、同様の番号が付けられたコンポーネントは、図1A~図1Cを参照して説明したものと同様の機能を提供し得る。図2は、モバイルコンピューティングデバイス200の1つの特定の例のみを示し、モバイルコンピューティングデバイス200の多くの他の例は、他の事例において使用可能であり、モバイルコンピューティングデバイス200の例に含まれるコンポーネントのサブセットを含み得る、または図2に示されない追加のコンポーネントを含み得る。
図2の例では、モバイルコンピューティングデバイス200は、ハウジング203を有し、存在感知表示デバイス202と、1つ以上のプロセッサ220と、1つ以上の入力コンポーネント222と、1つ以上の通信ユニット224と、1つ以上の出力コンポーネント226と、1つ以上のセンサ204と、電源228と、1つ以上のストレージデバイス250とを備える。通信チャネル227は、(物理的に、通信可能に、および/または動作可能に)コンポーネント間通信のためにコンポーネント220,222,202,224,204,228,226および/または250の各々を相互接続し得る。いくつかの例では、通信チャネル227は、システムバス、ネットワーク接続、プロセス間通信データ構造、またはハードウェアおよび/もしくはソフトウェア間でデータを通信するための任意の他の方法を含み得る。
モバイルコンピューティングデバイス200の1つ以上の入力コンポーネント222は、ユーザからの入力などの入力を受信し得る。入力の例は、タッチ/触覚、存在感知、および音声入力である。入力コンポーネント222の例は、存在感知スクリーン、タッチ感知スクリーン、タッチスクリーン、マウス、キーボード、トラックパッド、音声応答システム、ビデオカメラ、マイクロフォン、または人間もしくは機械からの入力を検出するための任意の他のタイプのデバイスを含む。
モバイルコンピューティングデバイス200の1つ以上の出力コンポーネント226は、出力を生成し得る。出力の例は、触覚出力、音声出力、および視覚出力である。出力コンポーネント226の例は、存在感知スクリーン、タッチ感知スクリーン、タッチスクリーン、サウンドカード、ビデオグラフィックアダプタカード、スピーカ、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、マイクロ発光ダイオード(マイクロLED)ディスプレイ、アクティブマトリクス有機発光ダイオード(AMOLED)ディスプレイ、触覚デバイス、または人間もしくは機械への出力を生成するための任意の他のタイプのデバイスを含む。
モバイルコンピューティングデバイス200の1つ以上の通信ユニット224は、1つ以上のネットワーク(たとえば、1つ以上の有線および/または無線ネットワーク)上でネットワーク信号を送信および/または受信することによって、1つ以上のネットワークを介して外部デバイスと通信し得る。たとえば、モバイルコンピューティングデバイス200は、通信ユニット224を使用して、セルラー無線ネットワークなどの無線ネットワーク上で無線信号を送信および/または受信し得る。同様に、通信ユニット224は、全地球測位システム(GPS)ネットワークなどの衛星ネットワーク上で衛星信号を送信および/または受信し得る。通信ユニット224の例は、ネットワークインターフェイスカード(たとえば、イーサネット(登録商標)カードなど)、光トランシーバ、無線周波数トランシーバ、GPS受信機、または情報を送信および/または受信可能な任意の他のタイプのデバイスを含む。通信ユニット224の他の例は、短波無線機、セルラーデータ無線機、無線イーサネットネットワーク無線機、およびユニバーサルシリアルバス(USB)コントローラを含み得る。
モバイルコンピューティングデバイス200の存在感知表示デバイス202は、表示コンポーネント223および存在感知入力コンポーネント225を含む。いくつかの例では、存在感知表示デバイス202は、出力コンポーネント226を参照して上述したように、触覚刺激、音声刺激、または視覚刺激を使用して、ユーザに出力を提供してもよい。たとえば、表示コンポーネント223は、出力コンポーネント226を参照して説明したように、表示またはビデオ出力を提供してもよい。存在感知表示デバイス202はまた、入力コンポーネント222を参照して上述したような入力機能を提供し得る。たとえば、存在感知入力コンポーネント225は、入力コンポーネント222を参照して説明したような入力機能を提供し得る。
表示コンポーネント223は、情報が存在感知表示デバイス202によって表示されるスクリーンでもよく、存在感知入力コンポーネント225は、表示コンポーネント223における、および/またはその近くのオブジェクトを検出し得る。1つの範囲の例として、存在感知入力コンポーネント225は、表示コンポーネント223の2インチ以内にある指またはスタイラスなどのオブジェクトを検出し得る。存在感知入力コンポーネント225は、オブジェクトが検出された表示コンポーネント223の位置(たとえば、(x,y)座標)を決定し得る。範囲の別の例では、存在感知入力コンポーネント225は、表示コンポーネント223から6インチ以内のオブジェクトを検出可能であり、他の範囲も可能である。存在感知入力コンポーネント225は、容量性、誘導性、レーダーベース、および/または光学認識技術を使用して、ユーザの指によって選択された表示コンポーネント223の位置を決定し得る。いくつかの例では、存在感知入力コンポーネント225はまた、表示コンポーネント223に関して説明したように、タッチ刺激、存在感知刺激、オーディオ刺激、または映像刺激を使用して、ユーザに出力を提供する。表示コンポーネント223は、出力コンポーネント226に関して説明したような、視覚出力を提供する任意のタイプの出力デバイスでもよい。
モバイルコンピューティングデバイス200の内部コンポーネントとして示されているが、存在感知表示デバイス202はまた、入力および出力を送信ならびに/または受信するためにモバイルコンピューティングデバイス200とデータ経路を共有する外部コンポーネントを表してもよい。たとえば、一例では、存在感知表示デバイス202は、モバイルコンピューティングデバイス200の外部パッケージング内に配置され、それに物理的に接続されたモバイルコンピューティングデバイス200の組込みコンポーネント(たとえば、携帯電話上の画面)を表す。別の例では、存在感知表示デバイス202は、モバイルコンピューティングデバイス200のパッケージの外側に配置され、それとは物理的に別個であるモバイルコンピューティングデバイス200の外部コンポーネント(たとえば、有線および/もしくは無線データ経路をタブレットコンピュータと共有するモニタならびに/またはプロジェクタ)を表す。
モバイルコンピューティングデバイス200の存在感知表示デバイス202は、モバイルコンピューティングデバイス200のユーザからの入力として、2次元および/または3次元ジェスチャを検出し得る。たとえば、存在感知表示デバイス202のセンサ(たとえば、存在感知入力コンポーネント225のセンサ)は、存在感知表示デバイス202のセンサの閾値距離内のユーザの動き(たとえば、手、腕、ペン、スタイラスの移動)を検出し得る。存在感知表示デバイス202は、動きの2次元または3次元ベクトル表現を決定し、ベクトル表現を、複数の次元を有するジェスチャ入力(たとえば、ハンドウェーブ、ピンチ、拍手、ペンストローク)に相関させることができる。言い換えれば、存在感知表示デバイス202は、存在感知表示デバイス202が表示用の情報を出力するスクリーンまたは表面(たとえば、表示コンポーネント223)において、またはその近くでユーザにジェスチャを要求することなく、多次元ジェスチャを検出し得る。代わりに、存在感知表示デバイス202は、存在感知表示デバイス202が表示用の情報を出力するスクリーンまたは表面の近くに位置してもしなくてもよいセンサにおいて、またはその近くで実行される多次元ジェスチャを検出することができる。
モバイルコンピューティングデバイス200内の1つ以上のストレージデバイス250は、モバイルコンピューティングデバイス200の動作中に(たとえば、UIモジュール230、アプリケーション232、オペレーティングシステム254、またはジェスチャ検出モジュール234のうちの1つ以上の実行中に)処理するための情報を記憶し得る。いくつかの例では、ストレージデバイス250は一時記憶装置を含み、これは、ストレージデバイス250の主目的が長期記憶ではないことを意味する。モバイルコンピューティングデバイス200上のストレージデバイス250は、揮発性メモリとして情報の短期記憶のために構成されてもよく、したがって、電源がオフにされた場合、記憶されたコンテンツを保持しない。揮発性メモリの例は、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、および当該技術分野で知られている他の形態の揮発性メモリを含む。
ストレージデバイス250は、いくつかの例では、1つ以上のコンピュータ読取可能記憶媒体を含む。ストレージデバイス250は、揮発性メモリよりも大量の情報を記憶するように構成され得る。ストレージデバイス250はさらに、不揮発性メモリ空間として情報の長期記憶のために構成され、電源オン/オフサイクル後に情報を保持し得る。不揮発性メモリの例は、磁気ハードディスク、光ディスク、フロッピー(登録商標)ディスク、フラッシュメモリ、または電気的プログラマブルメモリ(EPROM)もしくは電気的消去可能プログラマブル(EEPROM)メモリの形態を含む。ストレージデバイス250は、1つ以上のアプリケーション232、UIモジュール230、オペレーティングシステム231、ジェスチャ検出モジュール234、対話モードセレクタ236、および対話モードモジュール238に関連するプログラム命令ならびに/またはデータを記憶すし得る。UIモジュール230、アプリケーション232、ジェスチャ検出モジュール234、対話モードセレクタ236、および対話モードモジュール238は、図1に示される対応するUIモジュール130、アプリケーション132、ジェスチャ検出モジュール134、対話モードセレクタ136、および対話モードモジュール138の例を含み得る。
特定の例では、ストレージデバイス250、またはストレージデバイス250に含まれるコンポーネントのうちの1つ以上は、モバイルコンピューティングデバイス200の外部の1つ以上のリモートコンピューティングデバイス上に(たとえば、1つ以上の外部サーバ上に)記憶され得る。いくつかの例では、1つ以上のリモートコンピューティングデバイスは、UIモジュール230、アプリケーション232、および/またはオペレーティングシステム231を記憶および/または実行してもよい。これらの例では、1つ以上のリモートコンピューティングデバイスは、プロセッサ220に関して本明細書で説明するものと同様の機能を実行し得る。
図2に示されるように、モバイルコンピューティングデバイス200は、電源228を備え得る。いくつかの例では、電源228は電池でもよい。電源228は、コンピューティングデバイス2の1つ以上のコンポーネントに電力を供給し得る。電源228の非限定的な例としては、亜鉛-炭素、鉛-酸、ニッケルカドミウム(NiCd)、ニッケル金属水素化物(NiMH)、リチウムイオン(Li-イオン)、および/またはリチウムイオンポリマー(Li-イオンポリマー)の化学的性質を有する電池を挙げることができるが、必ずしもこれらに限定されない。いくつかの例では、電源228は、限られた容量(たとえば、1000~3000mAh)を有し得る。
モバイルコンピューティングデバイス200は、1つ以上のセンサ204も備える。いくつかの例では、センサ204のうちの1つ以上は、入力コンポーネント222および/または存在感知入力コンポーネント225のうちの1つ以上の例でもよい。センサ204は、慣性測定ユニット(IMU)233を含む。たとえば、IMU233は、1つ以上の高周波ジャイロスコープ(たとえば、200Hzジャイロスコープ)、加速度計、および/または磁力計などの1つ以上のジャイロスコープを含み得る。本明細書で説明するように、モバイルコンピューティングデバイス200のセンサ204は、3次元空間におけるモバイルコンピューティングデバイス200のリアルタイムの向き、回転、または他の動きを判定するように構成され得る。
1つ以上のプロセッサ220は、モバイルコンピューティングデバイス200内で機能を実装し、および/または命令を実行し得る。たとえば、モバイルコンピューティングデバイス200上のプロセッサ220は、アプリケーション232、オペレーティングシステム231、UIモジュール230、対話モードセレクタ236、ジェスチャ検出モジュール234、および/または対話モードモジュール238の機能を実行する、ストレージデバイス250によって記憶された命令を受信し、実行し得る。プロセッサ220によって実行されるこれらの命令は、プログラム実行中にモバイルコンピューティングデバイス200にストレージデバイス250内に情報を記憶させ得る。プロセッサ220は、オペレーティングシステム231およびアプリケーション232の命令を実行して、1つ以上の動作を実行し得る。すなわち、オペレーティングシステム231およびアプリケーション232は、本明細書で説明するさまざまな機能を実行するようにプロセッサ220によって動作可能であり得る。
いくつかの代替例では、モバイルコンピューティングデバイス200は、プロセッサ220のみから構成され得る、または他の態様ではプロセッサ220を備え得る。これらの例では、入力コンポーネント222、存在感知表示デバイス202、通信ユニット224、出力コンポーネント226、センサ204、電源228、およびストレージデバイス250は、モバイルコンピューティングデバイス200の外部にありながら、それと(たとえば、通信チャネル227を介して)通信可能に結合され得る。
アプリケーション232は、1つ以上の異なるさまざまなアプリケーションを含み得る。電子メールアプリケーション、カメラアプリケーション、地図またはナビゲーションアプリケーション、カレンダーアプリケーション、メッセージングアプリケーション、ソーシャルメディアアプリケーション、旅行アプリケーション、ゲームアプリケーション、株式アプリケーション、および天気アプリケーションはすべて、アプリケーション232の例である。
図2に示すように、ジェスチャ検出モジュール234は、機械学習モジュール229を含む。センサ204によって提供される入力に基づいて、ジェスチャ検出モジュール234は、さまざまな例において、以下でさらに詳細に説明するように、オフスクリーンジェスチャ(たとえば、タップ)認識のために、図3に示すような多入力多出力畳み込みニューラルネットワークモデルを使用し得る。この検出方法によって、複数のジェスチャ属性の予測が可能になる。機械学習モジュール229は、そのような予測を行うように構成され得る。
たとえば、機械学習モジュール229は、畳み込みニューラルネットワークを利用して、慣性測定ユニット233などのセンサ204によって提供される信号を認識し得る。たとえば、特定の例では、ユーザがモバイルコンピューティングデバイス200のハウジング203をタップするたびに、慣性測定ユニット233からのタップ誘発運動信号が取り込まれ、機械学習モジュール229によって使用されて、タップ位置、方向(たとえば、正面、背面、および4つのエッジ)、条件(たとえば、指パッドに対して指を用いたタッピング)、および/または印加された力が認識され得る。同様に、機械学習モジュール229は、ユーザがモバイルコンピューティングデバイス200を傾けるたびに慣性測定ユニット信号を分類し得る。
このニューラルネットワークモデルは、もしあればタッチスクリーンからのタッチ位置情報(たとえば、存在感知入力コンポーネント225)、ならびにタップ位置(x,y)、方向(前/後/4つの側面)、条件(指パッド対爪)、および/または力を共同で推定するための気圧計およびIMU信号を取得する。推定されるタップ力が十分に強い場合、それは潜在的な意図的なタップと見なされる。なお、強力なタップが電話ハウジングを変形させ、内部の空気圧を圧縮し、したがって、気圧計読み取り値に影響を及ぼすと思われるため、気圧計値は有用であり得る。
図3は、本開示の1つ以上の態様に係る、ジェスチャ属性を特定するためのニューラルネットワークモデル352のそのような1つの使用例を示すブロック図である。この例では、図2に示す機械学習モジュール229は、ニューラルネットワークモデル352を利用して、センサ204によって提供されるセンサ信号の分析に基づいて、タップ属性などのジェスチャ属性を分類および/または判定することができる。場合によっては、機械学習モジュール229は、プロセッサ220に含まれる埋め込みデジタルプロセッサユニットによって実行され得る。
場合によっては、機械学習モジュール229は、軽量畳み込みニューラルネットワークモデルを利用してもよく、たとえば、低電力モードで埋め込みデジタルプロセッサユニット(たとえば、プロセッサ220のうちの1つ)を使用して実行され得る。さまざまな例では、ジェスチャ検出モジュール234がハウジング203において特定のジェスチャ(たとえば、ダブルタップ)を検出するときのみ、より計算集約的なネットワークが起動され、たとえば、プロセッサ220の主中央処理装置によって実行されて、位置および方向などの異なるタップ属性をもたらす。そうすることによって、ジェスチャ検出モジュール234は、潜在的に誤ったトリガケース(たとえば、表示デバイス202において表示するための視覚的な壁紙出力との意図しない対話)を制限し、モバイルコンピューティングデバイス200の消費電力を最大限に低減することができる。
図3に示されるように、ニューラルネットワークモデル352は、センサ204から、1つ以上のタッチスクリーン信号353(たとえば、存在感知入力コンポーネント225に関連付けられた信号)、慣性測定ユニット233によって提供される1つ以上の慣性測定ユニット信号354、および1つ以上の他の任意のセンサ信号355(たとえば、センサ204に含まれる場合、気圧計からの信号)等の種々の異なる信号入力を受信し得る。これらの入力信号353、354、355を入力として処理することによって、機械学習モジュール229のニューラルネットワークモデル352は、ジェスチャに関連するタップ位置356、ジェスチャに関連するタップ方向357、ジェスチャに関連するタップ条件358、および/またはジェスチャに関連するタップ力359などのさまざまなジェスチャ属性を、予測または特定し得る。
タップ位置356は、(x,y)位置またはエリアなど、モバイルコンピューティングデバイス200のハウジング203の部分上のタップイベントの予測される位置を指示または特定し得る。タップ位置356は、ハウジング203の任意の部分に、または存在感知表示デバイス202に配置され得る。タップ方向357は、予測方向(たとえば、ハウジング203の前面部分、ハウジング203の背面部分、ハウジング203の右エッジ部分/側面部分、ハウジング203の左エッジ部分/側面部分、ハウジング203の上部エッジ部分/側面部分、ハウジング203の底部エッジ部分/側面部分)を表示または特定し得る。タップ条件358は、タップが爪でまたは指のパッドで行われるかといった、タップの1つ以上の条件を特定または表示してもよく、タップ力359は、タップによって加えられる力の量を表示または特定し得る。場合によっては、推定タップ力が十分に強い場合、機械学習モジュール229は、タップを偶発的なタップではなく意図的なタップと見なし得る。
図2の対話モードモジュール238は、ジェスチャ検出モジュール234によって特定されたジェスチャに基づいて、対話モードセレクタ236によって選択され得るさまざまな異なるモジュールを含む。特定の例では、対話モードモジュール238のうちの1つ以上は、オペレーティングシステム231に含まれ得る、またはそれによって実行され得る。たとえば、対話モードモジュール238は、アクセシビリティモードモジュール240と、アシストモードモジュール241と、慣性モードモジュール242と、背景モードモジュール243とを含む。さまざまな例では、ジェスチャ検出モジュール234は、対話モードセレクタ236に特定の対話モードを選択させ得る、ダブルバックタップジェスチャなどの(たとえば、あらかじめ定義された)特定のジェスチャを特定し得る。この特定のジェスチャは、ダブルバックタップジェスチャ、シングルバックタップジェスチャ、ハウジング203の側面部分(たとえば、右側面部分)および/または表示デバイス202の部分上で実行されるエッジジェスチャなどの任意の形態のジェスチャであり得る。場合によっては、モバイルコンピューティングデバイス200は、対話モードセレクタ236に対話モードを選択させるために使用され得る特定のジェスチャのユーザカスタマイズを可能にし得る。
ジェスチャ検出モジュール234が特定のジェスチャを特定すると、対話モードセレクタ236は、対話モードモジュール238のうちの1つに対応する対話を選択し得る。対話モードセレクタ236は、1つ以上の因子(たとえば、モバイルコンピューティングデバイス200の現在の動作状態、現在実行されているアプリケーション232の現在のアプリケーション(複数可)、ジェスチャ検出モジュール234による1つ以上前のおよび/または後のジェスチャの特定、センサ204によって提供される他のセンサ信号の検出、UIモジュール230によって検出される他の入力および/または出力)に基づいて、そのような選択を行い得る。次に、対話モードセレクタ236および/またはオペレーティングシステム231は、選択された対話モードに基づいて、アクセシビリティモードモジュール240、アシストモードモジュール241、慣性モードモジュール242、または背景モードモジュール243のうちの1つを実行し得る。
図1A~図1Cを参照して上述したように、アクセシビリティモードモジュール240によって提供されるアクセシビリティモードは、ユーザが表示デバイス102などのモバイルコンピューティングデバイス200と対話している間に、音声および/または視覚アクセシビリティ機能を提供し得る。たとえば、そのようなアクセシビリティモード中に、ユーザは、1本以上の指を使用して、表示デバイス202において出力されるコンテンツを探索してもよい。オンスクリーンタッチイベントのみに依存するのではなく、アクセシビリティモードモジュール240はまた、ジェスチャ検出モジュール234によって特定されるオフスクリーンジェスチャを処理する。
アクセシビリティ機能のためのオンスクリーンタッチイベントの唯一の使用は、特定の制限につながる場合がある。たとえば、オンスクリーンタッチイベントのみを使用する音声アクセシビリティモードによるオブジェクト選択は、オンスクリーンタップジェスチャおよび/またはオンスクリーンドラッグ/スワイプジェスチャで実行されてもよい。しかしながら、オンスクリーンアクセシビリティジェスチャのこのようなパラダイムは、タッチ探索継続(たとえば、指-表面接触)の中断につながり得る。探索継続は、触読、または視覚障害者が感覚および触覚を用いて世界を認識し得る方法に関する、一般的な挙動である。
くわえて、ユーザが、オンスクリーンタッチイベントのみを使用する音声アクセシビリティモードを有効にすると、これらのユーザは、もはや、直接使用のために設計される従来のジェスチャナビゲーションシステムを使用することができない場合がある。代わりに、音声アクセシビリティユーザは、マルチタッチジェスチャまたはスワイプアップおよびスワイプダウンなどのジェスチャの組み合わせを伴い得るシステムナビゲーションジェスチャのより複雑なセットを開発しなければならず、これによって、使用が非常に困難になる場合がある。これらの制限は長期ユーザにとって学習のハードルになる場合があるが、音声アクセシビリティおよびサポート機能への頻繁かつ一時的なアクセスから利益を得ることが可能な新規ユーザに、そのようなアクセシビリティモードを全く使用させない場合もある。
したがって、本開示の技術によれば、アクセシビリティモードモジュール240は、ジェスチャ検出モジュール234によって特定されるオフスクリーンジェスチャをさらに利用し、ユーザが、アクセシビリティモードで動作している間、より典型的なオンスクリーンシステムナビゲーションジェスチャを使用し続けることを可能にし得る。ナビゲーションジェスチャの新しいセットの開発とは対照的に、アクセシビリティモードモジュール240の(たとえば、バックタップジェスチャなどのオフスクリーンジェスチャを使用した)実行および使用は、アクセシビリティユーザが、表示されたGUI内の項目のナビゲーションおよび探索中に従来のシステムナビゲーションジェスチャを使用し続けることを可能にする。その結果、探索継続を維持することができる。
本開示の技術によれば、アクセシビリティモードモジュール240は、ユーザが音声および/または視覚アクセシビリティモードを迅速に呼び出し利用するためにオフスクリーンジェスチャを実行することを可能にする探索ジェスチャ(たとえば、探索タップ)技術を提供し得る。たとえば、さまざまな場合において、アクセシビリティモードモジュール240は、アクセシビリティモードの音声および/または視覚アクセシビリティ特徴への迅速なアクセスを開始するために、ジェスチャ検出モジュール234によって特定されたデバイス背面タップジェスチャ(たとえば、モバイルコンピューティングデバイス200の1つ以上の背面部分上のダブルバックタップジェスチャ)を処理し得る。迅速なアクセスおよび探索継続の目標を達成するために、アクセシビリティモードモジュール240は、さまざまな例において、デバイス背面ジェスチャ(たとえば、タップ)検出を利用して、対話中にオンザフライでアクセシビリティモードの呼び出しおよび終了を行うようにユーザに促し、特定の場合、両手対話パラダイムにおける触覚読み取り挙動を模倣し得る。
このモードでは、ユーザは、タッチ探索指(たとえば、図1Bに示される指115)を使用して、タッチ探索のために画面上を探索および滑走して、アクセシビリティモードモジュール240に、たとえば、ナビゲートされたオンスクリーンコンテンツに対応する可聴音声を出力させることができる。このタッチ探索期間中、ユーザは、たとえば、ハウジング203の背面部分上でシングルバックタップジェスチャを実行して、話されたオブジェクトの選択を確認することができる。ユーザは、タッチ探索指を持ち上げてアクセシビリティモードを終了し、次に、さらに別のシステムナビゲーションのために典型的なオンスクリーンの指ベースのジェスチャを使用することができる。したがって、このアプローチによって、新しい音声アクセシビリティユーザが、複雑なセットの新しいシステムナビゲーションジェスチャを学習する必要がなく、代わりに、ユーザが、アクセシビリティモード中に特定のタスクを実行するために別個のオフスクリーンジェスチャを使用することが可能になる。
たとえば、ユーザは、アクセシビリティモードモジュール240によって提供されるアクセシビリティモードを呼び出すために、ハウジング203の背面部分上でダブルタップジェスチャを実行することができる。次に、ユーザは、アクセシビリティモードモジュール240が、たとえば、センサ204および/もしくは入力コンポーネント225からの1つ以上のグループまたは受信したセンサ信号に基づくディスプレイデバイス202におけるタッチジェスチャを識別することに基づいて、ディスプレイデバイス202において出力されるGUI上でタッチ探索指(たとえば、図1Bの指115)をドラッグして、音声サポートを聞き、かつ/またはオンスクリーンの表示オブジェクトの視覚サポート(たとえば、拡大)を見ることができる。このタイプの対話は、ユーザが、アクセシビリティモードのフェーズ全体にわたってタッチ探索指を画面上に維持して、探索継続を提供し、触覚読み取り挙動の効果を模倣できることを意味する。タッチ探索中にオンスクリーンオブジェクトを選択するために、ユーザは、タッチ探索指をオブジェクトの上にホバリングさせ続け、たとえば、図1Aに示す手113等のモバイルコンピューティングデバイス200を保持している手を使用して、オブジェクトを選択するために、たとえば、ハウジング203の背面部分上でシングルバックタップジェスチャを行うことができる。この継続はまた、オブジェクト選択のためにシングルバックタップジェスチャを使用することによって、対話の労力を低減させることができ、これは、仮想オンスクリーンキーボードを使用するタイピングなど、頻繁なオブジェクト選択が使用される場合に潜在的に大きな利益であり得る。対話のあるフェーズの後で、ユーザがアクセシビリティモードを終了することを望む場合、ユーザは、タッチ探索指を表示デバイス202から持ち上げてアクセシビリティモードを終了することができ、次に、従来のオンスクリーンジェスチャナビゲーションシステムを使用して、表示デバイス202においてさらに別の動作を実行することができる。
一例として、UIモジュール230は、アプリケーション232などの異なるコンポーネントまたはアプリケーションに関連付けられたさまざまなグラフィカルアイコン、リンク、および/または他の情報を出力し得る。図1Aでは、実行され得る4つの異なるアプリケーション(たとえば、「アプリ1」、「アプリ2」、「アプリ3」、および「アプリ4」)に対応する4つのそのようなグラフィカルアイコンが表示される。他の例では、表示コンポーネント223は、ハイパーテキストまたはウェブリンク、テキストまたはシンボル、グラフィカルキーボードのコンポーネント(たとえば、キー)などの任意の形態の他のグラフィカル情報またはアイコンを表示することができ、ウェブリンクは、モバイルコンピューティングデバイス200によってアクセスされ得る1つ以上のウェブサイトに関連付けられ得る、および/または、グラフィカルキーボードのキーが、対話モードモジュール238による1つ以上の機能の実行中にモバイルコンピューティングデバイス200によって選択され得る。
表示コンポーネント223を使用して表示される情報は、存在感知表示デバイス202における表示の関連する位置または領域を有し得る。たとえば、図1Aの例では、これらの4つのグラフィカルアイコンの各々は、GUIの特定のそれぞれの領域に表示され得る。すなわち、第1のアプリケーション(「アプリ1」)に関連付けられた第1のアイコンは、GUIの領域108内に表示されてもよく、第2のアプリケーション(「アプリ2」)に関連付けられた第2のアイコンは、GUIの領域110内に表示されてもよく、第3のアプリケーション(「アプリ3」)に関連付けられた第3のアイコンは、GUIの領域112内に表示されてもよく、第4のアプリケーション(「アプリ4」)に関連付けられた第4のアイコンは、GUIの領域114内に表示されてもよい。
アクセシビリティモードモジュール240の実行中、ユーザは、1本以上の指を使用して、表示デバイス202において出力されるGUIのコンテンツを探索してもよい。たとえば、ユーザ(たとえば、視覚障害者ユーザ)は、1本以上の指(たとえば、右手113またはユーザの左手の1本以上の指)を使用して、表示デバイス202において1つ以上のタッチジェスチャ(たとえば、スライドジェスチャまたは動きジェスチャ)を実行することができる。センサ204のうちの1つ以上によって提供されるセンサ信号(たとえば、表示デバイス202によって出力されるGUIの1つ以上の領域における任意の指のタッチまたは存在を特定する1つ以上のセンサ)に基づいて、対話モジュール138は、モバイルコンピューティングデバイス200の特定の機能に関連付けられた対話モードのための少なくとも1つの視覚または音声インジケータを出力し得る。
たとえば、ユーザが指を使用してGUIの領域108内の任意の位置に触れる、またはそれに近接する場合、アクセシビリティモードモジュール240は、第1のアプリケーション(「アプリ1」)に関連付けられた音声インジケータを出力し得る。一例として、アクセシビリティモードモジュール240は、この第1のアプリケーション(たとえば、電子メールアプリケーション)の名前を聴覚的に特定するために「アプリ1」というフレーズを指定する音声出力を提供し得る。その結果、ユーザは、ユーザの指が領域108に触れると、この第1のアプリケーションの名前を聞くことが可能になる。ユーザがユーザの指を別の領域(たとえば、領域114)内の位置に移動し続ける場合、アクセシビリティモードモジュール240は、音声出力を提供して、この第2のアプリケーション(たとえば、計算機アプリケーション)の名前を聴覚的に特定し得る。ユーザは、表示デバイス202上に表示された情報をナビゲートする際に、ユーザの右手または左手のいずれかの指、たとえば、ユーザの指(複数可)が現在位置するGUIの領域と関連付けられるアプリケーションの識別子の対応する名前を聞くことができる。
また、図1Cを参照して上述したように、特定の例では、表示される情報の1つ以上の音声インジケータを提供することに加えて、またはその代わりに、アクセシビリティモードモジュール240は、対話モード(たとえば、アクセシビリティモード)のための1つ以上の視覚的インジケータを表示デバイス202として出力し得る。たとえば、ユーザが第4のアプリケーション(「アプリ4」)に関連付けられた領域114内に指115を移動させ得る上記の例を続けると、「アプリ4」というフレーズを指定する音声出力を提供することに加えて、アクセシビリティモードモジュール240はまた、たとえば、図1Cに示すように、領域114に含まれる「アプリ4」用のグラフィカルアイコンの視覚的な拡大図を(たとえば、視覚障害者ユーザのために)提供することによって、領域114用の「アプリ4」に関連付けられた視覚的インジケータを提供し得る。この場合、図1Cに示す拡大鏡アイコン121はまた、GUI内で視覚的に移動して、指115が移動されるとこれらの領域内のコンテンツを選択的に拡大し得る。そのような態様で、アクセシビリティモードモジュール240は、表示デバイス202において出力されたコンテンツを横切る1本以上の指のユーザナビゲーションに応答して、視覚および/または音声インジケータを提供し得る。
そのようなナビゲーションに応答して、ユーザはまた、GUIのそれぞれの領域内に含まれるグラフィカルアイコンのいずれかを選択することが可能であってもよい。たとえば、ユーザの指が領域114に位置する場合、ユーザは、たとえばハウジング203の背面部分でシングルバックタップジェスチャを実行することなどによって、「アプリ4」用のグラフィカルアイコンを選択するために1つ以上のジェスチャを実行することができる。ジェスチャ検出モジュール234は、センサ204によって提供されるセンサ信号の別のグループに基づいて、領域114に関連付けられた第4のアプリケーションの実行などの特定の機能のユーザ選択を確認するために、ハウジング203の1つ以上の部分において実行されるこの少なくとも1つの第2のジェスチャを特定し得る。
少なくとも1つの第2のジェスチャを特定することに応答して、モバイルコンピューティングデバイス200は、対応する機能を実行(たとえば、アプリケーション232から第4のアプリケーションを実行)し得る。そのような態様で、アクセシビリティモードモジュール240は、たとえば、デバイス背面タップ検出を使用して、音声および/または視覚アクセシビリティモードに関して直感的なユーザ体験を提供し得る。オフスクリーンタップ対話は、音声および/または視覚アクセシビリティサポートの無数の新しい機会を開く。これは、アクセシビリティモードへの迅速なアクセスの可能性およびタッチ探索における継続性をユーザに与え、したがって、アクセシビリティモードにおけるより良好なユーザ体験につながり得る。
図2に示すように、対話モードモジュール238は、アシストモードモジュール241も含む。さまざまな例において、アシストモードモジュール241は、ユーザがモバイルコンピューティングデバイス200のハウジング203上でバックタップジェスチャを使用することによって、特定の機能(たとえば、スクロールアップ、スクロールダウン、アプリケーションの切り替え)を実行することを可能にする傾斜・バックタップアシストインターフェイスを提供し得る。
モバイルコンピューティングデバイス200のその場でのモバイル使用のために片手対話が好ましい状況が多々ある可能性がある(たとえば、ユーザが地下鉄で手すりを持っているとき、またはベッドに横たわっているとき)。くわえて、片手対話のサポートの改善も、障害のあるユーザにとって有益な場合がある。
現在のタッチベースの対話は、典型的には、ユーザが、モバイルコンピューティングデバイス200をあまり自然ではない把持ジェスチャで保持しながら親指タッチを行うことを伴う。このジェスチャの使用は、ユーザがモバイルコンピューティングデバイス200をしっかりと把持することをより困難にすることがあり、ユーザが(たとえば、横たわっている間に)モバイルコンピューティングデバイス200を空中に持ち上げている場合、このジェスチャを使用することが特に困難になる可能性がある。この問題に対処するために、アシストモードモジュール241は、傾斜・バックタップインターフェイスを含むアシスト実行モードを提供して、図4Aに示すように、ユーザがより自然な電話把持ジェスチャでモバイルデバイス対話を実行することを可能にする。
図4A~図4Bは、本開示の1つ以上の態様に係る、アシストモードモジュール241の実行中などにアシスト対話モードを開始するように構成されたモバイルコンピューティングデバイス400の例を示す概念図である。図4A~図4Bでは、モバイルコンピューティングデバイス400は、モバイルコンピューティングデバイス200(図2)および/またはモバイルコンピューティングデバイス100(図1A~図1C)の一例でもよい。ハウジング403は、ハウジング203および/またはハウジング103の一例でもよい。表示デバイス402は、表示デバイス202および/または表示デバイス102の一例でもよい。
アクセシビリティモードを開始するのと同様に、ユーザは、たとえばダブルバックタップジェスチャを実行することによって、アシストモードモジュール241(図2)によって提供されるアシストモードを開始することができる。たとえば、ユーザは、手413の人差し指416を使用して、ハウジング403の背面部分401でダブルバックタップジェスチャを実行することができる。ジェスチャ検出モジュール234は、センサ204によって提供されるセンサ信号(たとえば、IMU233によって提供されるIMUセンサ信号)の1つ以上のグループに基づいて、ジェスチャを特定し得る。他の指415,417,418および419は、モバイルコンピューティングデバイス400を保持し得る。
図4Aに示すように、指416がダブルバックタップジェスチャを実行した後で、対話モードセレクタ236は、アシストモードモジュール241を開始し得る。アシストモードモジュール241は、表示デバイス402において視覚メニュー460を出力し得る。メニュー460は、異なるメニュー項目に関連付けられたアシストモード中にアシストモードモジュール241によって実行され得るさまざまな異なる機能の視覚的インジケータを提供する。たとえば、メニュー460は、メニュー項目461,462,464,465を含み得る。メニュー項目461は、スクロールアップ機能に関連付けられたグラフィカルな上向き矢印を含んでもよく、メニュー項目464は、スクロールダウン機能に関連付けられたグラフィカルな下向き矢印を含んでもよい。メニュー項目462は、ページバック/バックワード機能に関連付けられたグラフィカルな左矢印を備えてもよく、メニュー項目465は、実行され得る異なるアプリケーション132間でのトグルまたはスイッチのための機能に関連付けられたグラフィカルなアイコンを備えてもよい。その結果、メニュー項目461,462,464,465の各々は、アシストモードモジュール241によって実行され得るそれぞれの機能の視覚的なインジケータを含む。
アシストモードモジュール241および/またはジェスチャ検出モジュール234は、センサ204によって提供される動き信号から傾斜ジェスチャおよび逆タップジェスチャを認識するように構成され得る。ユーザが、アシストモードモジュール241によって提供されるアシスト対話モードを開始するために、ハウジング403の1つ以上の背面部分401において指416を使用して最初の背面タップジェスチャを実行した後で、ユーザは続いて、メニュー460のメニュー項目を選択するために、1つ以上の傾斜ジェスチャを使用してモバイルコンピューティングデバイス400を傾けることができ、1つ以上の傾斜ジェスチャは、(たとえば、センサ204によって提供されるセンサ信号に基づいて)モバイルコンピューティングデバイス400の検出された動きおよび/または回転に関連付けられている。次に、ユーザは、ジェスチャ検出モジュール234によってこれらのジェスチャを特定するために使用されるセンサ204によって提供されるセンサ信号(たとえば、IMU233によって提供されるIMUセンサ信号)の1つ以上のグループに基づいて、選択されたメニュー項目に関連付けられた機能を実行するために、1つ以上の背面部分401において別の(たとえば、1つの)バックタップジェスチャを実行することができる。
アシストモードモジュール241は、図4A~図4Bに示されるようなインターフェイスを提供し、このインターフェイスは、ユーザが、モバイルコンピューティングデバイス400を自然な把持ジェスチャで保持し、片手対話を提供することを可能にする傾斜ジェスチャおよびバックタップジェスチャによって、通常使用されるシステムナビゲーション機能(たとえば、スクロール機能、ページバック機能、スイッチアプリケーション機能)を実行することを可能にする。
図4Aに示すように、ユーザが傾斜ジェスチャを実行する前、およびアシストモードモジュール241が最初にアシスト対話モードに入った後、メニュー項目はまだ選択されていない。その結果、メニュー中心アイコン463が、ハイライト、シェーディング、または他の態様では目立つように表示されて、図4Bに示すように、メニュー項目461,462,464または465のいずれもまだ選択されていないことを示す。
しかしながら、アシストモードが開始された後、ユーザは、手413を使用して1つ以上の傾斜ジェスチャを実行して、モバイルコンピューティングデバイス400を1つ以上の方向または向きに移動および/または回転させてもよい。センサ204のうちの1つ以上(たとえば、IMU233)は、移動および/または回転を示すセンサ信号を提供してもよく、ジェスチャ検出モジュール234は、これらの信号を処理して、1つ以上の傾斜ジェスチャを特定し得る。たとえば、ユーザは、モバイルコンピューティングデバイス400を上に、下に、右に、左に、時計回りに、反時計回りに、またはそれらの任意の組合せで傾けることができる。ジェスチャ検出モジュール234は、特定された傾斜ジェスチャの指示、および傾斜ジェスチャの対応する属性を、アシストモードモジュール241に提供してもよく、これは、モバイルコンピューティングデバイス400の検出された動きもしくは回転の方向または向きのうちの少なくとも1つを示し得る。
アシストモードモジュール241は、次に、モバイルコンピューティングデバイス400の検出された動きもしくは回転の方向または向きのうちの少なくとも1つに関連付けられた傾斜ジェスチャの属性に基づいて、メニュー460のどのメニュー項目を選択するかを特定し得る。たとえば、アシストモードモジュール241は、選択されたメニュー項目へのジェスチャ属性のマッピングを定義し得る。一例として、アシストモードモジュール241は、その現在の位置および/または向きを考慮して、モバイルコンピューティングデバイス400の上部に対してモバイルコンピューティングデバイス400を上に傾ける傾斜ジェスチャに応答して、メニュー項目461を選択し得る。同様に、アシストモードモジュール241は、モバイルコンピューティングデバイス400を下に傾ける傾斜ジェスチャに応答して、メニュー項目464を選択し得る。アシストモードモジュール241は、モバイルコンピューティングデバイス400を左に傾ける傾斜ジェスチャに応答して、メニュー項目462を選択することができ、モバイルコンピューティングデバイスを右に傾ける傾斜ジェスチャに応答して、メニュー項目465を選択し得る。
または、図4Bの例に示されるように、アシストモードモジュール241は、モバイルコンピューティングデバイス400を(モバイルコンピューティングデバイス400の現在の位置および/または向きに対して)反時計回りに傾ける傾斜ジェスチャに応答して、メニュー項目462を選択し、モバイルコンピューティングデバイス400を時計回りに傾ける傾斜ジェスチャに応答して、メニュー項目465を選択し得る。そのような態様では、アシストモードモジュール241は、アシスト対話モード用のメニュー460のそれぞれのメニュー項目を介して1つ以上の視覚的インジケータを出力することができ、各メニュー項目は、以下でさらに説明するように、対応する機能に関連付けられている。
図4Bでは、ユーザは、手413を使用して、図4Aに示されるモバイルコンピューティングデバイス400の位置および/または向きに対して時計回りにモバイルコンピューティングデバイスを傾けている。ジェスチャ検出モジュール234がこの傾斜ジェスチャの属性を検出し、この情報をアシストモードモジュール241に提供した結果、アシストモードモジュール241は、メニュー460のメニュー項目465を選択する。図4Bに示すように、アシストモードモジュール241は、メニュー項目465が選択されているという視覚的インジケータをユーザに提供するために、他のメニュー項目461,462,464に対してメニュー項目465をシェーディング、ハイライト、または他の態様では目立つように表示し、メニュー項目465は、特定の機能(たとえば、アプリケーション機能の切り替え)に関連付けられている。
メニュー項目465の表示された選択を確認するために、ユーザは、指416を使用して、ハウジング403の1つ以上の背面部分401においてシングルバックタップジェスチャを実行してもよい。センサ204から受信されたセンサ信号の1つ以上のグループに基づいてこのジェスチャを特定するバックタップジェスチャの指示をジェスチャ検出モジュール234から受信すると、アシストモードモジュール241は、メニュー項目465の選択を確認し、表示デバイス402の前景で実行および/または表示されるアプリケーション132間で切り替えるアプリケーション切り替え機能を実行するなど、対応する機能を実行し得る。ユーザは、ハイライトされたメニュー項目(たとえば、メニュー項目465)のさらに別の選択を実行するために、1つ以上の背面部分401においてバックタップジェスチャを実行し続けることができる。すなわち、ユーザは、図4Bに示すように、メニュー項目465がハイライトされている間に反復バックタップジェスチャを実行して、アシストモードモジュール241に、メニュー項目465に関連付けられた反復機能(たとえば、反復アプリケーションスイッチ機能)を実行させることができる。
さらに、ユーザは、メニュー460から異なるメニュー項目を選択するために、追加の傾斜ジェスチャを実行することができる。したがって、一例として、ユーザは、メニュー項目461を選択するために、モバイルコンピューティングデバイス400を上方に傾けることができ、次に、メニュー項目461は、(メニュー項目465ではなく)表示デバイス402において目立つように表示することができ、ユーザは次に、メニュー項目461の選択を確認するために、1つ以上のバックタップジェスチャを実行することができ、メニュー項目461によって、アシストモードモジュールに、(たとえば、ウェブコンテンツをブラウジングしている間に)1つ以上の対応するスクロールアップ機能を実行させる。ユーザがアシスト対話モードを終了する準備ができている場合、ユーザは、たとえば、ダブルバックタップジェスチャを実行して、アシストモードモジュール241にこのモードを終了させることができる。この場合、ユーザは、ダブルバックタップジェスチャを実行して、アシスト対話モードの開始および終了の両方を行うことができ、これらの間に傾斜ジェスチャを実行して、アシストモードモジュール241に、メニュー460から選択されたメニュー項目に対応する機能(たとえば、システムナビゲーションまたは他の機能)を実行させることができる。
さまざまな例では、アシストモードモジュール241およびジェスチャ検出モジュール234の機械学習モジュール229の実装のために、機械学習モジュール229は、軽量畳み込みニューラルネットワークモデル(たとえば、ニューラルネットワークモデル352)を利用することができ、たとえば、低電力モードで埋め込みデジタルプロセッサユニット(たとえば、プロセッサ220のうちの1つ)を利用して実行され得る。このモデルは、センサ204によって示される任意のタップの様な信号から、タップ方向および非タップイベントを分類し得る。アシストモードモジュール241のインターフェイスが既に呼び出されている場合、全ての認識されたバックタップジェスチャおよび傾斜ジェスチャは、ナビゲーション機能を制御し、メニュー460の選択されたメニュー項目を特定するために、ジェスチャ検出モジュール234からアシストモードモジュール241および/またはオペレーティングシステム231に渡され得る。アシストモードモジュール241のインターフェイスがまだ呼び出されていない場合、デジタルプロセッサユニットおよび/またはジェスチャ検出モジュール234内の信号処理サービスは、意図的なダブルバックタップジェスチャを認識してアシストモードを開始するために、バックタップタイミングを分析し、ダブルタップパターンに適合するジェスチャのみを探し得る。
さまざまな例では、傾斜イベントは、たとえば、センサ204によって提供されるジャイロスコープデータからのヒューリスティックまたは機械学習方法のいずれかを使用して、ジェスチャ検出モジュール234によって検出することができる。特定の場合には、ユーザはまた、トリプルバックタップジェスチャを使用して、オンスクリーンカーソルを呼び出し、傾斜を使用して、表示デバイス202におけるナビゲーションのためにカーソルを操作することができる。
傾斜・バックタップ対話は、無数の新しい機会を開く。そのような対話の使用は、容易かつ便利な場合があり、図4A~図4Bに示すモバイルコンピューティングデバイス400の自然な保持ジェスチャで片手対話を実行する可能性をユーザに付与することができ、ユーザが、たとえばニュースフィードまたはソーシャルネットワークを閲覧するときの対話挙動を可能にする。
図2の対話モードモジュール238はまた、慣性モードモジュール242を含む。慣性モードモジュール242は、本明細書では慣性対話モードと呼ばれるものを提供し得る。さまざまな例では、この対話モード中に、慣性モードモジュール242および/またはジェスチャ検出モジュール234は、IMU233によって提供されるIMU信号からタップ力を推定することができ、また、たとえば、タップジェスチャに関連付けられた力および/または角度の変化に基づいて、機械学習モジュール229による出力からタップ位置も推定し得る。その結果、特定の場合、慣性モードモジュール242および/またはジェスチャ検出モジュール234は、指が手袋を装着しているまたは長い指爪を有する場合であっても、または、ハウジング203もしくは表示デバイス202上に水滴が存在する場合であっても、センサ204および/または入力コンポーネント225からのセンサ信号の1つ以上のグループに基づいて、ハウジング203の1つ以上の部分および/または表示デバイス202におけるタッチジェスチャを特定して、感知の信頼性に影響を及ぼす水滴がタッチスクリーン上に存在する場合に誤ったタッチイベントを潜在的に拒絶するように構成され得る。
意図しないタッチ拒絶のためにタッチ圧力を使用することと同様に、慣性モードモジュール242および/またはジェスチャ検出モジュール234は、タップジェスチャによって生成される力およびタップによって誘発される向きの変化を含む、意図的なタップによって生成される慣性を利用することができ、動作感知は、ユーザのタップ意図を識別するために使用され得る。これらの種々の属性は、センサ204に含まれるIMU233からの信号によって捕捉、またはそれらに基づいて判定することができる。さまざまな場合において、機械学習モジュール229は、ニューラルネットワークモデル(たとえば、図3のニューラルネットワークモデル352)を利用して、タップジェスチャの1つ以上の属性を判定し得る。開示される技術は、容量感知に依存しないため、デバイスのエッジを覆わないウォーターフォール画面または通常画面上で動作可能ある。したがって、表示デバイス202は、ウォーターフォールスクリーンまたは非ウォーターフォールスクリーンを含み得る。
特定の場合、慣性モードモジュール242は、エッジボタンの使用のための効果的かつ人間工学的な置換を提供し得るサイドタップおよびスワイプジェスチャに関連する特定の機能を提供し得る。ボタンレスのモバイルコンピューティングデバイス(たとえば、電話)は長年のデザイン目標であり、携帯電話のデザインでは、端末のサイドエッジにカーブした画面であるウォーターフォールスクリーンがトレンドになっている。物理ボタン、特に音量制御ボタンは、さまざまな代替案が与えられているが、それらは通常、使い勝手が悪い。くわえて、視覚エッジボタン上でタッチイベントのみを使用することは、多くの誤った事例につながる可能性がある。ダブルタッチジェスチャは、(たとえば、表示デバイス202における)画面上の偶発的なタッチを拒絶するのに効果的であり得る。しかしながら、このジェスチャは複数のタッチイベントを伴うため、対話がより困難になり、ユーザ体験がより直感的でなくなる。
そのような困難および課題に対処するために、慣性モードモジュール242は、たとえば、タイムアウト期間後にタイムアウトする音量または他のユーザインターフェイスコントロール状態にシステムをプライムするためにIMU応答を生成するサイドインパクトアクションに関連付けられた機能を提供する。タイムアウト期間中およびその満了前に、慣性モードモジュール242は、表示デバイス202におけるスワイプジェスチャを音量または他の可変ユーザインターフェイスコントロールにマッピングし得る。
その結果、慣性モードモジュール242は、タップ・スワイプ対話パラダイムを提供する。サイドタップに続くスワイプジェスチャは、ユーザの意図の確認でもある。人間工学的観点から、ユーザは、図5A~図5Bに示すように、人差し指を使用してエッジをタップして、エッジインターフェイス(たとえば、音量制御インターフェイス)を呼び出すことができる。
図5A~図5Cは、本開示の1つ以上の態様に係る、タップ・スワイプ対話のための慣性対話モードを開始するように構成されたモバイルコンピューティングデバイス500の例を示す概念図である。図5A~図5Cの例では、ユーザは、手513を使用して、片手対話によってモバイルコンピューティングデバイス500を操作することができる。モバイルコンピューティングデバイス500のエッジにおいてまたはその近くで行われるタップ・スワイプ対話では、ユーザは、図5Aに示すように、まず指516を使用してハウジング503の1つ以上の側面部分570をタップし得る。モバイルコンピューティングデバイス500のエッジは、特定の例では、ハウジング503の側面部分(たとえば、左側面部分、右側面部分、上側面部分、下側面部分)においてもしくはその付近、および/または表示デバイス502のエッジ付近の領域を備え得る。ジェスチャ検出モジュール234は、このジェスチャを、指516の印加力だけでなく、モバイルコンピューティングデバイス500のハウジング503上の対応する動きに基づき、センサ204から受信されたセンサ信号の1つ以上のグループ(たとえば、IMU233によって提供されるIMUセンサ信号)に基づいて特定し得る。
ジェスチャ検出モジュール234がこのタップジェスチャを特定した後、慣性モードモジュール242は、グラフィカル音量コントロール574を出力し、タイムアウト期間などの定義されたまたはカスタマイズ可能な期間内の表示デバイス502における後続のスワイプジェスチャの(たとえば、ジェスチャ検出モジュール234による)特定を監視し得る。ジェスチャ検出モジュール234は、センサ204および/または存在感知入力コンポーネント225によって提供される画面容量感知信号の1つ以上のグループに基づいて、スワイプジェスチャを特定し得る。スワイプジェスチャの使用によって、慣性モードのエッジインターフェイスを呼び出すことができ、図5Bに示すように、線形制御のために表示デバイス502のスクリーンエッジに沿って移動し得る、または図5Cに示すように、マルチターゲット選択のためにスクリーンエリア内に移動し得る。グラフィカル音量コントロール574が図5Bに示されているが、任意の他の形態のグラフィカルユーザインターフェイスコントロール(たとえば、表示コントロール、別のタイプの設定コントロール)が、さまざまな他の例において使用可能である。
たとえば、図5Bに示されるように、ユーザは、指516を使用して、表示デバイス502の領域572で実行されるスライドジェスチャを介して、グラフィカル音量コントロール574を操作することができる。ユーザは、指516を使用して、領域572内で上方にスライドジェスチャを実行して、それに対応して音量コントロール574を上方に移動させ、音量を増加させてもよく、ユーザはまた、領域572内で下方にスライドジェスチャを実行して、それに対応して音量コントロール574を下方に移動させ、音量を下げてもよい。これに応答して、慣性モードモジュール242は、対応する視覚的調整をグラフィカル音量コントロール574(たとえば、体積の増加に対する上方向の視覚的調整、または体積の減少に対する下方向の視覚的調整)に出力し得る。音量コントロール574は、慣性モードモジュール242によって提供される慣性モード中にユーザによって操作され得るユーザインターフェイスコントロールの一例に過ぎず、音量制御要素の増減などの1つ以上の機能に関連付けられた慣性モードモジュール242の視覚的インジケータである。音量コントロール574はまた、表示デバイス502がウォーターフォールスクリーンを含む場合、領域572において、表示デバイス502のスクリーンエッジの近くに表示され得るユーザインターフェイスコントロールの例である。表示デバイス502がエッジ上にウォーターフォールスクリーンまたは容量性感知を有する場合、音量コントロール574などのエッジユーザインターフェイスコントロールは、サイドタップ位置(たとえば、サイド部分570)の付近または周囲に表示され得る。
しかしながら、表示デバイス502がエッジ容量感知および/またはウォーターフォールスクリーンを有さない場合、エッジユーザインターフェイスコントロールは、図5Cに示される領域576などの、手513の親指515が位置し得るエリアに近接して位置するエリアまたは領域などの、表示デバイス502の他のエリアに表示され得る。特定の場合には、慣性モードモジュール243は、ニューラルネットワークモデル352によって示されるように、指516がハウジング503に接触する側面部分570の位置を使用して、図5Cに示される音量コントロール574を表示する領域576を推定し得る。図5Cに示されるように、ユーザは、親指515を使用して、表示デバイス502の領域576に表示される音量コントロール574と対話してもよい。たとえば、ユーザは、音量コントロール574に含まれるターゲットオブジェクトと対話もしくは選択するために(たとえば、マルチターゲット選択のために)1つ以上のジェスチャ(たとえば、スワイプジェスチャ)を実行してよい、または慣性モードのためのグラフィカルユーザインターフェイスにおいて視覚的に示される任意の他の形態の制御機能を実行してもよい。慣性対話モードを終了または休止するために、さまざまな例では、ユーザはダブルバックタップジェスチャを実行し得る。
その結果、タップ・スワイプジェスチャは、モバイルコンピューティングデバイス500の意図しない把持またはタッチと区別可能なジェスチャとすることができ、たとえば、片手対話の一部として使用して、エッジベースのユーザインターフェイスコントロールを操作し得る。このジェスチャは、ウォーターフォールスクリーン設計の有無にかかわらず、デバイスにわたって十分に一般化することができる。
図2の対話モードモジュール238はまた、背景モードモジュール243を含む。さまざまな例では、少なくともジェスチャ検出モジュール234が1つ以上のジェスチャを検出することに基づいて、対話モードセレクタ236は、実行のために背景モードモジュール243を選択し得る。さまざまな例では、背景モードモジュール243は、オフスクリーンタップ認識を使用して背景ユーザインターフェイス対話を可能にし得る。
さまざまな場合では、ユーザインターフェイスは、前景レイヤ(たとえば、ホーム画面上のアプリケーション232のうちの1つ以上のためのアプリケーションショートカットを有する層)と、1つ以上の背景レイヤ(たとえば、背景壁紙を有する1つ以上の層)とを含み得る。壁紙はしばしば、ロックスクリーンおよびホームスクリーンの両方に現れ得るので、ユーザに対して頻繁に露出される。したがって、プログラムユーザインターフェイスを含む壁紙サービスは、モバイルデバイスとのユーザ対話に大きな影響を及ぼす可能性がある。
しかしながら、既存の技術は、前景サービスと背景サービスとの両方と対話するためにオンスクリーンタッチイベントのみに依存する。それらは同じ対話メカニズムを共有するので、特に視覚的に乱雑なインターフェイスにおいて、システムがユーザの意図を認識し、前景と背景との対話を明確に分離することは困難である。言い換えれば、ユーザがアプリケーションアイコンのエッジまたは境界をタップする場合、モバイルコンピューティングデバイス200が(たとえば、UIモジュール230を使用して)、ユーザがアイコンに関連付けられたアプリケーション232のうちの1つを開くことを意図するか、または壁紙と対話することを意図するかを決定することは困難なことがある。この曖昧さによって、壁紙サービスとの効果的な対話が妨げられ、それゆえ対話型壁紙の機能が制限される。
この問題に対処するために、背景モードモジュール243は、ジェスチャ検出モジュール234によって検出されたオフスクリーンタップを使用して、壁紙サービス、ゲーム、またはフラッシュカードアプリケーションなどの背景ユーザインターフェイスと対話する。そのようなオフスクリーンジェスチャの検出によって、前景と背景との対話のユーザ意図の識別が明確になり、したがって、ユーザが、たとえば、対話型壁紙とのよりリッチな対話を実現することが可能になる。
背景モードモジュール243は、ジェスチャ検出モジュール234および機械学習モジュール229によって提供される情報を使用する。機械学習モジュール229は、ニューラルネットワークモデル(たとえば、入力としてIMU信号を処理するマルチタスク畳み込みニューラルネットワークを備え得る、図3に示されるニューラルネットワークモデル352)を使用して、ハウジング203の背面および/または側面部分上のジェスチャ(たとえば、タップ)位置を推定するように構成されてもよい。この推定によって、背景ユーザインターフェイス対話のためのオフスクリーンタップ検出の前例のない粒度がもたらされる。ユーザがモバイルコンピューティングデバイス200のハウジング203をタップするたびに、タップ誘発運動信号が捕捉され、図3に示す属性356,357,358,359などのジェスチャの属性を認識するために使用され得る。
さまざまな例では、背景モードモジュール243およびジェスチャ検出モジュール234の機械学習モジュール229の実装のために、機械学習モジュール229は、軽量畳み込みニューラルネットワークモデルを利用することができ、たとえば、低電力モードで埋め込みデジタルプロセッサユニット(たとえば、プロセッサ220のうちの1つ)を使用して実行され得る。さまざまな例では、ジェスチャ検出モジュール234がハウジング203においてダブルタップイベントを検出するときのみ、より計算集約的なネットワークが起動され、メイン中央処理装置によって実行されて、たとえば、位置および方向などの異なるタップ属性をもたらす。そうすることによって、ジェスチャ検出モジュール234は、誤ったトリガ事例(たとえば、壁紙との意図しない対話)を潜在的に制限し、消費電力を最大限に低減することができる。
背景モードモジュール243は、オフスクリーンタップジェスチャ(たとえば、バックタップおよび/またはサイドタップジェスチャ)を使用して、対話モードの少なくとも1つの視覚的インジケータおよびさまざまな関連機能を提供する対話型壁紙などの背景ユーザインターフェイスとのユーザ対話を可能にして、ユーザが、前景対話と背景対話との間に明確な分離を有することを可能にし得る。すなわち、ユーザは、表示デバイス202におけるオンスクリーンジェスチャを使用して、前景ユーザインターフェイスまたはアプリケーションと対話することができ、代替的に、ハウジング203の1つ以上の部分において実行されるオフスクリーンジェスチャを使用して、背景ユーザインターフェイスまたはアプリケーションと対話することができる。ユーザは、バックタップまたはエッジタップジェスチャを使用して、対話型壁紙などの背景ユーザインターフェイスと対話することができるが、これは、さまざまな場合において、オンスクリーンタッチイベントに反応しないことがある。この技術は、ユーザ対話のために新しい場を開くことができる。そのような対話は、ロックスクリーンモードであっても行うことができ、したがって、ユーザは、フラッシュカードサービス、ニュースフィードサービス、または軽量ゲームなどのさまざまなものに対して、それをロック解除する前であっても、またはロック解除する必要なく、最速のアクセスを有することができる。一般に、エッジタップジェスチャなどのエッジジェスチャは、ハウジング203の1つ以上の側面部分および/または表示デバイス202の1つ以上の部分(たとえば、表示デバイス202のエッジ部分)で実行され得る。
ニュースフィードを示す壁紙サービスの場合、ユーザが最初にハウジング203の背面部分でダブルバックタップジェスチャを実行して背景モードモジュール243に背景対話モードを開始させた後で、ユーザは、別のバックタップジェスチャを実行して次のニュースフィードに循環する、または、ハウジング203の側面部分および/または表示デバイス202の部分においてエッジタップジェスチャを実行して、別のニュースカテゴリに切り替えてもよい。次のニュースフィードに循環すること、または別のニュースカテゴリに切り替えることは、現在の背景ユーザインターフェイス要素(たとえば、現在のニュースフィード要素)を表示から削除することと、表示のために1つ以上の新しい背景ユーザインターフェイス要素(たとえば、同じまたは異なるニュースカテゴリのニュースフィード要素)を出力することとを含み得る。ジェスチャ検出モジュール234は、センサ204からのセンサ信号(たとえば、IMU233によって提供されるIMUセンサ信号)の1つ以上のグループの受信に基づいて、任意のジェスチャを検出し得る。場合によっては、壁紙サービスはまた、落書きゲームなどの軽いゲームを含んでもよい、または提供してもよい。これらの場合、ユーザが背景対話モードを開始するためにダブルバックタップジェスチャを実行して、背景モードモジュール243に背景ユーザインターフェイスアプリケーションとしてゲームを実行させると、ユーザは、ゲームと対話するために、またはゲームをプレイするために、ハウジング203の背面部分の異なる位置で1つ以上の追加のバックタップジェスチャを実行して、離散イベントベースの信号を超える制御の柔軟性をユーザに提供することが可能になる。たとえば、ユーザは、ハウジング203の背面部分の異なる位置でバックタップジェスチャを実行して、ゲームに異なるアクションを実行させることができる。背景モードモジュール243によって提供される視覚的出力は、以下でさらに詳細に説明されるように、1つ以上のそれぞれの機能と関連付けられる、背景モードのための1つ以上の視覚的インジケータを備え得る。
図6A~図6Cは、本開示の1つ以上の態様に係る、背景ユーザインターフェイス対話のために背景モードモジュール243を開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。これらの図は、背景ユーザインターフェイス(たとえば、壁紙)対話のためのオフスクリーンタップの例を示す。ユーザは、たとえば、バックダブルタップジェスチャによって背景インターフェイス対話を呼び出して一時停止することができ、後続のバックタップジェスチャまたはエッジタップジェスチャを実行して、特定の制御を実行することができる。
具体的には、ユーザは、単純なオフスクリーンジェスチャ(たとえば、バックダブルタップ)を使用して、背景インターフェイスとの対話を開始することができる。次に、ユーザは、モバイルコンピューティングデバイス600のハウジング603上の異なる位置をタップしてもよい。たとえば、図6Aに示されるように、ユーザは、手613の指616を使用して、ハウジング603の1つ以上の背面部分601においてバックタップ(たとえば、ダブルバックタップ)ジェスチャを行い得る。ジェスチャ検出モジュール234は、このジェスチャを特定することができ、対話モードセレクタ236は、実行のために背景モードモジュール243を選択し得る。実行時に、表示デバイス602は、背景ユーザインターフェイス要素670およびインジケータ671,672,673を出力可能であり、インジケータは、現在選択されているインジケータであることを示すために、何らかのフォーマットで目立つように表示され得る。たとえば、背景ユーザインターフェイス要素670は、背景モードモジュール243の壁紙サービスによって提供されるニュースフィード項目を備えてもよく、インジケータ671,672,673は、異なるニュースカテゴリ(たとえば、スポーツ、天気、地方のニュース)に対応してもよい。現在選択されているインジケータ671がスポーツカテゴリに関連付けられている場合、背景ユーザインターフェイス要素670は、表示デバイス602で表示するために出力されるスポーツ関連ニュース情報を含んでもよい。別の例では、背景ユーザインターフェイス要素670は、ユーザの言語学習を助けるために壁紙サービスによって提供される言語ベースのフラッシュカードを含んでもよく、インジケータ671,672,673は、フラッシュカードの異なるカテゴリ(たとえば、動物、玩具、衣服)に対応してもよい。背景ユーザインターフェイス要素は、特定の例では、1つ以上のビジュアルフラッシュカード要素、ビジュアルニュース要素、または表示のために出力される他のタイプの要素を備えてもよい。
後の時点で、ユーザは、後続のバックタップジェスチャ(たとえば、シングルバックタップジェスチャ)を実行して、インジケータ671によって指定される同じカテゴリで表示するために出力される背景ユーザインターフェイス要素を変更し得る。したがって、現在選択されているインジケータ671がスポーツニュースカテゴリに関連付けられている場合、ユーザは、図6Bに示すように、ジェスチャ検出モジュール234によって検出されるように、指616を使用してハウジング603の背面部分601でバックタップジェスチャを実行して、背景モードモジュール243に、背景ユーザインターフェイス要素670を表示から削除し、代わりに、表示デバイス602で異なる背景ユーザインターフェイス要素675を出力させてもよい。この要素675は、インジケータ671に関連付けられたスポーツニュースカテゴリの新しいスポーツ関連ニュースアイテムを含み得る。別の例では、現在選択されているインジケータ671が動物言語カテゴリに関連付けられている場合、ユーザは、指616を使用して、ハウジング603の背面部分601でバックタップジェスチャを実行して、背景モードモジュール243に、インジケータ671に関連付けられている動物言語カテゴリ内の新しい言語ベースのフラッシュカード要素を含み得る背景ユーザインターフェイス要素675を出力させてもよい。
図6Cにも示すように、ユーザは、ハウジング603の1つ以上のエッジもしくは側面部分680において、および/または表示デバイス602の1つ以上の部分(たとえば、表示デバイス602の1つ以上のエッジ部分)においてサイドタップまたはエッジタップ(たとえば、シングルエッジタップ)ジェスチャを実行して、表示デバイス602での表示のために出力される背景ユーザインターフェイス要素のカテゴリを変更し得る。図6Cは、ユーザが指682を使用してこのジェスチャを実行することを示す。指682は、手613またはユーザの別の手の指のような、任意のユーザの指でもよい。
ジェスチャ検出モジュール234がこのジェスチャを特定すると、背景モードモジュール243は、背景ユーザインターフェイス対話において出力される情報のカテゴリを変更し得る。たとえば、背景モードモジュール243は、インジケータ672に関連付けられた第2のカテゴリに切り替えてもよく、背景ユーザインターフェイス要素675を表示から削除し、代わりに、このカテゴリの背景ユーザインターフェイス要素677を出力してもよい。図6Cに示すように、背景モードモジュール243は、現在選択されているカテゴリとしてインジケータ672を視覚的に強調し得る、または他の態様では目立つように表示し得る。
したがって、現在選択されているインジケータ672が天気ニュースカテゴリに関連付けられている場合、ユーザは、指682を使用して、ジェスチャ検出モジュール234によって検出されるように、ハウジング603の1つ以上の側面部分680において、および/または表示デバイス602の1つ以上の部分においてエッジタップジェスチャを実行して、背景モードモジュール243に、天気ニュースカテゴリについて異なる背景ユーザインターフェイス要素677を表示デバイス602において出力させ得る。この要素677は、インジケータ672に関連付けられた天気ニュースカテゴリ内の新しい天気関連ニュース項目を含んでもよい。別の例では、現在選択されているインジケータ672がゲーム言語カテゴリに関連付けられている場合、ユーザは、指682を使用してエッジタップジェスチャを実行して、背景モードモジュール243に、インジケータ672に関連付けられているゲーム言語カテゴリ内の新しい言語ベースのフラッシュカード要素を含み得る背景ユーザインターフェイス要素677を出力させてもよい。背景対話モードを終了または一時停止するために、さまざまな例では、ユーザはダブルバックタップジェスチャを実行し得る。
その結果、背景ユーザインターフェイス対話のためのオフスクリーンタップ認識の使用は、無数の新しい機会を開く。さまざまな場合において、このタイプの対話は、必ずしもスクリーンをロック解除する必要なく、および/または前景で実行されるアプリケーションに関するジェスチャ対話を妨げる必要なく、たとえば、ユーザのお気に入りの背景アプリケーションまたはサービスへの迅速なアクセスを可能にし得る。
図7は、本開示の1つ以上の態様に係る、モバイルコンピューティングデバイス100(図1)および/またはモバイルコンピューティングデバイス200(図2)などのモバイルコンピューティングデバイスによって実行されるプロセス780の動作例を示すフロー図である。例示のみを目的として、図7の動作は、図2に示されるモバイルコンピューティングデバイス200を参照して説明される。
プロセス780は、ハウジング(たとえば、ハウジング203)および存在感知表示デバイス(たとえば、表示デバイス202)を含むモバイルコンピューティングデバイスが(たとえば、モバイルコンピューティングデバイス200のジェスチャ検出モジュール234が)、少なくとも慣性測定ユニット(たとえば、慣性測定ユニット233)によって提供されるセンサ信号の第1のグループに基づいて、ハウジングの1つ以上の部分において実行される少なくとも1つの第1のジェスチャを特定すること(782)を備える。ハウジングの1つ以上の部分は、存在感知表示デバイスとは別個であり、慣性測定ユニットは、モバイルコンピューティングデバイスの1つ以上のセンサ(たとえば、センサ204)に含まれる。
プロセス780はまた、少なくとも1つの第1のジェスチャを特定することに応答して、モバイルコンピューティングデバイスが(たとえば、対話モードセレクタ236および/または対話モードモジュール238を使用して)対話モードを開始すること(784)と、モバイルコンピューティングデバイスの特定の機能に関連付けられた対話モードのための少なくとも1つの視覚または音声インジケータを出力すること(786)とを備える。プロセス780はまた、モバイルコンピューティングデバイスが(たとえば、ジェスチャ検出モジュール234を使用して)、対話モードのための少なくとも1つの視覚または音声インジケータに関連付けられた特定の機能のユーザ選択を確認するために、1つ以上のセンサによって提供されるセンサ信号の第3のグループに基づいて、ハウジングの1つ以上の部分において実行される少なくとも1つの第2のジェスチャを特定すること(788)を備える。少なくとも1つの第2のジェスチャを特定することに応答して、プロセス780はさらに、モバイルコンピューティングデバイスが(たとえば、対話モードモジュール238を使用して)、特定の機能を実行すること(790)を備える。
1つ以上の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つ以上の命令もしくはコードとしてコンピュータ読取可能媒体上に記憶され得る、またはコンピュータ読取可能媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ読取可能媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ読取可能記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ読取可能媒体は、概して、(1)非一時的である有形コンピュータ読取可能記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技術の実行のための命令、コードおよび/またはデータ構造を取り出すために、1つ以上のコンピュータまたは1つ以上のプロセッサによってアクセス可能な任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ読取可能媒体を含み得る。
限定ではなく一例として、そのようなコンピュータ読取可能記憶媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用可能であり、かつ、コンピュータによってアクセス可能である、任意の他の記憶媒体を備え得る。また、いかなる接続もコンピュータ読取可能媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ読取可能記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とする。本明細書で使用するディスク(diskおよびディスクdisc)は、コンパクトディスク(disc:CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc:DVD)、フロッピー(登録商標)ディスク(disk)およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ読取可能媒体の範囲内に含まれるべきである。
命令は、1つ以上のデジタル信号プロセッサ(DSP)などの1つ以上のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明する技術の実行に好適な任意の他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、専用ハードウェアおよび/またはソフトウェアモジュール内で提供され得る。また、本技術は、1つ以上の回路または論理要素において完全に実装され得る。
本開示の技術は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技術を実行するように構成されたデバイスの機能的態様を強調するためにさまざまなコンポーネント、モジュール、またはユニットについて説明したが、これらを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上述したように、さまざまなユニットは、適切なソフトウェアおよび/またはファームウェアとともに、上述したような1つ以上のプロセッサを含むハードウェアユニットにおいて組み合わされ得る、または動作中のハードウェアユニットの集合によって提供され得る。
なお、実施形態に応じて、本明細書で説明される方法のいずれかの特定の行為またはイベントは、異なるシーケンスで実行され得、追加、結合、または完全に除外され得る(たとえば、記載された行為またはイベントの全てが方法の実施に必要であるとは限らない)。さらに、特定の実施形態では、行為またはイベントは、順次ではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて同時に実行され得る。
いくつかの例では、コンピュータ読取可能記憶媒体は、非一時的媒体を備える。「非一時的」という用語は、記憶媒体が搬送波または伝搬信号で具現化されないことを示す。特定の例では、非一時的記憶媒体は、経時的に変化し得るデータを(たとえば、RAMまたはキャッシュに)記憶し得る。
さまざまな例について説明した。これらおよび他の例は、以下の特許請求の範囲内にある。
上述のように、アクセシビリティモード中、ユーザは、1本以上の指を使用して、表示デバイス102において出力されるGUIのコンテンツを探索可能である。場合によっては、対話モードモジュール138は、モバイルコンピューティングデバイス100が現在アクセシビリティモードで動作していることを示す別のグラフィカルアイコン106を出力してもよい。表示デバイス102が存在感知ディスプレイを備える場合、ユーザ(たとえば、視覚障害者ユーザ)は、1本以上の指(たとえば、右手113またはユーザの左手の1本以上の指)を使用して、表示デバイス102において1つ以上のタッチジェスチャ(たとえば、スライドジェスチャまたは動きジェスチャ)を実行し得る。センサ104のうちの1つ以上によって提供されるセンサ信号(たとえば、表示デバイス102によって出力されるGUIの1つ以上の領域における任意の指のタッチまたは存在を特定する1つ以上のセンサ)に基づいて、対話モジュール138は、モバイルコンピューティングデバイス100の特定の機能に関連付けられた対話モードのための少なくとも1つの視覚または音声インジケータを出力し得る。
図2に示されるように、モバイルコンピューティングデバイス200は、電源228を備え得る。いくつかの例では、電源228は電池でもよい。電源228は、モバイルコンピューティングデバイス200の1つ以上のコンポーネントに電力を供給し得る。電源228の非限定的な例としては、亜鉛-炭素、鉛-酸、ニッケルカドミウム(NiCd)、ニッケル金属水素化物(NiMH)、リチウムイオン(Li-イオン)、および/またはリチウムイオンポリマー(Li-イオンポリマー)の化学的性質を有する電池を挙げることができるが、必ずしもこれらに限定されない。いくつかの例では、電源228は、限られた容量(たとえば、1000~3000mAh)を有し得る。
Claims (22)
- 方法であって、
ハウジングと存在感知表示デバイスとを含むモバイルコンピューティングデバイスが、少なくとも慣性測定ユニットによって提供されるセンサ信号の第1のグループに基づいて、前記ハウジングの1つ以上の部分において実行される少なくとも1つの第1のジェスチャを特定することを備え、前記ハウジングの前記1つ以上の部分は、前記存在感知表示デバイスとは別個であり、前記慣性測定ユニットは、前記モバイルコンピューティングデバイスの1つ以上のセンサに含まれ、前記方法はさらに、
前記少なくとも1つの第1のジェスチャを特定することに応答して、前記モバイルコンピューティングデバイスが、対話モードを開始することと、
前記モバイルコンピューティングデバイスが、前記モバイルコンピューティングデバイスの特定の機能に関連付けられた前記対話モードのための少なくとも1つの視覚または音声インジケータを出力することと、
前記モバイルコンピューティングデバイスが、前記対話モードのための前記少なくとも1つの視覚または音声インジケータに関連付けられた前記特定の機能のユーザ選択を確認するために、前記1つ以上のセンサによって提供されるセンサ信号の第2のグループに基づいて、前記ハウジングの前記1つ以上の部分において実行される少なくとも1つの第2のジェスチャを特定することと、
前記少なくとも1つの第2のジェスチャを特定することに応答して、前記モバイルコンピューティングデバイスが、前記特定の機能を実行することとを備える、方法。 - 前記少なくとも1つの第1のジェスチャを特定することは、前記モバイルコンピューティングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の前記第1のグループに基づいて、前記ハウジングの前記1つ以上の部分において実行される少なくとも1つの第1のタップジェスチャを特定することを含み、
前記存在感知表示デバイスは、前記モバイルコンピューティングデバイスの前面側に位置し、
前記ハウジングの前記1つ以上の部分は、(i)前記モバイルコンピューティングデバイスの前記前面側に隣接する前記モバイルコンピューティングデバイスの側に位置する前記ハウジングの少なくとも1つの側面部分、または(ii)前記モバイルコンピューティングデバイスの背面側に位置する前記ハウジングの少なくとも1つの背面部分のうちの1つ以上を含み、前記背面側は、前記モバイルコンピューティングデバイスの前記前面側の反対側にある、請求項1に記載の方法。 - 前記対話モードは、アクセシビリティ対話モードを含み、前記1つ以上のセンサはさらに、前記存在感知表示デバイスを含み、前記方法はさらに、
前記モバイルコンピューティングデバイスが、前記存在感知表示デバイスによって提供されるセンサ信号の第3のグループに基づいて、前記存在感知表示デバイスにおいて出力されるグラフィカルユーザインターフェイスの領域において実行される少なくとも1つの第3のジェスチャを特定することを備え、
前記アクセシビリティ対話モードのための前記少なくとも1つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記少なくとも1つの第3のジェスチャが実行される前記グラフィカルユーザインターフェイスの前記領域に基づいて、前記アクセシビリティ対話モードのための前記少なくとも1つの視覚または音声インジケータを出力することを含む、請求項2に記載の方法。 - 前記アクセシビリティ対話モードのための前記少なくとも1つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記第3のジェスチャが実行される前記グラフィカルユーザインターフェイスの前記領域に表示されるコンテンツを示す音声スピーチを出力することを含み、
前記少なくとも1つの第2のジェスチャを特定することは、前記モバイルコンピューティングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の前記第2のグループに基づいて、前記グラフィカルユーザインターフェイスの前記領域に表示される前記コンテンツに関連付けられた前記特定の機能の前記ユーザ選択を確認するために、前記ハウジングの前記少なくとも1つの背面部分において実行されるバックタップジェスチャを特定することを含む、請求項3に記載の方法。 - 前記第3のジェスチャが実行される前記グラフィカルユーザインターフェイスの前記領域に表示される前記コンテンツは、(i)アプリケーションアイコン、(ii)ウェブリンク、または(iii)グラフィカルキーボードのキーのうちの1つを含み、
前記特定の機能を実行することは、
前記モバイルコンピューティングデバイスが、前記アプリケーションアイコンに関連付けられたアプリケーションを実行すること、
前記モバイルコンピューティングデバイスが、前記ウェブリンクに関連付けられたウェブサイトにアクセスすること、または、
前記モバイルコンピューティングデバイスが、前記グラフィカルキーボードの前記キーを選択することのうちの1つを含む、請求項4に記載の方法。 - 前記アクセシビリティ対話モードのための前記少なくとも1つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記第3のジェスチャが実行される前記グラフィカルユーザインターフェイスの前記領域に表示されるコンテンツの視覚的な拡大図を出力することを含み、
前記少なくとも1つの第2のジェスチャを特定することは、前記モバイルコンピューティングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の前記第2のグループに基づいて、前記グラフィカルユーザインターフェイスの前記領域に表示される前記コンテンツに関連付けられる前記特定の機能の前記ユーザ選択を確認するために、前記ハウジングの前記少なくとも1つの背面部分において実行されるバックタップジェスチャを特定することを含む、請求項3に記載の方法。 - 前記アクセシビリティ対話モードのための前記少なくとも1つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記第3のジェスチャが実行される前記グラフィカルユーザインターフェイスの前記領域に表示される前記コンテンツを示す音声スピーチを出力することをさらに含む、請求項6に記載の方法。
- 前記対話モードはアシスト対話モードを含み、前記方法はさらに、
前記アシスト対話モードを開始することに応答して、前記モバイルコンピューティングデバイスが、前記存在感知表示デバイスにおける表示のために、複数のメニュー項目を含む視覚メニューを出力することと、
前記モバイルコンピューティングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の第3のグループに基づいて、前記モバイルコンピューティングデバイスの検出された動きまたは回転に関連付けられた傾斜ジェスチャを特定することとを備え、
前記アシスト対話モードのための前記少なくとも1つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記存在感知表示デバイスにおける表示のために、前記モバイルコンピューティングデバイスの前記検出された動きもしくは回転の方向または向きのうちの少なくとも1つに基づいて、前記複数のメニュー項目からメニュー項目を出力することを含み、前記メニュー項目は前記特定の機能に関連付けられ、
前記少なくとも1つの第2のジェスチャを特定することは、前記モバイルコンピューティングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の前記第2のグループに基づいて、前記メニュー項目に関連付けられた前記特定の機能の前記ユーザ選択を確認するために、前記ハウジングの前記少なくとも1つの背面部分において実行されるバックタップジェスチャを特定することを含む、請求項2に記載の方法。 - 前記メニュー項目に関連付けられた前記特定の機能は、スクロール機能、スクロールダウン機能、ページバック機能、またはスイッチアプリケーション機能のうちの1つである、請求項8に記載の方法。
- 前記対話モードは、背景対話モードを含み、
前記背景対話モードのための前記少なくとも1つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記存在感知表示デバイスにおける表示のために、前記特定の機能に関連付けられた1つ以上の背景ユーザインターフェイス要素を含む対話型壁紙を出力することを含み、
前記少なくとも1つの第2のジェスチャを特定することは、前記モバイルコンピューティングデバイスが、前記1つ以上のセンサによって提供されるセンサ信号の前記第2のグループに基づいて、前記1つ以上の背景ユーザインターフェイス要素に関連付けられた前記特定の機能の前記ユーザ選択を確認するために、前記少なくとも1つの第2のジェスチャを特定することを含み、
前記少なくとも1つの第2のジェスチャは、(i)前記ハウジングの前記少なくとも1つの側面部分または前記存在感知表示デバイスの少なくとも1つの部分のうちの1つ以上において実行されるエッジタップジェスチャ、または(ii)前記ハウジングの前記少なくとも1つの背面部分において実行されるバックタップジェスチャのうちの1つを含む、請求項2に記載の方法。 - 前記1つ以上の背景ユーザインターフェイス要素は、前記存在感知表示デバイスにおける表示のための1つ以上の視覚フラッシュカード要素または視覚ニュース要素を含む、請求項10に記載の方法。
- 1つ以上の背景ユーザインターフェイス要素は、背景ユーザインターフェイス要素の第1のグループを含み、
前記特定の機能を実行することはさらに、
前記モバイルコンピューティングデバイスが、前記存在感知表示デバイスにおける表示から、前記背景ユーザインターフェイス要素の第1のグループを削除することと、
前記モバイルコンピューティングデバイスが、前記存在感知ディスプレイにおける表示のために、背景ユーザインターフェイス要素の第2のグループを出力することとを含む、請求項10に記載の方法。 - 前記対話モードは、慣性対話モードを含み、
前記1つ以上のセンサはさらに、前記存在感知表示デバイスを含み、
前記少なくとも1つの第1のジェスチャを特定することは、前記モバイルコンピューティングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の前記第1のグループに基づいて、前記ハウジングの前記少なくとも1つの側面部分または前記存在感知表示デバイスの少なくとも1つの部分のうちの1つ以上において実行されるエッジタップジェスチャを特定することを含み、
前記慣性対話モードのための前記少なくとも1つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、グラフィカルユーザインターフェイスの領域内での前記存在感知表示デバイスにおける表示のために、1つ以上のユーザインターフェイスコントロールを出力することを含み、
前記少なくとも1つの第2のジェスチャを特定することは、前記モバイルコンピューティングデバイスが、前記存在感知表示デバイスによって提供されるセンサ信号の前記第2のグループに基づいて、前記1つ以上のユーザインターフェイスコントロールに関連付けられた前記特定の機能の前記ユーザ選択を確認するために、前記グラフィカルユーザインターフェイスの前記領域において実行される前記少なくとも1つの第2のジェスチャを特定することを含む、請求項2に記載の方法。 - 前記少なくとも1つのジェスチャは、前記グラフィカルユーザインターフェイスの前記領域において実行されるスライドジェスチャを含み、
前記特定の機能を実行することは、前記モバイルコンピューティングデバイスが、前記存在感知表示デバイスにおける表示のために、前記1つ以上のユーザインターフェイスコントロールに対する視覚調整を出力することを含む、請求項13に記載の方法。 - 前記少なくとも1つの第1のタップジェスチャを特定することは、前記モバイルコンピューティングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の前記第1のグループに基づいて、前記ハウジングの前記少なくとも1つの背面部分において実行されるダブルバックタップジェスチャを特定することを含む、請求項2~14のいずれか1項に記載の方法。
- 前記ハウジングの前記1つ以上の部分において実行される前記少なくとも1つの第1のタップジェスチャを特定することは、前記モバイルコンピューティングデバイスが、機械学習モジュールおよびニューラルネットワークモデルを使用して、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の前記第1のグループを分析して、前記少なくとも1つの第1のタップジェスチャの1つ以上の属性を決定することを含み、前記1つ以上の属性は、(i)前記少なくとも1つの第1のタップジェスチャに関連付けられた位置、(ii)前記少なくとも1つの第1のタップジェスチャに関連付けられたジェスチャ条件、(iii)前記少なくとも1つの第1のタップジェスチャに関連付けられた力、または(iv)前記少なくとも1つの第1のタップジェスチャに関連付けられた方向のうちの1つ以上を含む、請求項2~15のいずれか1項に記載の方法。
- 前記モバイルコンピューティングデバイスが、前記1つ以上のセンサによって提供されるセンサ信号のさらに別のグループに基づいて、前記対話モードを終了するために、前記ハウジングの1つ以上の部分において実行される少なくとも1つのさらに別のジェスチャを特定することと、
前記少なくとも1つのさらに別のジェスチャを特定することに応答して、前記モバイルコンピューティングデバイスが、前記対話モードを終了することとをさらに備える、請求項1~16のいずれか1項に記載の方法。 - 前記慣性測定ユニットは、加速度計またはジャイロスコープのうちの少なくとも1つを含む、請求項1~17のいずれか1項に記載の方法。
- モバイルコンピューティングデバイスであって、
存在感知表示デバイスと、
前記存在感知表示デバイスに結合されるハウジングと、
慣性測定ユニットを含む1つ以上のセンサと、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサによって実行可能な命令を記憶するように構成されたコンピュータ読取可能ストレージデバイスとを備え、前記命令は、
少なくとも前記慣性測定ユニットによって提供されるセンサ信号の第1のグループに基づいて、前記ハウジングの1つ以上の部分において実行される少なくとも1つの第1のジェスチャを特定させ、前記ハウジングの前記1つ以上の部分は、前記存在感知表示デバイスとは別個であり、前記命令はさらに、
前記少なくとも1つの第1のジェスチャを特定することに応答して、対話モードを開始させ、
前記モバイルコンピューティングデバイスの特定の機能に関連付けられた前記対話モードのための少なくとも1つの視覚または音声インジケータを出力させ、
前記対話モードのための前記少なくとも1つの視覚または音声インジケータに関連付けられた前記特定の機能のユーザ選択を確認するために、前記1つ以上のセンサによって提供されるセンサ信号の第3のグループに基づいて、前記ハウジングの前記1つ以上の部分において実行される少なくとも1つの第2のジェスチャを特定させ、
前記少なくとも1つの第2のジェスチャを特定することに応答して、前記特定の機能を実行させる、モバイルコンピューティングデバイス。 - 前記コンピュータ読取可能ストレージデバイスに記憶された前記命令はさらに、請求項2~18のいずれか1項に記載の方法を実行するために、前記少なくとも1つのプロセッサによって実行可能である、請求項19に記載のモバイルコンピューティングデバイス。
- 実行されると、モバイルコンピューティングデバイスの少なくとも1つのプロセッサに動作を実行させる命令を記憶するコンピュータ読取可能ストレージデバイスであって、前記動作は、
少なくとも慣性測定ユニットによって提供されるセンサ信号の第1のグループに基づいて、前記モバイルコンピューティングデバイスのハウジングの1つ以上の部分において実行される少なくとも1つの第1のジェスチャを特定することを含み、前記ハウジングの前記1つ以上の部分は、存在感知ディスプレイデバイスとは別個であり、前記慣性測定ユニットは、前記モバイルコンピューティングデバイスの1つ以上のセンサに含まれ、前記動作はさらに、
前記少なくとも1つの第1のジェスチャを特定することに応答して、対話モードを開始することと、
前記モバイルコンピューティングデバイスの特定の機能に関連付けられた前記対話モードのための少なくとも1つの視覚または音声インジケータを出力することと、
前記対話モードのための前記少なくとも1つの視覚または音声インジケータに関連付けられた前記特定の機能のユーザ選択を確認するために、前記1つ以上のセンサによって提供されるセンサ信号の第3のグループに基づいて、前記ハウジングの前記1つ以上の部分において実行される少なくとも1つの第2のジェスチャを特定することと、
前記少なくとも1つの第2のジェスチャを特定することに応答して、前記特定の機能を実行することとを含む、コンピュータ読取可能ストレージデバイス。 - 前記命令は、前記コンピューティングデバイスの前記少なくとも1つのプロセッサに、請求項2~18のいずれか1項に記載の方法をさらに実行させる、請求項21に記載のコンピュータ読取可能ストレージデバイス。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2020/070460 WO2022046151A1 (en) | 2020-08-25 | 2020-08-25 | Initiating a computing device interaction mode using off-screen gesture detection |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023539020A true JP2023539020A (ja) | 2023-09-13 |
Family
ID=72428391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023505446A Pending JP2023539020A (ja) | 2020-08-25 | 2020-08-25 | オフスクリーンジェスチャ検出を使用したコンピューティングデバイス対話モードの開始 |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP4204926A1 (ja) |
JP (1) | JP2023539020A (ja) |
KR (1) | KR20230056657A (ja) |
CN (1) | CN116507990A (ja) |
DE (1) | DE112020007543T5 (ja) |
WO (1) | WO2022046151A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090262074A1 (en) * | 2007-01-05 | 2009-10-22 | Invensense Inc. | Controlling and accessing content using motion processing on mobile devices |
US10126904B2 (en) * | 2013-05-09 | 2018-11-13 | Amazon Technologies, Inc. | Mobile device gestures |
DK201870346A1 (en) * | 2018-01-24 | 2019-09-12 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
-
2020
- 2020-08-25 KR KR1020237002827A patent/KR20230056657A/ko unknown
- 2020-08-25 CN CN202080104578.5A patent/CN116507990A/zh active Pending
- 2020-08-25 JP JP2023505446A patent/JP2023539020A/ja active Pending
- 2020-08-25 WO PCT/US2020/070460 patent/WO2022046151A1/en active Application Filing
- 2020-08-25 EP EP20768486.1A patent/EP4204926A1/en active Pending
- 2020-08-25 DE DE112020007543.5T patent/DE112020007543T5/de active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116507990A (zh) | 2023-07-28 |
DE112020007543T5 (de) | 2023-08-03 |
WO2022046151A1 (en) | 2022-03-03 |
KR20230056657A (ko) | 2023-04-27 |
EP4204926A1 (en) | 2023-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11692840B2 (en) | Device, method, and graphical user interface for synchronizing two or more displays | |
US11609681B2 (en) | Reduced size configuration interface | |
US20240004530A1 (en) | Stopwatch and timer user interfaces | |
US11474626B2 (en) | Button functionality | |
US11386266B2 (en) | Text correction | |
US11354015B2 (en) | Adaptive user interfaces | |
US11640237B2 (en) | Handwriting keyboard for screens | |
US10282416B2 (en) | Unified framework for text conversion and prediction | |
US11816325B2 (en) | Application shortcuts for carplay | |
EP3326081B1 (en) | Intelligent device identification | |
US10254948B2 (en) | Reduced-size user interfaces for dynamically updated application overviews | |
JP6602372B2 (ja) | コンテキスト情報に基づくタッチ表面の非アクティブ領域 | |
US20190037004A1 (en) | Remote user interface | |
US20180089166A1 (en) | User interface for providing text prediction | |
US9965035B2 (en) | Device, method, and graphical user interface for synchronizing two or more displays | |
US11249579B2 (en) | Devices, methods, and graphical user interfaces for manipulating embedded interactive content | |
JP2017531246A (ja) | タッチ入力からの利き手の検出 | |
KR20160016526A (ko) | 정보 제공하는 방법 및 이를 위한 전자기기 | |
KR20160016545A (ko) | 정보 제공하는 방법 및 이를 위한 전자기기 | |
JP2023539020A (ja) | オフスクリーンジェスチャ検出を使用したコンピューティングデバイス対話モードの開始 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230824 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230824 |