JP2024056764A - デバイス操作制御 - Google Patents
デバイス操作制御 Download PDFInfo
- Publication number
- JP2024056764A JP2024056764A JP2024014730A JP2024014730A JP2024056764A JP 2024056764 A JP2024056764 A JP 2024056764A JP 2024014730 A JP2024014730 A JP 2024014730A JP 2024014730 A JP2024014730 A JP 2024014730A JP 2024056764 A JP2024056764 A JP 2024056764A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- user input
- action
- identifying
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 192
- 230000009471 action Effects 0.000 claims abstract description 98
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000010408 sweeping Methods 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】バイス及び検出される動作タイプを使用してデバイスを制御する方法を提供する。【解決手段】デバイスが、デバイスの動作を検出する動作検出構成を有するデバイス上の複数の独立したディスプレイ領域における情報の表示を制御し、各ディスプレイ領域は、独立して識別可能であり、学習フェーズの間に、識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信して、動作検出構成を用いてデバイスの動作を検出する動作検出構成によって、検出される動作から動作タイプを識別する、動作タイプを識別するデータと対応する受信したユーザ入力を動作タイプ制御データとして格納、受信、検出、識別及び格納することを反復し、操作段階において、動作検出構成を用いてデバイスの動作を検出し、動作タイプ制御データを用いて動作タイプを識別し、表示される情報に対する対応する操作を実行する。【選択図】図2
Description
本発明は、デバイス及び検出される動作タイプ(motion types)を使用してデバイスを制御する方法に関する。
携帯電話、タブレットコンピュータデバイス、ラップトップのような、持ち運び可能(portable)で移動可能(moveable)なデバイスが、広く使用されている。持ち運び可能なデバイスの設計者にとっての挑戦は、軽量で、バッテリ効率が良く、使用に便利な装置を設計することである。使用の容易さの一面は、ユーザが制御コマンドを入力することができる容易さである。
本発明は、デバイスであって、各ディスプレイ領域が独立して識別可能な複数の独立したディスプレイ領域に情報を表示するディスプレイと、動作タイプ及び1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき対応する操作の識別を含む動作タイプ制御データを格納するメモリと、デバイスの動作を検出する動作検出構成と、学習フェーズの間に1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信するユーザ入力構成と、プロセッサとを含み、プロセッサは、学習フェーズにおいて、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力が受信されるときに、動作検出構成によって検出される動作から動作タイプを識別し、動作タイプ制御データ内の動作タイプを識別するデータに対応する受信されるユーザ入力を格納し、学習フェーズに続いて、動作検出構成が動作を検出するときに、動作タイプ制御データを使用して動作タイプを識別し且つ1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対する対応する操作を実行する、ようにプログラムされる、デバイスを提供する。
本発明は、デバイスの動作を検出する動作検出構成を有するデバイス上の複数の独立したディスプレイ領域における情報の表示を制御する方法であって、各ディスプレイ領域は、独立して識別可能であり、学習フェーズの間に、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信すること、動作検出構成を用いてデバイスの動作を検出すること、動作検出構成によって検出される動作から動作タイプを識別すること、動作タイプを識別するデータと対応する受信されるユーザ入力を動作タイプ制御データとして格納すること、並びに、受信すること、検出すること、識別すること、及び格納することを反復し、操作段階において、動作検出構成を用いて前記デバイスの動作を検出すること、並びに、動作タイプ制御データを用いて動作タイプを識別し、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対する対応する操作を実行することを含む、方法も提供する。
本発明は、デバイスであって、動作タイプ、対応する制御操作、及び対応するジェスチャタイプデータの識別を含む、制御データを格納する、メモリと、デバイスの動作を検出する動作検出構成と、ジェスチャを検出するジェスチャ検出構成と、学習フェーズの間に制御操作を識別するユーザ入力を受信するユーザ入力構成と、プロセッサとを含み、プロセッサは、学習フェーズの間に、制御操作を識別するユーザ入力が受信されるときに、動作検出構成によって検出される動作から動作タイプを識別し、制御データ内の動作タイプを識別するデータと対応する受信されるユーザ入力を格納し、且つ対応するジェスチャタイプデータを決定し、学習フェーズに続いて、動作検出構成が動作を検出するときに、制御データを用いて動作タイプを識別し且つ対応する制御操作を実行し、或いはジェスチャ検出構成がジェスチャを検出するときに、制御データを用いてジェスチャタイプを識別し且つ対応する制御操作を実行する、ようにプログラムされる、デバイスも提供する。
以下の詳細な記述では、詳細な記述の一部を形成し、本発明の主題が実施されることがある具体的な実施形態を例示によって示す、添付の図面を参照する。これらの実施形態は、当業者がそれらを実施することを可能にするよう十分に詳細に記載されている。他の実施形態が利用されてよいこと、並びに発明的な主題の範囲から逸脱することなく、構造的、論理的及び電気的な変更が行われてよいことが理解されるべきである。発明的な主題のそのような実施形態は、単に便宜のために、並びに、1つよりも多くが実際に開示されるならば、この出願の範囲を任意の単一の発明又は発明的な概念に自発的に限定することを意図することなく、本明細書では「発明」という用語によって個別に及び/又は集合的に言及されることがある。
従って、以下の記述は、限定的な意味で解釈されるべきでなく、発明的な主題の範囲は、添付の請求項及びそれらの均等物によって定義される。
以下の実施形態において、同等の構成要素は、同等の参照番号で印されている。
以下の実施形態において、データ格納装置(data store)又はメモリ(memory)という用語は、あらゆるコンピュータ可読記憶媒体及び/又はデバイス(又はデータ記憶媒体及び/又はデバイスの集合)を包含することを意図する。データ格納装置の例は、光ディスク(例えば、CD-ROM、DVD-ROMなど)、磁気ディスク(例えば、ハードディスク、フロッピーディスクなど)、メモリ回路(例えば、ソリッドステートドライブ、ランダムアクセスメモリ(RAM)など)を含むが、これらに限定されない。
本明細書に記載する機能又はアルゴリズムは、1つの実施形態において、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアとの組み合わせで実装される。ソフトウェアは、メモリ又は他のタイプのストレージデバイスのようなコンピュータ可読キャリア媒体に格納されるコンピュータ実行可能な命令を含む。更に、記載の機能は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせであってよい、モジュールに対応してよい。複数の機能が、所望に1つ又はそれよりも多くのモジュールにおいて実行され、記載の実施形態は、単なる例である。ソフトウェアは、デジタル信号プロセッサ、ASIC、マイクロプロセッサ、又は他のタイプのプロセッサ上で実行される。
幾つかの実施形態は、関連する制御及びデータ信号がモジュールの間で及びモジュールを通じて通信される、2つ又はそれよりも多くの特定の相互接続されたハードウェアモジュール又はデバイスにおいて、或いは特定用途向け集積回路の一部として、機能を実装する。よって、例示的なプロセスフローは、ソフトウェア、ファームウェア、及びハードウェアの実装に適用可能である。
一般化された実施形態が、複数の独立したディスプレイ領域に情報を表示するディスプレイであって、各ディスプレイ領域が独立して識別可能であるディスプレイと、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行される動作タイプ(motion types)及び対応する操作(operations)の識別(identifications)を含む動作タイプ制御データを格納するメモリと、デバイスの動作を検出する動作検出構成と、学習フェーズの間に1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行される操作を識別するユーザ入力を受信するユーザ入力構成と、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行される操作を識別するユーザ入力構成と、学習フェーズにおいて、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力が受信されるときに、動作検出構成によって検出される動作から動作タイプを識別し、動作タイプ制御データ中の動作タイプを識別するデータと対応する受信されるユーザ入力を格納し、学習フェーズに続いて、動作検出構成が動作を検出するときに、動作タイプ制御データを用いて動作タイプを識別し、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して対応する操作を実行する、ようにプログラムされる、プロセッサとを含む、デバイスを提供する。
デバイスのユーザは、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を引き起こす入力として使用されるよう、好ましい動作タイプについてデバイスを訓練することができる。このようにして、ユーザは、ユーザがデバイスの特定の識別されるディスプレイ領域と相互作用(対話)して、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行される特定の操作のための好ましい動作タイプを選択する方法を調整することができる。動作タイプの識別は、動作データから動作タイプを識別するために検出される動作データとのマッチングのための各動作タイプについての記録された動作データを含むことができる。1つの実施形態では、動作タイプの全部が学習される必要はなく、一部は予め格納されることができる。
本発明は、持ち運び可能な(portable)デバイスに適するが、そのようなものに限定されない。デバイスは、往復(reciprocal)動作、回転(rotational)動作、又は震動(shaking)動作において動かされることができる、任意のデバイスであることができる。そのようなデバイスは、典型的には、持ち運び可能であり且つ無線であるが、単に移動可能であり且つワイヤによって接続されることができる。デバイスは、別の装置の一部であってよく、従って、デバイスを制御するためにユーザによってもたらされる震動動作、回転動作、又は往復動作を可能にするために、使用中に取外し可能であることができる。デバイスは、携帯電話、タブレットコンピュータ、スマートウォッチ又はパーソナルモニタデバイスのようなウェアラブルデバイス、ラップトップ、又は機械制御デバイスを含むことができる。
1つ又はそれよりも多くの識別されたディスプレイ領域内に表示される情報に対して実行されるべき操作は、ディスプレイの1つ又はそれよりも多くのディスプレイ領域内の表示された情報の切断、ペースト、挿入又は削除のような、ディスプレイ領域内の情報に対する任意の操作を含むことができる。操作は、1つのディスプレイ領域、ディスプレイ領域のサブセット、又は全てのディスプレイ領域での操作に制限されることができる。
ユーザが制御操作の識別及び実行のために使用できる動作のタイプは、例えば、直線動作、往復動作、回転動作、揺動(swaying)動作、シーソー(see-sawing)動作、揺動(swinging)動作、又は揺動(rocking)動作のうちのいずれかを含むことができる。「震動(shake)」の変位又は振幅、「震動」の周波数又は速度(rate)及び/又は「震動」の速さ(speed)/速度(velocity)又は「震動」の活力(vigour)も、デバイスの動作の種類の構成要素であることができる。動作タイプは、単一の動作タイプ又は動作タイプの組み合わせ、例えば、並進往復動作及び回転動作を含むことができ、動作は、複数の方向にあることができる。動作閾値を設定することができ、それによって、動作の速さ又は振幅が閾値を上回るときにのみ、動作タイプが動作データから識別される。これにより、誤った動作タイプ識別、故に、誤った制御操作実行を回避する。動作は、動作又は動作タイプの複雑な混合又は集合、例えば、震動と同時の回転、又は一連の動作、例えば、震動に続く回転、又は1つの方向における回転に続く別の方向における回転を含むことができる。故に、動作のシーケンスは、同じ動作タイプ又は異なる動作タイプのシーケンスであることができる。
デバイスによる動作タイプの認識におけるエラーを低減するために、学習フェーズの間に、1つ又はそれよりも多くの識別されたディスプレイ領域内に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信した後に、所望の動作パターンの何らかの形式の平均が動作タイプ制御データ内で動作タイプを識別するデータとして格納されることができるように、動作が1回よりも多く検出されることができ、動作パターンが毎回記録されることができるように、デバイスはユーザが動作タイプを1回より多く実施することを要求してよい。ユーザが1つ又はそれよりも多くの識別されたディスプレイ領域内に表示される情報に対して実行されるべき動作のための動作タイプであることを望むことが記録された動作のこの平滑化又は平均化は、ユーザが1つ又はそれよりも多くの識別されたディスプレイ領域内に表示される情報に対する操作を引き起こすことを意図する操作フェーズにおいて受信されることがある動作データにおける偏差を学習する際にプロセッサを補助する。動作検出構成からの動作データと動作タイプ制御データに格納された動作データとのマッチングにおけるエラーは低減される。
学習フェーズでは、ユーザが、対応する操作を実行するために使用されるべき一連の所望の動作タイプを表す一連のユーザ入力を入力してよい。故に、学習フェーズにおいて、ユーザ入力を受信することができることに続いて、1つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対して実行されるべき複数の制御操作のための動作タイプ制御データを生成するためのシリーズとして対として動作データを入力することができる。
学習フェーズでは、1つ又はそれよりも多くのディスプレイ領域のユーザ選択を受信して、ユーザ入力の一部として1つ又はそれよりも多くのディスプレイ領域を識別することができる。1つ又はそれよりも多くのディスプレイ領域のユーザ選択は、ポインタ又はタッチ入力を用いて或いは単に識別子によって列挙されるディスプレイ領域のリストからディスプレイ領域を選択することによって行われることができる。
学習フェーズでは、操作が適用されるべき1つ又はそれよりも多くのディスプレイ領域及び表示されるメニュー項目を単に選択することによって、ユーザがユーザ入力を生成することを可能にするように、ユーザにメニューを表示することができる。
代替的な例では、学習フェーズにおいて、デバイスは、制御操作のセットリストを有してよく、ユーザ入力は、1つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対して実行されるべき全ての列挙された操作のための動作タイプを学習するために、リストを実装する選択肢を含む。よって、学習フェーズにおいて、デバイスは、ユーザが、1つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対して実行されるべき列挙される操作のために順次式に、デバイスのための所要の動作タイプを引き起こすことを単に要求する。デバイスは、各制御操作について各タイプの動作がいつ実行されるべきかをユーザに示すことができる。これは、表示されたメッセージ、インジケータライト、又は音声出力によることができる。
動作タイプ及び制御操作は、個々のユーザについて学習されることができる。例えば、ユーザは、ディスプレイ装置を使用するために自分の名前を入力するか或いはサインインすることができ、次に、ユーザが自分の名前を入力するか或いはサインインするときに、学習した動作タイプ及び制御操作が、使用のためにそのユーザのために格納される。
ユーザは、ディスプレイの各領域を同時に使用してよい。更に、ディスプレイスクリーン領域は、ユーザによって要求されるように位置決めされてよく、ユーザによって設定されてよく或いは予め設定されてよい。ユーザは、動作制御を使用して、ディスプレイ領域、例えば、ディスプレイスクリーン領域の一部を選択して位置決めする或いは再位置決めするポイント又は選択されるディスプレイ領域内のデータを操作して、それを再配置してよい。
1つの実施形態において、ユーザは、ディスプレイ領域を選択及び制御することができ、例えば、選択されるディスプレイ領域をタップすることによって、例えば、ディスプレイ領域上でズームインすることによって、ディスプレイ領域を必要に応じて或いはユーザによって望まれるように開くことによって、ディスプレイ領域を開いて調整することができる。これは、ユーザが、例えば、スクリーン全体をカバーするために、ディスプレイ領域を完全に開くことを可能にすることがある。
1つの実施形態において、デバイスは、1つ又はそれよりも多くのディスプレイ領域を備える1つ又はそれよりも多くのディスプレイを備える可撓性(フレキシブル)デバイスを含み、ディスプレイデータは、1つ又はそれよりも多くのディスプレイ領域で、1つ又はそれよりも多くのディスプレイ領域の間でディスプレイデータを移行させることができ、デバイスディスプレイの1つ又はそれよりも多くの側面に現れること及びデバイスディスプレイの1つ又はそれよりも多くの側面で移行することを含む。両側にディスプレイを備えるデバイスは、表示されるデータを表示し且つ制御することができる電子文書リーダを含んでよい。例えば、データは、デバイスの前面Aに表示され、次に、デバイスの逆側である側面Bに移行させられる。
1つの実施形態において、デバイスは、可撓性デバイスを含み、データは、可撓性デバイスの1つ又はそれよりも多くの折り畳まれた又は曲げられた領域に表示されてよく、ユーザは、1つよりも多くのディスプレイが提供されるならば、同じディスプレイ又は別のディスプレイ上のディスプレイ領域の間でデータを移行させるために、動作又はジェスチャを使用することができる。ユーザ入力構成は、キーボード、ポインティングデバイス(例えば、マウス、トラックパッド、又はトラッカーボール)、タッチセンサ方式ディスプレイ及び/又はペンのような、任意の従来的なデバイス入力構成を含むことができる。ペンは、ユーザが手書きテキスト及び図面を入力することを可能にする。
デバイスは、固定的な又は可撓性のディスプレイ又は複数のディスプレイを含むことができるディスプレイを有することができる。ディスプレイ又は複数のディスプレイは、取り外し可能であってよい。複数のディスプレイは、異なるタイプであってよく、例えば、1つが可撓性であり、1つが剛性であってよい。
1つの態様は、方法を実行するための機械のプロセッサによる実行のためのコードを格納する非過渡性記憶媒体、又は方法を実行するための機械のプロセッサによる実行のためのプロセッサ実行可能コードを担持する過渡性媒体のような、キャリア媒体を提供する。実施形態は、コンピュータコードを実装するプログラマブルデジタル論理で実装されることができる。コードは、キャリア媒体上のプロセッサ又はマイクロプロセッサのようなプログラマブル論理に供給されることができる。キャリア媒体の1つのそのような実施形態は、過渡性媒体、すなわち、電気信号、電磁信号、音響信号、磁気信号、又は光信号のような信号である。キャリア媒体の別の形態は、ソリッドステートメモリ、磁気媒体(ハードディスクドライブ)、又は光媒体(コンパクトディスク(CD)又はデジタル多用途ディスク(DVD))のようなコードを格納する、非一時記憶媒体である。
デバイスは、1つの例において、その全文を本明細書に参照によって援用する、2017年12月29日に出願された同時係属中の特許文献1に開示された、ディスプレイ装置の例のうちのいずれかにおいてディスプレイユニットとして使用されることができ、或いはその全文を本明細書に参照によって援用する、この出願と同日に出願された同時係属中の「Display Apparatus」という名称の特許文献2に開示されたデバイスと共に使用されることができる。
次に、図面を参照して、特定の実施形態を記載する。
図1は、手持ち式デバイス1(handheld device)を例示する概略図である。デバイス1は、携帯電話のような任意の手持ち式デバイスを含むことができる。
デバイス1がデバイスの1つ又はそれよりも多くの独立したディスプレイ領域についてのコマンドを入力する方法として受けることのできる動作方向(motion directions)が、図1に矢印によって例示されている。動作は、交差する矢印で示すように、三次元内の3つの軸x、y及びzに沿う3つの方向のいずれかにおいて前後直線動作又は往復動作であることができる。追加的に又は代替的に、動作は、湾曲した矢印A及びBによって示すように、非線形動作、湾曲動作、又は回転動作であることができる。回転動作は、x、y又はz軸のいずれかについての回転であることができる。
図2は、移動式デバイス2(mobile device)を例示する概略図である。
デバイス2は、情報を表示することができるディスプレイスクリーン3を含む。この例において、ディスプレイスクリーン3は、3つの異なるディスプレイ領域において、3つのタイプの情報、すなわち、タイプされたテキスト11、手書きテキスト41、及び画像31を表示している。この実施形態では、異なる情報が異なる領域に表示されているように例示されているが、本発明は、同じ又は異なるディスプレイ領域における同じ情報タイプ又は情報タイプの混合の表示にも当て嵌まる。表示される情報は、例えば、完成されるべき或いは記入されるべき領域、例えば、標準書式(standard form)の手紙における住所領域及び名前領域又は書式中のフィールドを有する、文書又は書式であることができる。ディスプレイ領域に表示される情報は、テキスト、画像、又はビデオのうちのいずれかを含むことができる。情報は、ウェブブラウザ、電子メールアプリケーション、ワードプロセッサ、スプレッドシート、画像エディタなどのような、装置上で実行される任意のアプリケーションによって表示されることができる。手書きテキスト41は、ペンデバイス50を用いて入力されることができる。ディスプレイスクリーン3は、ペンデバイス50の座標を検出してその場所をトラッキング(追跡)し、故に、入力手書きテキスト41を生成するよう、ペンデバイス50の近接性に敏感であることができる。ディスプレイスクリーン3は、例えば、タッチセンサ方式オプションのディスプレイ及び/又はキーボードによって、デバイス2への情報及びコマンドの入力を可能にするよう、タッチ方式であることができる。
図2の例において、デバイス2の動作は、制御操作の実行を引き起こして、例えば、タイプされたテキスト11、手書きテキスト41、又は画像31のうちの1つ又はそれよりも多くのような、表示された情報又は選択的な部分の全てを消去することによって、或いは、例えば、テキスト又は画像データをディスプレイ領域に入力することによって、表示された情報のいずれかを変更することができる。
図3は、デバイスの代替的なディスプレイスクリーン20を例示している。この例では、境界マーキングによって明確に画定される3つの異なるディスプレイ領域、すなわち、タイプされたテキスト11が表示されたタイプされたテキストディスプレイ領域10、画像31を表示する画像ディスプレイ領域30、及びペン50を用いて作成された手書きテキスト41を表示する手書きテキストディスプレイ領域40がある。
図2及び図3は、テキスト又は画像の形態で表示された情報の動作制御(motion control)を例示しているが、動作制御は、任意の表示された情報を含むことができる。ショッピングアプリケーションでは、仮想ショッピングカートを移動させ、充填し、或いは空にすることができ、品目を清算することができる。各制御操作(control operation)は、デバイスが学習フェーズで教えられる関連する制御動作を有することができる。一部の制御オプションは、予め格納されることができ、教えること(ティーチング)を必要としない。
この例のデバイスの動作は、図1の交差する矢印によって示すように、三次元内の3つの軸x、y及びzに沿う3つの方向のいずれかにおける前後線形運動又は往復運動であることができる。追加的に又は代替的に、動作は、図1の湾曲した矢印によって示すように、非直線動作、湾曲動作又は回転動作であることができる。
図3の例では、デバイスの動作は、ディスプレイ領域10、30、及び40のうちの1つ又はそれよりも多くにおいて表示された情報の全部又は一部を消去することができる。表示される領域内の情報に対して実行される操作及び表示される領域のうちの1つ以上は、デバイスの動作に固有のコマンドとして画定される。デバイスは、特定の動作タイプが、1つのディスプレイ領域のみ、ディスプレイ領域のサブセットのみ、又はディスプレイ領域の全てにおいて表示される情報に対して特定の動作を引き起こすように、対応するディスプレイ領域識別子及び情報操作と共に、動作パターンのセットを格納する。
異なるタイプの情報が、図3の異なるディスプレイ領域に表示されているように例示され且つ記載されているが、異なるディスプレイ領域は、同じ情報タイプ又は情報タイプの任意の組み合わせを表示することができる。また、ディスプレイ領域は、情報タイプの混合(ミックス)を表示することができる。図3の例は、例示のためだけのものである。
図2及び図3の例は、認識される動作パターン又はタイプに従って特定のディスプレイ領域における情報の表示を制御する制御操作を記載する。
デバイスの動作検出構成によって検出される動作タイプは、任意の次元又は方向における複数のタイプの動作パターンのうちの任意の1つを検出することができる。異なる動作パターンの例は、前後の震動、左右の震動、上下の震動、左右の回転(側面に対する側面の傾斜)、上下の回転する(上下の傾斜)、及び回転である。これらの各々は、図1に例示する3つの軸のうちの1つに沿う又はそれらのうちの1つについての横方向動作(震動)又は回転動作を表している。開始動作に基づいて、これらの動作タイプの各々の動作タイプの2つのタイプを検出することが可能である。例えば、前後は、前後又は後前であることができ、側側は、左から右又は右から左であることができ、回転は、時計回り回転又は反時計回り回転であることができるなどである。更に、動作が実行される活力(例えば、震動又は相反性の速さ又は周波数)は、異なる動作タイプ又はパターンについての識別特徴として使用されることができる。故に、ディスプレイ装置の同じ空間変位は、変位が実行される速さ、加速度、及び周波数に依存して異なる動作タイプに対応することがある。更に、複雑な動作タイプは、基本動作タイプ、例えば、横方向動作及び回転動作の組み合わせ、又は、相反的な横方向動作と回転動作の組み合わせを含む、複雑な動作パターンを含むことができる。
デバイスのメモリは、動作検出構成によって検出され且つ動作検出構成からの信号からプロセッサによって識別される各動作タイプについてプロセッサによって識別される1つ又はそれよりも多くのディスプレイ領域に実装されるべき一連の操作を格納することができる。これらの操作は、データソースから事前定義又はダウンロードされることができ、それらはユーザ定義されることができ或いは補完されることができる。ユーザ定義又は補完は、学習フェーズ中に行われることができる。
図4は、例示的なデバイスの電子部品を例示する概略図である。
プロセッサ100は、不揮発性方法における表示のためのデータ及び情報の格納のために、オペレーティングシステムコードのようなプロセッサ100によって使用されるコードを格納する、スタティック/不揮発性メモリ102に接続される。揮発性メモリ103は、プロセッサ100による実装のためのアプリケーションコード並びに表示のためのデータ及び情報を格納するために提供される。揮発性メモリは、動作センサ104によって検出される動作パターンを識別するためのコードを含むコード(例えば、コードモジュール)と、独立したディスプレイ領域に表示される情報に対する操作を実行することに応答してディスプレイスクリーン105を制御するためのコード(例えば、コードモジュール)とを格納することができる。メモリは、予め格納された或いは学習フェーズの間に学習された動作タイプに対するディスプレイ領域のための識別子及びディスプレイ領域上のデータマッピング操作を格納することもできる。
ディスプレイスクリーン105は、情報の表示のためにプロセッサ100に接続される。ディスプレイスクリーン105は、入力構成を提供するためのタッチセンサ方式ディスプレイを含むことができる。(図2に示す)ペン50をディスプレイスクリーン105と共に使用して、フリーハンドテキスト又は図面の入力を可能にすることができる。任意的に、カメラ106をプロセッサ100に接続して画像を取り込むこともできる。カメラ106によって取り込まれた画像も対してプロセッサによって実施されるジェスチャ認識を使用して情報及びコマンドの入力のための入力構成としてカメラを使用することもできる。
ネットワークコネクタ101が、通信又はコンピュータネットワークとの通信のためにプロセッサ100に接続される。この通信リンクは、ネットワークを通じてデバイスと他のデバイス又はコンピュータとの間でデータ、情報及び制御を渡すことができる。ネットワークコネクタ101は、有線又は無線接続を使用して通信又はコンピュータネットワークに接続されることができる。例えば、有線接続は、ネットワークコネクタ101がモデム又はルータとして機能するように、LAN又は電話接続部へのイーサネット接続であることができる。無線接続は、WIFI、WiMAX、CDMA、GSM、GPRS、無線ローカルループ又はWANであることができる。低範囲及び低出力の無線通信のために、Bluetooth(TM)が使用されてよい。
デバイスの動作を検出するために、動作センサ104がプロセッサ100に接続される。動作センサ104は、加速度計のような、任意の従来的な動作センサを含むことができる。動作センサ104は、任意の方向におけるデバイスの動作を検出することができる。すなわち、動作センサ104は、三次元における3つの直交軸のいずれかに沿う動作を検出する多軸運動センサである。
上記例のいずれにおいても、両側で情報を見るためにデバイスを裏返すことができるように、デバイスは両側にディスプレイスクリーンを有してよい。制御操作は両側に適用することができ、或いは片側にだけ適用することができる。1つの例において、これは選択的に設定されることができる。ディスプレイ又は複数のディスプレイは、マウントフレームから取り外されることもできる。
1つ又はそれよりも多くの実施形態では、ディスプレイスクリーンをマウントと別個に使用することができるように、デバイスは、ディスプレイスクリーンが取り外し可能な(detachable)又は取り外し可能な(demountable)方法で取り付けられるドッキング部分又はマウントを含むことができる。マウント及びディスプレイスクリーンは、無線リンクを使用して互いの間で通信することができるので、マウントは、プロセッサ及びストレージのような、ディスプレイ装置の幾つかの構成要素を含むことができる一方で、ディスプレイスクリーンは、ディスプレイスクリーンを操作し、ディスプレイスクリーンの動作を検出し、プロセッサと通信するのに必要な構成要素のみを含むことができる。1つの実施形態では、1つよりも多くのディスプレイスクリーンがマウントから取り外し可能に設けられることができ、各ディスプレイスクリーンは、マウント内の共用プロセッサを使用する動作検出による消去操作を提供するように独立して作動する。
デバイスは、オーディオ出力のための1つ又はそれよりも多くのラウドスピーカと、オーディオ入力のための1つ又はそれよりも多くのマイクロホンとを含むことができる。また、デバイスは、デバイスへの情報及びコマンドの入力を可能にするために、有線又は無線接続によってキーボード及び/又はポインティングデバイスのような周辺デバイスに接続することができる。
次に、図5及び図6を参照して、例示的なデバイスを作動させる方法を記載する。
図5は、デバイスの学習フェーズを例示するフロー図である。
ステップS1において、デバイスは、学習フェーズに入る。これは、デバイスの起動時に又はデバイスの他の操作の結果として自動的であることができ、或いは、それは、ユーザ選択、すなわち、デバイスの入力構成を使用することのような、ユーザ入力の結果として自動的であることができる。ステップS2において、デバイスのディスプレイが、ユーザがユーザ入力として動作を使用して実行することを選択することができる1つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対して実行されるべき定義された操作のメニューを表示する。表示されるメニューは、例えば、単にリストであることができ、或いはドロップダウンメニューであることができる。リストは、操作のタイプのカテゴリに編成されることができる。メニューは、操作を適用することができるディスプレイ領域のリストを表示することができ、ユーザは、1つ又はそれよりも多くのディスプレイ領域を選択することができる。代替的に、ユーザが、ディスプレイの領域又は複数の領域を選択するために、例えば、ポインタデバイス又はタッチ入力を使用して、選択された操作が適用されるべき1つ又はそれよりも多くの領域を選択することができるよう、ディスプレイは、選択可能な方法で領域を表示することができる。
ステップS3において、操作メニュー項目のユーザ選択が受信され、次に、ステップS4において、デバイスは、デバイスの動作を検出するために、動作検出器構成、例えば、加速度計を待つ。動作は、動作パターンを取り込むのに適した短い時間期間、例えば、1~2秒に亘って記録される。マッチングプロセスの精度を向上させ、ユーザによる動作パターンの変化を可能にするために、ステップS5において、プロセスは、ループバックして(ループを戻って)、ユーザが動作入力を数(N)回、例えば、3~10回のいずれかを繰り返すことを要求する。より多くの反復は、マッチングプロセスの精度を向上させるが、デバイスの使い勝手を低下させる。すなわち、ユーザは、余りにも多くの動作パターンを反復する要求に耐えられなくなる。
ループバック処理の終了時に、ステップS6において、反復された記録についての記録された動作パターンが平均化され、平均は、ステップS7において、格納された動作タイプ制御データ内の動作タイプに関する情報の一部としての格納のために使用される。記録された動作パターンの間の偏差の程度を示すデータも、操作フェーズ中のマッチングプロセスを支援するために、すなわち、一致(マッチ)が格納された平均動作パターンの予想偏差内にあるかどうかを評価することを支援するために、動作タイプデータの一部として格納されることができる。対応する制御操作を識別する識別子も、格納される動作タイプ制御データの一部として格納される。
次に、プロセスは、ステップS2に戻って、ユーザがメニューから別の操作を選択することを可能にする。ユーザが操作を選択することを終了したならば、ユーザは学習フェーズを終了することを選択することができる。
図6は、学習フェーズに続くデバイスの操作フェーズを示すフロー図である。
ステップS10において、デバイスは、操作フェーズに入り、ステップS11において、デバイスの動作が検出される。ステップS12において、動作のパターンは、動作タイプ制御データ内の動作タイプについて格納されたパターンと比較されて、動作が動作タイプと一致するかどうかが決定される。一致が見出されないならば(ステップS13)、プロセスは、ステップS11に戻って、更なる動作を検出する。一致タイプについて動作が動作データとマッチすることがステップS13において見出されるならば、ステップS14において、1つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対する対応する操作が動作タイプ制御データ内で識別され、ステップS15において、1つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対する操作が実行される。次に、プロセスは、ステップS11に戻って、1つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対する更なる操作のために、デバイスの次の動作を検出する。
図5では、多数の記録された動作操作についての動作データの平均が取られる。しかしながら、本発明は、平均をとることに限定されず、1つだけの動作検出が使用されてよく、或いは、多数が記録されてよく、それらは操作フェーズ中の動作パターンとの個々のマッチングのために個々に格納されることができる。
図5において、ユーザは、その制御操作についての動作タイプをデバイスに教える操作を選択するメニューを提示される。ユーザは、ユーザ入力構成を使用して、1つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対して実行されるべき彼ら自身の操作を定義することができる。
上記の例のいずれにおいても、デバイスは、ユーザが運動検出制御入力方法に関連して制御及び情報を入力することを可能にするために、オーディオ入力のためのオーディオセンサ、キーボード、ポインタデバイス(例えば、マウス)、又はタッチスクリーンのような、他の入力構成を含むことができる。また、画像キャプチャが制御又は情報入力の方法としてのジェスチャ入力を可能にするために、カメラが設けられることもできる。デバイスは、赤外線センサ、例えば、受動赤外線センサ(PIR)を含むことができる。
ディスプレイ領域に表示される情報は、ビデオ(動画、テレビ、3Dビデオ、パノラマビューなど)を含むことができる。
デバイスは、デバイスを制御するためのリモコンを含むことができる。リモコンは、デバイスの動作制御に応じて作動することができる。
実施形態では、動作制御入力に加えて或いは代えて、ユーザがジェスチャを使用して識別されたジェスチャのタイプに依存して制御を入力することができるように、ユーザに面する方向においてビデオを取り込むために、カメラがデバイス内に設けられることができる。ジェスチャ制御は、ユーザの身体部分、すなわち、手、顔の特徴又は全体的な身体位置の移動の認識を含むことができる。パターン認識技法を用いて、ジェスチャのタイプを認識し、それらを識別することができる。例示的なジェスチャタイプは、手を左又は右に掃引すること、上又は下に掃引すること、又は手を振ることを含むことができる。
ジェスチャ制御が動作制御と共に提供される場合には、例えば、ユーザがデバイスを拾うことができない場合に、例えば、ユーザが濡れた手又は汚れた手を有する場合に、ジェスチャ制御消去操作を使用することができる。更に、デバイスは、検出されるジェスチャタイプに応答するように、同じ制御を入力する同等の又は関連する動作タイプを識別するように、並びにディスプレイスクリーンを制御してディスプレイスクリーンにジェスチャコマンドに対するコマンドに均等な動作を模倣させるように、制御されることができる。例えば、動作コマンドが左から右への回転であるならば、同等の又は関連するジェスチャコマンド、例えば、手を左から右へ振ることが識別されたときに、ディスプレイスクリーンは、ジェスチャコマンドが動作コマンドとして認識されたことのユーザへの確認として作用するよう、ディスプレイを左から右へ回転させることができる。均等なジェスチャタイプは、対応する動作タイプからプロセッサによって自動的に決定されることができ、故に、動作タイプデータは、同じ操作についての対応するジェスチャタイプデータを含むことができる。一般的な動きにおいて動作コマンドと一致するジェスチャの使用は、ジェスチャがユーザにとって直感的であることを意味する。例えば、デバイスの回転は、ユーザの手の回転と同等とみなされることができる。
本発明のこの態様は、アプリケーションの実行、デバイスのカメラを使用して写真を撮ること、又はデバイスの状態を変更する任意の他の操作を含む、デバイスへの任意のタイプのコマンドの入力に適用されることができる。この態様は、制御操作の学習及び実行のために図4のハードウェア並びに図5及び図6のフロー図の方法を使用することができる。この態様は、ディスプレイ領域におけるディスプレイ操作の制御に限定されず、代わりにデバイスへの任意の制御操作の入力に適用されることができる。
動作タイプ及び制御操作は、個々のユーザについて学習されることができる。例えば、ユーザは、ディスプレイデバイスを使用するために自分の名前を入力するか或いはサインインすることができ、次に、学習された動作タイプ及び操作は、ユーザが自分の名前を入力するか或いはサインインするときの使用のために、そのユーザのために格納される。
1つの態様において、本発明は、動作制御を補完するジェスチャ制御を提供する。この態様において、デバイスは、動作タイプの識別、対応する制御操作、及び対応するジェスチャタイプデータを含む、制御データを格納するメモリと、デバイスの動作を検出する動作検出構成と、ジェスチャを検出するジェスチャ検出構成と、学習フェーズ中に制御操作を識別するユーザ入力を受信するユーザ入力構成と、学習フェーズにおいて、制御操作を識別するユーザ入力を受信するときに、動作検出構成によって検出される動作から動作タイプを識別し、制御データ内の動作タイプを識別するデータに対応して、受信したユーザ入力を格納し、対応するジェスチャタイプデータを決定し、学習フェーズに続いて、動作検出構成が動作を検出するときに、制御データを使用して動作タイプを識別し且つ対応する制御操作を実行し、或いはジェスチャ検出構成がジェスチャを検出するときに、制御データを使用してジェスチャタイプを識別し且つ対応する制御操作を実行する、ようにプログラムされる、プロセッサとを含む。
この態様において、デバイスは、移動性であることができ、或いは固定される/取り付けられることができる。ユーザが識別されるジェスチャのタイプに依存してジェスチャを制御入力として使用することができるよう、ユーザに面する方向においてビデオを取り込むために、デバイス内にカメラを設けることができる。ジェスチャ制御は、ユーザの身体部分、すなわち、手、顔の特徴、又は全体的な身体位置の移動の認識、又はスティック、定規、又はユーザが着用する何かのような、ユーザによって動かされる物体の認識を含むことができる。パターン認識技法を用いて、ジェスチャのタイプを認識し、それらを識別することができる。例示的なジェスチャタイプは、手を左又は右に掃引すること、上又は下に掃引すること、又は手を振ることを含むことができる。ジェスチャは、学習フェーズにおいて学習されたデバイスの動作と一致する。例えば、デバイスの回転は、ユーザの手の回転によって模倣されることができる。
発明的な主題の性質を説明するために記載され且つ例示した部品及び方法段階の詳細、材料、及び構成における様々な他の変更は、添付の請求項に示されるような発明的な主題の原理及び範囲から逸脱することなく行われてよいことが、当業者に容易に理解されるであろう。
Claims (20)
- デバイスであって、
各ディスプレイ領域が独立して識別可能な複数の独立したディスプレイ領域に情報を表示するディスプレイと、
1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき動作タイプ及び対応する操作の識別を含む動作タイプ制御データを格納するメモリと、
当該デバイスの動作を検出する動作検出構成と、
学習フェーズの間に1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信するユーザ入力構成と、
プロセッサと、を含み、該プロセッサは、学習フェーズにおいて、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力が受信されるときに、前記動作検出構成によって検出される動作から動作タイプを識別し、前記動作タイプ制御データ内の前記動作タイプを識別するデータに対応する前記受信されるユーザ入力を格納し、前記学習フェーズに続いて、前記動作検出構成が動作を検出するときに、前記動作タイプ制御データを用いて動作タイプを識別し且つ1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対する前記対応する操作を実行する、ようにプログラムされる、
デバイス。 - 前記プロセッサは、前記学習フェーズにおいて、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力が受信されるときに、前記動作検出構成から複数回受信される前記検出される動作を平均化することによって前記動作タイプを識別し、前記動作タイプ制御データ内の前記動作タイプを識別するデータと対応する前記受信されるユーザ入力を格納する、ようにプログラムされる、請求項1に記載のデバイス。
- 前記プロセッサは、前記学習フェーズにおいて、複数のユーザ入力を受信し、各ユーザ入力について前記動作検出構成によって検出される動作から前記動作タイプを識別し、前記動作タイプ制御データ内の前記それぞれの動作タイプを識別するデータと対応する前記受信されるユーザ入力を格納する、ようにプログラムされる、請求項1又は2に記載のデバイス。
- 前記プロセッサは、複数の方向における動作の組み合わせを含む複数の動作タイプを識別するようにプログラムされる、請求項1乃至3のうちのいずれか1項に記載のデバイス。
- 前記方向は、横方向及び/又は回転方向のうちの少なくとも1つを含む、請求項4に記載のデバイス。
- 前記プロセッサは、前記学習フェーズにおいて、1つ又はそれよりも多くのディスプレイ領域のユーザ選択を受信して、前記1つ又はそれよりも多くのディスプレイ領域を前記ユーザ入力の一部として識別するようにプログラムされる、請求項1乃至5のうちのいずれか1項に記載のデバイス。
- 前記プロセッサは、前記学習フェーズにおいて、1つ又はそれよりも多くのディスプレイ領域に表示される情報に対して実行されるべき操作のメニューを表示するよう前記ディスプレイを制御するようにプログラムされ、前記ユーザ入力構成は、前記メニュー内の1つ又はそれよりも多くのディスプレイ領域に表示される情報に対して実行されるべき前記操作のうちの1つの操作のユーザ選択及び前記操作が前記ユーザ入力として適用する前記ディスプレイ領域のうちの1つ又はそれよりも多くのディスプレイ領域の選択を受信するように構成される、請求項1乃至5のうちのいずれか1項に記載のデバイス。
- 前記プロセッサは、前記学習フェーズにおいて、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作のリストを表示するよう前記ディスプレイを制御するようにプログラムされ、前記ユーザ入力構成は、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力のリストとして前記リストを選択するユーザ選択及び前記操作が前記ユーザ入力として適用する前記ディスプレイ領域のうちの1つ又はそれよりも多くのディスプレイ領域の選択を受信するように構成され、前記プロセッサは、各ユーザ入力について前記動作検出構成によって検出される動作から前記動作タイプを識別し、前記動作タイプ制御データ内の前記それぞれの動作タイプを識別するデータと対応する前記ユーザ入力を格納する、ようにプログラムされる、請求項1乃至5のうちのいずれか1項に記載のデバイス。
- 前記プロセッサは、複数の方向における複数の動作パターンを識別し、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対する前記対応する操作を実行する、ようにプログラムされる、請求項1乃至8のうちのいずれか1項に記載のデバイス。
- デバイスの動作を検出する動作検出構成を有する前記デバイス上の複数の独立したディスプレイ領域における情報の表示を制御する方法であって、各ディスプレイ領域は、独立して識別可能であり、
学習フェーズの間に、
1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信すること、
前記動作検出構成を用いて前記デバイスの動作を検出すること、
前記動作検出構成によって検出される前記動作から動作タイプを識別すること、
前記動作タイプを識別するデータと対応する前記受信されるユーザ入力を動作タイプ制御データとして格納すること、並びに
前記受信すること、前記検出すること、前記識別すること、及び前記格納することを反復し、
操作段階において、
前記動作検出構成を用いて前記デバイスの動作を検出すること、並びに
前記動作タイプ制御データを用いて動作タイプを識別し、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対する前記対応する操作を実行することを含む、
方法。 - 前記学習フェーズにおいて、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力が受信されるときに、前記動作タイプは、前記動作検出構成から複数回受信される前記検出される動作を平均化することによって識別され、前記受信されるユーザ入力は、前記動作タイプ制御データ内の前記動作タイプを識別するデータと対応して格納される、請求項10に記載の方法。
- 前記動作タイプは、複数の方向における動作の組み合わせを含む、請求項10又は11に記載の方法。
- 前記方向は、横方向及び/又は回転方向のうちの少なくとも1つを含む、請求項12に記載の方法。
- 前記学習フェーズにおいて、1つ又はそれよりも多くのディスプレイ領域のユーザ選択を受信して、前記1つ又はそれよりも多くのディスプレイ領域を前記ユーザ入力の一部として識別することを含む、請求項10乃至13のうちのいずれか1項に記載の方法。
- 前記学習フェーズにおいて、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作のメニューを表示することを含み、前記ユーザ入力は、前記メニュー内の1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき前記操作のうちの1つの操作のユーザ選択及び前記操作が前記ユーザ入力として適用する前記ディスプレイ領域のうちの1つ又はそれよりも多くのディスプレイ領域の選択として受信される、請求項10乃至13のうちのいずれか1項に記載の方法。
- 前記学習フェーズにおいて、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作のリストを表示することを含み、前記ユーザ入力は、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力のリストとして前記リストを選択するユーザ選択及び前記操作が前記ユーザ入力として適用する前記ディスプレイ領域のうちの1つ又はそれよりも多くのディスプレイ領域の選択として受信され、動作タイプは、各ユーザ入力について前記動作検出構成によって検出される前記動作から識別され、前記ユーザ入力は、前記動作タイプ制御データ内の前記それぞれの動作タイプを識別するデータと対応して格納される、請求項10乃至13のうちのいずれか1項に記載の方法。
- 複数の方向における複数の動作パターンが、1つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき前記対応する操作を実行するように識別される、請求項10乃至16のうちのいずれか1項に記載の方法。
- 請求項10乃至17のうちのいずれか1項に記載の方法を実装するようプロセッサによる実行のためのプロセッサ実装可能なコードを担持する、キャリア媒体。
- デバイスであって、
動作タイプ、対応する制御操作、及び対応するジェスチャタイプデータの識別を含む、制御データを格納する、メモリと、
当該デバイスの動作を検出する動作検出構成と、
ジェスチャを検出するジェスチャ検出構成と、
学習フェーズの間に制御操作を識別するユーザ入力を受信するユーザ入力構成と、
プロセッサと、を含み、該プロセッサは、
前記学習フェーズの間に、制御操作を識別するユーザ入力が受信されるときに、前記動作検出構成によって検出される動作から動作タイプを識別し、前記制御データ内の前記動作タイプを識別するデータと対応する前記受信されるユーザ入力を格納し、且つ対応するジェスチャタイプデータを決定し、
前記学習フェーズに続いて、前記動作検出構成が動作を検出するときに、前記制御データを用いて動作タイプを識別し、前記対応する制御操作を実行し、或いは、前記ジェスチャ検出構成がジェスチャを検出するときに、前記制御データを用いてジェスチャタイプを識別し、前記対応する制御操作を実行する、ようにプログラムされる、
デバイス。 - 前記ジェスチャ検出構成は、カメラを含む、請求項19に記載のデバイス。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1805269.6 | 2018-03-29 | ||
GB1805269.6A GB2572434A (en) | 2018-03-29 | 2018-03-29 | Device operation control |
PCT/GB2019/050933 WO2019186203A1 (en) | 2018-03-29 | 2019-03-29 | Device operation control |
JP2020552899A JP2021519977A (ja) | 2018-03-29 | 2019-03-29 | デバイス操作制御 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552899A Division JP2021519977A (ja) | 2018-03-29 | 2019-03-29 | デバイス操作制御 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024056764A true JP2024056764A (ja) | 2024-04-23 |
Family
ID=62142364
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552899A Pending JP2021519977A (ja) | 2018-03-29 | 2019-03-29 | デバイス操作制御 |
JP2024014730A Pending JP2024056764A (ja) | 2018-03-29 | 2024-02-02 | デバイス操作制御 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552899A Pending JP2021519977A (ja) | 2018-03-29 | 2019-03-29 | デバイス操作制御 |
Country Status (8)
Country | Link |
---|---|
EP (1) | EP3776160A1 (ja) |
JP (2) | JP2021519977A (ja) |
KR (1) | KR20210002512A (ja) |
CN (1) | CN112041804A (ja) |
GB (1) | GB2572434A (ja) |
SG (1) | SG11202009628UA (ja) |
WO (1) | WO2019186203A1 (ja) |
ZA (1) | ZA202100682B (ja) |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6798429B2 (en) * | 2001-03-29 | 2004-09-28 | Intel Corporation | Intuitive mobile device interface to virtual spaces |
US20050212760A1 (en) * | 2004-03-23 | 2005-09-29 | Marvit David L | Gesture based user interface supporting preexisting symbols |
KR100819880B1 (ko) * | 2006-12-01 | 2008-04-07 | 삼성전자주식회사 | 휴대단말기의 기능 실행 방법 |
US8391786B2 (en) * | 2007-01-25 | 2013-03-05 | Stephen Hodges | Motion triggered data transfer |
KR100912310B1 (ko) * | 2008-04-17 | 2009-08-14 | 엘지전자 주식회사 | 사용자의 제스쳐를 검출하여 사용자 인터페이스를 제어하는방법 |
KR20100096425A (ko) * | 2009-02-24 | 2010-09-02 | 삼성전자주식회사 | 모션 센서 기반의 동작 인식 방법 및 이를 이용한 휴대 단말기 |
US9483085B2 (en) * | 2011-06-01 | 2016-11-01 | Blackberry Limited | Portable electronic device including touch-sensitive display and method of controlling same |
CN102420942A (zh) * | 2011-11-28 | 2012-04-18 | 康佳集团股份有限公司 | 一种基于拍照设备的拍照控制方法及拍照设备 |
CN102722239A (zh) * | 2012-05-17 | 2012-10-10 | 上海冠勇信息科技有限公司 | 移动设备的非接触式控制方法 |
US20140184495A1 (en) * | 2012-12-31 | 2014-07-03 | Joseph Patrick Quin | Portable Device Input by Configurable Patterns of Motion |
US9229529B2 (en) * | 2013-12-19 | 2016-01-05 | Sony Corporation | Apparatus and control method based on motion |
JP6324203B2 (ja) * | 2014-05-14 | 2018-05-16 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム、記録媒体 |
KR102275653B1 (ko) * | 2014-10-21 | 2021-07-09 | 삼성전자주식회사 | 웨어러블 디바이스 및 컨텐츠 전송 방법. |
CN104639966A (zh) * | 2015-01-29 | 2015-05-20 | 小米科技有限责任公司 | 遥控方法及装置 |
US9996164B2 (en) * | 2016-09-22 | 2018-06-12 | Qualcomm Incorporated | Systems and methods for recording custom gesture commands |
-
2018
- 2018-03-29 GB GB1805269.6A patent/GB2572434A/en not_active Withdrawn
-
2019
- 2019-03-29 EP EP19717551.6A patent/EP3776160A1/en not_active Withdrawn
- 2019-03-29 WO PCT/GB2019/050933 patent/WO2019186203A1/en active Application Filing
- 2019-03-29 JP JP2020552899A patent/JP2021519977A/ja active Pending
- 2019-03-29 KR KR1020207031364A patent/KR20210002512A/ko active Search and Examination
- 2019-03-29 SG SG11202009628UA patent/SG11202009628UA/en unknown
- 2019-03-29 CN CN201980029126.2A patent/CN112041804A/zh active Pending
-
2021
- 2021-01-29 ZA ZA2021/00682A patent/ZA202100682B/en unknown
-
2024
- 2024-02-02 JP JP2024014730A patent/JP2024056764A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
GB2572434A (en) | 2019-10-02 |
ZA202100682B (en) | 2023-10-25 |
GB201805269D0 (en) | 2018-05-16 |
KR20210002512A (ko) | 2021-01-08 |
WO2019186203A1 (en) | 2019-10-03 |
JP2021519977A (ja) | 2021-08-12 |
SG11202009628UA (en) | 2020-10-29 |
EP3776160A1 (en) | 2021-02-17 |
CN112041804A (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5429060B2 (ja) | 表示制御装置、表示制御方法、表示制御プログラム並びにこの表示制御プログラムが記録された記録媒体 | |
US10203837B2 (en) | Multi-depth-interval refocusing method and apparatus and electronic device | |
CN106200899A (zh) | 根据用户头部动作控制虚拟现实交互的方法及系统 | |
US10949668B2 (en) | Electronic apparatus and method for controlling thereof | |
US20130155108A1 (en) | Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture | |
CN107407945A (zh) | 从锁屏捕获图像的系统和方法 | |
CN102163127A (zh) | 触敏显示器上的手势 | |
US20120284668A1 (en) | Systems and methods for interface management | |
US9891713B2 (en) | User input processing method and apparatus using vision sensor | |
JP5865615B2 (ja) | 電子機器および制御方法 | |
CN204945943U (zh) | 用于为外部显示设备提供远程控制信号的远程控制设备 | |
KR20150011885A (ko) | 디바이스의 사용자 인터페이스 제공 방법 및 그 디바이스 | |
CN103927093B (zh) | 一种信息处理方法及电子设备 | |
CN106200900A (zh) | 基于识别区域在视频中触发虚拟现实交互的方法及系统 | |
JP2024056764A (ja) | デバイス操作制御 | |
CN110827412A (zh) | 自适应平面的方法、装置和计算机可读存储介质 | |
JP7379364B2 (ja) | ディスプレイ装置 | |
JP6843564B2 (ja) | 表示制御装置、その制御方法およびプログラム | |
JP2015176483A (ja) | 画像処理プログラム、画像処理方法、及び情報処理装置 | |
JP2016015078A (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
JP6409932B2 (ja) | 画像処理プログラム、画像処理方法、及び情報処理装置 | |
KR101898162B1 (ko) | 다중 센서감지를 통해 다른 기기로 추가기능 및 피드백을 제공하는 기기 및 방법 | |
JP7030527B2 (ja) | 電子機器、情報処理方法、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240229 |