JP6366863B1 - ユーザインタフェース装置 - Google Patents
ユーザインタフェース装置 Download PDFInfo
- Publication number
- JP6366863B1 JP6366863B1 JP2017560630A JP2017560630A JP6366863B1 JP 6366863 B1 JP6366863 B1 JP 6366863B1 JP 2017560630 A JP2017560630 A JP 2017560630A JP 2017560630 A JP2017560630 A JP 2017560630A JP 6366863 B1 JP6366863 B1 JP 6366863B1
- Authority
- JP
- Japan
- Prior art keywords
- event
- notification
- unit
- tactile feedback
- management unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 230000015541 sensory perception of touch Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 18
- 230000005587 bubbling Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000000644 propagated effect Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/014—Force feedback applied to GUI
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
Description
触覚フィードバックの通知は、例えば、タッチパネルなどに組み込まれているデバイスが、タッチパネルに触れているユーザの指などに振動等を与えることで達成される。
このユーザインタフェース装置では、例えば、イベントAの優先順位が、イベントBの優先順位よりも高く設定されているとき、イベントAとイベントBが同時に検出された場合、イベントAによる触覚フィードバックの通知が行われるが、イベントBによる触覚フィードバックの通知は行われない。
これにより、複数のイベントが同時に検出された場合、優先順位が最も高いイベントによる触覚フィードバックの通知だけを行うことができるので、不要な通知を減らすことができる。
図1は、この発明の実施の形態1によるユーザインタフェース装置を示す構成図であり、図2は、この発明の実施の形態1によるユーザインタフェース装置を示すハードウェア構成図である。
図1及び図2において、ディスプレイ1には、グラフィカルユーザインタフェースであるGUI部品が表示される。
操作受付部2は、例えば図2に示す操作受付回路21で実現され、タッチパネル3、マウス4及びキーボード5などを備えている。
操作受付部2は、GUI部品が表示されているディスプレイ1の画面に対する操作を受け付ける処理を実施する。
演算装置6のイベント検出部7は、例えば図2に示すイベント検出回路22で実現される。
イベント検出部7は、操作受付部2におけるタッチパネル3、マウス4又はキーボード5により受け付けられた操作をイベントとして検出する処理を実施する。
イベント管理部8は、イベント検出部7により検出されたイベントが、ユーザの触覚を刺激する触覚フィードバックの通知を伴うイベントであるか否かを判定する処理を実施する。
イベント管理部8は、触覚フィードバックの通知を伴うイベントであると判定すれば、イベント検出部7により検出されたイベントを管理する処理を実施する。
イベント管理部8は、管理しているイベントによる触覚フィードバックの通知理由に基づいて、管理しているイベントによる触覚フィードバックの通知を許可するか否かを判定する処理を実施する。
イベント処理部9は、イベント検出部7により検出されたイベントの処理をGUI部品に実行させる処理部である。
通知指示部10は、イベント管理部8により通知が許可された場合、触覚フィードバックの通知をフィードバック通知部11に指示する処理を実施する。
フィードバック通知部11は、例えば図2に示す触覚フィードバックデバイス26で実現される。
図1では、フィードバック通知部11が操作受付部2と接続されているように描かれているが、この実施の形態1では、触覚フィードバックデバイス26が、タッチパネル3、マウス4及びキーボード5のそれぞれに組み込まれていることを想定している。
フィードバック通知部11は、通知指示部10の指示に従って触覚フィードバックを操作受付部2に通知する。
ここで、イベント検出回路22、イベント管理回路23、イベント処理回路24及び通知指示回路25は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、または、これらを組み合わせたものが該当する。
ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)などが該当する。
ユーザインタフェース装置における演算装置6がソフトウェア又はファームウェアなどで実現される場合、イベント検出部7、イベント管理部8、イベント処理部9及び通知指示部10の処理手順をコンピュータに実行させるためのプログラムをメモリ31に格納し、コンピュータのプロセッサ32がメモリ31に格納されているプログラムを実行するようにすればよい。
図4及び図5は、ユーザインタフェース装置における演算装置6がソフトウェア又はファームウェアなどで実現される場合の処理手順を示すフローチャートである。
図6は、ディスプレイ1の画面に表示されているGUI部品の一例を示す説明図である。
図6において、ウインドウ101、リスト102及びボタン103のそれぞれは、GUI部品である。
GUI部品であるリスト102は、複数のリスト要素として、リスト要素(1)、リスト要素(2)及びリスト要素(3)を含んでいる。
GUI部品であるウインドウ101、リスト102及びボタン103は、階層構造で構成されている。
このため、ウインドウ101内のGUI部品は、GUI部品の木構造で表現され、ウインドウ101を示すノード111の子ノードとして、リスト102を示すノード112と、ボタン103を示すノード113とが存在する。また、リスト102を示すノード112の直下には、リスト要素(1)を示すノード114、リスト要素(2)を示すノード115及びリスト要素(3)を示すノード116が存在する。
また、ウインドウ101は、フォーカスがボタン103に当たっているとき、フォーカスの位置をリスト102に移動させるイベントが検出された場合、フォーカスの位置が他のGUI部品に移動したことをユーザに知らせるために、触覚フィードバックの通知をイベント管理部8に要求するものとする。
さらに、ウインドウ101は、フォーカスがボタン103に当たっているとき、フォーカスを下方向に移動させるイベントが検出された場合、フォーカスの位置がウインドウ101の終端である下端に当たることをユーザに知らせるために、触覚フィードバックの通知をイベント管理部8に要求するものとする。
GUI部品であるリスト102は、フォーカスがリスト要素(3)に当たっているとき、フォーカスを下方向に移動させるイベントが検出された場合、フォーカスの位置がリスト102の終端である下端に当たることをユーザに知らせるために、触覚フィードバックの通知をイベント管理部8に要求するものとする。
図6に示す木構造において、例えば、フォーカスがリスト要素(1)に当たっているとき、イベントが検出された場合、当該イベントが、リスト要素(1)を示すノード114→リスト102を示すノード112→ウインドウ101を示すノード111の順に伝搬される。
ただし、イベント管理部8は、例えば、イベント検出部7により検出されたイベントの処理が完了している場合、イベントバブリングを停止する。
例えば、フォーカスがボタン103に当たっているとき、ユーザが、例えば、操作受付部2におけるキーボード5の下矢印キーを押下した場合を考える。
図6の例では、ウインドウ101内において、ボタン103の下方向にはGUI部品が配置されていない。このため、ユーザが、キーボード5の下矢印キーを押下すると、フォーカスの位置がウインドウ101の終端である下端に当たり、フォーカスの位置を他のGUI部品に移動させることができない。
これにより、フォーカスの位置がウインドウ101の終端に到達していることをユーザに知らせるために、GUI部品であるウインドウ101から、触覚フィードバックの通知要求がイベント管理部8に出力される。
この要求に従って触覚フィードバックの通知が行われた場合、ユーザは、フォーカスの位置をボタン103の下方向に移動させることができないことを認識できるため、この触覚フィードバックの通知は、有効な通知であると考えられる。
図6の例では、ウインドウ101内において、リスト要素(3)の下方向にはボタン103が配置されており、ユーザが、キーボード5の下矢印キーを押下すれば、フォーカスの位置をボタン103に移動させることができる。
したがって、フォーカスがリスト要素(3)に当たっているとき、ユーザがキーボード5の下矢印キーを押下すると、フォーカスの位置が異なるGUI部品に移動する。即ち、フォーカスの位置がリスト102のリスト要素(3)からボタン103に移動する。
このため、フォーカスの位置が異なるGUI部品に移動していることをユーザに知らせるために、GUI部品であるウインドウ101から、触覚フィードバックの通知要求がイベント管理部8に出力される。以下、この触覚フィードバックの通知要求を通知要求R1と称する。
また、フォーカスの位置がリスト102のリスト要素(3)からボタン103に移動する際、フォーカスの位置がリスト102の終端である下端に当たるため、GUI部品であるリスト102から、触覚フィードバックの通知要求がイベント管理部8に出力される。以下、この触覚フィードバックの通知要求を通知要求R2と称する。
また、フォーカスの位置がリスト102の終端に当たったとしても、フォーカスの位置を移動することができるため、通知要求R2による触覚フィードバックの通知は、不要な通知であると考えられる。
したがって、通知要求R1による触覚フィードバックの通知だけを実行して、通知要求R2による触覚フィードバックの通知の実行を防ぐことが望ましいと考えられる。
以下、この実施の形態1では、例えば、通知要求R1,R2に対する優先順位を設定することなく、通知要求R1による触覚フィードバックの通知だけを実行して、通知要求R2による触覚フィードバックの通知の実行を防ぐことができるユーザインタフェース装置について説明する。
ここでは、説明の便宜上、ユーザが、操作受付部2におけるタッチパネル3、マウス4又はキーボード5によって、リスト102内のリスト要素(3)の位置からウインドウ101の下端に至る位置まで、フォーカスの位置を下方向に移動させる操作が行われたものとする。
演算装置6のイベント検出部7は、操作受付部2により受け付けられた操作をイベントEとして検出する(図4のステップST1)。
操作受付部2により受け付けられた操作は、リスト102内のリスト要素(3)の位置からウインドウ101の下端に至る位置まで、フォーカスの位置を下方向に移動させる操作であるため、イベント検出部7により検出されたイベントEには、以下のイベントE1,E2が含まれている。
イベントE1
→ フォーカスの位置をリスト要素(3)からボタン103に移動させるイベント
イベントE2
→ フォーカスの位置をボタン103からウインドウ101の下端に移動させるイベント
イベント管理部8は、現在、フォーカスが当たっているGUI部品を特定し(図4のステップST2)、特定したGUI部品をイベント処理部9に通知する。
この実施の形態1では、現在のフォーカスの位置がリスト要素(3)であるため、現在、フォーカスが当たっているGUI部品として、リスト102が特定されるものとする。
この実施の形態1では、フォーカスが当たっているGUI部品として、リスト102が特定されているので、イベント処理部9は、イベント検出部7により検出されたイベントEに含まれているイベントE1の処理をリスト102に実行させる(図4のステップST3)。
リスト102は、イベントE1の処理を実行することで、フォーカスの位置がリスト102の終端である下端に当たるため、イベント処理部9を介して、触覚フィードバックの通知要求R2をイベント管理部8に出力する。
この実施の形態1では、イベント管理部8は、リスト102から触覚フィードバックの通知要求R2が出力されているため、イベントE1は、触覚フィードバックの通知を伴うイベントであると判定する。
ここでは、リスト102から触覚フィードバックの通知要求R2が出力されている例を示しているが、例えば、フォーカスの位置をリスト102内のリスト要素(1)からリスト要素(2)に移動させるイベントなどである場合、リスト102又はウインドウ101などから触覚フィードバックの通知要求が出力されない。このため、このようなイベントであれば、触覚フィードバックの通知を伴うイベントではないと判定される。
なお、ここでは、触覚フィードバックの通知要求を伴わないイベントの例として、リスト要素(1)からリスト要素(2)に移動させるイベントを挙げているが、ソフトウェアの仕様等によっては、リスト要素(1)からリスト要素(2)に移動させるイベントが、触覚フィードバックの通知要求を伴うイベントであることもあり得る。
イベント管理部8は、イベントE1が、触覚フィードバックの通知を伴うイベントであると判定すると(図4のステップST4:YESの場合)、イベントE1を管理するため、触覚フィードバック用に用意しているメモリ領域であるキューに、イベントE1を格納する(図4のステップST5)。
ここでは、イベント管理部8によって、イベントE1が、触覚フィードバックの通知を伴うイベントであると判定される例を示しているが、もし、イベントE1が、触覚フィードバックの通知を伴うイベントではないと判定されれば(図4のステップST4:NOの場合)、イベントE1を管理する必要がないため、イベント管理部8は、イベントE1をキューに格納しない。
この段階では、イベント管理部8は、イベント検出部7により検出されたイベントEの処理を完了していないため、イベントバブリングを停止しないと判定する。
イベント管理部8は、イベントバブリングを停止しないと判定すると(図4のステップST6:NOの場合)、ステップST2の処理で特定しているGUI部品であるリスト102から、リスト102の親のGUI部品であるウインドウ101に、イベントE1,E2を伝搬させるイベントバブリングを行う(図4のステップST7)。
また、イベントE2は、フォーカスの位置をボタン103からウインドウ101の下端に移動させるイベントであるため、イベントE2は、リスト102の親のGUI部品であるウインドウ101でなければ、イベント処理を実行することができない。
このため、イベントE1,E2をウインドウ101に伝搬させるイベントバブリングが行われる。
ウインドウ101は、イベントE1の処理を実行することで、フォーカスの位置をリスト102内のリスト要素(3)からボタン103に移動させるため、イベント処理部9を介して、触覚フィードバックの通知要求R1をイベント管理部8に出力する。
この実施の形態1では、イベント管理部8は、ウインドウ101から触覚フィードバックの通知要求R1が出力されているため、イベントE1は、触覚フィードバックの通知を伴うイベントであると判定する。
イベント管理部8は、イベントE1が、触覚フィードバックの通知を伴うイベントであると判定すると(図4のステップST4:YESの場合)、イベントE1を管理するため、イベントE1をキューに格納する(図4のステップST5)。
この段階では、イベント管理部8は、イベント検出部7により検出されたイベントEの処理を完了していないため、イベントバブリングを停止しないと判定する。
イベント管理部8は、イベントバブリングを停止しないと判定すると(図4のステップST6:NOの場合)、ウインドウ101から、ウインドウ101の親のGUI部品に、イベントE2を伝搬させるイベントバブリングを行う(図4のステップST7)。
ただし、この実施の形態1では、ウインドウ101の親のGUI部品が存在しないため、イベントE2を伝搬させるイベントバブリングは行われない。
ウインドウ101は、イベントE2の処理を実行することで、フォーカスの位置がウインドウ101の終端である下端に当たるため、イベント処理部9を介して、触覚フィードバックの通知要求R3をイベント管理部8に出力する。
この実施の形態1では、イベント管理部8は、ウインドウ101から触覚フィードバックの通知要求R3が出力されているため、イベントE2は、触覚フィードバックの通知を伴うイベントであると判定する。
イベント管理部8は、イベントE2が、触覚フィードバックの通知を伴うイベントであると判定すると(図4のステップST4:YESの場合)、イベントE2を管理するため、イベントE2をキューに格納する(図4のステップST5)。
この段階では、イベント管理部8は、イベント検出部7により検出されたイベントEの処理を完了しているため、イベントバブリングを停止すると判定する。
イベント管理部8は、イベントバブリングを停止すると判定すると(図4のステップST6:YESの場合)、キューに格納しているイベントによる触覚フィードバックの通知を許可するか否かの判定処理を行う。
以下、イベント管理部8による通知許可の判定処理を具体的に説明する。
即ち、イベント管理部8は、キューに格納されている1つ以上のイベントの中で、最も先に格納したイベントを1つ読み出し、読み出したイベントを「イベントF1」とする。
「イベントF1」は、リスト102により処理されたイベントE1に対応するものであるため、「イベントF1」による触覚フィードバックの通知理由は、「フォーカスの位置がリスト102の終端に当たっている」という理由である。
イベント管理部8は、キューが空になっていなければ(図5のステップST12:NOの場合)、キューの先頭からイベントを1つ読み出し、読み出したイベントを「イベントF2」とする(図5のステップST13)。
即ち、イベント管理部8は、キューに格納されている1つ以上のイベントの中で、最も先に格納したイベントを1つ読み出し、読み出したイベントを「イベントF2」とする。
「イベントF2」は、ウインドウ101により処理されたイベントE1に対応するものであるため、「イベントF2」による触覚フィードバックの通知理由は、「フォーカスの位置が異なるGUI部品に移動している」という理由である。
即ち、イベント管理部8は、イベントF1による触覚フィードバックの通知理由が、「フォーカスの位置がリスト102の終端に当たっている」という理由であるか否かを判定する(図5のステップST14)。
この実施の形態1では、イベントF1による触覚フィードバックの通知理由が、「フォーカスの位置がリスト102の終端に当たっている」という理由であると判定される。
イベント管理部8は、先に読み出した「イベントF2」を「イベントF1」に変更する(図5のステップST16)。
イベント管理部8は、キューが空になっていなければ(図5のステップST12:NOの場合)、キューの先頭からイベントを1つ読み出し、読み出したイベントを「イベントF2」とする(図5のステップST13)。
即ち、イベント管理部8は、キューに格納されている1つ以上のイベントの中で、最も先に格納したイベントを1つ読み出し、読み出したイベントを「イベントF2」とする。
「イベントF2」は、ウインドウ101により処理されたイベントE2に対応するものであるため、「イベントF2」による触覚フィードバックの通知理由は、「フォーカスの位置がウインドウ101の終端に当たっている」という理由である。
この実施の形態1では、イベントF1による触覚フィードバックの通知理由は、「フォーカスの位置が異なるGUI部品に移動している」という理由であるため、「フォーカスの位置がリスト102の終端に当たっている」という理由ではない判定される。
演算装置6の通知指示部10は、イベント管理部8により通知が許可されると、触覚フィードバックの通知をフィードバック通知部11に指示する(図5のステップST15)。
フィードバック通知部11は、通知指示部10から触覚フィードバックの通知指示を受けると、ユーザの触覚を刺激する触覚フィードバックを操作受付部2に通知する。
これにより、ユーザは、フォーカスの位置が異なるGUI部品に移動していることを認識することができる。
イベント管理部8は、先に読み出した「イベントF2」を「イベントF1」に変更する(図5のステップST16)。
この実施の形態1では、既に、3つのイベントが読み出されているため、キューは空になっていると判定される。
通知指示部10は、イベント管理部8によって、キューが空になっていると判定されると(図5のステップST12:YESの場合)、触覚フィードバックの通知をフィードバック通知部11に指示する(図5のステップST17)。
フィードバック通知部11は、通知指示部10から触覚フィードバックの通知指示を受けると、ユーザの触覚を刺激する触覚フィードバックを操作受付部2に通知する。
これにより、ユーザは、フォーカスの位置がウインドウ101の終端に当たっており、フォーカスの位置を下方向に移動させることができないことを認識することができる。
しかし、これは一例に過ぎず、イベント管理部8が、通知許可の判定結果をフィードバック通知部11に出力し、フィードバック通知部11が、イベント管理部8の判定結果が通知を許可する旨を示している場合に、触覚フィードバックを通知するようにしてもよい。
なお、イベント管理部8が、通知許可の判定結果をフィードバック通知部11に出力する方法は、どのような方法でもよい。
例えば、イベント管理部8が、管理している全てのイベントについての判定結果をまとめてフィードバック通知部11に出力するようにしてもよい。また、触覚フィードバックの通知理由が同じイベントが連続するとき、連続しているイベントについての判定結果をまとめてフィードバック通知部11に出力するようにしてもよい。
しかし、これは一例に過ぎず、イベントによる触覚フィードバックの通知理由が、「フォーカスの位置がリスト102の終端に当たっている」という理由と異なる理由であるときに、イベントによる触覚フィードバックの通知を許可しないようにしてもよい。
例えば、イベントによる触覚フィードバックの通知理由が、「フォーカスの位置が異なるGUI部品に移動している」という理由であるとき、イベントによる触覚フィードバックの通知を許可しないようにしてもよい。
上記実施の形態1では、イベント管理部8が、キューに格納されているイベント毎に、当該イベントによる触覚フィードバックの通知理由に基づいて、当該イベントによる触覚フィードバックの通知を許可するか否かを判定する例を示している。
この実施の形態2では、イベント管理部8が、キューに格納されている複数のイベントによる触覚フィードバックの通知理由に基づいて、1つの触覚フィードバックの通知を許可するか否かを判定する例を説明する。
図7の例では、GUI部品であるウインドウ101が、メニュー要素(1)〜(4)を含んでいるGUI部品であるメニュー104と、サブメニュー要素(1)〜(5)を含んでいるGUI部品であるサブメニュー105とを含んでいる。
図7の例では、メニュー104内のメニュー要素(1)は、サブメニュー105を有しており、サブメニュー105は、フォーカスがメニュー104内のメニュー要素(1)に当たっているとき、メニュー要素(1)をクリックする操作又はフォーカスの位置を下方向に移動させる操作が行われたときに表示されるものとする。
メニュー104内のメニュー要素(2)〜(4)は、サブメニュー105を有していない。
また、GUI部品であるウインドウ101は、サブメニュー105を表示するため、触覚フィードバックの通知をイベント管理部8に要求するものとする。以下、この通知要求を通知要求R5とする。
一方、イベント管理部8は、通知要求R4と通知要求R5が連続しない場合、イベントによる触覚フィードバックの通知理由が、通知を許可してもよい理由に該当しないと判断して、1つの触覚フィードバックの通知を許可しないものとする。
これにより、通知要求R4と通知要求R5が連続しているときだけ、1つの触覚フィードバックが通知されるため、上記実施の形態1と同様に、ユーザが事前に優先順位を設定することなく、不要な通知を減らして、ユーザが違和感を覚える可能性がある触覚フィードバックの通知を防ぐことができる。
この実施の形態3では、イベント管理部8が、フォーカスがGUI部品の終端に当たっているという理由の触覚フィードバックの通知を許可したのち、続けて、フォーカスの位置をGUI部品の終端に当てる操作が行われた場合、当該操作に係る触覚フィードバックの通知を許可しない例を説明する。
図8の例では、GUI部品であるウインドウ101が、リスト102を含んでいる。
この実施の形態3では、例えば、図8に示すようなGUI部品がディスプレイ1の画面が表示されているときに、ユーザが、リスト102内のリスト要素(3)の位置からリスト102の下端に至る位置まで、フォーカスの位置を下方向に移動させる操作を複数回続けて行うことで、操作受付部2により複数の操作が受け付けられているものとする。
この場合、1回目の操作が行われたとき、フォーカスの位置がリスト102の終端に当たるため、リスト102から触覚フィードバックの通知要求R2がイベント管理部8に出力される。
イベント管理部8は、リスト102から触覚フィードバックの通知要求R2を受けると、上記実施の形態1と同様に、フォーカスの位置がリスト102の終端に当たっている理由での触覚フィードバックの通知を許可する。
しかし、同じ理由での触覚フィードバックの通知を続けて許可すると、ユーザが違和感を覚える可能性がある。
そのため、イベント管理部8は、2回目以降の操作によって、リスト102から触覚フィードバックの通知要求が出力されても、触覚フィードバックの通知を許可しないようにする。
Claims (4)
- グラフィカルユーザインタフェースであるGUI部品が表示されている画面に対する操作を受け付ける操作受付部と、
前記操作受付部により受け付けられた操作を、現在の操作対象のGUI部品から、GUI部品の木構造に基づいて親のGUI部品に向かって伝播させて、イベントとして検出するイベント検出部と、
前記イベント検出部により検出されたイベントが、ユーザの触覚を刺激する触覚フィードバックの通知を伴うイベントであれば、前記イベント検出部により検出されたイベントによる触覚フィードバックの通知理由に基づいて、前記触覚フィードバックの通知を許可するか否かを判定するイベント管理部と、
前記イベント管理部の判定結果が通知を許可する旨を示していれば、前記触覚フィードバックを通知するフィードバック通知部とを備え、
前記イベント管理部は、
前記操作受付部により受け付けられた1つの操作に対して、前記イベント検出部によって、GUI部品の木構造の中で前記操作対象のGUI部品から前記親のGUI部品に向かってイベントが順に検出される毎に、前記検出されたイベントが、前記触覚フィードバックの通知を伴うイベントであるか否かを判定し、前記触覚フィードバックの通知を伴うイベントであれば、前記検出されたイベントを先入れ先出し方式のキューに格納し、
2つ以上のイベントを前記キューに格納している状況下では、触覚フィードバックの通知理由に基づいて、前記触覚フィードバックの通知を許可するか否かを判定し、最終的に通知する触覚フィードバックを決定する
ことを特徴とするユーザインタフェース装置。 - 前記イベント管理部は、
2つ以上のイベントを前記キューに格納している状況下では、前記キューから1つ目のイベントと2つ目のイベントとを読み出して、前記1つ目のイベントによる触覚フィードバックの通知を許可するか否かを判定したのち、
前記2つ目のイベントを1つ目のイベントとみなし、前記1つ目のイベントとみなした2つ目のイベントによる触覚フィードバックの通知を許可するか否かを判定する
ことを特徴とする請求項1記載のユーザインタフェース装置。 - 前記イベント管理部は、前記イベント検出部により検出された複数のイベントによる触覚フィードバックの通知理由に基づいて、1つの触覚フィードバックの通知を許可するか否かを判定する
ことを特徴とする請求項1記載のユーザインタフェース装置。 - 前記操作受付部によりフォーカスの位置をGUI部品の終端に当てる操作が複数回続けて受け付けられて、前記イベント検出部により複数のイベントが検出されており、
前記イベント管理部は、前記イベント検出部により検出された複数のイベントのうち、1回目の操作として検出されたイベントによる触覚フィードバックの通知を許可し、2回目以降の操作として検出されたイベントによる触覚フィードバックの通知を許可しない
ことを特徴とする請求項1記載のユーザインタフェース装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/014671 WO2018189784A1 (ja) | 2017-04-10 | 2017-04-10 | ユーザインタフェース装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6366863B1 true JP6366863B1 (ja) | 2018-08-01 |
JPWO2018189784A1 JPWO2018189784A1 (ja) | 2019-04-18 |
Family
ID=63036772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017560630A Active JP6366863B1 (ja) | 2017-04-10 | 2017-04-10 | ユーザインタフェース装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10921894B2 (ja) |
JP (1) | JP6366863B1 (ja) |
CN (1) | CN110506248B (ja) |
DE (1) | DE112017007223T5 (ja) |
WO (1) | WO2018189784A1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015239A (ja) * | 2008-07-01 | 2010-01-21 | Sony Corp | 情報処理装置、及び情報処理装置における振動制御方法 |
WO2011093045A1 (ja) * | 2010-01-27 | 2011-08-04 | 京セラ株式会社 | 触感呈示装置および触感呈示方法 |
JP2014021882A (ja) * | 2012-07-23 | 2014-02-03 | Canon Inc | 操作装置、その制御方法及びプログラム並びに記録媒体 |
WO2014097499A1 (ja) * | 2012-12-19 | 2014-06-26 | パナソニック株式会社 | 触覚入出力装置 |
JP2015028777A (ja) * | 2013-07-18 | 2015-02-12 | イマージョン コーポレーションImmersion Corporation | 触覚フィードバックを利用した隠し制御 |
JP2015167758A (ja) * | 2014-03-07 | 2015-09-28 | 株式会社コナミデジタルエンタテインメント | ゲーム制御装置、ゲームシステム、及びプログラム |
JP2016024826A (ja) * | 2014-07-21 | 2016-02-08 | イマージョン コーポレーションImmersion Corporation | マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法 |
JP2016504683A (ja) * | 2012-12-19 | 2016-02-12 | ノキア テクノロジーズ オサケユイチア | ユーザ・インタフェースおよび関連する方法 |
JP2016053778A (ja) * | 2014-09-03 | 2016-04-14 | レノボ・シンガポール・プライベート・リミテッド | 入力装置および触覚フィードバックをする方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100354856C (zh) * | 2001-09-24 | 2007-12-12 | 伊梅森公司 | 用于过滤数据的触觉反馈系统和过滤数据的方法 |
US8315652B2 (en) | 2007-05-18 | 2012-11-20 | Immersion Corporation | Haptically enabled messaging |
US9189098B2 (en) | 2013-03-14 | 2015-11-17 | Immersion Corporation | Systems and methods for syncing haptic feedback calls |
US9024747B1 (en) * | 2013-11-27 | 2015-05-05 | Google Inc. | Deferring alert of notifications for a particular time |
KR102521953B1 (ko) * | 2014-09-02 | 2023-04-14 | 애플 인크. | 가변 햅틱 출력을 위한 시맨틱 프레임워크 |
US9841883B2 (en) * | 2014-09-04 | 2017-12-12 | Home Box Office, Inc. | User interfaces for media application |
US10365719B2 (en) * | 2017-07-26 | 2019-07-30 | Google Llc | Haptic feedback of user interface scrolling with synchronized visual animation components |
-
2017
- 2017-04-10 JP JP2017560630A patent/JP6366863B1/ja active Active
- 2017-04-10 WO PCT/JP2017/014671 patent/WO2018189784A1/ja active Application Filing
- 2017-04-10 US US16/497,749 patent/US10921894B2/en active Active
- 2017-04-10 DE DE112017007223.9T patent/DE112017007223T5/de active Pending
- 2017-04-10 CN CN201780089259.XA patent/CN110506248B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015239A (ja) * | 2008-07-01 | 2010-01-21 | Sony Corp | 情報処理装置、及び情報処理装置における振動制御方法 |
WO2011093045A1 (ja) * | 2010-01-27 | 2011-08-04 | 京セラ株式会社 | 触感呈示装置および触感呈示方法 |
JP2014021882A (ja) * | 2012-07-23 | 2014-02-03 | Canon Inc | 操作装置、その制御方法及びプログラム並びに記録媒体 |
WO2014097499A1 (ja) * | 2012-12-19 | 2014-06-26 | パナソニック株式会社 | 触覚入出力装置 |
JP2016504683A (ja) * | 2012-12-19 | 2016-02-12 | ノキア テクノロジーズ オサケユイチア | ユーザ・インタフェースおよび関連する方法 |
JP2015028777A (ja) * | 2013-07-18 | 2015-02-12 | イマージョン コーポレーションImmersion Corporation | 触覚フィードバックを利用した隠し制御 |
JP2015167758A (ja) * | 2014-03-07 | 2015-09-28 | 株式会社コナミデジタルエンタテインメント | ゲーム制御装置、ゲームシステム、及びプログラム |
JP2016024826A (ja) * | 2014-07-21 | 2016-02-08 | イマージョン コーポレーションImmersion Corporation | マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法 |
JP2016053778A (ja) * | 2014-09-03 | 2016-04-14 | レノボ・シンガポール・プライベート・リミテッド | 入力装置および触覚フィードバックをする方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2018189784A1 (ja) | 2018-10-18 |
US20200026358A1 (en) | 2020-01-23 |
DE112017007223T5 (de) | 2019-12-05 |
US10921894B2 (en) | 2021-02-16 |
CN110506248B (zh) | 2023-05-12 |
CN110506248A (zh) | 2019-11-26 |
JPWO2018189784A1 (ja) | 2019-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10430917B2 (en) | Input mode recognition | |
JP6337115B2 (ja) | アプリケーションプログラム制御方法および関連装置 | |
US10048840B2 (en) | Application switching in a graphical operating system | |
JP2010238148A (ja) | ユーザインタフェース装置及び携帯端末装置 | |
JP6458751B2 (ja) | 表示制御装置 | |
US20150100901A1 (en) | Information processing device, method, and program | |
JPWO2011152335A1 (ja) | タッチパネル入力を用いた電子機器及びそれによる操作受付方法 | |
JP6366863B1 (ja) | ユーザインタフェース装置 | |
JP2009238087A (ja) | サーバ装置、クライアント装置、サーバベースコンピューティングシステムおよびプログラム | |
JP5620895B2 (ja) | 表示制御装置、方法及びプログラム | |
KR102040798B1 (ko) | 연속적인 터치를 이용한 사용자 인터페이스 방법 및 장치 | |
JP6131686B2 (ja) | 表示制御装置 | |
JP2015114799A (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
WO2018167860A1 (ja) | タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置 | |
EP3433709A1 (en) | Asynchronous interaction handoff to system at arbitrary time | |
JP2012203497A (ja) | 表示一体型座標入力装置及び仮想キーボード機能の起動方法 | |
JP6207804B1 (ja) | タッチ入力判定装置、タッチ入力判定方法、及びタッチ入力判定プログラム | |
US20160224202A1 (en) | System, method and user interface for gesture-based scheduling of computer tasks | |
JP2016149036A (ja) | タッチ操作入力装置 | |
WO2019244279A1 (ja) | ユーザインタフェース装置、ユーザインタフェース設計装置、ユーザインタフェース装置の制御方法、およびユーザインタフェース装置の画面設計方法 | |
JP6022131B1 (ja) | ユーザーインターフェイス装置、ユーザーインターフェイス表示方法 | |
JP5920841B2 (ja) | 情報処理装置、方法及びプログラム | |
KR101769948B1 (ko) | 의료 정보 제공 시스템, 방법 및 컴퓨터 프로그램 | |
JP6567233B2 (ja) | タッチ入力判定装置、タッチパネル入力装置、タッチ入力判定方法、及びタッチ入力判定プログラム | |
JP2012141728A (ja) | 情報処理表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171120 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20171120 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20171225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180703 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6366863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |