JP6957695B1 - プログラム、情報処理方法、及び情報処理装置 - Google Patents

プログラム、情報処理方法、及び情報処理装置 Download PDF

Info

Publication number
JP6957695B1
JP6957695B1 JP2020129625A JP2020129625A JP6957695B1 JP 6957695 B1 JP6957695 B1 JP 6957695B1 JP 2020129625 A JP2020129625 A JP 2020129625A JP 2020129625 A JP2020129625 A JP 2020129625A JP 6957695 B1 JP6957695 B1 JP 6957695B1
Authority
JP
Japan
Prior art keywords
data
threshold value
predetermined
predetermined threshold
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020129625A
Other languages
English (en)
Other versions
JP2022026251A (ja
Inventor
泰生 菰田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jins Holdings Inc
Original Assignee
Jins Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jins Holdings Inc filed Critical Jins Holdings Inc
Priority to JP2020129625A priority Critical patent/JP6957695B1/ja
Priority to US17/388,272 priority patent/US11604507B2/en
Priority to CN202110874892.8A priority patent/CN114063768B/zh
Application granted granted Critical
Publication of JP6957695B1 publication Critical patent/JP6957695B1/ja
Publication of JP2022026251A publication Critical patent/JP2022026251A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03541—Mouse/trackball convertible devices, in which the same ball is used to track the 2D relative movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】センサが設けられる所定部位の動きを用いて、少なくとも２つの異なる処理を適切に切り分けること。【解決手段】プログラムは、情報処理装置に、ユーザの所定部位に装着されるセンサから、所定部位の移動速度に関するデータを順に取得すること、データが所定閾値以上か否かを判定すること、データが所定閾値未満と判定された場合、所定閾値未満と判定された時点から第１所定時間前のデータを用いて第１処理の実行を制御すること、データが所定閾値以上と判定された場合、第１処理とは異なる第２処理の実行を制御すること、を実行させる。【選択図】図７

Description

本発明は、プログラム、情報処理方法、及び情報処理装置に関する。
従来、ユーザの頭部の動きを検出するセンサを用いて、マウスなどの入力手段に対するクリック操作などの入力操作を制御する技術が知られている（例えば、特許文献１、２参照）。
特開平４−３０９９９６号公報 特開平９−２５８８８７号公報
しかしながら、従来技術では、頭部の動きを用いて、２つの異なる操作を適切に切り分けることが難しかった。例えば、画面内のマウスポインタによる移動操作と、その他の操作とを切り分ける場合、その他の操作としてクリック操作を例に挙げると、ユーザは、頭部を動かしてポインタを所定位置に合わせ、いざクリック操作を行おうと頭部を動かしたときに、クリック操作として判定されるまでの頭部の動きが移動操作として用いられる結果、ポインタの位置が所定位置からずれてしまい、ユーザにとって所定位置でのクリック操作を指示することは難しかった。
そこで、開示技術は、センサが設けられる所定部位の動きを用いて、少なくとも２つの異なる処理を適切に切り分けることを目的とする。
開示技術の一態様におけるプログラムは、情報処理装置に、ユーザの所定部位に装着されるセンサから、前記所定部位の移動速度に関するデータを順に取得すること、前記データが所定閾値以上か否かを判定すること、前記データが所定閾値未満と判定された場合、前記所定閾値未満と判定された時点から第１所定時間前のデータを用いて第１処理の実行を制御すること、前記データが前記所定閾値以上と判定された場合、前記第１処理とは異なる第２処理の実行を制御すること、を実行させる。
開示技術によれば、センサが設けられる所定部位の動きを用いて、少なくとも２つの異なる処理を適切に切り分けることができる。
実施例における情報処理システムの一例を示す図である。 実施例における情報処理装置の構成の一例を示すブロック図である。 実施例における処理装置の構成の一例を示すブロック図である。 実施例における移動速度に関するデータの一例を示す図である。 実施例における処理制御に用いられるデータの具体例を示す図である。 実施例における具体例の判定時点、実行される処理、使用されるデータの時点の関係を示す図である。 実施例における処理制御に関する処理の一例を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
［実施例］
実施例では、加速度センサ及び／又は角速度センサ、必要に応じて生体電極を搭載するウエアラブル端末の対象として、アイウエアを例に挙げるが、これに限られない。図１は、実施例における情報処理システム１の一例を示す図である。図１に示す情報処理システム１は、情報処理装置１０と、アイウエア３０とを含み、情報処理装置１０と、アイウエア３０とは、ネットワークを介して接続され、データ通信可能になっている。
アイウエア３０は、例えばブリッジ部分に処理装置２０を搭載する。処理装置２０は、一対のノーズパッド及びブリッジ部を含み、それぞれに生体電極３２、３４、３６を有する。処理装置２０は、３軸加速度センサ及び／又は３軸角速度センサ（６軸センサでもよい）を含んでもよい。なお、生体電極３２、３４、３６は必ずしも必要ではない。
処理装置２０は、センサ信号や眼電位信号等を検出して情報処理装置１０に送信する。処理装置２０の設置位置は、必ずしもブリッジ部分である必要はないが、アイウエア３０が装着された際に、センサ信号や眼電位信号を取得可能な位置に位置決めされればよい。また、処理装置２０は、ブリッジ部分に取り外し可能に設けられてもよい。
情報処理装置１０は、通信機能を有する情報処理装置である。例えば、情報処理装置１０は、パーソナルコンピュータ、タブレット端末、携帯端末等である。情報処理装置１０は、処理装置２０から受信したユーザの頭部の移動に関するデータを取得し、このデータに基づいて複数の操作処理を実行する。操作処理は、例えば、カーソル移動、クリック、ドラッグ、スクロールなどを含む。また、情報処理装置１０は、処理装置２０から、操作処理を命令するコマンドを受信してもよい。
＜情報処理装置１０の構成＞
図２は、実施例における情報処理装置１０の構成の一例を示すブロック図である。情報処理装置１０は、１つ又は複数の処理装置（ＣＰＵ）１１０、１つ又は複数のネットワーク通信インタフェース１２０、メモリ１３０、ユーザインタフェース１５０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス１７０を含む。
ネットワーク通信インタフェース１２０は、移動体通信用アンテナや無線ＬＡＮ通信用アンテナを通じてネットワークに接続され、処理装置２０との間でデータ通信をすることが可能である。
ユーザインタフェース１５０は、ディスプレイ装置、及び入力装置（キーボード及び／又はマウス、又は他の何らかのポインティングデバイス等）を挙げることができる。ユーザインタフェース１５０は、ディスプレイ装置に表示されるポインタを移動操作することが可能である。
メモリ１３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよく、コンピュータ読み取り可能な非一時的な記録媒体でもよい。
メモリ１３０は、情報処理システム１により用いられるデータを記憶する。例えば、メモリ１３０は、アイウエア３０（処理装置２０）から送信されるデータを記憶する。なお、記憶されるデータの一例は、図４を用いて後述される。
また、メモリ１３０の他の例として、ＣＰＵ１１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施形態において、メモリ１３０はＣＰＵ１１０により実行されるプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
ＣＰＵ１１０は、メモリ１３０に記憶されるプログラムを実行することで、取得部１１２、判定部１１３、及び処理制御部１１４を構成する。
取得部１１２は、ユーザの所定部位に装着されるセンサから、所定部位の移動速度に関するデータを順に取得する。例えば、取得部１１２は、所定のサンプリングレートでサンプリングする角速度センサを含む処理装置２０から送信される角速度データを、ネットワーク通信インタフェース１２０を介して順に取得する。センサからデータを取得するとは、直接的又は間接的にデータを取得することを含む。実施例における所定部位は頭部であるが、腕や脚などでもよい。センサは、所定部位の移動速度を計測可能なセンサであり、実施例では、角速度センサや加速度センサが好適である。
判定部１１３は、取得部１１２により取得されるデータが所定閾値以上か否かを判定する。例えば、判定部１１３は、順に取得される角速度データのデータ値が所定閾値以上か否かを判定する。所定閾値は、急な動きを検出できる閾値が予め設定される。例えば、所定部位が頭部の場合は、素早く頭部を横方向や縦方向に振ったりする場合に超えるような閾値が設定されたり、所定部位が腕や脚の場合は、素早く腕や脚を動かした場合に超えるような閾値が設定されたりする。
処理制御部１１４は、少なくとも２つの処理、第１処理と第２処理との処理の実行を制御する。処理の実行の制御には、その処理の実行を命令するコマンドを発行することを含み、また、その処理を実行すること自体を含んでもよい。
処理制御部１１４は、判定部１１３によりデータが所定閾値未満と判定された場合、所定閾値未満と判定された時点（以下、「閾値超判定時点」ともいう。）から第１所定時間前のデータを用いて第１処理の実行を制御する。第１処理は、例えば、画面内のポインタの移動を伴う処理を含む。
処理制御部１１４は、判定部１１３によりデータが所定閾値以上と判定された場合、第１処理とは異なる第２処理の実行を制御する。第２処理は、例えば、所定位置において指示する処理を含む。
ここで、第１処理が画面内のポインタの移動処理であり、第２処理が所定位置における指示処理であり、ユーザが、閾値未満の角速度で頭部を動かしてポインタを移動させ、ポインタが所定位置まできたと判断したら閾値以上の角速度で頭部を動かして指示処理を実行させる場合を例にする。この例によれば、頭部の角速度が閾値に到達するまでには立ち上がり時間を要するため、ユーザが、ポインタが所定位置まできたと判断した時点と、頭部の角速度が閾値以上となる時点とは一致しない。そのため、取得されるデータのうち頭部の角速度が閾値未満のデータをリアルタイムに順に用いて第１処理を実行するとすれば、立ち上がり時間中のデータまでもが移動処理に用いられてしまう結果、所定位置からずれた位置で指示処理が実行されてしまうことになる。
よって、所定閾値以上となるための所定部位の一連の動きに基づくデータにおいて、所定閾値以上となるまでの立ち上がり部分のデータを、第１処理に使用しないようにする。このため、処理制御部１１４は、閾値超判定時点から第１所定時間前のデータを第１処理に用いるようにする。第１所定時間は、ユーザの動きと、ポインタの動きとのタイムラグを小さくするため、例えば０．０５秒から０．２秒まので間の数値とすることが望ましい。なお、第１所定時間は、処理装置２０のセンサのサンプリングレートに基づいて設定されればよい。例えば、サンプリングレートが０．０５秒であれば、０．０５秒単位で第１所定時間が設定されるとよい。
これにより、第１処理は、第１所定時間前のデータを用いて実行し、第２処理は、データが所定閾値以上となった時点で実行することにより、第１処理と第２処理とを適切に切り分けることが可能になる。例えば、第１処理がポインタの移動を伴う処理である場合に、上記処理は好適に実行されうる。
また、処理制御部１１４は、第１処理の実行を制御する際、第２処理を指示するための所定部位の一連の動きに基づくデータが用いられることを回避すべく、データが所定閾値以上と判定された時点から第２所定時間内のデータを使用しないことを含んでもよい。例えば、第２所定時間は、０．４秒や０．５秒などの数値であり、所定閾値以上となるための所定部位の一連の動きの平均時間等が設定されうる。例えば、処理制御部１１４は、閾値超判定時点から第２所定時間が経過するまでは、取得されるデータの移動処理への使用を禁止したり、データの取得自体を中断したりしてもよい。なお、第２所定時間は、データが所定閾値以上と判定された時間から第１所定時間前の時点を、カウントダウンの開始時点としてもよい。
これにより、第２処理を指示するための所定部位の一連の動きに基づくデータを、第１処理の実行のために使用しなくて済み、第１処理と第２処理とをより適切に切り分けることができる。
また、第２所定時間は、データが所定閾値未満と判定されるまでの時間に基づいて設定されてもよい。例えば、判定部１１３は、一度所定閾値以上となったデータが、所定閾値未満となるか否かを判定する。処理制御部１１４は、判定部１１３によりデータが所定閾値未満と判定された場合、当該データを用いて第１処理の実行を制御する。
これにより、第１処理の実行に用いるデータの範囲内（所定閾値未満）になった場合に、すぐに第１処理の実行に移行することが可能になる。
また、処理制御部１１４は、第１の処理の実行を制御する際、データが所定閾値以上と判定された時点に基づきタイマーを設定してもよい。この場合、処理制御部１１４は、タイマーの経過中にデータが閾値以上と判定されずに、このタイマーが満了するまでの時間を第２所定時間とし、この第２所定時間内のデータを使用しないことを含んでもよい。例えば、タイマーの経過中にデータが閾値以上となる場合は、タイマーがリセットされてもよい。なお、タイマーは、データが所定閾値以上と判定された時間から第１所定時間前の時点から、カウントダウンが開始されてもよい。
これにより、タイマーを用いてデータの使用禁止区間を判定することができ、さらに、タイマーの経過中に再びデータが閾値以上となる場合は、タイマーをリセットすることも可能になる。
また、判定部１１３は、移動速度に関するデータが、第１方向を含む複数方向の移動速度に関するデータを含む場合、第１方向におけるデータが所定閾値以上か否かを判定することを含んでもよい。この場合、処理制御部１１４は、第２所定時間内の第１方向及び他の方向におけるデータを第１処理の実行に使用しないことを含んでもよい。例えば、センサが３軸角速度センサの場合、データは方向を含む角速度ベクトルのデータである。具体例として、第１方向を右方向とした場合に、ユーザは所定部位を右方向に素早く動かすと、第２処理が実行されるが、このとき、第２所定時間内は、右方向以外の方向に所定部位が動いても、その動きに対応するデータは第１処理には用いられない。
これにより、データが方向性を持つデータであり、第１方向の移動に基づき第２処理が実行される場合に、他の方向の移動により第１処理が実行されることを防ぐことが可能になる。例えば、第２処理の実行を指示するためのユーザの動き直後の、ユーザの意図しない動きにより、第１処理が実行されてしまうことを防ぐことができる。
また、処理制御部１１４は、データが所定閾値以上と判定された場合に、第１処理の実行から切り替えて、第２処理の実行を制御することを含んでもよい。この場合、判定部１１３は、第１処理の実行に戻る解除条件を満たすか否かを判定してもよい。解除条件が満たされる場合、処理制御部１１４は、第２処理の実行から第１処理の実行に切り替えて制御する。解除条件は、例えば、データが所定閾値以上と判定された時点から第２所定時間を経過すること、及びデータが所定閾値以下となることの少なくとも１つを含む。
これにより、処理制御部１１４は、制御主体を変更することで、確実に２つの処理を切り分けることが可能になる。
また、第１処理は、情報処理装置１０の表示画面内のポインタの移動処理を含み、第２処理は、クリック処理又はドラッグ処理を含んでもよい。例えば、第１処理が、ポインタの一例であるマウスカーソルの移動処理であり、第２処理が、マウスのクリック処理であるとする。この場合、ユーザの頭部（所定部位の一例）の通常の動きに応じてマウスカーソルが画面内を移動し、素早い頭部の動きによりクリック処理が実行されるとき、素早い一例の動きのうちの初期の動き（移動速度に関するデータが所定閾値未満の動き）によりマウスカーソルが移動してしまうことを防ぎ、所定位置でクリック処理を実行することができるようになる。
また、第１処理が、ポインタの一例であるマウスカーソルの移動処理であり、第２処理が、マウスのドラッグ処理であるとする。この場合、ユーザの頭部（所定部位の一例）の通常の動きに応じてマウスカーソルが画面内を移動し、素早い頭部の動きによりドラッグ処理が実行されるとき、素早い一例の動きのうちの初期の動き（移動速度に関するデータが所定閾値未満の動き）によりマウスカーソルが移動してしまうこと（ユーザ所望のアイコン等の位置からずれること）を防ぎ、所定位置のアイコン等を適切に指示してドラッグ処理を実行することができるようになる。
この場合、データが所定閾値以上となりドラッグ処理が実行されると、処理制御部１１４は、所定閾値以上となった後のデータに基づいてドラッグの移動処理の実行を制御する。また、ドラッグ処理の解除条件が設定されることで、処理制御部１１４は、第１処理の実行を制御するようにすればよい。この場合の解除条件は、例えば、データが所定閾値以上となることを含む。
また、移動速度に関するデータは、角速度データや加速度データが適用されうるが、方向性を示すデータを含むことで、処理制御部１１４は、２つ以上の処理の実行を制御するようにしてもよい。例えば、処理制御部１１４は、頭部による左方向の素早い動きを左クリック、右方向の素早い動きを右クリック、下方向の素早い動きをドラッグ開始（通常のマウス操作において移動対象オブジェクト（例えばデスクトップのアイコンなど）上でクリックボタンを押下し続けている状態）、上方向の素早い動きをドラッグ解除（前記通常のマウス操作においてクリックボタンの押下を止める状態）などに対応付けておく。これにより、処理制御部１１４は、移動速度に関するデータが所定閾値以上となる方向に応じて、制御する処理を変更することが可能になる。この場合、各方向に応じた所定閾値は、それぞれの動きに合わせて異なるように設定されてもよい。
＜処理装置２０の構成＞
図３は、実施例における処理装置２０の構成の一例を示すブロック図である。図３に示すように、処理装置２０は、処理部２０２、送信部２０４、６軸センサ２０６、電源部２０８、及び各生体電極３２、３４、３６を有する。また、各生体電極３２、３４、３６は、例えば増幅部を介して電線を用いて処理部２０２に接続される。なお、各生体電極３２、３４、３６は必ずしも必要な構成ではない。また、処理装置２０は、処理データを記憶するメモリを有する。
６軸センサ２０６は、３軸加速度センサ及び３軸角速度センサである。また、これらの各センサは別個に設けられてもよく、いずれか一方のセンサが設けられてもよい。６軸センサ２０６は、検出したセンサ信号を処理部２０２に出力する。
処理部２０２は、６軸センサ２０６から得られるセンサ信号や、必要に応じて各生体電極３２、３４、３６から得られる眼電位信号を処理し、例えば、センサ信号や眼電位信号をパケット化して、このパケットを送信部２０４に出力する。また、処理部２０２は、プロセッサを含み、例えば、処理部２０２は、眼電位信号を用いて、視線の移動速度に関する第２移動速度データを算出してもよい。
また、処理部２０２は、６軸センサ２０６からのセンサ信号を、頭部の動きに関する第１移動速度データとしてもよい。頭部の動きに関する情報は、例えば頭部の上下左右への動きに関する情報である。また、処理部２０２は、６軸センサ２０６から得られるセンサ信号を増幅等するだけでもよい。
送信部２０４は、例えば、処理部２０２によりパケット化された第１移動速度データ又は第２移動速度データを情報処理装置１０に送信する。例えば、送信部２０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信、又は有線通信によって、第１移動速度データ又は第２移動速度データを情報処理装置１０に送信する。電源部２０８は、処理部２０２、送信部２０４、６軸センサ２０６等に電力を供給する。
また、処理部２０２は、図２に示すＣＰＵ１１０の機能を備えてもよい。例えば、処理部２０２は、取得部１１２、判定部１１３、及び処理制御部１１４を有する。この場合、処理部２０２は、６軸センサ２０６から取得されるセンサ信号（第１移動速度データ）を取得し、第１移動速度データが所定閾値以上であるか否かを判定し、判定結果に応じて第１処理又は第２処理の実行を制御する。この場合の制御は、処理の実行を命令するコマンドを発行することである。
送信部２０４は、処理部２０２により発行されたコマンドを情報処理装置１０に送信する。情報処理装置１０の処理制御部１１４は、処理装置２０の送信部２０４により送信されたコマンドを取得すると、このコマンドに応じた処理を実行する。これにより、処理装置２０側でユーザの動きに応じた処理のコマンドを発行させることができ、情報処理装置１０は、コマンドに応じた処理を実行するだけでよく、既存の情報処理装置１０への適用が容易になる。
＜データ例＞
図４は、実施例における移動速度に関するデータの一例を示す図である。図４に示すデータは、所定のサンプリングレート（例えば２０Ｈｚ＝０．０５秒）により取得されたデータを表す。図４に示す例の場合、例えば判定時点６０では、第１所定時間として０．０５秒が設定されていると、判定時点６０より１つ前の判定時点５９のデータｄ＿５９が第１処理の実行に用いられ、第１所定時間として、０．２秒が設定されていると、判定時点６０より４つ前の判定時点５６のデータｄ＿５６が第１処理の実行に用いられる。なお、移動速度に関するデータとして、眼電位信号に基づく視線の移動速度に関するデータ（第２移動速度データ）も記憶されてもよい。
＜具体例＞
図５は、実施例における処理制御に用いられるデータの具体例を示す図である。図５に示す例では、所定閾値はＴｈ１、サンプリングレートは０．０５秒、第１所定時間はＴＡ（０．０５秒）、第２所定時間はＴＢ（０．４秒）に設定され、移動速度に関するデータは角速度データが用いられるとする。
図５に示す例では、０．８５秒（ｔ１時点）でデータが所定閾値Ｔｈ１以上となる。この場合、処理制御部１１４は、０．８５秒までは、現時点から第１所定時間ＴＡ前のデータ（１つ前のデータ）を用いて第１処理の実行を制御する。例えば、現時点が０．６０秒であれば、０．５５秒のデータを用いて第１処理の実行が制御される。
時刻ｔ１において、判定部１１３はデータが所定閾値以上であると判定した場合、処理制御部１１４は、１つ前の０．８０秒のデータを用いて第１処理の実行を制御するのではなく、第１処理の実行から切り替えて第２処理の実行を制御する。つまり、第１処理の実行に用いられるデータは、０．７５秒目までのＰ１の期間である。
次に、図５に示す例では、判定部１１３は、判定時点ｔ１から第２所定時間ＴＢが経過したか否かを判定する。つまり、判定部１１３は、判定時点ｔ１である０．８５秒から第２所定時間ＴＢの０．４秒を加算した１．２５秒を経過したか否かを判定する。０．８５秒から１．２５秒までの期間Ｐ２のデータは、第１処理に用いられない。
次に、判定部１１３は、閾値超判定時間から第２所定時間が経過したと判定すると、処理制御部１１４は、その判定結果に基づいて、１．２５秒より後の期間Ｐ３のデータを用いて第１処理の実行の制御を再開する。
図５に示す例は、第１処理がマウスカーソルの移動処理、第２処理がクリック処理の場合に好適に適用される例である。また、第２処理がドラッグ処理の場合、例えば、期間Ｐ２のデータはドラッグの開始処理に用いられ、期間Ｐ３のデータは、ドラッグの移動処理に用いられる。
図６は、実施例における具体例の判定時点、実行される処理、使用されるデータの時点の関係を示す図である。図６に示す例では、図５に示すデータについて、第１処理がマウスカーソルの移動処理、第２処理がクリック処理の場合に、どの時点で、どのデータを用いて、どの処理が実行されるかを示す。
図６に示すように、データが所定閾値以上となる判定時点０．８５までは、第１処理が実行され、この第１処理に、第１所定時間前のデータ（この場合１つ前のデータ）が使用される。
判定時点０．８５において、第２処理が実行される。この場合、第２処理がクリック処理であるので、データが所定閾値以上となったという判定結果とその時点の位置情報が使用される。第１処理にはどのデータも使用されない。
判定時点１．２５において、第２所定時間が経過するため、判定時点１．２５までは、処理が実行されず、データも使用されない。判定時点１．３０以降において、第１処理が実行され、この第１処理に、第１所定時間前のデータ（１つ前のデータ）が使用される。
＜動作＞
図７は、実施例における処理制御に関する処理の一例を示すフローチャートである。図７に示す処理は、情報処理装置１０又は処理装置２０のいずれかで実行される処理の一例である。
図７に示すステップＳ１０２において、取得部１１２は、ユーザの所定部位に装着されるセンサから、所定部位の移動速度に関するデータを順に取得する。所定部位は、例えばユーザの頭部であり、移動速度に関するデータは、例えば角速度データである。
ステップＳ１０４において、判定部１１３は、移動速度に関するデータが所定閾値以上であるか否かを判定する。データが所定閾値以上であれば（ステップＳ１０４−ＹＥＳ）、処理はステップＳ１１０に進み、データが所定閾値未満であれば（ステップＳ１０４−ＮＯ）、処理はステップＳ１０６に進む。
ステップＳ１０６において、判定部１１３は、第２所定時間に関するタイマーが設定され、そのタイマーの満了前であるか否かを判定する。タイマーが満了前であれば（ステップＳ１０６−ＹＥＳ）、移動速度に関するデータを使用せずに次のデータが取得され（ステップＳ１０２に戻る）、タイマーが設定されていない、又はタイマーが満了していれば（ステップＳ１０６−ＮＯ）、処理はステップＳ１０８に進む。
ステップＳ１０８において、処理制御部１１４は、所定閾値未満と判定された時点から第１所定時間前のデータを用いて第１処理の実行を制御する。その後、処理はステップＳ１０２に戻る。
ステップＳ１１０において、処理制御部１１４は、判定部１１３によりデータが所定閾値以上と判定された場合、第１処理とは異なる第２処理の実行を制御する。
ステップＳ１１２において、処理制御部１１４は、第２所定時間に関するタイマーをセット（設定）する。このとき、タイマーは、予め決められた時間がセットされる。その後、処理はステップＳ１０２に戻る。よって、所定閾値未満のデータは、第２所定時間内において使用が禁止され、所定閾値以上のデータは、第２所定時間内に複数回使用が可能となり、例えば、第２所定時間内においてポインタを静止させた状態でダブルクリックが実行可能になる。
図７に示す処理が処理装置２０の処理部２０２により実行される場合、処理の制御は、処理の実行を命令するコマンドを発行することを含み、図７に示す処理が情報処理装置１０のＣＰＵ１１０により実行される場合、処理の制御は、処理の実行を命令するコマンドを発行し、コマンドに基づいて処理を実行することを含んでもよい。
なお、図７で説明した処理のフローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。
以上、実施例によれば、センサが設けられる所定部位の動きを用いて、少なくとも２つの異なる処理を適切に切り分けることができる。例えば、第１処理が、所定部位の動きに応じた移動処理を伴う場合に、開示の技術は好適に機能する。
また、上記実施例では、所定部位の動きとして、ユーザの頭部や腕や脚などの動きを例に挙げたが、眼球の視線の動きを用いてもよい。この場合、各生体電極（センサの一例）から検知されるセンサ信号から眼球の動きを求め、この動きに関するデータ（上記の第２移動速度データ）に基づいて、処理制御部１１４は、処理を制御するようにしてもよい。
なお、実施例において、アイウエア３０に搭載された６軸センサからのセンサ信号を用いて説明したが、上述したように、６軸センサは頭部だけではなく、人体のいずれかの位置に装着されていればよい。
また、実施例において、移動速度データに３軸加速度センサのデータを用いてもよいことは述べたが、この場合、加速度が検出された後に、所定の演算処理によって速度に変換し、変換後の速度のデータが用いられてもよい。
以上、本発明について実施例を用いて説明したが、本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
１０ 情報処理装置
２０ 処理装置
３０ アイウエア
１１０ ＣＰＵ
１１２ 取得部
１１３ 判定部
１１４ 処理制御部
１２０ ネットワーク通信インタフェース
１３０ メモリ
１５０ ユーザインタフェース
２０２ 処理部
２０４ 送信部
２０６ ６軸センサ
２０８ 電源部

Claims (8)

  1. 情報処理装置に、
    ユーザの所定部位に装着されるセンサから、複数時点における前記所定部位の移動速度に関するデータを順に取得すること、
    前記データが所定閾値以上か否かを判定すること、
    前記データが所定閾値未満と判定された場合、前記所定閾値未満と判定された時点から第１所定時間前のデータを用いて第１処理の実行を制御すること、
    前記データが前記所定閾値以上と判定された場合、前記第１処理とは異なる第２処理の実行を制御すること、を実行させるプログラム。
  2. 前記第１処理の実行を制御することは、
    前記データが前記所定閾値以上と判定された時点から第２所定時間内のデータを使用しないことを含む、請求項１に記載のプログラム。
  3. 前記第１処理の実行を制御することは、
    前記データが前記所定閾値以上と判定された時点に基づきタイマーを設定し、以降の前記データが前記所定閾値以上と判定されずに当該タイマーが満了するまでの前記第２所定時間内のデータを使用しないことを含む、請求項２に記載のプログラム。
  4. 前記移動速度に関するデータは、第１方向を含む複数方向の移動速度に関するデータを含み、
    前記判定することは、
    前記第１方向におけるデータが前記所定閾値以上か否かを判定することを含み、
    前記第１処理の実行を制御することは、
    前記第２所定時間内の前記第１方向及び他の方向におけるデータを使用しないことを含む、請求項２又は３に記載のプログラム。
  5. 前記第２処理の実行を制御することは、
    前記第１処理の実行から切り替えて、前記第２処理の実行を制御することを含む、請求項１から４のいずれか一項に記載のプログラム
  6. 前記第１処理は、画面内のポインタの移動処理を含み、
    前記第２処理は、クリック処理又はドラッグ処理を含む、請求項１から５のいずれか一項に記載のプログラム。
  7. 情報処理装置が、
    ユーザの所定部位に装着されるセンサから、前記所定部位の移動速度に関するデータを順に取得すること、
    前記データが所定閾値以上か否かを判定すること、
    前記データが所定閾値未満と判定された場合、前記所定閾値未満と判定された時点から第１所定時間前のデータを用いて第１処理の実行を制御すること、
    前記データが前記所定閾値以上と判定された場合、前記第１処理とは異なる第２処理の実行を制御すること、を実行する情報処理方法。
  8. プロセッサを含む情報処理装置であって、
    前記プロセッサが、
    ユーザの所定部位に装着されるセンサから、前記所定部位の移動速度に関するデータを順に取得すること、
    前記データが所定閾値以上か否かを判定すること、
    前記データが所定閾値未満と判定された場合、前記所定閾値未満と判定された時点から第１所定時間前のデータを用いて第１処理の実行を制御すること、
    前記データが前記所定閾値以上と判定された場合、前記第１処理とは異なる第２処理の実行を制御すること、を実行する情報処理装置。
JP2020129625A 2020-07-30 2020-07-30 プログラム、情報処理方法、及び情報処理装置 Active JP6957695B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020129625A JP6957695B1 (ja) 2020-07-30 2020-07-30 プログラム、情報処理方法、及び情報処理装置
US17/388,272 US11604507B2 (en) 2020-07-30 2021-07-29 Information processing method, non-transitory recording medium, and information processing apparatus
CN202110874892.8A CN114063768B (zh) 2020-07-30 2021-07-30 信息处理方法、非暂时性记录介质以及信息处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020129625A JP6957695B1 (ja) 2020-07-30 2020-07-30 プログラム、情報処理方法、及び情報処理装置

Publications (2)

Publication Number Publication Date
JP6957695B1 true JP6957695B1 (ja) 2021-11-02
JP2022026251A JP2022026251A (ja) 2022-02-10

Family

ID=78282038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020129625A Active JP6957695B1 (ja) 2020-07-30 2020-07-30 プログラム、情報処理方法、及び情報処理装置

Country Status (3)

Country Link
US (1) US11604507B2 (ja)
JP (1) JP6957695B1 (ja)
CN (1) CN114063768B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023179927A (ja) * 2022-06-08 2023-12-20 株式会社ジンズホールディングス 情報処理方法、プログラム、及び情報処理装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04309996A (ja) 1991-04-08 1992-11-02 Hitachi Ltd マンマシン装置
JPH09258887A (ja) 1996-03-22 1997-10-03 Nec Corp ハンドフリーマウス
US20040070729A1 (en) * 2001-02-19 2004-04-15 Peter Wiebe Device and method for determining the viewing direction in terms of a fix reference co-ordinates system
TW200804887A (en) * 2006-07-12 2008-01-16 Jia-Lin Jou Slim frame of spectacle having electronic device thereon, and spectacle having the same
CN101578570B (zh) * 2007-07-04 2011-09-21 索尼株式会社 输入设备、控制设备、控制系统、控制方法、以及手持设备
JP5532865B2 (ja) * 2008-12-04 2014-06-25 セイコーエプソン株式会社 データ処理装置およびデータ処理システム
JP4652489B2 (ja) * 2009-01-19 2011-03-16 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
CN201489451U (zh) * 2009-07-14 2010-05-26 融汇通网络服务有限公司 一种计算机装置
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
JP5490664B2 (ja) * 2009-11-18 2014-05-14 パナソニック株式会社 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
JP5621464B2 (ja) * 2010-09-24 2014-11-12 富士ゼロックス株式会社 動作検出装置、記録システム及びプログラム
US8313191B2 (en) * 2010-10-15 2012-11-20 Miro Optix Llc Eyewear assembly
US9035878B1 (en) * 2012-02-29 2015-05-19 Google Inc. Input system
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
JP5661067B2 (ja) * 2012-05-29 2015-01-28 株式会社ジェイアイエヌ アイウエア
US9378592B2 (en) * 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
EP3005047B1 (en) * 2013-05-30 2018-10-31 Neonode Inc. Optical proximity sensors
WO2014196156A1 (ja) * 2013-06-07 2014-12-11 セイコーエプソン株式会社 電子機器及びタップ操作検出方法
JP2015011689A (ja) * 2013-07-02 2015-01-19 船井電機株式会社 情報処理装置、情報処理方法、および、システム
JP6333663B2 (ja) * 2014-08-08 2018-05-30 シャープ株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US9946340B2 (en) * 2014-11-06 2018-04-17 Kabushiki Kaisha Toshiba Electronic device, method and storage medium
AU2015362045C1 (en) * 2014-12-08 2020-10-15 Rohit Seth Wearable wireless HMI device
JP6611158B2 (ja) * 2015-03-31 2019-11-27 Ｎｅｃソリューションイノベータ株式会社 ウェアラブル端末、制御方法、およびプログラム
EP3305193A4 (en) * 2015-05-29 2019-01-09 Alps Electric Co., Ltd. POSITION DETECTING DEVICE, LENS-SHAPED ELECTRONIC DEVICE, POSITION DETECTING METHOD, AND PROGRAM THEREOF
EP3306380A4 (en) * 2015-06-01 2018-12-12 Alps Electric Co., Ltd. Glasses-type electronic device
WO2016194849A1 (ja) * 2015-06-01 2016-12-08 アルプス電気株式会社 眼鏡型電子機器
JP2017068001A (ja) * 2015-09-30 2017-04-06 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
JP6426589B2 (ja) * 2015-11-27 2018-11-21 株式会社東芝 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム
JP2017117211A (ja) * 2015-12-24 2017-06-29 富士通株式会社 検出装置、方法、及びプログラム
JP2017162054A (ja) * 2016-03-08 2017-09-14 株式会社東芝 情報処理装置及び出力装置
KR20170126295A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
WO2018074055A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10474226B2 (en) * 2016-11-30 2019-11-12 Seiko Epson Corporation Head-mounted display device, computer program, and control method for head-mounted display device
JP6919206B2 (ja) * 2017-01-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP6535694B2 (ja) * 2017-02-22 2019-06-26 株式会社ジンズ 情報処理方法、情報処理装置及びプログラム
JP6919222B2 (ja) * 2017-02-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
DK179931B1 (en) * 2017-09-09 2019-10-11 Apple Inc. DEVICES, METHODS AND GRAPHICAL USER INTERFACES FOR DISPLAYING AN AFFORDANCE ON A BACKGROUND
JP2019082891A (ja) * 2017-10-31 2019-05-30 セイコーエプソン株式会社 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
US10665207B2 (en) * 2017-12-13 2020-05-26 Kyocera Document Solutions Inc. Back-and-forth displacement detecting device and information processing device
JP2020044132A (ja) * 2018-09-19 2020-03-26 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法
US11320957B2 (en) * 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Near interaction mode for far virtual object
KR102057803B1 (ko) * 2019-05-28 2019-12-19 최현준 인터랙션 마우스 장치, 제어방법, 프로그램 및 컴퓨터 판독가능 기록매체

Also Published As

Publication number Publication date
JP2022026251A (ja) 2022-02-10
CN114063768A (zh) 2022-02-18
CN114063768B (zh) 2024-06-07
US11604507B2 (en) 2023-03-14
US20220035448A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
US20170153728A1 (en) Information processing device, information processing method, and program
KR102354330B1 (ko) 스마트 디바이스 및 그 동작 방법
US20150026649A1 (en) Method, apparatus and system for controlling computer terminal
JP2017513084A (ja) タッチスクリーンの制御方法及び装置
US10890982B2 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
KR102297473B1 (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
TWI621037B (zh) 利用運動下達指令的觸控系統、觸控筆與其方法
JP6957695B1 (ja) プログラム、情報処理方法、及び情報処理装置
WO2015081558A1 (zh) 控制终端设备的方法和穿戴式电子设备
TW201638728A (zh) 用以處理與移動相關的資料之計算裝置及方法
JP2014206866A (ja) 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
WO2018045688A1 (zh) 光标的控制方法和装置
WO2017107312A1 (zh) 一种播放控制方法、装置及终端
CN111124156A (zh) 移动终端的交互控制方法和移动终端
US20220308658A1 (en) Head-mounted information processing apparatus and its controlling method
CN107463319A (zh) 信息处理方法及装置、存储介质、电子设备
US20200275835A1 (en) System and method for contact less control of an appliance technical field
WO2023238568A1 (ja) 情報処理方法、プログラム、及び情報処理装置
WO2020037617A1 (zh) 云台控制方法、云台和云台控制系统
CN118076940A (zh) 基于用户佩戴的腕式可穿戴设备的侧倾值来不同地解释用户的手指对手指手势的系统及其使用方法
CN115237259A (zh) 一种人机交互的方法、装置及人机交互设备
CN105022647B (zh) 一种应用安装的控制方法及终端
JP2017182571A (ja) 情報処理システムと情報処理方法及び情報処理プログラム
JP2016118947A (ja) 角度調整可能な仮想平面を用いた空間手書き入力システム
JP7246390B2 (ja) ウェアラブルコンピューティングデバイスを用いた表示デバイスの直接操作

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211006

R150 Certificate of patent or registration of utility model

Ref document number: 6957695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150