JP6402820B2 - 入力検知方法、入力検知プログラム及びデバイス - Google Patents

入力検知方法、入力検知プログラム及びデバイス Download PDF

Info

Publication number
JP6402820B2
JP6402820B2 JP2017503290A JP2017503290A JP6402820B2 JP 6402820 B2 JP6402820 B2 JP 6402820B2 JP 2017503290 A JP2017503290 A JP 2017503290A JP 2017503290 A JP2017503290 A JP 2017503290A JP 6402820 B2 JP6402820 B2 JP 6402820B2
Authority
JP
Japan
Prior art keywords
input
acceleration
change
input detection
waveform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017503290A
Other languages
English (en)
Other versions
JPWO2016139798A1 (ja
Inventor
悠吾 松田
悠吾 松田
康弘 露木
康弘 露木
茂樹 森出
茂樹 森出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2016139798A1 publication Critical patent/JPWO2016139798A1/ja
Application granted granted Critical
Publication of JP6402820B2 publication Critical patent/JP6402820B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G04HOROLOGY
    • G04CELECTROMECHANICAL CLOCKS OR WATCHES
    • G04C3/00Electromechanical clocks or watches independent of other time-pieces and in which the movement is maintained by electric means
    • G04C3/001Electromechanical switches for setting or display
    • G04C3/002Position, e.g. inclination dependent switches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1636Sensing arrangement for detection of a tap gesture on the housing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、利用者からの入力を検知する入力検知方法、入力検知プログラム及びデバイスに関する。
近年では、例えば腕時計型のウェアラブル端末のような小型のデバイスで、表示だけでなく入力も行えるものが普及しつつある。
腕時計型のデバイス等は、サイズに制約があるため、入力のために利用できるボタンや入力エリアに制限がある。そのため、従来では、デバイスタッチパネル等の入力面だけでなく、デバイスに対する振動を入力とする技術が知られている。
特表2012−522324号公報
従来の腕時計型のデバイスにおいて、振動を入力とする場合、サイズが小さいため、腕時計型のデバイスよりサイズが大きいデバイスと比べ、振動によりデバイスが受ける変位や加速度が大きくなる。また、腕時計型のデバイスは、入力として与えられる振動以外に、腕等の部位を動かす動作等により、使用に応じた様々な大きさ及び方向の加速度が発生する。
その結果、従来の腕時計型のデバイスでは、通常の使用による加速度の変化と、入力を目的とした加速度の変化と、を区別することが難しい。
1つの側面では、利用者が意図した入力を選択的に入力として判定できる入力検知方法、入力検知プログラム及びデバイスを提供することを目的としている。
一様態によれば、腕にバンドにより装着されるデバイスにおける入力検知方法であって、該デバイスが、該デバイスの有する加速度センサの出力情報を取得し、前記出力情報に基づき、前記バンドによる拘束に対応した変化を検出した場合は、該変化を入力と判定する。
上記各手順は、上記各手順を実現する機能部、各手順を実現する処理としてコンピュータにより実行させる方法、プログラムを記憶したコンピュータ読み取り可能な記憶媒体とすることもでき
利用者が意図した入力を選択的に入力として判定できる。
第一の実施形態の端末装置を説明する図である。 第一の実施形態のデバイスに入力が行われる状態を説明する図である。 第一の実施形態のデバイスに振動が入力として与えられる場合を説明する図である。 ベルトによるデバイスの拘束について説明する図である。 基準波形を説明する第一の図である。 基準波形を説明する第二の図である。 基準波形データを説明する図である。 デバイスのハードウェア構成の一例を示す図である。 第一の実施形態のデバイスの機能を説明する図である。 第一の実施形態のデバイスの動作を説明するフローチャートである。 適合閾値について説明する図である。 波形の照合について説明する図である。 調整波形を説明する図である。 第二の実施形態のデバイスの機能を説明する図である。 調整波形データの生成に用いる波形データの入力を促す画面の例を示す図である。 第二の実施形態における調整波形データの取得処理を説明するフローチャートである。 第二の実施形態のデバイスの動作を説明するフローチャートである。
(第一の実施形態)
以下に図面を参照して実施形態について説明する。図1は、第一の実施形態の端末装置を説明する図である。
本実施形態の端末装置100は、腕時計型のウェアラブル端末であり、デバイス200と、ベルト(バンド)300とを含む。
本実施形態の端末装置100において、デバイス200は、側面における一部分(上側面)と、一部分と対向する位置ある他の一部分(下側面)とが、ベルト300の端部と連結されている。図1の例では、ベルト300と連結された側面における一部分を、デバイス200の上側面201とし、上側面201と対向する位置にある他の一部をデバイスの下側面202とした。
本実施形態のデバイス200は、端末装置100が利用者の腕等に装着された際に、外を向く面に画面203が設けられている。画面203は、各種の情報の表示させる表示の機能と、デバイス200に対する入力を受け付ける入力の機能と、を有する。
また、本実施形態のデバイス200は、デバイス200の側面204、205に対して与えられる振動を入力として受け付ける。
次に、図2乃至図4を参照し、本実施形態の端末装置100が利用者に装着された状態で、デバイス200が入力を受け付ける場合について説明する。
図2は、第一の実施形態のデバイスに入力が行われる状態を説明する図である。本実施形態の端末装置100は、例えば図2に示すような腕時計型であり、利用者の腕に装着される。
図2に示す状態1は、利用者が端末装置100を装着しており、且つ端末装置100の画面203の位置が固定されていない状態を示している。すなわち、状態1は、利用者が端末装置100を装着した状態で、画面203に表示された情報の確認や入力以外の動作(例えば歩行等)を行っている状態である。
図2に示す状態2は、利用者が端末装置100を装着しており、且つ端末装置100の画面203の位置が利用者により固定された状態を示している。すなわち、状態2は、利用者が画面203を見ているか、又は画面203に対する入力等の操作を行おうとしている状態である。
状態1から状態2への遷移は、利用者が腕を持ち上げて、端末装置100の位置を、状態1の位置から状態2の位置に移動させることで行われる。本実施形態のデバイス200は、デバイス200自身の加速度や角度等に基づき利用者の腕の動作を検知し、状態1から状態2へ遷移したことを検出する。また、本実施形態のデバイス200は、同様に状態2から状態1へ遷移したことや、現在の状態が状態1又は2のどちらであるかを検出する。
本実施形態のデバイス200は、状態1から状態2への遷移を検出すると、画面203に所定の情報を表示させても良い。所定の情報は、例えば時刻を示す情報であっても良いし、予め設定された情報であっても良い。また、本実施形態のデバイス200は、状態2から状態1への遷移を検出すると、画面203の表示を消去しても良い。以下の説明では、状態1を通常動作状態と呼び、状態2を入力準備状態と呼ぶ。
次に、図3を参照して、本実施形態のデバイス200に対する振動が入力される場合について説明する。図3は、第一の実施形態のデバイスに振動が入力として与えられる場合を説明する図である。
本実施形態のデバイス200は、側面204、205の何れか一方を利用者がタップすることにより生じる振動を入力として受け付ける。本実施形態のタップは、側面204、205の何れかを、利用者の指等により軽く叩く操作を示す。
図3は、入力準備状態にあるデバイス200がタップされた場合を示している。この場合、デバイス200は、ベルト300により利用者の腕に拘束されているため、ベルト300がデバイスを拘束する方向の振動は抑制される。これに対し、ベルト300がデバイス200を拘束する方向と直交する方向の振動は、ベルト300による拘束に対する反発が反映されたものとなる。
本実施形態では、この点に着目し、ベルト300の反発が反映された振動をタップとして検知する。具体的には、本実施形態のデバイス200は、ベルト300がデバイス200を拘束する方向と直交する方向の振動を示す加速度の変化を基準波形データとして記憶し、基準波形データが示す振動と適合する加速度の変化が検出されたとき、タップと検知する。
以下に、図4を参照して、ベルト300によるデバイス200の拘束についてさらに説明する。図4は、ベルトによるデバイスの拘束について説明する図である。
図4に示すように、本実施形態のデバイス200は、ベルト300により、デバイス200の有する座標軸におけるY軸方向に拘束される。したがって、デバイス200は、この状態で矢印Y1方向の衝撃(タップ)を受けた場合に、Y軸方向の動き(振動)が抑制される。
これに対し、デバイス200のX軸方向の動き(振動)は、矢印Y1方向の衝撃(タップ)を受けると、矢印Y1方向に向かう動きと、Y軸方向の拘束により矢印Y1方向と反対方向に引き戻される動きとが生じる。このため、本実施形態のデバイス200に対してタップが成された場合、デバイス200のX軸方向の振動は、矢印Y1方向に向かう動きと、矢印Y1方向と反対方向に引き戻される動きとが交互に繰り返される振動になる。
本実施形態では、この振動によるデバイス200の加速度の変化を示す波形データを、基準波形データとして記憶し、デバイス200の加速度の変化を基準波形データと照合してタップか否か判定し、利用者が意図したタップを選択的に入力として判定する。
すなわち、本実施形態では、デバイス200の有する座標軸のうち、X座標の加速度の変化のみを参照し、デバイス200に与えられた振動がタップであるか否かを検知する。
尚、本実施形態のデバイス200は、側面204がタップされると、タップをバックスペース(Back Space)と対応する操作等として受け付けても良い。
尚、本実施形態では、デバイス200が利用者の手首に装着されているものとしたが、デバイス200が装着される位置は、手首に限定されない。本実施形態のデバイス200は、例えば、利用者の上腕や前腕等に装着されても良い。
尚、デバイス200が上腕や前腕に装着された場合における、ベルト300がデバイス200を拘束する方向と直交する方向は、デバイス200の有する座標軸におけるX軸方向である。
図5は、基準波形を説明する第一の図である。図5(A)は、デバイス200がベルト300により拘束された状態でタップされた際の加速度の変化を示す波形である。図5(A)は、後述するタップの検知において参照される基準波形である。
図5(B)は、デバイス200がベルト300により拘束されていない状態でタップされた際の加速度の変化を示す波形である。デバイス200がベルト300により拘束されていない状態とは、端末装置100が利用者に装着されていない状態である。具体的には、例えば端末装置100が利用者の手のひらや机の上に置かれた状態等である。
ここで、本実施形態の基準波形について説明する。本実施形態では、デバイス200がベルト300により拘束された状態でタップを受けた際の波形を基準波形とする。
本実施形態の基準波形は、端末装置100が利用者の腕に装着された状態で、デバイス200がタップされた際の、デバイス200の加速度の変化を示す理想的な波形である。本実施形態の基準波形は、複数の利用者が端末装置100を装着してデバイス200をタップする実験を行った結果として得られる。
デバイス200にタップの衝撃が与えられると、デバイス200の加速度は、衝撃の大きさに応じたピーク値Pまで変化する。
次に、図5(A)に示す波形では、衝撃を受けてから所定時間以内に、ピーク値Pと同程度以上の反発があり、さらにその後逆方向に加速度が0となり、次第に0に近づくように収束していく。具体的には、図5(A)の波形では、加速度は、衝撃を受けた際の変化を示すピーク値Pから、0.1msec以内に衝撃による変化と逆方向のピークP1まで変化する。ピーク値Pからピーク値P1までの変化は、ベルト300によるY軸方向の拘束により、衝撃が与えられた方向と逆方向にデバイス200が引き戻される動きにより生じる。
例えば、図5(A)の波形では、衝撃による加速度の変化を|P|(ピーク値Pの絶対値)とした場合に、ベルト300による引き戻しによる加速度の変化は、|P+P1|となる。したがって、図5(A)に示す波形では、衝撃を受けてから、極めて短い時間以内に、衝撃による加速度の変化と同程度以上の反発があることがわかる。
これに対し、図5(B)の波形では、衝撃を受けた際の変化を示すピーク値P′から、加速度が逆向きのピーク値P2に変化するまでに、30msec以上の時間がかかっている。また、ピーク値P2は、ピーク値P1より小さい値であり、図5(A)に示す波形と比べて、ピーク値P′からの加速度の変化がなだらかである。
以上のように、デバイス200の加速度は、タップが入力された場合に、デバイス200がベルト300により拘束されているか否かによって、変化の仕方が異なる。よって、本実施形態では、図5(B)の波形と、図5(A)に示す基準波形とを区別することができる。
図6は、基準波形を説明する第二の図である。図6(A)は、基準波形を示しており、図5(A)に示した波形と同一のものである。
図6(B)は、利用者が端末装置100を装着して歩行した場合のデバイス200の加速度の変化を示す波形である。図6(C)は、利用者が端末装置100を装着してパンチをした場合のデバイス200の加速度の変化を示す波形である。
利用者が歩行している場合、デバイス200の加速度は、腕の振りに依存してなだらかに変化する。
また、利用者が端末装置100を装着した腕でパンチをした場合、デバイス200の加速度は大きく変化する。しかしながら、パンチの動作においても、腕の動作が加速度の変化に含まれるため、デバイス200に直接振動を与えるタップと比較し、加速度の変化がなだらかになる。
したがって、利用者の歩行時や、利用者がパンチの動作を行った際の加速度の変化を示す波形は、基準波形のように、衝撃に応じた変化から極めて短い時間以内に生じる、衝撃による変化と同程度以上の反発を示す波形は含まれない。
以下に、図7を参照して基準波形データについて説明する。図7は、基準波形データを説明する図である。図7(A)は、基準波形データを示しており、図7(B)は、基準波形データと対応した微分値の変化を示す波形である。
本実施形態のデバイス200は、入力準備状態において、デバイス200がタップを受けた際の基準波形のうち、タップによる振動を示す特徴的な加速度の変化を示す部分の波形を基準波形データとする。
より具体的には、本実施形態のデバイス200は、加速度が衝撃に応じてピーク値Pまで変化したのち、その反発で加速度がピーク値P1まで変化する際、加速度が0となる時点から、所定期間の波形を基準波形データとする。
すなわち、本実施形態では、衝撃に応じて発生した加速度の値が最初に0となる時点から所定期間の波形を基準波形データとする。図7では、点線71で囲まれる波形Nを示すデータを基準波形データとした。
すなわち、本実施形態の基準波形データNは、基準波形から、衝撃に応じた加速度のピーク値Pを検出してから最初に加速度の値が0となる時点t1から所定期間後の時点t2までの波形を抽出したものある。
本実施形態の基準波形データNでは、時点t1からの加速度の変化が一番大きく、その後の加速度の変化は、反発を示す加速度の変化を超えない。時点t1からの加速度の変化は、デバイス200が受けた衝撃に対する反発により生じるものである。
したがって、本実施形態の基準波形データNは、加速度が0の時点t1から迎えた最初の加速度のピーク値P1の絶対値が一番大きく、その後の加速度の絶対値は、ピーク値P1の絶対値を超えない。
また、本実施形態では、加速度の変化がタップの衝撃によるものか否かを判定するために、図7(B)に示す加速度の微分値に、タップ検出閾値を設定した。
本実施形態では、加速度の変化の大きさを示す微分値がタップ検出閾値より大きい場合に、この加速度の変化をタップの衝撃による変化と判定する。
尚、図7(B)の例では、タップ検出閾値を負の値として示しているが、タップ検出閾値は絶対値として設けられても良い。この場合、タップ検出閾値は、加速度の微分値の絶対値と比較される。
本実施形態のタップ検出閾値は、実際に利用者が端末装置100を装着した状態で、デバイス200をタップする実験を行った結果から得られる値であり、タップの衝撃による加速度の変動幅と見なされる値が設定されている。
次に、本実施形態のデバイス200について説明する。図8は、デバイスのハードウェア構成の一例を示す図である。
デバイス200は、それぞれバスBで相互に接続されている表示操作装置21、センサ装置22、ドライブ装置23、補助記憶装置24、メモリ装置25、演算処理装置26及びインターフェース装置27を含む。
表示操作装置21は、例えばタッチパネル等であり、各種信号の入力と表示のために用いられる。センサ装置22は、例えば加速度センサやジャイロセンサ等を含み、デバイス200の角度や加速度等を検出する。インターフェース装置27は、モデム、LANカード等を含み、ネットワークに接続する為に用いられる。
後述する入力検知プログラムは、デバイス200を制御する各種プログラムの少なくとも一部である。入力検知プログラムは例えば記録媒体28の配布やネットワークからのダウンロードなどによって提供される。入力検知プログラムを記録した記録媒体28は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
また、入力検知プログラムは、入力検知プログラムを記録した記録媒体28がドライブ装置23にセットされるとは記録媒体28からドライブ装置23を介して補助記憶装置24にインストールされる。ネットワークからダウンロードされた入力検知プログラムは、インターフェース装置27を介して補助記憶装置24にインストールされる。
補助記憶装置24は、インストールされた入力検知プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置25は、コンピュータの起動時に補助記憶装置24から入力検知プログラムを読み出して格納する。そして、演算処理装置26はメモリ装置25に格納された入力検知プログラムに従って、後述するような各種処理を実現している。
次に、図9を参照して、本実施形態のデバイス200の機能について説明する。図9は、第一の実施形態のデバイスの機能を説明する図である。
本実施形態のデバイス200は、記憶部210と、入力検知処理部220と、を有する。本実施形態の記憶部210は、例えばメモリ装置25や補助記憶装置24等に設けられた記憶領域に、後述する各種の情報を格納する。
本実施形態の入力検知処理部220は、演算処理装置26がメモリ装置25等に格納された入力検知プログラムを実行することで実現される。
本実施形態の記憶部210は、タップ検出閾値データ211、基準波形データ212、適合閾値データ213を格納する。
本実施形態のタップ検出閾値データ211は、デバイス200の加速度の変化がタップの衝撃によるものか否かを判定するための閾値である。タップ検出閾値データ211は、予め設定された値である。
本実施形態の基準波形データ212は、上述した通りであり、入力に応じたデバイス200の加速度の変化を示す波形データと照合される。
本実施形態の適合閾値データ213は、デバイス200の加速度の変化を示す波形データが、タップによる振動であるか否かを判定するための閾値である。本実施形態の適合閾値データ213は、基準波形データ212と、デバイス200の加速度の変化を示す波形データとを照合した結果の適合度と比較される。
本実施形態の適合閾値データ213は、第一閾値データ214、第二閾値データ215を含む。第一閾値データ214の示す値は、第二閾値データ215の示す値よりも大きい値として設定される。
以下の説明では、タップ検出閾値データ211により示される値を、タップ検出閾値と呼び、適合閾値データ213により示される値を適合閾値と呼ぶ。また、以下の説明では、第一閾値データ214、第二閾値データ215のそれぞれにより示される値を、第一閾値、第二閾値と呼ぶ。
本実施形態の入力検知処理部220は、デバイス200に与えられた振動から、デバイス200に対する入力を検知する。
本実施形態の入力検知処理部220は、加速度検出部221、微分値算出部222、入力状態判定部223、閾値選択部224、微分値判定部225、波形照合部226、タップ判定部227を有する。
加速度検出部221は、デバイス200の有するセンサ装置22により検出された、デバイス200のX軸方向の加速度を検出する。
微分値算出部222は、検出した加速度の微分値を算出する。入力状態判定部223は、デバイス200の状態を判定する。具体的には、入力状態判定部223は、センサ装置により、デバイス200の状態が、入力準備状態であるか否かを判定する(図2参照)。
閾値選択部224は、入力状態判定部223による判定結果に応じて、適合閾値を選択し、設定する。
微分値判定部225は、微分値算出部222により算出された加速度の微分値が、タップ検出閾値(絶対値)を超えたか否かを判定する。
波形照合部226は、微分値判定部225により、加速度の微分値がタップ検出閾値を越えたと判定されたとき、基準波形データ212と、デバイス200に与えられた振動による加速度の変化を示す波形データとを照合し、照合結果を示す適合度を取得する。
タップ判定部227は、波形照合部226により得られた適合度と適合閾値との比較結果に応じて、デバイス200に与えられた振動が、タップによるものであるか否かを判定する。
次に、図10を参照して、第一の実施形態のデバイス200の入力検知処理について説明する。図10は、第一の実施形態のデバイスの動作を説明するフローチャートである。
本実施形態のデバイス200は、入力検知処理部220の加速度検出部221により、センサ装置22が検出したデバイス200の加速度aを取得する(ステップS1001)。
続いて入力検知処理部220は、微分値算出部222により、取得した加速度aの微分値da/dtを算出する(ステップS1002)。続いてデバイス200は、入力状態判定部223により、デバイス200の状態が、入力準備状態であるか否かを判定する(ステップS1003)。
ステップS1003において、デバイス200の状態が、入力準備状態であった場合、閾値選択部224は、第一閾値を適合閾値に設定し(ステップS1004)、後述するステップS1006へ進む。ステップS1003において、デバイス200の状態が、入力準備状態でない場合、閾値選択部224は、第二閾値を適合閾値に設定し(ステップS1005)、後述するステップS1006へ進む。
すなわち、本実施形態では、デバイス200の状態が入力準備状態である場合に、適合閾値を高く設定し、デバイス200の状態が入力準備状態でない通常動作状態である場合に、適合閾値を、入力準備状態である場合よりも低く設定する。
続いて入力検知処理部220は、微分値判定部225により、微分値がタップ検出閾値より大きいか否かを判定する(ステップS1006)。
ステップS1006において、微分値がタップ検出閾値以下の場合、入力検知処理部220は、ステップS1001へ戻る。
ステップS1006において、微分値がタップ検出閾値より大きい場合、入力検知処理部220は、波形照合部226により、加速度aが所定時間以内に0以上となったか否かを判定する(ステップS1007)。本実施形態では、例えば所定時間を30msecとした。
ステップS1007において、加速度aが所定時間以内に0以上とならない場合、入力検知処理部220は、ステップS1001へ戻る。
ステップS1007において、加速度aが所定時間以内に0以上となった場合、入力検知処理部220は、波形照合部226により、振動によるデバイス200の加速度aの変化を示す波形データを記録する(ステップS1008)。
続いて入力検知処理部220は、波形照合部226により、記録した波形データと、基準波形データ212と照合する(ステップS1009)。続いて入力検知処理部220は、タップ判定部227により、記録した波形データと基準波形データ212との適合度が、適合閾値より大きいか否かを判定する(ステップS1010)。尚、波形照合部226による波形データの照合の詳細は後述する。
ステップS1010おいて、適合度が適合閾値より大きい場合は、入力検知処理部220は、タップ判定部227により、波形データが基準波形データ212と一致するとみなす。そして、タップ判定部227は、デバイス200が検出した加速度aの変化がデバイス200に対するタップによるものと判定し(ステップS1011)、処理を終了する。
ここで、本実施形態の適合閾値の選択について説明する。
本実施形態では、端末装置100が入力準備状態であるか否かに応じて、適合閾値を変更する。
端末装置100が入力準備状態にある場合、画面203の位置は固定されているため、タップによる振動を示す波形が基準波形に近くなることが想定される。そこで、本実施形態では、端末装置100が入力準備状態にある場合には適合閾値を第一閾値とし、端末装置100が入力準備状態にない場合、すなわち通常動作状態である場合には、適合閾値を第一閾値より低い値である第二閾値とする。
本実施形態では、このように適合閾値を設定することで、デバイス200の状態に関わらず、タップの認識精度を向上させることができる。
以下に、図11を参照して本実施形態の適合閾値について説明する。図11は、適合閾値について説明する図である。図11では、本実施形態の適合閾値である第一閾値と第二閾値の設定の仕方について説明する。
本実施形態の第一閾値は、端末装置100を入力準備状態としてタップを行う実験で得られた適合度の分布から得られるものとした。また、本実施形態の第二閾値は、端末装置100を通常動作状態としてタップを行う実験で得られた適合度の分布から得られるものとした。
図11に示す曲線L1は、端末装置100が入力準備状態にある状態で、デバイス200を複数回タップして得られた波形データと、基準波形データとを比較した結果の適合度の分布を示している。また、曲線L2は、端末装置100が通常動作状態にある状態で、デバイス200を複数回タップして得られた波形データと、基準波形データとを比較した結果の適合度の分布を示している。
図11において、適合度THaは、分布L1の平均値であり、σ1は分布L1の標準偏差である。また、適合度THbは、分布L2の平均値であり、σ2は分布L2の標準偏差である。
本実施形態では、適合度THaから標準偏差σ1を減算した適合度TH1を第一閾値とし、適合度THbから標準偏差σ2を減算した適合度TH2を第二閾値とした。
尚、本実施形態では、デバイス200が入力準備状態となってから、所定の時間入力が行われない場合には、適合閾値を第一閾値から第二閾値に変更しても良い。
次に、図12を参照し、波形照合部226による照合について説明する。図12は、波形の照合について説明する図である。
本実施形態では、例えば基準波形データNを複数の波形データに分割し、分割された複数の波形データ毎に適合閾値を設定しても良い。
図12では、基準波形データNを、加速度の変化の向きがかわる時点で分割した例を示している。
本実施形態では、基準波形データNを、図12に示すように、波形データN1、N2、N3というように分割している。
波形データN1は、時点t1から、時点t11までの波形データである。時点t11は、加速度の変化の向きが正から負へ変わる時点である。波形データN2は、時点t11から、時点t12までの波形データである。時点t12は、加速度の変化の向きが負から正に変わる時点である。波形データN3は、時点t12から時点t13までの波形データである。時点t13は、加速度の変化の向きが正から負に変わる時点である。
このように、本実施形態では、基準波形データNの変化の向きが変わる毎に、波形データを分割し、各波形データに対して適合閾値を設定しても良い。
適合閾値は、例えば基準波形データNにおいてタップの衝撃による変化が顕著に表れる波形データN1、波形データN2の適合閾値を、波形データN3以後の波形データの適合閾値よりも高く設定されても良い。
また、本実施形態では、分割された波形データ毎に、適合閾値として第一閾値と第二閾値が設定されていても良い。
また、本実施形態の波形照合部226は、基準波形データNを分割した全ての波形データにおいて、適合度が各波形データの適合閾値以上となった場合に、デバイス200が検出した加速度aの変化をタップによるものと判定しても良い。
以上のように、本実施形態によれば、通常の使用による加速度等の変化と、入力を目的とした加速度等の変化と、を区別することができ、利用者が意図した入力を選択的に入力として判定できる。
(第二の実施形態)
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態は、波形データの照合の際に、利用者により入力された振動から取得した調整波形データを参照する点が第一の実施形態と相違する。以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
図13は、調整波形を説明する図である。図13(A)は、ベルト300をきつく締めていた場合に、デバイス200がタップされた際の加速度の変化を示す波形を示す。図13(B)は、ベルト300をゆるく締めていた場合に、デバイス200がタップされた際の加速度の変化を示す波形を示す。
タップによりデバイス200に与えられる振動は、利用者による端末装置100の装着の状態によって変化する。例えば、デバイス200に与えられる振動は、利用者が端末装置100を装着する際のベルト300の締め具合によって変化する。
尚、ベルト300をきつく締めた場合とは、端末装置100の装着時にデバイス200が利用者の腕に固定され、デバイス200のY軸方向の動きが抑制された状態を示す。ベルト300をゆるく締めた場合とは、端末装置100の装着時にデバイス200が利用者の腕に固定されておらず、デバイス200と利用者の腕との間に隙間があり、デバイス200のY軸方向の動きが抑制されにくい状態を示す。
利用者が端末装置100を装着する際に、ベルト300をきつく締めていた場合、ベルト300がデバイス200をY軸方向に拘束する力は大きくなる。このため、タップによりデバイス200に与えられ衝撃は、X軸方向の加速度の変化により大きく反映される。したがって、この場合の加速度の変化を示す波形は、基準波形と近くなる。
また、利用者が端末装置100を装着する際に、ベルト300をゆるく締めていた場合、ベルト300がデバイス200を拘束する力は、ベルト300をきつく締めていた場合と比べて小さくなる。よって、タップによりデバイス200に与えられ衝撃は、ベルト300をきつく締めていた場合と比べて、Y軸方向の加速度の変化にも反映されやすく、その分X軸方向の加速度の変化が小さくなりやすい。
したがって、図13(A)に示す波形と比べて、図13(B)に示す波形の加速度の変化が小さく、図13(A)に示す波形よりも波長λが長く、変化がなだらかになっている。
本実施形態では、この点に着目し、利用者に、端末装置100を装着した状態でデバイス200に対するタップを行わせ、利用者個人の端末装置100の装着の仕方等を反映させた調整波形を取得する。そして、本実施形態では、波形照合部226による照合において、基準波形の代わりに調整波形を用いることで、利用者に応じてタップの入力検知の精度がばらつくことを抑制し、入力検知の精度を維持する。
図14は、第二の実施形態のデバイスの機能を説明する図である。本実施形態のデバイス200Aは、記憶部210Aと、入力検知処理部220Aと、を有する。
本実施形態の記憶部210Aは、タップ検出閾値データ211と、基準波形データ212と、適合閾値データ213と、調整波形データ216と、が格納される。
本実施形態の調整波形データ216は、後述する調整波形データの取得処理により取得され、記憶部210Aに格納される。
本実施形態の入力検知処理部220Aは、第一の実施形態の入力検知処理部220の有する各部に加え、波形取得部228と、調整波形生成部229とを有する。
本実施形態の波形取得部228は、デバイス200に入力された振動による加速度の変化を波形データとして取得する。本実施形態の調整波形生成部229は、取得した波形データから、調整波形を示す調整波形データ216を生成する。
以下に、図15及び図16を参照し、本実施形態の調整波形データの取得処理について説明する。
図15は、調整波形データの生成に用いる波形データの入力を促す画面の例を示す図である。
本実施形態のデバイス200Aは、例えば調整波形データの取得の操作を受け付けると、画面203に、複数回のタップを促すメッセージを表示させる。
本実施形態のデバイス200Aは、画面203に、図15に示すメッセージが表示された状態で振動の入力を受け付けると、調整波形データの取得処理を開始する。
図16は、第二の実施形態における調整波形データの取得処理を説明するフローチャートである。
図16のステップS1601、S1602の処理は、図10のステップS1001、S1002の処理と同様であるから、説明を省略する。
続いて、本実施形態の入力検知処理部220Aは、閾値選択部224は、第二閾値データ215が示す値を適合閾値として選択する(ステップS1603)。
図16のステップS1604からS1609の処理は、図10のステップS1003からS1008までの処理と同様であるから、説明を省略する。
続いて入力検知処理部220Aは、波形取得部228により、タップと判定した加速度aの変化を示す波形データを保持する(ステップS1610)。続いて入力検知処理部220Aは、調整波形生成部229により、所定回数のタップを検出したか否かを判定する(ステップS1611)。
ステップS1611において、所定回数のタップを検出していない場合、入力検知処理部220Aは、ステップS1601へ戻る。
ステップS1611において、所定回数のタップを検出した場合、入力検知処理部220Aは、調整波形生成部229により、所定回数分の波形データから調整波形データ216とし、記憶部210Aに格納する(ステップS1612)。具体的には、本実施形態の調整波形生成部229は、所定回数分の波形データのうち、適合度が最も低い波形データを除いた波形データの平均を調整波形データ216として格納しても良い。
次に、図17を参照し、本実施形態のデバイス200Aの入力検知処理について説明する。図17は、第二の実施形態のデバイスの動作を説明するフローチャートである。
図17のステップS1701からステップS1708までの処理は、図10のステップS1001からステップS1008までの処理と同様であるから、説明を省略する。
ステップS1708に続いて、続いて入力検知処理部220Aは、波形照合部226により、記録した波形データと、調整波形データ216とを照合する(ステップS1709)。
続いて、タップ判定部227は、記録した波形データと調整波形データ216との適合度が、適合閾値より大きいか否かを判定する(ステップS1710)。
ステップS1710おいて、適合度が適合閾値より大きい場合は、入力検知処理部220Aは、タップ判定部227により、波形データが調整波形データと一致するとみなす。そして、タップ判定部227は、デバイス200が検出した加速度aの変化がデバイス200に対するタップによるものと判定し(ステップS1711)、処理を終了する。
以上のように、本実施形態では、利用者の端末装置100の装着の仕方に応じた調整波形を基準としてタップが入力されたか否かを判定するため、端末装置100の装着の仕方に関わらず、利用者が意図した入力を選択的に入力として判定できる。
尚、上述した実施形態の入力検知の処理は、腕時計型の端末装置100が有するデバイス200により実行されるものとたが、これに限定されない。各実施形態の入力検知の処理は、例えば利用者の腕等に固定できるスマートフォン等により実行されても良い。また、入力検知の処理は、デバイス200が有するIC(Integrated Circuit)チップ等において実行されても良い。
本発明は、具体的に開示された実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
100 端末装置
200、200A デバイス
201 上側面
202 下側面
203 画面
204、205 側面
210、210A 記憶部
211 タップ検出閾値データ
212 基準波形データ
213 適合閾値データ
214 第一閾値
215 第二閾値
216 調整波形データ
220、220A 入力検知処理部
221 加速度検出部
222 微分値算出部
223 入力状態判定部
224 微分値判定部
225 波形照合部
226 タップ判定部
228 波形取得部
229 調整波形生成部
300 ベルト

Claims (8)

  1. 腕にバンドにより装着されるデバイスにおける入力検知方法であって、該デバイスが、
    該デバイスの有する加速度センサの出力情報を取得し、
    前記出力情報に基づき、前記デバイスに与えられた衝撃より前記デバイスが移動する第1の動きと、前記デバイスが前記バンドの拘束により前記移動した方向と反対方向に引き戻される第2の動きと、が交互に繰り返される振動で表される、前記バンドによる拘束に対応した変化を検出した場合は、該変化を入力と判定する、入力検知方法。
  2. 該デバイスが入力準備状態にあると判定した場合、前記検出に用いられる閾値を、前記デバイスが前記入力準備状態以外の状態である場合と異ならせる、請求項1記載の入力検知方法。
  3. 前記変化は、前記バンドが前記デバイスを拘束する方向と直交する方向の変化である請求項2記載の入力検知方法。
  4. 前記衝撃による前記デバイスの前記第1の動きは、前記直交する方向の動きである、請求項3記載の入力検知方法。
  5. 前記デバイスは、前記バンドにより手首に装着される、請求項1乃至の何れか一項に記載の入力検知方法。
  6. 前記デバイスは、前記バンドにより上腕に装着される、請求項1乃至の何れか一項に記載の入力検知方法。
  7. 腕にバンドにより装着されるデバイスにおいて実行される入力検知プログラムであって、該デバイスが、
    該デバイスの有する加速度センサの出力情報を取得し、
    前記出力情報に基づき、前記デバイスに与えられた衝撃より前記デバイスが移動する第1の動きと、前記デバイスが前記バンドの拘束により前記移動した方向と反対方向に引き戻される第2の動きと、が交互に繰り返される振動で表される、前記バンドによる拘束に対応した変化を検出した場合は、該変化を入力と判定する、処理を実行する入力検知プログラム。
  8. 腕にバンドにより装着されるデバイスであって、
    該デバイスの有する加速度センサの出力情報を取得する加速度検出部と、
    前記出力情報に基づき、前記デバイスに与えられた衝撃より前記デバイスが移動する第1の動きと、前記デバイスが前記バンドの拘束により前記移動した方向と反対方向に引き戻される第2の動きと、が交互に繰り返される振動で表される、前記バンドによる拘束に対応した変化を検出した場合は、該変化を入力と判定する入力検知処理部と、を有するデバイス。
JP2017503290A 2015-03-05 2015-03-05 入力検知方法、入力検知プログラム及びデバイス Expired - Fee Related JP6402820B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/056510 WO2016139798A1 (ja) 2015-03-05 2015-03-05 入力検知方法、入力検知プログラム及びデバイス

Publications (2)

Publication Number Publication Date
JPWO2016139798A1 JPWO2016139798A1 (ja) 2017-12-14
JP6402820B2 true JP6402820B2 (ja) 2018-10-10

Family

ID=56849219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017503290A Expired - Fee Related JP6402820B2 (ja) 2015-03-05 2015-03-05 入力検知方法、入力検知プログラム及びデバイス

Country Status (4)

Country Link
US (1) US20170364152A1 (ja)
EP (1) EP3267287A4 (ja)
JP (1) JP6402820B2 (ja)
WO (1) WO2016139798A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6396186B2 (ja) * 2014-11-17 2018-09-26 ラピスセミコンダクタ株式会社 半導体装置、携帯端末装置および操作検知方法
CN107014481B (zh) 2017-03-01 2021-01-29 北京小米移动软件有限公司 动作识别方法及装置
CN106933425B (zh) * 2017-04-26 2021-01-22 广东小天才科技有限公司 一种防止误触的方法和装置
JP2019175159A (ja) * 2018-03-28 2019-10-10 カシオ計算機株式会社 電子機器、音声入力感度制御方法、及び音声入力感度制御プログラム
JP2021043619A (ja) * 2019-09-10 2021-03-18 株式会社東海理化電機製作所 制御装置、制御方法、およびプログラム
CN113918020A (zh) * 2021-10-20 2022-01-11 北京小雅星空科技有限公司 智能交互方法及相关装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3525665B2 (ja) * 1997-01-07 2004-05-10 日本電信電話株式会社 常装着型電話装置
US20050212760A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
JP2006222199A (ja) * 2005-02-09 2006-08-24 Isuzu Motors Ltd 比例ソレノイド及びそれを用いた流量制御弁
US20090085865A1 (en) * 2007-09-27 2009-04-02 Liquivision Products, Inc. Device for underwater use and method of controlling same
US9141087B2 (en) * 2009-04-26 2015-09-22 Nike, Inc. Athletic watch
US8909330B2 (en) * 2009-05-20 2014-12-09 Sotera Wireless, Inc. Body-worn device and associated system for alarms/alerts based on vital signs and motion
JP5790642B2 (ja) * 2010-03-15 2015-10-07 日本電気株式会社 入力装置、入力方法及びプログラム
JP5794526B2 (ja) * 2011-08-02 2015-10-14 国立大学法人 奈良先端科学技術大学院大学 インタフェースシステム
US9005129B2 (en) * 2012-06-22 2015-04-14 Fitbit, Inc. Wearable heart rate monitor
WO2014033872A1 (ja) * 2012-08-30 2014-03-06 富士通株式会社 表示装置,プログラム
WO2014190534A1 (zh) * 2013-05-31 2014-12-04 东莞宇龙通信科技有限公司 移动终端、可穿戴设备和设备配对方法
JP2014238696A (ja) * 2013-06-07 2014-12-18 セイコーエプソン株式会社 電子機器及びタップ操作検出方法
US10241564B2 (en) * 2013-06-07 2019-03-26 Seiko Epson Corporation Electronic apparatus and method of detecting tap operation
JP5741638B2 (ja) * 2013-06-20 2015-07-01 カシオ計算機株式会社 携帯表示装置及び操作検出方法
JP6171615B2 (ja) * 2013-06-21 2017-08-02 カシオ計算機株式会社 情報処理装置及びプログラム
JP6281290B2 (ja) * 2014-01-15 2018-02-21 Tdk株式会社 リストバンド型腕動作判定装置
US20160004393A1 (en) * 2014-07-01 2016-01-07 Google Inc. Wearable device user interface control
JP2016106639A (ja) * 2014-12-01 2016-06-20 セイコーエプソン株式会社 生体情報解析装置、生体情報解析システム及び生体情報解析方法
WO2016143404A1 (ja) * 2015-03-12 2016-09-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2016139798A1 (ja) 2017-12-14
US20170364152A1 (en) 2017-12-21
EP3267287A4 (en) 2018-02-21
WO2016139798A1 (ja) 2016-09-09
EP3267287A1 (en) 2018-01-10

Similar Documents

Publication Publication Date Title
JP6402820B2 (ja) 入力検知方法、入力検知プログラム及びデバイス
US11023043B2 (en) Motion and gesture input from a wearable device
AU2020257155B2 (en) Motion gesture input detected using optical sensors
US10627902B2 (en) Devices, methods, and graphical user interfaces for a wearable electronic ring computing device
KR101442936B1 (ko) 힘 감응 입력을 제공하는 사용자 인터페이스 방법 및 시스템
US9836663B2 (en) User authenticating method and head mounted device supporting the same
CN106055088B (zh) 交互式穿戴式设备的空气书写和手势系统
Gummeson et al. An energy harvesting wearable ring platform for gestureinput on surfaces
US20110043475A1 (en) Method and system of identifying a user of a handheld device
US20150269409A1 (en) Method of controlling an electronic device
JP6273590B2 (ja) 筋電位計測装置及び筋電位計測方法
CN106708254A (zh) 检测器
WO2015171559A1 (en) Enhanced user interface for a wearable electronic device
US8547352B2 (en) Method, apparatus for sensing moved touch and computer readable record-medium on which program for executing method thereof
CN107004124B (zh) 使用生物信号识别用户的方法和设备
KR20210052874A (ko) 복수의 센서 신호를 이용하여 사용자의 제스처를 인식하는 전자 장치
Ngoc Diep et al. SigVer3D: Accelerometer based verification of 3-D signatures on mobile devices
US20130060513A1 (en) Systems and Methods for Utilizing Acceleration Event Signatures
KR20190027726A (ko) 제스쳐를 이용하는 단말 제어 방법
JP6891891B2 (ja) 情報処理装置
JP2017142736A (ja) ジェスチャ認識装置、方法およびプログラム
KR20230069131A (ko) 사용자 피드백을 통한 지문 감지 가이드
US10901814B2 (en) Information processing apparatus and information processing method
TW202122972A (zh) 動作感測資料產生方法和動作感測資料產生系統

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170906

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180827

R150 Certificate of patent or registration of utility model

Ref document number: 6402820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees