JP6442769B2 - The information processing apparatus, the gesture detection method, and program - Google Patents

The information processing apparatus, the gesture detection method, and program Download PDF

Info

Publication number
JP6442769B2
JP6442769B2 JP2015113133A JP2015113133A JP6442769B2 JP 6442769 B2 JP6442769 B2 JP 6442769B2 JP 2015113133 A JP2015113133 A JP 2015113133A JP 2015113133 A JP2015113133 A JP 2015113133A JP 6442769 B2 JP6442769 B2 JP 6442769B2
Authority
JP
Japan
Prior art keywords
gesture
axis
gain
spectrum
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015113133A
Other languages
Japanese (ja)
Other versions
JP2016224852A (en
Inventor
晋平 千代
晋平 千代
公平 徹
徹 公平
友香 毛利
友香 毛利
Original Assignee
富士通コネクテッドテクノロジーズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通コネクテッドテクノロジーズ株式会社 filed Critical 富士通コネクテッドテクノロジーズ株式会社
Priority to JP2015113133A priority Critical patent/JP6442769B2/en
Publication of JP2016224852A publication Critical patent/JP2016224852A/en
Application granted granted Critical
Publication of JP6442769B2 publication Critical patent/JP6442769B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

開示の技術は、情報処理装置、ジェスチャ検出方法、及びプログラムに関する。 Disclosed technology relates to an information processing apparatus, the gesture detection method, and a program.

情報処理装置に加わったモーションを角速度センサを用いて検出する技術には、例えば、情報処理装置に落下などのモーションが加わった場合に角速度センサで測定された角速度を予め保存しておく技術がある。 Techniques for the motion applied to the information processing apparatus is detected using an angular velocity sensor, for example, there are pre-stored to keep technique the measured angular velocity by the angular velocity sensor when the motion such as dropping is applied to the information processing apparatus . この技術では、保存されている角速度と、角速度センサで測定された角速度と、を時間軸に沿って所定時間毎に比較し、比較された角速度の差異が所定値以下である場合に、モーションが加わったことを判定する。 In this technique, an angular velocity that is stored, the angular velocity measured by the angular velocity sensor, the along the time axis compared at predetermined time intervals, when the difference of the compared angular velocity is equal to or less than a predetermined value, the motion is and it determines that it has joined.

特開2007−304988 Patent 2007-304988 特開2012−230593 Patent 2012-230593

関連技術では、角速度同士を比較するため、例えば、ユーザが走行中の車両に乗っている等の場合、走行中の車両の揺れ等の外力が加わることで角速度の測定値が影響を受け、モーションが適切に検出されない場合がある。 In the related art, in order to compare the angular velocity with each other, for example, when such a user is riding in a moving vehicle, the measurement value of the angular velocity is influenced by an external force shaking or the like of the vehicle during traveling is applied, motion may not be properly detected.
角速度センサを用いたモーションの検出は、情報処理端末の筐体を把持して振るなど、ユーザの何らかの意図を示す動作(以後、「ジェスチャ」と称する)を検出する技術にも適用され得る。 Detection of motion with an angular velocity sensor, such as shaking by grasping the housing of the information processing terminal, the operation shown some intention of the user (hereinafter, referred to as "gestures") can be applied to a technology for detecting a. 角速度によりジェスチャを検出する際にも、上述の外力の影響を受け、ジェスチャが適切に検出されない場合がある。 Even when detecting the gesture by the angular velocity, the influence of the above-described external force, there is a case where the gesture is not properly detected.

開示の技術は、1つの側面として、角速度によりジェスチャを検出するにあたり外力の影響を低減することが目的である。 The technology disclosed, as one aspect, it is an object to reduce the influence of external forces Upon detecting the gesture by the angular velocity.

開示の技術において、角速度検出部は、筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出し、変換部は、角速度検出部によって検出された3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換する。 In the disclosed technique, the angular velocity detection unit respectively detects the axis of the angular velocity signal of a three-axis orthogonal to each other set in the casing, conversion unit, about the axis of the angular velocities of three axes detected by the angular velocity detection unit converting the signals each spectrum in the frequency domain. また、取得部は、変換部によって変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得する。 Further, acquisition unit, a primary frequency showing the maximum gain in the spectrum of the frequency domain of a specific single axis having the largest value among the maximum value of the gain spectrum in the frequency domain of each axis that has been converted by the conversion unit It is obtained as the main resonance frequency. また、取得部は、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得する。 The acquisition unit acquires the ratio between the gain and the maximum gain at the same frequency as the primary main resonance frequency of the spectrum of the frequency region of at least two-axis as a gain ratio. 判定部は、基準ジェスチャの1次主共振周波数及び前記ゲイン比と、判定対象ジェスチャの1次主共振周波数及びゲイン比と、を1次主共振周波数及びゲイン比の各々毎に比較することで、判定対象ジェスチャが基準ジェスチャであるか否かを判定する。 Determination unit includes a primary main resonant frequency and the gain ratio of the reference gesture, and a primary main resonant frequency and the gain ratio of the determination target gesture, a is compared to that for each respective primary main resonant frequency and the gain ratio, determination target gesture determines whether the reference gesture. 基準ジェスチャの1次主共振周波数及びゲイン比は、筐体に対して基準ジェスチャが行われた際に、取得部によって取得される。 Primary main resonant frequency and the gain ratio of the reference gesture, when the reference gesture is performed on the casing, is acquired by the acquiring unit. また、判定対象ジェスチャの1次主共振周波数及びゲイン比は、筐体に対して判定対象ジェスチャが行われた際に、取得部によって取得される。 Further, the primary main resonant frequency and the gain ratio to be determined gesture, upon determination target gesture is performed on the casing, it is acquired by the acquiring unit.

開示の技術は、1つの側面として、角速度によりジェスチャを検出するにあたり外力の影響を低減する、という効果を有する。 Disclosed technique has as one aspect, to reduce the influence of external forces Upon detecting the gesture by the angular velocity, the effect of.

実施形態に係るスマートデバイスの要部機能の一例を示すブロック図である。 Is a block diagram illustrating an example of main functions of the smart device according to an embodiment. 実施形態に係るジェスチャテーブルの一例を示す概念図である。 Is a conceptual diagram showing an example of a gesture table according to the embodiment. 実施形態に係るスマートデバイスの電気系の構成の一例を示すブロック図である。 Is a block diagram showing an example of an electric system configuration of a smart device according to an embodiment. 実施形態に係るジェスチャ登録処理の一例を示すフローチャートである。 Is a flowchart illustrating an example of a gesture registration processing according to the embodiment. 実施形態に係るジェスチャ登録処理のユーザインターフェイス画面の一例を示す概念図である。 It is a conceptual diagram illustrating an example of a user interface screen gesture registration processing according to the embodiment. 実施形態に係るジェスチャ登録処理のユーザインターフェイス画面の一例を示す概念図である。 It is a conceptual diagram illustrating an example of a user interface screen gesture registration processing according to the embodiment. 実施形態に係るジェスチャ登録処理のユーザインターフェイス画面の一例を示す概念図である。 It is a conceptual diagram illustrating an example of a user interface screen gesture registration processing according to the embodiment. 実施形態に係る基準ジェスチャの一例を示す概念図である。 Is a conceptual diagram showing an example of a reference gesture according to an embodiment. 実施形態に係る基準ジェスチャの一例を示す概念図である。 Is a conceptual diagram showing an example of a reference gesture according to an embodiment. 実施形態に係る基準ジェスチャの一例を示す概念図である。 Is a conceptual diagram showing an example of a reference gesture according to an embodiment. 実施形態に係る基準ジェスチャの一例を示す概念図である。 Is a conceptual diagram showing an example of a reference gesture according to an embodiment. 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 It is a conceptual diagram illustrating the movement of the smart device and thumb when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 It is a conceptual diagram illustrating the movement of the smart device and thumb when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 It is a conceptual diagram illustrating the movement of the smart device and thumb when the reference gesture according to the embodiment is performed. 実施形態に係るスマートデバイスの座標軸を示す概念図である。 It is a conceptual diagram illustrating coordinate axes of a smart device according to an embodiment. 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 It is a conceptual diagram illustrating the movement of the smart device and thumb when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 It is a conceptual diagram illustrating the movement of the smart device and thumb when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 It is a conceptual diagram illustrating the movement of the smart device and thumb when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 It is a conceptual diagram illustrating the movement of the smart device and thumb when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 It is a conceptual diagram illustrating the movement of the smart device and thumb when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた場合のスマートデバイス及び母指の動きを示す概念図である。 It is a conceptual diagram illustrating the movement of the smart device and thumb when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係るジェスチャ検出処理の一例を示すフローチャートである。 Is a flowchart illustrating an example of a gesture detection processing according to the embodiment. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度の一例を示すグラフである。 Is a graph showing an example of an angular velocity that is detected when the reference gesture according to the embodiment is performed. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係る基準ジェスチャが行われた際に検出される角速度を周波数領域のスペクトルに変換した結果の一例を示すグラフである。 Is a graph showing an example of a result obtained by converting an angular velocity which is detected when the reference gesture according to the embodiment is performed on the spectrum of the frequency domain. 実施形態に係る基準ジェスチャのゲイン比を比較した結果の一例を示すグラフである。 Is a graph showing an example of a result of comparison gain ratio of the reference gesture according to an embodiment. 片手でスマートデバイスを保持した場合のモデルの一例を示す概念図である。 One hand is a conceptual diagram showing an example of a model in the case of holding the smart device. 角運動量の釣合モデルの一例を示す概念図である。 Is a conceptual diagram showing an example of a balance model of angular momentum. 角運動量の釣合モデルの一例を示す概念図である。 Is a conceptual diagram showing an example of a balance model of angular momentum.

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。 Will be described below in detail an example embodiment of the disclosed technique with reference to the drawings. なお、以下の説明では、開示の技術に係る情報処理装置の一例としてスマートデバイスを例に挙げて説明するが、開示の技術は、これに限定されるものではない。 In the following description, a smart device will be described as an example of an information processing apparatus according to the technique disclosed, the disclosed technology is not limited thereto. 開示の技術は、例えば、ICレコーダ、ゲーム機、ナビゲーション装置、携帯電話機、及びデジタルカメラなどの種々の情報処理装置に適用可能である。 The technology disclosed, for example, IC recorder, a game machine, a navigation system is applicable to a mobile phone, and various types of information processing apparatus such as a digital camera.

一例として図1に示すスマートデバイス10は、角速度検出部12、タッチ検出部14、変換部16、取得部18、判定部20、記憶部22、及び表示部24を含む。 Smart device 10 shown in FIG. 1 as an example, includes the angular velocity detection unit 12, the touch detection unit 14, converting unit 16, acquisition unit 18, determination unit 20, a storage unit 22, and a display unit 24. 角速度検出部12、タッチ検出部14、変換部16、取得部18、判定部20、記憶部22、及び表示部24は相互に接続されている。 Angular velocity detecting unit 12, the touch detection unit 14, converting unit 16, acquisition unit 18, determination unit 20, a storage unit 22, and a display unit 24, are connected to each other.

角速度検出部12は、角速度センサによってスマートデバイス10の角速度を検出して角速度信号を出力する。 Angular velocity detecting unit 12 outputs an angular velocity signal by detecting the angular velocity of the smart device 10 by the angular velocity sensor. タッチ検出部14は、タッチパネルディスプレイに対するタッチを検出する。 The touch detection unit 14 detects a touch on the touch panel display. 変換部16は、角速度検出部12から出力された角速度信号を周波数領域のスペクトルに変換する。 Conversion unit 16 converts the angular velocity signal output from the angular velocity detection unit 12 to the spectrum of the frequency domain. 記憶部22は、図2に一例を示すジェスチャテーブル19を記憶する。 Storage unit 22 stores a gesture table 19 showing an example in FIG. ジェスチャテーブル19は、後述する基準ジェスチャの基準1次主共振周波数及び基準ゲイン比を基準ジェスチャと対応付けて予め登録する。 Gesture table 19 previously registered in association with the reference gesture reference primary main resonant frequency and the reference gain ratio of the reference gesture described below. 取得部18は、1次主共振周波数及びゲイン比を取得する。 Acquisition unit 18 acquires a primary main resonant frequency and the gain ratio. 判定部20は、取得した1次主共振周波数及びゲイン比と、基準ジェスチャの基準1次主共振周波数及び基準ゲイン比と、を比較し、比較の結果に基づいて、スマートデバイス10に対して行われたジェスチャが基準ジェスチャであるか否か判定する。 Determination unit 20, the acquired primary main resonant frequency and the gain ratio, and the reference primary main resonant frequency and the reference gain ratio criteria gesture, comparing, based on the result of the comparison, the row with respect to the smart device 10 It determines whether We gesture is the reference gesture. 表示部24は、ユーザに対してユーザインターフェイスなどを表示する。 The display unit 24, displays a user interface to the user.
本実施形態において、ジェスチャとは、後述するように、例えば、スマートデバイス10を把持した手の指を振る動作などのスマートデバイス10にモーションを加える動作である(例えば、図5A〜図5Cを参照)。 In this embodiment, the gesture and, as will be described later, for example, is an operation to add a motion to the smart device 10, such as a motion of swinging the finger of the hand holding the smart device 10 (e.g., see Figure 5A~-5C ). ここでのジェスチャに、赤外センサ又はカメラなどにより取得した情報を解析することでユーザの手及び指などの位置及び動きを検知することによって検出可能な、スマートデバイス10に非接触で行われるユーザの動作を含めることは意図していない。 The gesture where the detectable by detecting the position and movement such as the user's hand and fingers by analyzing information obtained by such an infrared sensor or a camera, a user performed in a non-contact to the smart device 10 it is not intended to include the operation.

1次共振周波数とは周波数領域の各スペクトルにおいてゲインが最大となる周波数であり、1次主共振周波数とは後述する3軸のスペクトルの1次共振周波数のゲインが最大となる周波数である。 The first resonance frequency is a frequency at which the gain becomes maximum at each spectrum in the frequency domain, the gain of the first-order resonance frequency of the spectrum of the three axes described later and a primary main resonance frequency is the frequency which maximizes. ゲイン比は、3軸のスペクトルの1次主共振周波数に対応する周波数におけるゲインの各々を値が最大のゲインで除算することにより取得される。 Gain ratio is 3 the value of each of the gain at the frequency corresponding to the primary main resonance frequency of the spectrum of the axis is obtained by dividing the maximum gain. 基準1次主共振周波数及び基準ゲイン比は、各々、基準ジェスチャの1次主共振周波数及びゲイン比である。 Reference primary main resonant frequency and the reference gain ratio, respectively, a first order main resonant frequency and the gain ratio of the reference gesture.

スマートデバイス10は、一例として図3に示すように、CPU(Central Processing Unit)60、1次記憶部62、2次記憶部64、外部インターフェイス70、タッチパネルディスプレイ76、及び角速度センサの一例であるジャイロセンサ78を含む。 Smart device 10, as shown in FIG. 3 as an example, CPU (Central Processing Unit) 60,1 primary storage unit 62,2 primary storage unit 64, external interface 70, which is an example of a touch panel display 76 and the angular velocity sensor, a gyro It includes a sensor 78. タッチパネルディスプレイ76は、タッチパネル72及びディスプレイ74を含む。 The touch panel display 76 includes a touch panel 72 and a display 74. CPU60、1次記憶部62、2次記憶部64、外部インターフェイス70、タッチパネルディスプレイ76、及びジャイロセンサ78は、バス80を介して相互に接続されている。 CPU60,1 primary storage unit 62,2 primary storage unit 64, external interface 70, a touch panel display 76 and the gyro sensor 78, are connected to each other via a bus 80.

ジャイロセンサ78は、スマートデバイス10の3軸の各々の軸回りの角速度を測定して角速度信号を出力し、タッチパネル72はタッチパネル72に対するタッチを検知する。 The gyro sensor 78 outputs an angular velocity signal by measuring the axial angular velocity around each of the three axes of the smart device 10, touch panel 72 detects a touch on the touch panel 72. ディスプレイ74はユーザインターフェイスなどをユーザに対して表示する。 Display 74 displays a user interface to the user. 外部インターフェイス70には、外部装置が接続され、外部装置とCPU60との間の各種情報の送受信を司る。 The external interface 70 is an external device connected governs transmission and reception of various information between the external device and the CPU 60.

1次記憶部62は、例えば、RAM(Random Access Memory)などの揮発性のメモリである。 Primary storage unit 62 is, for example, RAM (Random Access Memory) is a volatile memory such. 2次記憶部64は、例えば、HDD(Hard Disk Drive)、またはSSD(Solid State Drive)などの不揮発性のメモリである。 Secondary storage unit 64 is, for example, HDD (Hard Disk Drive), or an SSD (Solid State Drive) is a nonvolatile memory such as. 1次記憶部62及び2次記憶部64は、図1の記憶部22として機能する。 The primary storage unit 62 and the secondary storage unit 64 functions as a storage unit 22 of FIG. 1.

2次記憶部64は、一例として、角速度検出サブプログラム66A、タッチ検出サブプログラム66B、変換サブプログラム66C、取得サブプログラム66D、及び表示サブプログラム66Fを含むジェスチャ登録プログラム66を記憶している。 Secondary storage unit 64, as an example, and stores the angular velocity detection subprogram 66A, the touch detection subprogram 66B, converts subprogram 66C, obtains subprogram 66D, and a gesture registration program 66 including a display sub-program 66F. また、2次記憶部64は、一例として、角速度検出サブプログラム67A、変換サブプログラム67C、取得サブプログラム67D、及び判定サブプログラム67Eを含むジェスチャ検出プログラム67を記憶している。 The secondary storage unit 64, as an example, and stores the angular velocity detection subprogram 67A, converts subprogram 67C, obtains subprogram 67D, and the gesture detection program 67 including the judgment subprogram 67E. CPU60は、2次記憶部64から角速度検出サブプログラム66A、タッチ検出サブプログラム66B、変換サブプログラム66C、取得サブプログラム66D、及び表示サブプログラム66Fを読み出して1次記憶部62に展開する。 CPU60 is deployed from the secondary storage unit 64 the angular velocity detection subprogram 66A, the touch detection subprogram 66B, converts subprogram 66C, obtains subprogram 66D, and into the primary storage unit 62 reads the display sub-program 66F. また、CPU60は、2次記憶部64から角速度検出サブプログラム67A、変換サブプログラム67C、取得サブプログラム67D、及び判定サブプログラム67Eを読み出して1次記憶部62に展開する。 Further, CPU 60 is deployed from the secondary storage unit 64 the angular velocity detection subprogram 67A, converts subprogram 67C, obtains subprogram 67D, and reads the judgment subprogram 67E in the primary storage unit 62.

CPU60は、角速度検出サブプログラム66Aを実行することで、図1に示す角速度検出部12として動作する。 CPU60, by executing the angular velocity detection subprogram 66A, operates as an angular velocity detection unit 12 shown in FIG. CPU60は、タッチ検出サブプログラム66Bを実行することで、図1に示すタッチ検出部14として動作する。 CPU60, by executing the touch detection subprogram 66B, operates as a touch detection unit 14 shown in FIG. CPU60は、変換サブプログラム66Cを実行することで、図1に示す変換部16として動作する。 CPU60, by executing a conversion sub-program 66C, operates as a conversion unit 16 shown in FIG. CPU60は、取得サブプログラム66Dを実行することで、図1に示す取得部18として動作する。 CPU60, by executing the acquisition sub-program 66D, operates as an acquisition unit 18 shown in FIG. CPU60は、表示サブプログラム66Fを実行することで、図1に示す表示部24として動作する。 CPU60, by executing the display sub-program 66F, operates as a display unit 24 shown in FIG. CPU60は、角速度検出サブプログラム67Aを実行することで、図1に示す角速度検出部12として動作する。 CPU60, by executing the angular velocity detection subprogram 67A, operates as an angular velocity detection unit 12 shown in FIG. CPU60は、変換サブプログラム67Cを実行することで、図1に示す変換部16として動作する。 CPU60, by executing a conversion sub-program 67C, operates as a conversion unit 16 shown in FIG. CPU60は、取得サブプログラム67Dを実行することで、図1に示す取得部18として動作する。 CPU60, by executing the acquisition sub-program 67D, operates as an acquisition unit 18 shown in FIG. CPU60は、判定サブプログラム67Eを実行することで、図1に示す判定部20として動作する。 CPU60, by executing the judgment subprogram 67E, operates as a determination unit 20 shown in FIG. また、2次記憶部64は、ジェスチャテーブル19を生成するデータ68を記憶している。 The secondary storage unit 64 stores data 68 for generating a gesture table 19. ジェスチャ登録プログラム66及びジェスチャ検出プログラム67は、開示の技術に係るプログラムの一例である。 Gesture registration program 66 and gesture detection program 67 is an example of a program according to the disclosed technology.

次に、開示の技術の実施形態の作用として、CPU60がジェスチャ登録プログラム66を実行することで、スマートデバイス10によって行われるジェスチャ登録処理について、図4を参照して説明する。 Next, as a function of the embodiment of the disclosed technology, by CPU60 executes the gesture registration program 66, the gesture registration processing performed by the smart device 10 will be described with reference to FIG.

ジェスチャ登録処理は、例えば、スマートデバイス10のディスプレイ74に表示されるボタンなどをユーザが押下することによって、スマートデバイス10に基準ジェスチャを登録する意図をユーザが示すことで開始される。 Gesture registration process, for example, by a button or the like displayed on the display 74 of the smart device 10 the user presses, begins by indicating an intent to register the reference gesture smart device 10 by the user.

ステップ102で、CPU60が、ディスプレイ74に図5Aに示すユーザインターフェイス画面40Aを表示する。 In step 102, CPU 60 displays a user interface screen 40A shown in FIG. 5A on the display 74. ユーザインターフェイス画面には4つの基準ジェスチャ46〜49が表示されている。 The user interface screen is displayed four reference gesture 46-49.

図8に示されるように、x軸、y軸、及びz軸は相互に直交している。 As shown in FIG. 8, x-axis, y-axis, and z-axis are perpendicular to each other. 図5Aに示す基本ジェスチャ46〜49を行うために、ユーザは、まず、示指から小指までの4本の指の指節間関節及び中手指節関節を伸ばす。 To perform basic gestures 46-49 shown in FIG. 5A, the user first stretch 4 between phalanx of finger joints and metacarpophalangeal joints from the index finger to the little finger. 4本の指に、図8に示すスマートデバイス10の筐体11のy軸がほぼ直交し、スマートデバイス10の一方の側面が母指中手指節関節にほぼ接するように、またスマートデバイス10の背面が手掌に接するように、スマートデバイス10を手掌に載せる。 The four fingers, y-axis of the housing 11 of the smart device 10 is substantially perpendicular as shown in FIG. 8, one side surface of the smart device 10 is to substantially contact with the mother Yubichu hand phalangeal joints, also the smart device 10 as the back is in contact with the palm, placing the smart device 10 to the palm. 示指から小指までの4本の指と母指球とでスマートデバイス10を把持し、母指がスマートデバイス10の前面とほぼ平行になるように母指の指節間関節及び中手指節関節を伸ばす。 The smart device 10 grasped by the index finger and four fingers and thenar up little finger, thumb is a front and between substantially in parallel thumb interphalangeal joints and metacarpophalangeal joints of the smart device 10 extend. また、母指がスマートデバイス10の前面に触れないように母指とスマートデバイス10の前面とを離間する。 Also, to separate the front surface of the thumb and the smart device 10 as the thumb does not touch the front of the smart device 10. さらに、母指がスマートデバイス10の前面にほぼ平行のままで、かつ、母指の先端が円弧の軌道を描くように手根中手関節を中心として母指を振る。 Furthermore, while the thumb is approximately parallel to the front surface of the smart device 10, and shake the thumb around the carpometacarpal joints as thumb tip an arc trajectory. スマートデバイス10を保持している手の手首から指の各々の先端までの間にはスマートデバイス10のみが接していることが望ましい。 It is desirable that only the smart device 10 is in contact between the wrist of the hand holding the smart device 10 to each of the tips of the fingers.

図5Aのジェスチャ46では、図6Aに示すように、スマートデバイス10の前面の下辺に近い第1位置に存在する破線で示される母指151が、実線で示す母指の位置を通り、右辺に近い第2位置に一点鎖線で示す母指152の位置に到達するように移動する。 In gesture 46 in FIG. 5A, as shown in FIG. 6A, thumb 151 indicated by dashed lines present in the first position close to the front of the lower side of the smart device 10, through the position of the thumb indicated by the solid line, on the right side moving so as to reach the position of the thumb 152 indicated by a one-dot chain line in the near second position. ジェスチャ46は、母指を1度振るジェスチャである。 Gesture 46, is a gesture to shake the thumb once. 図5Aのジェスチャ47では、図6Bに示すように、スマートデバイス10の前面の右辺に近い第2位置に存在する一点鎖線で示される母指152が、実線で示す母指の位置を通り、下辺に近い第1位置に破線で示す母指151の位置に到達するように移動する。 In gesture 47 in FIG. 5A, as shown in FIG. 6B, thumb 152 indicated by a chain line present in the second position closer to the front of the right side of the smart device 10, through the position of the thumb shown by the solid line, the lower side moves so as to reach the position of the thumb 151 indicated by a broken line in the first position close to. ジェスチャ47は、母指を1度振るジェスチャである。 Gesture 47, is a gesture to shake the thumb once. 図5Aのジェスチャ48は、図6Cに示すように、まず、図6Aに示すジェスチャと同様のジェスチャ153を行い、続けて、図6Bに示すジェスチャと同様のジェスチャ154を行うジェスチャである。 Gesture 48 in FIG. 5A, as shown in FIG. 6C, first, the same gesture 153 and the gesture shown in FIG. 6A, continuing a gesture to perform the same gesture 154 and the gesture illustrated in Figure 6B. 図5Aのジェスチャ48に付されている数字1及び2は、動作の順番を表す。 Numerals 1 and 2 are assigned to the gesture 48 in FIG. 5A, indicating the order of operation. 図5Aに示すジェスチャ49は、図6Dに示すように、まず、図6Bに示すジェスチャと同様のジェスチャ154を行い、続けて、図6Aに示すジェスチャと同様のジェスチャ153を行うジェスチャである。 Gesture 49 shown in FIG. 5A, as shown in FIG. 6D, first, the same gesture 154 and the gesture shown in FIG. 6B, continuing a gesture to perform the same gesture 153 and the gesture shown in FIG. 6A. 図5Aのジェスチャ49に付されている数字1及び2は、動作の順番を表す。 Numerals 1 and 2 are assigned to the gesture 49 in FIG. 5A, indicating the order of operation.

図7A〜図7Cは、ユーザが図5Aに示す基準ジェスチャ47を行った場合の、スマートデバイス10の側面から見たスマートデバイス10及びユーザの母指の動きを示す。 Figure 7A~ Figure 7C shows the user in the case of performing reference gesture 47 shown in FIG. 5A, the movement of the thumb of the smart device 10 and the user viewed from the side of the smart device 10. 図7A〜図7Cにおいて、図8に示すスマートデバイス10の筐体11の右側面及び左側面に直交するx軸を示す。 In FIG 7A~ view 7C, showing a x-axis which is perpendicular to the right side and the left side surface of the housing 11 of the smart device 10 shown in FIG.

図9A〜図9Cは、ユーザが図5Aに示す基準ジェスチャ47を行った場合の、スマートデバイス10の上面から見たスマートデバイス10及びユーザの母指の動きを示す。 Figure 9A~ Figure 9C shows the case where the user makes a reference gesture 47 shown in FIG. 5A, the movement of the thumb of the smart device 10 and the user as viewed from the upper surface of the smart device 10. 図9A〜図9Cにおいて、図8に示すスマートデバイス10の筐体11の上面及び下面に直交するy軸を示す。 In FIG 9A~ view 9C, showing a y-axis orthogonal to the upper and lower surfaces of the housing 11 of the smart device 10 shown in FIG.

図10A〜図10Cは、ユーザが図5Aに示す基準ジェスチャ47を行った場合の、スマートデバイス10の前面側から見たスマートデバイス10及びユーザの母指の動きを示す。 Figure 10A~ Figure 10C shows the case where the user performs a reference gesture 47 shown in FIG. 5A, the movement of the thumb of the smart device 10 and the user viewed from the front side of the smart device 10. 図10A〜図10Cにおいて、図8に示すスマートデバイス10の筐体11の前面及び背面に直交するz軸、手根中手関節155を示す。 In FIG 10A~ Figure 10C, z-axis orthogonal to the front and rear of the housing 11 of the smart device 10 shown in FIG. 8 shows a carpometacarpal joint 155.

図10A及び図10Cに示されるように、スマートデバイス10のサイズが、ユーザの指の長さと比較して小さい場合、基準ジェスチャ47における第2位置である母指の先端の開始時点位置152'は前面の面上ではなく、前面の延長面上にあってもよい。 As shown in FIGS. 10A and 10C, the size of the smart device 10 is smaller compared to the length of the user's finger, the beginning position 152 of the tip of the thumb is a second position in the reference gesture 47 ' rather than on the front surface may be on the front surface of the extension surface. また、第1位置である母指の先端の終了時点位置151'は前面の面上ではなく、前面の延長面上にあってもよい。 Further, the end position 151 of the tip of the thumb, which is the first position 'is not on the front surface may be on the front surface of the extension surface. 基準ジェスチャ46、48、及び49の第1位置及び第2位置についても同様に、前面の面上ではなく、前面の延長面上にあってもよい。 Similarly, the first position and the second position of the reference gesture 46, 48, and 49, rather than on the front surface may be on the front surface of the extension surface.

ステップ104で、ユーザがユーザインターフェイス40Aの基準ジェスチャ46〜49のいずれかをタッチすることにより、ユーザがいずれかの基準ジェスチャを選択したことが判定されると、CPU60は、ステップ106に進む。 In step 104, the user touches any of the standard gesture 46-49 of user interface 40A, when the user is determined that selects one of the reference gesture, CPU 60 proceeds to step 106. ステップ106で、CPU60は、図5Bに示すユーザインターフェイス画面40Bをタッチパネルディスプレイ76に表示する。 In step 106, CPU 60 displays a user interface screen 40B shown in FIG. 5B on the touch panel display 76. ここでは、図5Aに示されるジェスチャ48が選択され、ユーザがユーザインターフェイス40Bの指示に従って、基準ジェスチャ48を行う場合について説明する。 Here, gesture 48 shown in Figure 5A is selected, the user in accordance with an instruction from the user interface 40B, will be described a case of performing the reference gesture 48.

ステップ108で、CPU60は、ジャイロセンサ78によって検出されたスマートデバイス10のx軸回りの角速度信号ωx(t)、y軸回りの角速度信号ωy(t)、及びz軸回りの角速度信号ωz(t)を取り込む。 In step 108, CPU 60 is, x-axis of the angular velocity signal ωx smart devices 10 detected by the gyro sensor 78 (t), the angular velocity signal .omega.y (t) of the y-axis, and z axis of the angular velocity signal .omega.z (t ) capture. x軸回りの角速度信号ωx(t)の検出例を図11Aに示し、y軸回りの角速度信号ωy(t)の検出例を図11Bに示し、z軸回りの角速度信号ωz(t)の検出例を図11Cに示す。 An example of detection of x-axis of the angular velocity signal .omega.x (t) shown in FIG. 11A, an example of detection of y-axis of the angular velocity signal .omega.y (t) shown in FIG. 11B, the detection of the z-axis of the angular velocity signal .omega.z (t) an example shown in FIG. 11C. 図11A〜図11Cの横軸は時間であり、時間の単位は秒である。 A horizontal axis represents time in FIG 11A~ Figure 11C, the unit of time is second. 図11A〜図11Cの縦軸は角速度であり、角速度の単位はラジアン/秒である。 The vertical axis of FIG 11A~ Figure 11C is the angular velocity, the unit of velocity is radians / sec.

ステップ110で、CPU60は、x軸回りの角速度信号ωx(t)を周波数領域のスペクトルSx(f)、y軸回りの角速度信号ωy(t)を周波数領域のスペクトルSy(f)に変換する。 In step 110, CPU 60 converts x-axis of the angular velocity signal ωx (t) is the spectrum of the frequency domain Sx (f), y-axis of the angular velocity signal ωy (t) to spectrum Sy (f) in the frequency domain. また、CPU60は、z軸回りの角速度信号ωz(t)を周波数領域のスペクトルSz(f)に変換する。 Further, CPU 60 converts the z axis around the angular velocity signal ωz (t) to spectrum Sz (f) in the frequency domain. この変換には、FFT(Fast Fourier Transform)もしくはDFT(Discrete Fourier Transform)を用いることが可能である。 This transformation, it is possible to use an FFT (Fast Fourier Transform) or DFT (Discrete Fourier Transform). 図11Aの角速度信号ωx(t)から変換された周波数領域のスペクトルSx(f)を図12Aに示し、図11Bの角速度信号ωy(t)から変換された周波数領域のスペクトルSy(f)を図12Bに示す。 The spectrum Sx (f) of the converted frequency domain from Figure 11A of the angular velocity signal .omega.x (t) shown in FIG. 12A, FIG spectrum Sy (f) of the converted frequency area from the angular velocity signal ωy of FIG 11B (t) It is shown in 12B. また、図11Cの角速度信号ωz(t)から変換された周波数領域のスペクトルSz(f)を図12Cに示す。 Also, shown in FIG. 12C spectra Sz (f) of the converted frequency area from the angular velocity signal ωz in FIG 11C (t). 図12A〜図12Cの縦軸はゲインであり、単位はデシベルである。 The vertical axis of FIG 12A~ Figure 12C is a gain in units of decibels. 図12A〜図12Cの横軸は周波数であり、単位はヘルツである。 The horizontal axis of FIG 12A~ Figure 12C is a frequency in units of Hertz.

ステップ112で、CPU60は、x軸のスペクトルの1次共振周波数fcxにおけるゲインGcx、y軸のスペクトルの1次共振周波数fcyにおけるゲインGcy、及びz軸のスペクトルの1次共振周波数fczにおけるゲインGczを各々取得する。 In step 112, CPU 60, the gain Gcx at the primary resonant frequency fcx of the spectrum of x-axis, the gain Gcy at the primary resonant frequency fcy the spectrum y-axis, and the gain Gcz at the primary resonant frequency fcz the spectrum of the z-axis each to get. 1次共振周波数は、各々のスペクトルにおいてゲインが最大値を示すときの周波数である。 Primary resonance frequency, the gain in the spectrum of each of the frequency at which the maximum value. 3軸のスペクトルの1次共振周波数のゲインの中で最も値の大きいゲインを主ゲインGcmとする。 The large gain of the most value in the gain of the first-order resonance frequency of the spectrum of the three axes as a main gain Gcm. また、主ゲインGcmに対応する周波数を1次主共振周波数fcmとする。 Further, a frequency corresponding to the main gain Gcm a primary main resonant frequency fcm.

図12A及び図12Bの例では、x軸のスペクトルの1次共振周波数において最大値を示すゲインGcxは0.044、y軸のスペクトルの1次共振周波数において最大値を示すゲインGcyは0.078である。 In the example of FIGS. 12A and 12B, the gain Gcx showing a maximum value at the primary resonance frequency of the spectrum of the x-axis is 0.044, the gain Gcy showing a maximum value at the primary resonance frequency of the spectrum of the y-axis 0.078 it is. また、図12Cの例では、z軸のスペクトルに顕著な最大値を示すピークがないため1次共振周波数を判定することは困難である。 In the example of FIG. 12C, it is difficult to determine the first resonance frequency because there is no peak indicating a pronounced maximum in the spectrum of the z-axis. 従って、図12A〜図12Cに示す一例では、表1に示すようにy軸のスペクトルの1次共振周波数fcxのゲインGcyの値が最も大きいので主ゲインGcmとなる。 Thus, in the example shown in FIG 12A~ Figure 12C, the value of the gain Gcy spectrum of the primary resonant frequency fcx the y-axis as shown in Table 1 is the largest since the main gain Gcm. また、y軸のスペクトルの1次共振周波数fcyである0.71Hzが1次主共振周波数fcmとなる。 Further, 0.71Hz a primary resonance frequency fcy the spectrum of the y-axis is the primary main resonant frequency fcm.

ステップ114で、CPU60は、x軸のスペクトルの1次主共振周波数に対応する周波数におけるゲインGcmx、及びy軸のスペクトルの1次主共振周波数に対応する周波数におけるゲインGcmyを正規化する。 In step 114, CPU 60 normalizes the gain Gcmy at the frequency corresponding to the primary main resonance frequency of the spectrum of the gain Gcmx, and the y-axis at a frequency corresponding to the primary main resonance frequency of the spectrum of the x-axis. 詳細には、ゲインGcmx及びGcmyの各々を主ゲインGcmで除算する。 Specifically, dividing each of the gain Gcmx and Gcmy main gain Gcm. また、CPU60は、z軸のスペクトルの1次主共振周波数に対応する周波数におけるゲインGcmzを正規化するために、ゲインGcmzを主ゲインGcmで除算する。 Further, CPU 60 is to normalize the gain Gcmz at the frequency corresponding to the primary main resonance frequency of the spectrum of the z-axis, dividing the gain Gcmz main gain Gcm. これらの除算によって、ゲイン比Rgx、Rgy、Rgzが求められる。 These division gain ratio Rgx, RGY, is Rgz obtained. すなわち、Rgx=Gcmx/Gcm、Rgy=Gcmy/Gcm、Rgz=Gcmz/Gcmを計算する。 That, Rgx = Gcmx / Gcm, Rgy = Gcmy / Gcm, calculates the Rgz = Gcmz / Gcm.

x軸、y軸、及びz軸のスペクトルの1次主共振周波数に対応する周波数におけるゲインGcmx、Gcmy、及びGcmzは、表1に示すように、0.042、0.078、及び0.006である。 x-axis, the gain in the y-axis, and frequencies corresponding to the primary main resonance frequency of the spectrum of the z-axis Gcmx, Gcmy, and Gcmz, as shown in Table 1, 0.042,0.078, and 0.006 it is. これらのゲインを主ゲインGcmである0.078で除算すると、x軸、y軸、及びz軸のスペクトルのゲイン比Rgx、Rgy、Rgzは0.53、1、0.07となる。 Dividing these gain 0.078 which is the main gain Gcm, x-axis, y-axis, and the spectrum of the gain ratio Rgx the z-axis, RGY, RGZ becomes 0.53,1,0.07.

ステップ116で、CPU60は、1次主共振周波数fcm及び、正規化された3軸のスペクトルのゲイン比Rgx、Rgy、Rgzを2次記憶装置64のジェスチャテーブルを生成するデータ68に基準1次主共振周波数及び基準ゲイン比として保存する。 In step 116, CPU 60 has a primary main resonant frequency fcm and the gain ratio Rgx spectra of three axes that are normalized, RGY, reference primary main data 68 to generate a gesture table of the secondary storage device 64 Rgz Save as a resonance frequency and the reference gain ratio. 次に、タッチパネルディスプレイ76に図5Cに示すユーザインターフェイス40Cを表示し、ジェスチャ登録処理を終了する。 Then, to display the user interface 40C shown in Figure 5C on the touch panel display 76, and ends the gesture registration process.

図5Aに示される基準ジェスチャ48を5回行ったときにステップ112で取得された1次主共振周波数及びステップ114で取得されたゲイン比を表2に示す。 The are gain ratios obtained in the primary main resonant frequency and the step 114 obtained in step 112 when performing the reference gesture 48 5 times as shown in Figure 5A are shown in Table 2. x軸の周波数領域のスペクトルにおいて1次主共振周波数でのゲイン比のばらつきは0.021、z軸の周波数領域のスペクトルにおいて1次主共振周波数でのゲイン比のばらつきは0.015、また、1次主共振周波数のばらつきは0.025である。 Variations in the gain ratio of the primary main resonant frequency in the spectrum of the frequency domain of the primary main variations in gain ratio at the resonance frequency is 0.021, z-axis in the spectrum of the frequency domain of the x-axis is 0.015 also, variations in the primary main resonant frequency is 0.025. 従って、図5Aに示されるジェスチャ48によるゲイン比及び1次主共振周波数の再現性は高い。 Therefore, reproducibility of the gain ratio and the primary main resonant frequency by gesture 48 shown in FIG. 5A is high.

次に、CPU60がジェスチャ検出プログラム67を実行することで、スマートデバイス10によって行われるジェスチャ検出処理について、図13を参照して説明する。 Then, when CPU60 executes the gesture detection program 67, the gesture detection processing performed by the smart device 10 will be described with reference to FIG. 13.

スマートデバイス10の電源がオンにされると、CPU60は、ステップ202で、タッチパネルディスプレイ76によってタッチが検出されたか否かを判定する。 When the power supply of the smart device 10 is turned on, CPU 60 in step 202 determines whether the touch is detected by the touch panel display 76. ステップ202でタッチが検出されない場合、CPU60は、ステップ204で、ジャイロセンサ78によって検出されるスマートデバイス10のx軸、y軸及びz軸の各々の軸回りの角速度信号の各々を取り込む。 If a touch is not detected at step 202, CPU 60 at step 204, x-axis of the smart device 10 detected by the gyro sensor 78 captures each respective axis of the angular velocity signal of y-axis and z-axis. ステップ204〜ステップ210は図4のステップ108〜ステップ114と同様の処理であるため、詳細な説明は省略する。 For step 204 to step 210 are similar to the processing of steps 108 to step 114 in FIG. 4, a detailed description thereof will be omitted.

CPU60は、ステップ206で、検出された角速度の各々を周波数領域のスペクトルに変換する。 CPU60 at step 206, converts each of the detected angular velocity to the spectrum in the frequency domain. CPU60は、ステップ208で、変換した周波数領域のスペクトルの各々から1次共振周波数の各々を決定し、1次共振周波数の各々におけるゲインのうち値が最大であるゲインを主ゲインとして取得する。 CPU60 at step 208, to determine the respective primary resonance frequency from each of the spectra of the converted frequency domain, among values ​​of the gain in each of the primary resonance frequency to obtain the gain is the maximum as the main gain. 次に、主ゲインに対応する周波数である1次主共振周波数におけるゲインの各々を取得する。 Next, to obtain the respective gain in the primary main resonance frequency is a frequency corresponding to the main gain. CPU60は、ステップ210で、ゲインの各々を正規化するために、ゲインの各々を主ゲインで除算する。 CPU60 at step 210, to normalize each gain, dividing each of the gain in the main gain.

ステップ212で、CPU60は、ジェスチャテーブルを生成するデータ68に保存されている基準1次主共振周波数及び基準ゲイン比の各々と、ステップ210で取得された1次主共振周波数及びゲイン比の各々と、を、比較する。 In step 212, CPU 60 includes a respective reference primary main resonant frequency and the reference gain ratio stored in the data 68 to generate a gesture table, and each of the primary main resonant frequency and the gain ratio obtained in step 210 , and compared. 詳細には、1次共振周波数同士、及びゲイン比の各々同士で比較する。 In particular, it compared with each each other primary resonance frequency to each other, and the gain ratio. また、ステップ212で、CPU60は、基準1次主共振周波数及び基準ゲイン比の各々と、ステップ210で取得された1次主共振周波数及びゲイン比の各々と、の全ての差異が所定の範囲内であるか否かを判定する。 Further, in step 212, CPU 60 includes a respective reference primary main resonant frequency and the reference gain ratio, within the scope and each of the obtained primary main resonant frequency and the gain ratio, all differences of a predetermined in step 210 It determines whether or not it is. 例えば、基準1次主共振周波数及び基準ゲイン比の各々の±10%の範囲内に1次主共振周波数及びゲイン比の各々が含まれる場合、差異が所定の範囲内であると判定することが可能である。 For example, if it contains each of the primary main resonant frequency and the gain ratio in the range of ± 10% of each of the reference primary main resonant frequency and the reference gain ratio, that difference is determined to be within a predetermined range possible it is. ステップ212の判定が肯定された場合、ステップ214で、当該基準ジェスチャに予め対応付けられている所定の処理を、CPU60が実行し、ジェスチャ検出処理を終了する。 If the determination in step 212 is affirmative, at step 214, a predetermined process is associated in advance in the reference gesture, CPU 60 executes, to end the gesture detection process. ジェスチャ検出処理は、スマートデバイス10の電源がオフにされるまで、所定の時間毎に繰り返し実行される。 Gesture detection process, the power of the smart device 10 until it is turned off, and is repeatedly executed at predetermined time intervals. 所定の時間は、例えば、1/100秒であってよい。 The predetermined time, for example, be 1/100 second.

図5Aに示される基準ジェスチャ46には、例えば、ブラウザ、電子書籍、及びPDFファイル等のダウンスクロール、または後方への頁送りをする処理を対応付けることが可能である。 The reference gesture 46 shown in FIG. 5A, for example, it is possible to associate the browser, e-books, and the process of page turning in the down scroll or backward, such as a PDF file. また、基準ジェスチャ46には、スマートデバイス10の操作を容易にするために、スマートデバイス10を保持している手の側に操作画面を縮小表示する処理を対応付けることが可能である。 Further, the reference gesture 46, in order to facilitate the operation of the smart device 10, it is possible to associate a process of reducing display an operation screen on the side of the hand holding the smart device 10.

図5Aに示される基準ジェスチャ47には、例えば、ブラウザ、電子書籍、及びPDFファイル等のアップスクロール、または前方への頁送り処理を対応付けることが可能である。 The reference gesture 47 shown in FIG. 5A, for example, it is possible to associate the browser, e-books, and PDF files, etc. up scroll or page feed processing forward. または、基準ジェスチャ47には、画面上部から下部へ向けてスワイプが行われた場合に行われるよう設定されている処理が対応付けられてもよい。 Or, the reference gesture 47 may be have processing associated to the set to be performed when the swipe is performed toward the top of the screen to the bottom.

図5Aに示される基準ジェスチャ48及び49には、例えば、所定のアプリを起動する処理を対応付けることが可能である。 The reference gesture 48 and 49 shown in FIG. 5A, for example, it is possible to associate a process for starting a predetermined application. 所定のアプリは頻繁に使用されるアプリであってよい。 Given app may be a application that is frequently used. 基準ジェスチャ48及び49には、各々異なるアプリを起動する処理を対応付けることが可能である。 The reference gesture 48 and 49, it is possible to associate the process for starting each different application. また、基準ジェスチャ48及び49には、ブラウザ、電子書籍、PDFファイル等の倍速スクロールまたは倍速頁送りの処理を対応付けることが可能である。 Further, the reference gesture 48 and 49, it is possible to associate the browser, e-book, the processing speed scrolling or speed page turning such PDF file. 基準ジェスチャ48及び49には、各々異なる方向へのスクロールまたは頁送りの処理を割り当てることが可能である。 The reference gesture 48 and 49, it is possible to assign processing of scrolling or page turning to each different direction. なお、基準ジェスチャと対応付けられる上記処理は一例であり、開示の技術は、基準ジェスチャと上記処理とを対応付けることに限定されない。 The above process associated with the reference gesture is one example, the disclosed technology is not limited to associating the reference gesture and the process.

図14A〜図14Cに、図5Aに示される基準ジェスチャ46によって取得されたx軸、y軸、及びz軸の各々の軸回りの角速度信号を示し、図15A〜図15Cに、図14A〜図14Cの角速度信号を周波数領域のスペクトルに変換した結果を示す。 Figure 14A~ Figure 14C, x-axis obtained by the reference gesture 46 shown in FIG. 5A, y-axis, and shows the respective axes of the angular velocity signal of the z axis, FIG 15A~ Figure 15C, Figure 14A~ view the 14C angular velocity signal indicating the result of converting the spectrum of the frequency domain. 図16A〜図16Cに、図5Aに示される基準ジェスチャ47によって取得されたx軸、y軸、及びz軸の各々の軸回りの角速度信号を示し、図17A〜図17Cに、図16A〜図16Cの角速度信号を周波数領域のスペクトルに変換した結果を示す。 Figure 16A~ Figure 16C, x-axis obtained by the reference gesture 47 shown in FIG. 5A, y-axis, and shows the respective axes of the angular velocity signal of the z axis, FIG 17A~ Figure 17C, Figure 16A~ view the 16C angular velocity signal indicating the result of converting the spectrum of the frequency domain. 図18A〜図18Cに、図5Aに示される基準ジェスチャ49によって取得されたx軸、y軸、及びz軸の各々の軸回りの角速度信号を示し、図19A〜図19Cに、図18A〜図18Cの角速度信号を周波数領域のスペクトルに変換した結果を示す。 Figure 18A~ Figure 18C, x-axis obtained by the reference gesture 49 shown in FIG. 5A, y-axis, and shows the respective axes of the angular velocity signal of the z axis, FIG 19A~ Figure 19C, Figure 18A~ view the 18C angular velocity signal indicating the result of converting the spectrum of the frequency domain.

図20に、図15A〜図15C、図17A〜図17C、図12A〜図12C及び図19A〜図19Cから取得される基準ジェスチャ46〜49のx軸のスペクトルのゲイン比94、x軸のスペクトルのゲイン比+10%93を示す。 Figure 20, Figure 15A~ view 15C, FIGS 17A~ Figure 17C, the spectrum of FIG 12A~-12C and FIGS 19A~-19C gain spectrum of x-axis of the reference gesture 46 to 49 obtained from the ratio 94, x-axis shows the gain ratio + 10% 93. また、図20に、図17A〜図17C、図12A〜図12C及び図19A〜図19Cから取得されるx軸のスペクトルのゲイン比−10%95を示す。 Further, in FIG. 20 shows a view 17A~ view 17C, FIGS 12A~-12C and spectral gain ratio 10% 95 of the x-axis obtained from FIG 19A~ Figure 19C. また、図20に、y軸のスペクトルのゲイン比92、z軸のスペクトルのゲイン比97、z軸のスペクトルのゲイン比+10%96、及びz軸のスペクトルのゲイン比−10%98を示す。 Further, FIG. 20 shows a spectral gain ratio 92, z-axis spectral gain ratio 97, the gain ratio of the spectrum of the z-axis + 10% 96 and gain ratio -10% 98 of the spectrum of the z-axis, of the y-axis.

図15A〜図15C、図17A〜図17C、図12A〜図12C及び図19A〜図19Cに示されるように、全ての基準ジェスチャにおいてy軸のスペクトルの1次共振周波数におけるゲインが3軸のスペクトルの1次共振周波数のゲインのうちで最大である。 Figure 15A~ Figure 15C, Figure 17A~ Figure 17C, as shown in FIG 12A~-12C and FIGS 19A~ Figure 19C, the spectrum of the gain triaxial at the primary resonance frequency of the spectrum of the y-axis in all of the reference gesture it is the largest among the gain of the first-order resonance frequency. 従って、y軸のスペクトルのゲイン比は全て1となっている。 Therefore, the gain ratio of the spectrum of the y-axis has a All 1. 基準ジェスチャ46のx軸のスペクトルのゲイン比±10%と基準ジェスチャ47及び基準ジェスチャ48のゲイン比±10%とは重複しない。 It does not overlap the gain ratio ± 10% of the gain ratio ± 10% with reference gesture 47 and the reference gesture 48 of the spectrum of x-axis of the reference gesture 46. 基準ジェスチャ46と基準ジェスチャ49のx軸のスペクトルのゲイン比の±10%の範囲は重複しているが、基準ジェスチャ46と基準ジェスチャ49のz軸のスペクトルのゲイン比の±10%の範囲は重複していない。 Although ± 10% of the range of the gain ratio of the spectrum of x-axis of the reference gestures 46 and the reference gesture 49 are overlapping, ± 10% of the range of the gain ratio of the spectrum of the z axis of the reference gestures 46 and the reference gesture 49 non-overlapping.

基準ジェスチャ47と基準ジェスチャ49のx軸のスペクトルのゲイン比±10%は重複していない。 Gain ratio ± 10% of the spectrum of x-axis of the reference gestures 47 and the reference gesture 49 do not overlap. 基準ジェスチャ47と基準ジェスチャ49のx軸のスペクトルのゲイン比±10%は重複しているが、z軸のスペクトルのゲイン比±10%は重複していない。 Although gain ratio ± 10% of the spectrum of x-axis of the reference gestures 47 and the reference gesture 49 are overlapping, gain ratio ± 10% of the spectrum of the z-axis do not overlap. 基準ジェスチャ48と基準ジェスチャ49のx軸のスペクトルのゲイン比±10%は重複していない。 Gain ratio ± 10% of the spectrum of x-axis of the reference gestures 48 and the reference gesture 49 do not overlap. 従って、基準ジェスチャ46〜49は、相互に、全ての軸のスペクトルのゲイン比±10%が重複することはなく、基準ジェスチャ46〜49は開示の技術によって弁別可能である。 Therefore, the reference gesture 46-49, another, not that the gain ratio ± 10% of the spectra of all axes overlap, the reference gesture 46-49 can be discriminated by the disclosed techniques.

なお、図5Aに示す基準ジェスチャ46〜49を、4本の指に、図8に示すスマートデバイス10の筐体11のy軸がほぼ直交するように、スマートデバイス10を手掌に載せるジェスチャとして説明したが、開示の技術はこれに限定されない。 Incidentally, the reference gesture 46-49 shown in FIG. 5A, the four fingers, as the y-axis of the housing 11 of the smart device 10 shown in FIG. 8 is substantially perpendicular, as a gesture to place the smart device 10 to the palm Description While the disclosure of technology is not limited thereto. 例えば、4本の指に、図8に示すスマートデバイス10の筐体11のx軸がほぼ直交するようにしてもよい。 For example, the four fingers, x-axis of the housing 11 of the smart device 10 shown in FIG. 8 may be substantially perpendicular.

なお、図5Aに示す基準ジェスチャ46〜49を、示指から小指までの4本の指で把持するジェスチャとして説明したが、開示の技術はこれに限定されない。 Incidentally, the reference gesture 46-49 shown in FIG. 5A, has been described as a gesture for gripping by four fingers from the index finger to the little finger, the disclosed technology is not limited thereto. 例えば、4本の指のうちいずれか1本でスマートデバイス10を把持するジェスチャであってもよい。 For example, it may be a gesture to grip the smart device 10 in one any of the four fingers. この場合、残りの把持に使用しない指はスマートデバイス10に対し一定の位置に固定しておくことが望ましい。 In this case, it is desirable that a finger is not used to the rest of the grip be fixed at a constant position with respect to the smart device 10.

なお、図5Aに示す基準ジェスチャ46〜49を、母指がスマートデバイス10の前面とほぼ平行になるジェスチャとして説明したが、開示の技術はこれに限定されない。 Incidentally, the reference gesture 46-49 shown in FIG. 5A, has been described as a gesture of thumb is substantially parallel to the front surface of the smart device 10, the disclosed technology is not limited thereto. 例えば、母指がスマートデバイス10の背面とほぼ平行になるジェスチャであってもよい。 For example, it may be a gesture of thumb is substantially parallel to the back of the smart device 10. この場合、示指から小指までの4本の指の中手指節関節はスマートデバイス10の前面と接する。 In this case, metacarpophalangeal joints of four fingers from the index finger to the little finger is in contact with the front of the smart device 10.

なお、図5Aに示す基準ジェスチャ46〜49を、母指の指節間関節及び中手指節関節を伸ばすジェスチャとして説明したが、開示の技術はこれに限定されない。 Incidentally, the reference gesture 46-49 shown in FIG. 5A, has been described as a gesture to extend between the thumb interphalangeal joints and metacarpophalangeal joints, the disclosed technology is not limited thereto. 例えば、母指が移動し易い程度に母指の指節間関節及び中手指節関節が軽く曲げられていてもよい。 For example, between the thumb to the extent easily move the thumb interphalangeal joints and metacarpophalangeal joints may be bent gently.

なお、図5Aに示す基準ジェスチャ46〜49を4本の指でスマートデバイス10を把持し、母指を振るジェスチャとして説明したが、開示の技術はこれに限定されない。 Note that holds the smart device 10 the reference gesture 46-49 shown in FIG. 5A four fingers has been described as a gesture of shaking the thumb, the disclosed technology is not limited thereto. 例えば、母指を含む示指以外の4本の指でスマートデバイス10を把持し、示指を振るジェスチャとしてもよい。 For example, the smart device 10 with four fingers other than the index finger including thumb gripping may be a gesture of shaking the index finger. また、母指を含む示指及び中指以外の3本の指でスマートデバイス10を把持し、示指と中指とを密着させて振るジェスチャとしてもよい。 Further, the smart device 10 with the index finger and three fingers other than the middle finger including thumb gripping may be a gesture of shaking in close contact with the index finger and middle finger.

なお、図4のステップ108では、x軸、y軸、及びz軸の各々の軸回りの角速度を検出する例について説明したが、開示の技術はこれに限定されない。 In step 108 of FIG. 4, x-axis, y-axis, and an example has been described for detecting the respective axis angular velocity around the z-axis, the disclosed technology is not limited thereto. 例えば、3軸のうち2軸の角速度を検出するようにしてもよい。 For example, it is also possible to detect the angular velocities of two axes of the three axes. 但し、2軸にはy軸を含めることが望ましい。 However, it is desirable that the two axes include y-axis.

なお、図4のステップ116では、正規化したゲイン比をジェスチャテーブルに保存する場合について説明したが、開示の技術はこれに限定されない。 In step 116 of FIG. 4, a case has been described in which to store the normalized gain ratio to the gesture table, the disclosed technology is not limited thereto. 例えば、基準1次主共振周波数に対応する3軸のスペクトルのゲインを保存しておいてもよい。 For example, the reference primary main resonant frequency may be stored gain spectrum of 3 axes corresponding. この場合、図13のステップ212で比較する際に、保存されているゲインから正規化したゲイン比を計算するようにしてもよい。 In this case, when comparing in step 212 of FIG. 13, it may be calculated the normalized gain ratio from the gain stored.

なお、ジェスチャ登録処理を行って1次主共振周波数及びゲイン比を登録することに代えて、1次主共振周波数及びゲイン比の標準値を予め設定して登録しておき、登録された1次主共振周波数及びゲイン比を用いてジェスチャの検出を行うようにしてもよい。 Instead of registering a primary main resonant frequency and the gain ratio by performing a gesture registration process, it may be registered in advance set the standard value of the primary main resonant frequency and the gain ratio, primary registered it may be performed to detect the gesture using primary resonant frequency and the gain ratio. また、ジェスチャ登録処理によって登録された1次主共振周波数及びゲイン比を図示しないサーバに保存しておき、スマートデバイスの機種変更などが行われた際に、保存された1次主共振周波数及びゲイン比を新しいスマートデバイスに登録するようにしてもよい。 Moreover, to keep the server (not shown) a primary main resonant frequency and the gain ratio registered by the gesture registration process, when such model change of smart devices is performed, 1 is stored primary main resonant frequency and gain the ratio may be registered to the new smart device. これらの場合、適切にジェスチャが検出されない場合のみ、ジェスチャ登録処理を行えばよい。 In these cases, only properly if the gesture is not detected, it may be performed a gesture registration process.

なお、図13のステップ212では、x軸、y軸及びz軸のスペクトルの基準ゲイン比とステップ210で取得されたx軸、y軸及びz軸のスペクトルのゲイン比とを比較する例について説明したが、開示の技術はこれに限定されない。 In step 212 of FIG. 13, x-axis, x-axis obtained by the reference gain ratio and the step 210 of the spectrum of the y-axis and z-axis, an example of comparing a gain ratio of the spectrum of the y-axis and z-axis described While the disclosure of technology is not limited thereto. 例えば、3軸のうち2軸のスペクトルの基準ゲイン比とステップ210で取得された対応する2軸のスペクトルのゲイン比とを比較するようにしてもよい。 For example, it is also possible to compare the spectral gain ratio of the corresponding two axes obtained by the spectral reference gain ratio and the step 210 of the two axes of the three axes. 但し、2軸には、1次共振周波数におけるゲインが最も大きい軸及び2番目に大きい軸を含めることが望ましい。 However, the two axes, it is desirable to include a shaft large largest axis and the second gain in the primary resonant frequency.

また、上記では、ジェスチャ登録プログラム66及びジェスチャ検出プログラム67が、2次記憶部64に予め記憶(インストール)されている態様を説明した。 Further, in the above, the gesture registration program 66 and gesture detection program 67 has been described aspects are previously stored (installed) in the secondary storage unit 64. しかしながら、ジェスチャ登録プログラム66及びジェスチャ検出プログラム67は、CD−ROMやDVD−ROM等の非一時的記録媒体に記録されている形態で提供することも可能である。 However, the gesture registration program 66 and gesture detection program 67 may also be provided in the form recorded in non-transitory recording medium such as a CD-ROM or DVD-ROM.

回転角運動量釣合式を用いて、開示の技術の基準ジェスチャを検出することを検討する。 Using a rotary angular momentum balance equation, consider detecting a reference gesture of the disclosed technology. 開示の技術の基準ジェスチャをモデル化すると、図21に示すように、スマートデバイス10'を片腕82でバネ自由支持した慣性系支持系のモデルとなる。 When modeling the reference gesture of the disclosed technique, as shown in FIG. 21, a spring freely supporting the inertial support system model of the smart device 10 'in one arm 82. 慣性系支持系においては、母指81の動きとスマートデバイス10'との間の作用力は内力として考えることができるため、運動の始めの運動量と運動の終わりの運動量とは等しい。 In inertial support system, the action force between the movement and the smart device 10 of the thumb 81 'since it can be considered as internal force, equal to the momentum of the end of the movement and the beginning of the momentum of the movement.

図22Aに示すスマートデバイス10'のx軸であるxt軸回りの慣性モーメントをItx、スマートデバイス10'のy軸であるyt軸回りの慣性モーメントをItyとする。 'The xt axis moment of inertia which is the x-axis of Itx, smart device 10' smart device 10 shown in FIG. 22A and Ity the yt axis moment of inertia around the y axis. また、図22Bに示すスマートデバイス10'のz軸であるzt軸回りの慣性モーメントをItzとする。 Further, the Itz the zt axis of inertia is a z-axis of the smart device 10 'shown in FIG. 22B. また、図22Aに示す母指手根中手関節を中心として移動する母指81のx軸であるxo軸回りの慣性モーメントをIox、母指81のy軸であるyo軸回りの慣性モーメントをIoy、母指81のz軸であるzo軸回りの慣性モーメントをIozとする。 Further, Iox the xo axis of the moment of inertia is a x-axis of the thumb 81 to move around the thumb carpometacarpal joint shown in FIG. 22A, the yo-axis moment of inertia around the y-axis of the thumb 81 IOy, the zo axis of inertia is a z-axis of the thumb 81 and IOZ. また、スマートデバイス10'のxt軸回りの角速度をKtx、yt軸回りの角速度をKty、zt軸回りの角速度をKtzとする。 Further, the xt axis of the angular velocity of the smart device 10 'Ktx, the yt axis angular velocity Kty, and Ktz the angular velocity of zt axis. また、母指81のxo軸回りの角速度をKox、yo軸回りの角速度をKoy、xo軸回りの角速度をKozとする。 Further, the xo axis of the angular velocity of the thumb 81 Kox, the yo-axis angular velocity around Koy, and Koz the angular velocity of xo axis. スマートデバイス10'のxt軸回りの角運動量と母指81のxo軸回りの角運動量は等しく、スマートデバイス10'のyt軸回りの角運動量と母指81のyo軸回りの角運動量は等しい。 Smart device 10 'angular momentum xt axis and angular momentum xo axis of the thumb 81 of the same, the smart device 10' angular momentum yt axis and the angular momentum of the yo axis of thumb 81 of the same. また、スマートデバイス10'のzt軸回りの角運動量と母指81のzo軸回りの角運動量は等しい。 Also, the angular momentum of zt axis and the angular momentum of the zo axis of thumb 81 of the smart device 10 'are equal. 従って、回転角運動量の釣合式(1)〜(3)が成り立つ。 Thus, rotational angular momentum balance equation (1) to (3) hold.
Itx×Ktx=Iox×Kox …(1) Itx × Ktx = Iox × Kox ... (1)
Ity×Kty=Ioy×Koy …(2) Ity × Kty = Ioy × Koy ... (2)
Itz×Ktz=Ioz×Koz …(3) Itz × Ktz = Ioz × Koz ... (3)

式(1)〜(3)の各々をスマートデバイス10'の各々の軸回りの慣性モーメントで除算することによって、式(4)〜(6)に示すスマートデバイス10'の各々の軸回りの角速度を求める。 'By dividing in each axis of inertia of the formula (4) to (6) smart device 10' shown in each of the formulas (1) to (3) smart device 10 each about the axis of the angular velocity of the the seek.
Ktx=(Iox×Kox)/Itx …(4) Ktx = (Iox × Kox) / Itx ... (4)
Kty=(Ioy×Koy)/Ity …(5) Kty = (Ioy × Koy) / Ity ... (5)
Ktz=(Ioz×Koz)/Itz …(6) Ktz = (Ioz × Koz) / Itz ... (6)

スマートデバイス10'の慣性モーメントItx、Ity、Itzはスマートデバイス10'の形状によって決定され、母指81の慣性モーメントIox、Ioy、Iozは母指81の質量で決定され、内力の大きさは母指81の経路で決定される。 Smart device 10 'moment of inertia Itx of, Ity, Itz smart device 10' is determined by the shape of the moment of inertia Iox thumb 81, IOy, IOZ is determined by the mass of the thumb 81, the magnitude of the internal force mother It is determined by the path of the finger 81. 母指の長さ及び質量、母指の経路、すなわち、母指の動かし方の無意識の癖はユーザに依存するものである。 The length and mass of the thumb, the path of the thumb, i.e., unconscious habit of how to move the thumb is to rely on the user. 従って、母指の長さ及び質量、母指の経路を測定して、スマートデバイス10'の慣性モーメント、母指81の慣性モーメント、及び内力の大きさを計算で求めることは困難である。 Therefore, the length and mass of the thumb, by measuring the path of the thumb, it is difficult to determine the moment of inertia of the smart device 10 ', the moment of inertia of the thumb 81, and the internal force magnitude in calculation.

一方、ユーザの母指81の長さ及び質量、母指の経路は、容易に変更されない。 On the other hand, the length and weight of the user's thumb 81, the path of the thumb is not easily changed. 開示の技術では、式(4)〜(6)の右辺に含まれる母指の慣性モーメント、角速度及びスマートデバイスの慣性モーメントを計算または測定によって各々取得しない。 In the disclosed technique, equation (4) the moment of inertia of the thumb that is included in the right-hand side to (6), not each obtained by calculating or measuring the moment of inertia of the angular velocity and the smart device. その代わりに、式(4)〜(6)の左辺に含まれるスマートデバイスの角速度をジャイロセンサを用いて計測する。 Instead, it measured by using a gyro sensor the angular velocity of the smart devices in the left side of the equation (4) to (6). 計測を行ったスマートデバイスに、角速度を周波数領域のスペクトルに変換して取得した代表値を登録することによって、ユーザ固有の特徴及びスマートデバイス固有の特徴を吸収して基準ジェスチャを検出することを可能としている。 A smart device performing the measurement, by registering the representative values ​​acquired by converting the spectrum of the frequency domain an angular velocity, allows to detect the reference gesture absorbs user-specific features and smart device specific features It is set to.
換言すると、ジャイロセンサで計測される角速度には、ユーザの指(例えば、母指)の動きに伴いスマートデバイスに生じる反力が反映される。 In other words, the angular velocity measured by the gyro sensor, a user's finger (e.g., thumb) reaction forces occurring smart device with the movement of the is reflected. 即ち、開示の技術では、スマートデバイスのジャイロセンサを反力の検出手段として用いることを可能としている。 That is, in the technique disclosed, it is made possible to use a gyro sensor of the smart device as a detecting means of the reaction force.

開示の技術では、角速度信号を周波数領域のスペクトルに変換して、ゲイン比同士を比較しているため、ユーザが走行中の車両に乗っている場合に、走行中の車両の揺れの影響を受けずに、基準ジェスチャを検出することが可能である。 In the technique disclosed, by converting the angular velocity signal into a spectrum in the frequency domain, because it compares the gain ratio between, if the user is riding in a moving vehicle, the influence of vibration of a running vehicle without, it is possible to detect the reference gesture. 例えば、自動車のエンジンの振動は10Hz付近であるが、基準ジェスチャの1次主共振周波数は1Hz付近であるため、基準ジェスチャの特徴を示す周波数領域のスペクトルの代表値に自動車のエンジンの振動による周波数は影響しないためである。 For example, the vibration of the automobile engine is around 10 Hz, for the primary main resonance frequency of the reference gesture is around 1 Hz, the frequency by typical vibrations of the vehicle engine to the spectrum of the frequency domain showing the characteristics of the reference gesture it is because they do not affect.

また、時間軸に沿った情報である角速度信号同士を比較する場合、比較のタイミングがずれたり、一部の情報にノイズが含まれたりすると、基準ジェスチャの検出を適切に行うことが困難である。 Also, when comparing angular velocity signals to each other the information along the time axis, or shift the timing of the comparison, or contains noise in a part of the information, it is difficult to properly perform the detection of the reference gesture . しかしながら、開示の技術では、周波数領域のスペクトルに変換した情報の代表値である1次主共振周波数、及びゲイン比を比較に使用する。 However, in the technique disclosed, used primary main resonant frequency which is a representative value of the information converted into a spectrum in the frequency domain, and the gain ratio to the comparison. 従って、比較のタイミングのずれ、または一部の情報に含まれるノイズ(例えば、外力に起因するノイズ)の影響を受けずに基準ジェスチャを検出することが可能である。 Therefore, noise included in the deviation of the timing of the comparison or some of the information, (e.g., noise caused by the external force) it is possible to detect the reference gesture without being affected by.

開示の技術では、ゲイン同士ではなく、ゲイン比同士を比較することにより、基準ジェスチャを行う度に異なる可能性があるユーザの力の加減の差異によるゲインの変動を吸収し、適切に基準ジェスチャを検出することが可能である。 In the disclosed technique, rather than a gain each other by comparing the gain ratio between absorbs fluctuation gain due to the difference of acceleration and force users may differ each time of performing the reference gesture, the appropriate reference gesture it is possible to detect.

開示の技術では、例えば、基準ジェスチャ46〜49のようなジェスチャを検出することが可能であるため、タッチ、スワイプなどの既存のジェスチャとの競合を生じない操作方法が増えることにより、スマートデバイスの操作の幅を広げることが可能となる。 In the technique disclosed, for example, since it is possible to detect a gesture such as reference gesture 46-49, touch, by the increase existing operating method which does not cause conflicts with gestures, such as swipe, smart devices it is possible to broaden the operation. 基準ジェスチャ46〜49は、筐体におけるタッチパネルディスプレイの位置及びタッチパネルディスプレイに表示されているコンテンツを視認せずに行うことが可能であるため、活用できる場面の幅も広げることが可能となる。 Reference gesture 46-49, since it is possible to perform without viewing the content being displayed position and the touch panel display of the touch panel display in the housing, it is possible to widen the width of a scene can be utilized.

開示の技術の基準ジェスチャ検出は、タッチ検出を用いていないため、タッチパネルを有さない情報処理装置でも利用することが可能である。 Reference gesture detection of the disclosed technology, does not use a touch detection can be utilized in the information processing device without a touch panel. この場合、ジェスチャを登録する際には、例えば、ハードキーなどを使用するようにすることが可能である。 In this case, when registering a gesture, for example, it is possible to use a like hard keys.

以上の実施形態に関し、更に以下の付記を開示する。 Relates above embodiments, the following additional statements are further disclosed.
(付記1) (Note 1)
筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出する角速度検出部と、 An angular velocity detection unit for each detecting axis of the angular velocity signal of a three-axis orthogonal to each other set in the housing,
前記角速度検出部によって検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換する変換部と、 A converter for converting the spectrum of each frequency domain axis of the angular velocity signal of the three axes detected by the angular velocity detection unit,
前記変換部によって変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得する取得部と、 Acquired as the primary main resonant frequency frequency showing the maximum gain in the spectrum of the frequency domain of a specific single axis having the largest value among the maximum value of the gain spectrum in the frequency domain of each axis that has been converted by the conversion unit while an obtaining unit for obtaining a ratio between the gain and the maximum gain at the same frequency as the primary main resonance frequency of the spectrum of the frequency region of at least two-axis as a gain ratio,
前記筐体に対して基準ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記ゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する判定部と、 When the reference gesture is performed on the housing, wherein the primary main resonant frequency and the gain ratio acquired by the acquisition unit, when the determination target gesture is performed on the housing, by comparing, and the primary main resonant frequency and the gain ratio acquired by the acquisition unit for each of each of the primary main resonant frequency and the gain ratio, whether the determination target gesture is the reference gesture a determination unit for determining,
を含む情報処理装置。 Information processing apparatus including a.
(付記2) (Note 2)
前記判定部によって比較に用いられる前記少なくとも2軸は、各々の軸におけるゲインの最大値が前記3軸の中で最も大きい軸及び2番目に大きい軸である、 Wherein said at least two axes used in the comparison by the determining unit, the maximum value of the gain in each of the axis having the greatest axial and the second largest axis among the three axes,
付記1に記載の情報処理装置。 The information processing apparatus according to Appendix 1.
(付記3) (Note 3)
前記基準ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比を記憶する記憶部をさらに備え、 Wherein when the reference gesture has been performed, further comprising a storage unit for storing the gain ratio of the spectrum in the frequency domain of the primary main resonant frequency and the at least two axes obtained by the obtaining unit,
前記判定部は、前記判定対象ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記記憶部に記憶されている前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、を比較することで、前記判定対象ジェスチャの判定を行う、 The determination unit, the determination when the target gesture is performed, and the gain ratio of the spectrum in the frequency domain of the primary main resonant frequency and the at least two axes obtained by the obtaining unit, stored in the storage unit , and the gain ratio of the spectrum in the frequency domain of the primary main resonant frequency and the at least two axes that are to compare the, determination of the determination target gesture,
付記1または2に記載の情報処理装置。 The information processing apparatus according to Appendix 1 or 2.
(付記4) (Note 4)
前記基準ジェスチャは、前記筐体を片手で把持し、前記片手の母指の手根中手関節を中心として前記母指を動かすジェスチャである、 The reference gesture grips the housing with one hand, a gesture moving the thumb around the carpometacarpal joint of the hand thumb,
付記1〜3のいずれかに記載の情報処理装置。 The information processing apparatus according to any one of Appendixes 1 to 3.
(付記5) (Note 5)
前記基準ジェスチャは、前記母指の指節間関節及び中手指節関節を伸ばし、示指、中指、薬指、小指の少なくとも1本の指を用いて前記筐体を把持し、前記手根中手関節を中心として前記母指を動かすことにより、前記母指の先端が前記筐体の1つの面上に、前記母指と面とを離隔して、かつ、円弧を描くように移動するジェスチャである、 The reference gesture stretched interphalangeal joints and metacarpophalangeal joints of the thumb, grasping the index finger, middle finger, ring finger, the housing using at least one finger of the little finger, the carpometacarpal joint by moving the thumb around a, on one side of the thumb tip the housing, spaced apart and said thumb and the surface, and is the moving gesture so as to draw a circular arc ,
付記4に記載の情報処理装置。 The information processing apparatus according to note 4.
(付記6) (Note 6)
前記基準ジェスチャは、前記母指の先端が前記面または前記面の延長面上の第1位置から円弧を描いて前記面または前記面の延長面上の第2位置へ移動する第1ジェスチャ、前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動する第2ジェスチャ、前記母指の先端が前記第1位置から円弧を描いて第2位置へ移動した後、前記第2位置から円弧を描いて第1位置へ移動する第3ジェスチャ、及び前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動した後、前記第1位置から円弧を描いて第2位置へ移動する第4ジェスチャ、の少なくとも1つを含む、 The reference gesture first gesture, wherein the thumb tip is moved to the second position on the extended plane of the surface or the surface in an arc from a first position on the extended plane of the surface or the surface, the after the second gesture thumb tip moves to the first position in an arc from the second position, the tip of the thumb is moved to a second position in an arc from the first position, the second third gesture to move from the position to the first position in an arc, and after the thumb tip is moved to the first position in an arc from the second position, first in an arc from the first position fourth gesture to move to two positions, of at least one,
付記5に記載の情報処理装置。 The information processing apparatus according to note 5.
(付記7) (Note 7)
前記角速度検出部によって検出される角速度信号は、前記母指の動きに伴い前記筐体に生じる反力を示す信号を含む、 Angular velocity signal detected by the angular velocity detection unit includes a signal indicative of the reaction force generated in the housing with the movement of the thumb,
付記4〜6の何れかに記載の情報処理装置。 The information processing apparatus according to any one of Appendixes 4-6.
(付記8) (Note 8)
前記判定部が、前記基準ジェスチャが行われたことを判定すると、予め対応付けられている前記基準ジェスチャに対応する処理を実行する、付記1〜7のいずれかに記載の情報処理装置。 The determination unit, when it is determined that the reference gesture has been performed, performs processing corresponding to the reference gesture is associated in advance, the information processing apparatus according to any one of Appendixes 1-7.
(付記9) (Note 9)
プロセッサが、 Processor,
筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出し、 Each detecting the axis of the angular velocity signal of a three-axis orthogonal to each other set in the housing,
検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換し、 Convert the axis of the angular velocity signal of said detected triaxial each spectrum in the frequency domain,
変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得し、 Obtains the frequency showing the maximum gain in the spectrum of the frequency domain of a specific single axis having the largest value among the maximum value of the spectrum gain of the transformed frequency domain for each axis was as the primary main resonance frequency, at least the ratio between the gain and the maximum gain is obtained as the gain ratio at the same frequency as the primary main resonance frequency of the spectrum of the frequency domain of the two axes,
前記筐体に対して基準ジェスチャが行われた際に取得された前記1次主共振周波数及び少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及び前記ゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する、 Wherein the housing relative to the gain spectrum in the frequency region of the primary main resonant frequency and at least two axes that are obtained when the reference gesture is performed ratios, the determination target gesture with respect to the housing is performed wherein the primary main resonant frequency and the gain ratio obtained when the, by comparing for each each of the primary main resonant frequency and the gain ratio, whether the determination target gesture is the reference gesture the judges,
ことを含むジェスチャ検出方法。 Gesture detection method comprising.
(付記10) (Note 10)
比較に用いられる前記少なくとも2軸は、各々の軸におけるゲインの最大値が前記3軸の中で最も大きい軸及び2番目に大きい軸である、 Wherein said at least two axes used in the comparison, the maximum value of the gain in each of the axis having the greatest axial and the second largest axis among the three axes,
付記9に記載のジェスチャ検出方法。 Gesture detection method of statement 9.
(付記11) (Note 11)
前記プロセッサが、 Wherein the processor,
前記基準ジェスチャが行われた際に取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比を記憶部に保存し、 The gain ratio of the spectrum in the frequency domain of the primary main resonant frequency and the at least two axes that are acquired when the reference gesture is performed and stored in the storage unit,
前記判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記記憶部に保存されている前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、を比較することで、前記判定対象ジェスチャの判定を行う、 The determination and the gain ratio of the spectrum of the target gesture is acquired when made primary main resonant frequency and the frequency region of said at least two axes, wherein the primary main stored in the storage unit resonant frequency and by comparing, said gain ratio of the spectrum in the frequency domain of said at least two axes, and determines the determination target gesture,
付記9または10に記載のジェスチャ検出方法。 Gesture detection method of statement 9 or 10.
(付記12) (Note 12)
前記基準ジェスチャは、前記筐体を片手で把持し、前記片手の母指の手根中手関節を中心として前記母指を動かすジェスチャである、 The reference gesture grips the housing with one hand, a gesture moving the thumb around the carpometacarpal joint of the hand thumb,
付記9〜11のいずれかに記載のジェスチャ検出方法。 Gesture detection method according to any one of Appendixes 9-11.
(付記13) (Supplementary Note 13)
前記基準ジェスチャは、前記母指の指節間関節及び中手指節関節を伸ばし、示指、中指、薬指、小指の少なくとも1本の指を用いて前記筐体を把持し、前記手根中手関節を中心として前記母指を動かすことにより、前記母指の先端が前記筐体の1つの面上に、前記母指と面とを離隔して、かつ、円弧を描くように移動するジェスチャである、 The reference gesture stretched interphalangeal joints and metacarpophalangeal joints of the thumb, grasping the index finger, middle finger, ring finger, the housing using at least one finger of the little finger, the carpometacarpal joint by moving the thumb around a, on one side of the thumb tip the housing, spaced apart and said thumb and the surface, and is the moving gesture so as to draw a circular arc ,
付記12に記載のジェスチャ検出方法。 Gesture detection method of statement 12.
(付記14) (Note 14)
前記基準ジェスチャは、前記母指の先端が前記面または前記面の延長面上の第1位置から円弧を描いて前記面または前記面の延長面上の第2位置へ移動する第1ジェスチャ、前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動する第2ジェスチャ、前記母指の先端が前記第1位置から円弧を描いて第2位置へ移動した後、前記第2位置から円弧を描いて第1位置へ移動する第3ジェスチャ、及び前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動した後、前記第1位置から円弧を描いて第2位置へ移動する第4ジェスチャ、の少なくとも1つを含む、 The reference gesture first gesture, wherein the thumb tip is moved to the second position on the extended plane of the surface or the surface in an arc from a first position on the extended plane of the surface or the surface, the after the second gesture thumb tip moves to the first position in an arc from the second position, the tip of the thumb is moved to a second position in an arc from the first position, the second third gesture to move from the position to the first position in an arc, and after the thumb tip is moved to the first position in an arc from the second position, first in an arc from the first position fourth gesture to move to two positions, of at least one,
付記13に記載のジェスチャ検出方法。 Gesture detection method of statement 13.
(付記15) (Note 15)
検出される前記角速度信号は、前記筐体に前記母指の動きに伴い生じる反力を示す信号を含む、 The angular velocity signal detected includes a signal indicative of the reaction force occurring due to the movement of the thumb to the housing,
付記12〜14の何れかに記載の情報処理装置。 The information processing apparatus according to any one of Appendixes 12-14.
(付記16) (Supplementary Note 16)
前記プロセッサが、 Wherein the processor,
前記基準ジェスチャが行われたことを判定すると、予め対応付けられている前記基準ジェスチャに対応する処理を実行する、 When it is determined that the reference gesture has been performed, it performs processing corresponding to the reference gesture is associated in advance,
付記9〜15のいずれかに記載のジェスチャ検出方法。 Gesture detection method according to any one of Appendixes 9-15.
(付記17) (Note 17)
筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出し、 Each detecting the axis of the angular velocity signal of a three-axis orthogonal to each other set in the housing,
検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換し、 Convert the axis of the angular velocity signal of said detected triaxial each spectrum in the frequency domain,
変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得し、 Obtains the frequency showing the maximum gain in the spectrum of the frequency domain of a specific single axis having the largest value among the maximum value of the spectrum gain of the transformed frequency domain for each axis was as the primary main resonance frequency, at least the ratio between the gain and the maximum gain is obtained as the gain ratio at the same frequency as the primary main resonance frequency of the spectrum of the frequency domain of the two axes,
前記筐体に対して基準ジェスチャが行われた際に取得された前記1次主共振周波数及び少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及びゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する、 Wherein the housing relative to the gain spectrum in the frequency region of the primary main resonant frequency and at least two axes that are obtained when the reference gesture is performed ratios, the determination target gesture with respect to the housing is performed wherein the primary main resonant frequency and the gain ratio obtained when the a by comparing for each each of the primary main resonant frequency and the gain ratio, whether the determination target gesture is the reference gesture judge,
ことを含むジェスチャ検出処理をプロセッサに実行させるためのプログラム。 Program for executing a gesture detection process that includes the processor.
(付記18) (Note 18)
比較に用いられる前記少なくとも2軸は、各々の軸におけるゲインの最大値が前記3軸の中で最も大きい軸及び2番目に大きい軸である、 Wherein said at least two axes used in the comparison, the maximum value of the gain in each of the axis having the greatest axial and the second largest axis among the three axes,
付記17に記載のプログラム。 The program according to supplementary note 17.
(付記19) (Note 19)
前記基準ジェスチャが行われた際に取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比を記憶部に保存し、 The gain ratio of the spectrum in the frequency domain of the primary main resonant frequency and the at least two axes that are acquired when the reference gesture is performed and stored in the storage unit,
前記判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記記憶部に保存されている前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、を比較することで、前記判定対象ジェスチャの判定を行う、 The determination and the gain ratio of the spectrum of the target gesture is acquired when made primary main resonant frequency and the frequency region of said at least two axes, wherein the primary main stored in the storage unit resonant frequency and by comparing, said gain ratio of the spectrum in the frequency domain of said at least two axes, and determines the determination target gesture,
付記17または18に記載のプログラム。 Program of statement 17 or 18.
(付記20) (Note 20)
前記基準ジェスチャは、前記筐体を片手で把持し、前記片手の母指の手根中手関節を中心として前記母指を動かすジェスチャである、 The reference gesture grips the housing with one hand, a gesture moving the thumb around the carpometacarpal joint of the hand thumb,
付記17〜19のいずれかに記載のプログラム。 Program according to any one of Appendixes 17-19.
(付記21) (Supplementary Note 21)
前記基準ジェスチャは、前記母指の指節間関節及び中手指節関節を伸ばし、示指、中指、薬指、小指の少なくとも1本の指を用いて前記筐体を把持し、前記手根中手関節を中心として前記母指を動かすことにより、前記母指の先端が前記筐体の1つの面上に、前記母指と面とを離隔して、かつ、円弧を描くように移動するジェスチャである、 The reference gesture stretched interphalangeal joints and metacarpophalangeal joints of the thumb, grasping the index finger, middle finger, ring finger, the housing using at least one finger of the little finger, the carpometacarpal joint by moving the thumb around a, on one side of the thumb tip the housing, spaced apart and said thumb and the surface, and is the moving gesture so as to draw a circular arc ,
付記20に記載のプログラム。 Program of statement 20.
(付記22) (Note 22)
前記基準ジェスチャは、前記母指の先端が前記面または前記面の延長面上の第1位置から円弧を描いて前記面または前記面の延長面上の第2位置へ移動する第1ジェスチャ、前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動する第2ジェスチャ、前記母指の先端が前記第1位置から円弧を描いて第2位置へ移動した後、前記第2位置から円弧を描いて第1位置へ移動する第3ジェスチャ、及び前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動した後、前記第1位置から円弧を描いて第2位置へ移動する第4ジェスチャ、の少なくとも1つを含む、 The reference gesture first gesture, wherein the thumb tip is moved to the second position on the extended plane of the surface or the surface in an arc from a first position on the extended plane of the surface or the surface, the after the second gesture thumb tip moves to the first position in an arc from the second position, the tip of the thumb is moved to a second position in an arc from the first position, the second third gesture to move from the position to the first position in an arc, and after the thumb tip is moved to the first position in an arc from the second position, first in an arc from the first position fourth gesture to move to two positions, of at least one,
付記21に記載のプログラム。 The program according to supplementary note 21.
(付記23) (Note 23)
検出される前記角速度信号は、前記筐体に前記母指の動きに伴い生じる反力を示す信号を含む、 The angular velocity signal detected includes a signal indicative of the reaction force occurring due to the movement of the thumb to the housing,
付記20〜22の何れかに記載のプログラム。 Program according to any one of Appendixes 20-22.
(付記24) (Note 24)
前記基準ジェスチャが行われたことを判定すると、予め対応付けられている前記基準ジェスチャに対応する処理を実行する、 When it is determined that the reference gesture has been performed, it performs processing corresponding to the reference gesture is associated in advance,
付記18〜23のいずれかに記載のプログラム。 Program according to any one of Appendixes 18-23.

10 スマートデバイス16 変換部18 取得部20 判定部22 記憶部60 CPU 10 smart device 16 converter 18 acquiring unit 20 determination unit 22 storage unit 60 CPU
62 1次記憶部64 2次記憶部 62 primary storage unit 64 the secondary storage unit

Claims (9)

  1. 筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出する角速度検出部と、 An angular velocity detection unit for each detecting axis of the angular velocity signal of a three-axis orthogonal to each other set in the housing,
    前記角速度検出部によって検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換する変換部と、 A converter for converting the spectrum of each frequency domain axis of the angular velocity signal of the three axes detected by the angular velocity detection unit,
    前記変換部によって変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得する取得部と、 Acquired as the primary main resonant frequency frequency showing the maximum gain in the spectrum of the frequency domain of a specific single axis having the largest value among the maximum value of the gain spectrum in the frequency domain of each axis that has been converted by the conversion unit while an obtaining unit for obtaining a ratio between the gain and the maximum gain at the same frequency as the primary main resonance frequency of the spectrum of the frequency region of at least two-axis as a gain ratio,
    前記筐体に対して基準ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記ゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する判定部と、 When the reference gesture is performed on the housing, wherein the primary main resonant frequency and the gain ratio acquired by the acquisition unit, when the determination target gesture is performed on the housing, by comparing, and the primary main resonant frequency and the gain ratio acquired by the acquisition unit for each of each of the primary main resonant frequency and the gain ratio, whether the determination target gesture is the reference gesture a determination unit for determining,
    を含む情報処理装置。 Information processing apparatus including a.
  2. 前記判定部によって比較に用いられる前記少なくとも2軸は、各々の軸におけるゲインの最大値が前記3軸の中で最も大きい軸及び2番目に大きい軸である、 Wherein said at least two axes used in the comparison by the determining unit, the maximum value of the gain in each of the axis having the greatest axial and the second largest axis among the three axes,
    請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1.
  3. 前記基準ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比を記憶する記憶部をさらに備え、 Wherein when the reference gesture has been performed, further comprising a storage unit for storing the gain ratio of the spectrum in the frequency domain of the primary main resonant frequency and the at least two axes obtained by the obtaining unit,
    前記判定部は、前記判定対象ジェスチャが行われた際に、前記取得部によって取得された前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記記憶部に記憶されている前記1次主共振周波数及び前記少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、を比較することで、前記判定対象ジェスチャの判定を行う、 The determination unit, the determination when the target gesture is performed, and the gain ratio of the spectrum in the frequency domain of the primary main resonant frequency and the at least two axes obtained by the obtaining unit, stored in the storage unit , and the gain ratio of the spectrum in the frequency domain of the primary main resonant frequency and the at least two axes that are to compare the, determination of the determination target gesture,
    請求項1または2に記載の情報処理装置。 The information processing apparatus according to claim 1 or 2.
  4. 前記基準ジェスチャは、前記筐体を片手で把持し、前記片手の母指の手根中手関節を中心として前記母指を動かすジェスチャである、 The reference gesture grips the housing with one hand, a gesture moving the thumb around the carpometacarpal joint of the hand thumb,
    請求項1〜3のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1-3.
  5. 前記基準ジェスチャは、前記母指の指節間関節及び中手指節関節を伸ばし、示指、中指、薬指、小指の少なくとも1本の指を用いて前記筐体を把持し、前記手根中手関節を中心として前記母指を動かすことにより、前記母指の先端が前記筐体の1つの面上に、前記母指と面とを離隔して、かつ、円弧を描くように移動するジェスチャである、 The reference gesture stretched interphalangeal joints and metacarpophalangeal joints of the thumb, grasping the index finger, middle finger, ring finger, the housing using at least one finger of the little finger, the carpometacarpal joint by moving the thumb around a, on one side of the thumb tip the housing, spaced apart and said thumb and the surface, and is the moving gesture so as to draw a circular arc ,
    請求項4に記載の情報処理装置。 The information processing apparatus according to claim 4.
  6. 前記基準ジェスチャは、前記母指の先端が前記面または前記面の延長面上の第1位置から円弧を描いて前記面または前記面の延長面上の第2位置へ移動する第1ジェスチャ、前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動する第2ジェスチャ、前記母指の先端が前記第1位置から円弧を描いて第2位置へ移動した後、前記第2位置から円弧を描いて第1位置へ移動する第3ジェスチャ、及び前記母指の先端が前記第2位置から円弧を描いて第1位置へ移動した後、前記第1位置から円弧を描いて第2位置へ移動する第4ジェスチャ、の少なくとも1つを含む、 The reference gesture first gesture, wherein the thumb tip is moved to the second position on the extended plane of the surface or the surface in an arc from a first position on the extended plane of the surface or the surface, the after the second gesture thumb tip moves to the first position in an arc from the second position, the tip of the thumb is moved to a second position in an arc from the first position, the second third gesture to move from the position to the first position in an arc, and after the thumb tip is moved to the first position in an arc from the second position, first in an arc from the first position fourth gesture to move to two positions, of at least one,
    請求項5に記載の情報処理装置。 The information processing apparatus according to claim 5.
  7. 前記判定部が、前記基準ジェスチャが行われたことを判定すると、予め対応付けられている前記基準ジェスチャに対応する処理を実行する、請求項1〜6のいずれか1項に記載の情報処理装置。 The determination unit, when it is determined that the reference gesture has been performed, performs processing corresponding to the reference gesture is associated in advance, the information processing apparatus according to any one of claims 1 to 6 .
  8. プロセッサが、 Processor,
    筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出し、 Each detecting the axis of the angular velocity signal of a three-axis orthogonal to each other set in the housing,
    検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換し、 Convert the axis of the angular velocity signal of said detected triaxial each spectrum in the frequency domain,
    変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得し、 Obtains the frequency showing the maximum gain in the spectrum of the frequency domain of a specific single axis having the largest value among the maximum value of the spectrum gain of the transformed frequency domain for each axis was as the primary main resonance frequency, at least the ratio between the gain and the maximum gain is obtained as the gain ratio at the same frequency as the primary main resonance frequency of the spectrum of the frequency domain of the two axes,
    前記筐体に対して基準ジェスチャが行われた際に取得された前記1次主共振周波数及び少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及び前記ゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する、 Wherein the housing relative to the gain spectrum in the frequency region of the primary main resonant frequency and at least two axes that are obtained when the reference gesture is performed ratios, the determination target gesture with respect to the housing is performed wherein the primary main resonant frequency and the gain ratio obtained when the, by comparing for each each of the primary main resonant frequency and the gain ratio, whether the determination target gesture is the reference gesture the judges,
    ことを含むジェスチャ検出方法。 Gesture detection method comprising.
  9. 筐体に設定された互いに直交する3軸の軸回りの角速度信号を各々検出し、 Each detecting the axis of the angular velocity signal of a three-axis orthogonal to each other set in the housing,
    検出された前記3軸の軸回りの角速度信号を各々周波数領域のスペクトルに変換し、 Convert the axis of the angular velocity signal of said detected triaxial each spectrum in the frequency domain,
    変換された各軸の周波数領域のスペクトルのゲインの最大値の中で最も大きい値を有する特定の1軸の周波数領域のスペクトルにおいて最大ゲインを示す周波数を1次主共振周波数として取得すると共に、少なくとも2軸の周波数領域のスペクトルの前記1次主共振周波数と同じ周波数におけるゲインと前記最大ゲインとの比をゲイン比として取得し、 Obtains the frequency showing the maximum gain in the spectrum of the frequency domain of a specific single axis having the largest value among the maximum value of the spectrum gain of the transformed frequency domain for each axis was as the primary main resonance frequency, at least the ratio between the gain and the maximum gain is obtained as the gain ratio at the same frequency as the primary main resonance frequency of the spectrum of the frequency domain of the two axes,
    前記筐体に対して基準ジェスチャが行われた際に取得された前記1次主共振周波数及び少なくとも2軸の周波数領域のスペクトルの前記ゲイン比と、前記筐体に対して判定対象ジェスチャが行われた際に取得された前記1次主共振周波数及びゲイン比と、を前記1次主共振周波数及びゲイン比の各々毎に比較することで、前記判定対象ジェスチャが前記基準ジェスチャであるか否かを判定する、 Wherein the housing relative to the gain spectrum in the frequency region of the primary main resonant frequency and at least two axes that are obtained when the reference gesture is performed ratios, the determination target gesture with respect to the housing is performed wherein the primary main resonant frequency and the gain ratio obtained when the a by comparing for each each of the primary main resonant frequency and the gain ratio, whether the determination target gesture is the reference gesture judge,
    ことを含むジェスチャ検出処理をプロセッサに実行させるためのプログラム。 Program for executing a gesture detection process that includes the processor.
JP2015113133A 2015-06-03 2015-06-03 The information processing apparatus, the gesture detection method, and program Active JP6442769B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015113133A JP6442769B2 (en) 2015-06-03 2015-06-03 The information processing apparatus, the gesture detection method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015113133A JP6442769B2 (en) 2015-06-03 2015-06-03 The information processing apparatus, the gesture detection method, and program

Publications (2)

Publication Number Publication Date
JP2016224852A JP2016224852A (en) 2016-12-28
JP6442769B2 true JP6442769B2 (en) 2018-12-26

Family

ID=57746022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015113133A Active JP6442769B2 (en) 2015-06-03 2015-06-03 The information processing apparatus, the gesture detection method, and program

Country Status (1)

Country Link
JP (1) JP6442769B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304988A (en) * 2006-05-12 2007-11-22 Seiko Epson Corp Motion command processing system
CN101868771B (en) * 2007-12-07 2013-07-31 松下电器产业株式会社 Electronic device
US9174123B2 (en) * 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
JP5704561B2 (en) * 2011-01-12 2015-04-22 独立行政法人産業技術総合研究所 Traveling direction estimating apparatus, a portable terminal, the control program, a computer-readable recording medium, and the traveling direction estimation method
JP5045835B1 (en) * 2011-04-27 2012-10-10 パナソニック株式会社 Electronics
JP5997921B2 (en) * 2012-04-13 2016-09-28 株式会社MetaMoJi Character input method and character input device

Also Published As

Publication number Publication date
JP2016224852A (en) 2016-12-28

Similar Documents

Publication Publication Date Title
JP5475121B2 (en) Optical capacitive thumb control using a pressure sensor
US8059111B2 (en) Data transfer using hand-held device
CN102580298B (en) Motion analysis device and motion analysis method
US8462109B2 (en) Controlling and accessing content using motion processing on mobile devices
US9357043B2 (en) Sensor-based user interface control
EP2184581A1 (en) Input device, controller, control system, control method, and hand-held device
US20090009471A1 (en) Input apparatus, control apparatus, control system, and control method
US20090262074A1 (en) Controlling and accessing content using motion processing on mobile devices
CN102915112B (en) Close operation of systems and methods for tracking
CN103583031B (en) Operation of the device based on movement
CN104919391B (en) Computing interface system
US9146637B2 (en) Mobile information terminal and operation state determination method
JP6009454B2 (en) Enhanced input event interpretation that occurs when interacting with a computing device that utilizes the movement of the computing device
JP5338662B2 (en) The information processing apparatus, an input apparatus and an information processing system
JP5675627B2 (en) Mobile device with a gesture recognition
AU2014202245B2 (en) Method for gesture control
JP6479322B2 (en) Method and apparatus for displaying a graphical user interface based on the user's contact
KR20110018859A (en) Inertial sensors integration
US8421634B2 (en) Sensing mechanical energy to appropriate the body for data input
KR20170055523A (en) Smart ring
CN103858072A (en) Gesture detection using proximity or light sensors
US9207781B2 (en) Input apparatus, control system, handheld apparatus, and calibration method
EP2691779A1 (en) Devices, methods, and apparatuses for inferring a position of a mobile device
WO2011039283A1 (en) System and method for recognizing gestures
JP2012508408A (en) Mouse, which is controlled through the movement of the finger in the air

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180306

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180405

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180411

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181011

TRDD Decision of grant or rejection written
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181106

R150 Certificate of patent or registration of utility model

Ref document number: 6442769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150