JP7355242B2 - グリップ判定装置、グリップ判定方法及びグリップ判定プログラム - Google Patents

グリップ判定装置、グリップ判定方法及びグリップ判定プログラム Download PDF

Info

Publication number
JP7355242B2
JP7355242B2 JP2022530034A JP2022530034A JP7355242B2 JP 7355242 B2 JP7355242 B2 JP 7355242B2 JP 2022530034 A JP2022530034 A JP 2022530034A JP 2022530034 A JP2022530034 A JP 2022530034A JP 7355242 B2 JP7355242 B2 JP 7355242B2
Authority
JP
Japan
Prior art keywords
grip
series data
data
determination
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022530034A
Other languages
English (en)
Other versions
JPWO2021250971A1 (ja
Inventor
智貴 西出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Manufacturing Co Ltd
Original Assignee
Murata Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Manufacturing Co Ltd filed Critical Murata Manufacturing Co Ltd
Publication of JPWO2021250971A1 publication Critical patent/JPWO2021250971A1/ja
Application granted granted Critical
Publication of JP7355242B2 publication Critical patent/JP7355242B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/16Measuring force or stress, in general using properties of piezoelectric devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

本発明は、グリップ判定装置、グリップ判定方法及びグリップ判定プログラムに関する。
近年、圧電素子を用いて、対象物に対する行動を判定する技術の開発が進んでいる。例えば、特許文献1には、圧電センサの計測値の標準偏差を算出し、算出された標準偏差に基づいて、圧電センサの計測値を出力するか否かを判定する計測方法が提案されている。特許文献1で提案される計測方法によれば、対象物に実際に振動が生じた際に、圧電センサによる計測を開始することができ、これにより、対象物に振動が生じていない間における圧電センサの不要な計測が起きるのを抑制することができる。
特開2019-113396号公報
本件発明者は、特許文献1の方法には、次のような問題点があることを見出した。すなわち、圧電素子の信号値の標準偏差によれば、圧電素子を取り付けた対象物において振動が生じているか否かを判定することは可能である。しかしながら、標準偏差はデータの散らばり具合を示すに過ぎないため、算出される標準偏差の値に基づいて、対象物に対して力を加える等の単純な事象を把握することは可能であるが、対象物に対する行動を正確に把握することは困難である。特に、対象物に対する行動がグリップであるか否か(例えば、周期的に叩く等のノイズ的な行動とグリップとを判別する)を標準偏差の値に基づいて正確に判定することは困難である。
本発明は、一側面では、このような事情を鑑みてなされたものであり、その目的は、圧電素子を利用して、対象物に対する行動がグリップであるか否かを正確に判定する技術を提供することである。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明の一側面に係るグリップ判定装置は、対象物に取り付けられた圧電素子の測定値を時系列に示す時系列データを取得するデータ取得部と、取得された前記時系列データから、時系列に並ぶ前記測定値の波形の形状に関する1つ以上の第1特徴量を算出する算出部と、機械学習により生成された学習済み判定モデルを使用して、算出された前記1つ以上の第1特徴量に基づき、前記対象物に対する行動がグリップであるか否かを判定する判定部と、判定の結果を出力する出力部と、を備える。
本件発明者は、後述する実験例の結果から、圧電素子の時系列データから算出可能な測定値の波形の形状に関する特徴量を説明変数に用いること、及び判定モデルの生成方法に機械学習を採用することで、対象物に対する行動がグリップであるか否かを高精度に判定可能な判定モデルを生成可能であることを見出した。したがって、当該構成によれば、そのように生成された学習済み判定モデルを備えることにより、圧電素子を利用して、対象物に対する行動がグリップであるか否かを正確に判定することができる。
上記一側面に係るグリップ判定装置において、前記時系列データは、前記圧電素子から直接的に得られた信号値が時系列に並ぶことで構成された第1系列データを含んでよい。当該構成によれば、圧電素子を利用して、対象物に対する行動がグリップであるか否かを正確かつ簡易に判定することができる。
上記一側面に係るグリップ判定装置において、前記時系列データは、前記圧電素子から直接的に得られた信号値が時系列に並ぶことで構成された原系列データを標準化することで生成された第2系列データを含んでよい。測定値の平均値により、ノック等のノイズをグリップと判別しようとすると、グリップと同じような強度のノイズをグリップと誤判定してしまう可能性が生じる。同様に、学習済み判定モデルがそのように構成されると、測定値の平均値に起因する誤判定が起きる可能性が生じる。当該構成によれば、時系列データの平均値を標準化により一定値にすることができる。その結果、測定値の平均値に起因する誤判定の起きる可能性を低減することができ、判定精度の向上を期待することができる。
上記一側面に係るグリップ判定装置において、前記時系列データは、前記圧電素子から直接的に得られた信号値が時系列に並ぶことで構成された原系列データの階差系列を演算することで生成された第3系列データを含んでよい。当該構成によれば、圧電素子の信号におけるベースラインの揺らぎ(ノイズ)を階差演算により除去することができる。すなわち、信号のベースラインをある程度統一することができる。これにより、判定精度の向上を期待することができる。
上記一側面に係るグリップ判定装置において、前記時系列データは、前記圧電素子から直接的に得られた信号値が時系列に並ぶことで構成された原系列データの階差系列を演算し、かつ標準化することで生成された第4系列データを含んでよい。当該構成によれば、階差演算及び標準化の上記作用により、判定精度の向上を期待することができる。
上記一側面に係るグリップ判定装置において、前記1つ以上の第1特徴量は、所定のパーセンタイル値、歪度、尖度、又はこれらの組み合わせにより構成されてよい。当該構成によれば、測定値の波形の特徴が表れた特徴量を適切に得ることができ、これにより、対象物に対する行動がグリップであるか否かを正確に判定することができる。
上記一側面に係るグリップ判定装置において、前記時系列データの時間長は400ms以上であってよい。当該構成によれば、時系列データの時間長を400ms以上とすることで、4Hz~30Hzのノイズとグリップとを判別する場合に、学習済み判定モデルによる判定の精度の向上を期待することができる。
上記一側面に係るグリップ判定装置において、前記対象物に対する行動がグリップであるか否かを判定することは、前記対象物に対する行動がグリップであるかそれ以外のノイズ行動であるかを判別することを含んでよい。当該構成によれば、グリップ行動とそれ以外のノイズ的な行動とを正確に判別することができる。
上記一側面に係るグリップ判定装置において、前記算出部は、取得された前記時系列データから、振幅に関する1つ以上の第2特徴量を更に算出してもよい。そして、前記判定部は、前記学習済み判定モデルを使用して、算出された前記1つ以上の第2特徴量に基づき、前記対象物に対するグリップの強度を更に判定してもよい。本件発明者は、後述する実験例の結果から、圧電素子の時系列データから算出可能な測定値の振幅に関する特徴量を説明変数に用いることで、グリップの強度を正確に判定可能であることを更に見出した。したがって、当該構成によれば、対象物に対する行動がグリップである場合に、そのグリップの強度を正確に判定することができる。
上記一側面に係るグリップ判定装置において、前記1つ以上の第2特徴量は、最小値、最大値、標準偏差、又はこれらの組み合わせにより構成されてよい。当該構成によれば、測定値の振幅の特徴が表れた特徴量を適切に得ることができ、これにより、グリップの強度を正確に判定することができる。
上記各形態に係るグリップ判定装置の別の態様として、本発明の一側面は、以上の各構成要素の全部又はその一部を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。
例えば、本発明の一側面に係るグリップ判定方法は、コンピュータが、対象物に取り付けられた圧電素子の測定値を時系列に示す時系列データを取得するステップと、取得された前記時系列データから、時系列に並ぶ前記測定値の波形の形状に関する1つ以上の特徴量を算出するステップと、機械学習により生成された学習済み判定モデルを使用して、算出された前記1つ以上の特徴量に基づき、前記対象物に対する行動がグリップであるか否かを判定するステップと、判定の結果を出力するステップと、を実行する、情報処理方法である。前記1つ以上の特徴量は、所定のパーセンタイル値、歪度、尖度、又はこれらの組み合わせにより構成されてよい。
また、例えば、本発明の一側面に係るグリップ判定プログラムは、コンピュータに、対象物に取り付けられた圧電素子の測定値を時系列に示す時系列データを取得するステップと、取得された前記時系列データから、時系列に並ぶ前記測定値の波形の形状に関する1つ以上の特徴量を算出するステップと、機械学習により生成された学習済み判定モデルを使用して、算出された前記1つ以上の特徴量に基づき、前記対象物に対する行動がグリップであるか否かを判定するステップと、判定の結果を出力するステップと、を実行させるための、プログラムである。
本発明によれば、圧電素子を利用して、対象物に対する行動がグリップであるかそれ以外のノイズであるかを判定することができる。
図1は、本発明が適用される場面の一例を模式的に例示する。 図2は、実施の形態に係るグリップ判定装置のハードウェア構成の一例を模式的に例示する。 図3は、実施の形態に係るモデル生成装置のハードウェア構成の一例を模式的に例示する。 図4は、実施の形態に係るグリップ判定装置のソフトウェア構成の一例を模式的に例示する。 図5は、実施の形態に係るモデル生成装置のソフトウェア構成の一例を模式的に例示する。 図6は、実施の形態に係るモデル生成装置の処理手順の一例を示すフローチャートである。 図7は、実施の形態に係るグリップ判定装置の処理手順の一例を示すフローチャートである。 図8Aは、非接触時に得られた測定データのサンプルを示す。 図8Bは、グリップ時に得られた測定データのサンプルを示す。 図8Cは、ノイズ(ノック)時に得られた測定データのサンプルを示す。 図9Aは、非接触時に得られた原系列データのヒストグラムのサンプルを示す。 図9Bは、非接触時に得られた階差系列データのヒストグラムのサンプルを示す。 図9Cは、非接触時に得られた標準化系列データのヒストグラムのサンプルを示す。 図9Dは、非接触時に得られた標準化階差系列データのヒストグラムのサンプルを示す。 図10Aは、グリップ時に得られた原系列データのヒストグラムのサンプルを示す。 図10Bは、グリップ時に得られた階差系列データのヒストグラムのサンプルを示す。 図10Cは、グリップ時に得られた標準化系列データのヒストグラムのサンプルを示す。 図10Dは、グリップ時に得られた標準化階差系列データのヒストグラムのサンプルを示す。 図11Aは、ノイズ(ノック)時に得られた原系列データのヒストグラムのサンプルを示す。 図11Bは、ノイズ時に得られた階差系列データのヒストグラムのサンプルを示す。 図11Cは、ノイズ時に得られた標準化系列データのヒストグラムのサンプルを示す。 図11Dは、ノイズ時に得られた標準化階差系列データのヒストグラムのサンプルを示す。 図12は、実験例に係る学習済み判定モデルの判別精度を示すグラフである。 図13Aは、非接触、グリップ、及びノイズの際に得られた原系列データから25%値を算出した結果を示すグラフである。 図13Bは、非接触、グリップ、及びノイズの際に得られた原系列データから75%値を算出した結果を示すグラフである。 図13Cは、非接触、グリップ、及びノイズの際に得られた原系列データから歪度を算出した結果を示すグラフである。 図13Dは、非接触、グリップ、及びノイズの際に得られた原系列データから尖度を算出した結果を示すグラフである。 図13Eは、非接触、グリップ、及びノイズの際に得られた原系列データから最小値を算出した結果を示すグラフである。 図13Fは、非接触、グリップ、及びノイズの際に得られた原系列データから最大値を算出した結果を示すグラフである。 図13Gは、非接触、グリップ、及びノイズの際に得られた原系列データから標準偏差を算出した結果を示すグラフである。 図13Hは、非接触、グリップ、及びノイズの際に得られた原系列データから50%値を算出した結果を示すグラフである。 図14Aは、非接触、グリップ、及びノイズの際に得られた階差系列データから25%値を算出した結果を示すグラフである。 図14Bは、非接触、グリップ、及びノイズの際に得られた階差系列データから75%値を算出した結果を示すグラフである。 図14Cは、非接触、グリップ、及びノイズの際に得られた階差系列データから歪度を算出した結果を示すグラフである。 図14Dは、非接触、グリップ、及びノイズの際に得られた階差系列データから尖度を算出した結果を示すグラフである。 図14Eは、非接触、グリップ、及びノイズの際に得られた階差系列データから最小値を算出した結果を示すグラフである。 図14Fは、非接触、グリップ、及びノイズの際に得られた階差系列データから最大値を算出した結果を示すグラフである。 図14Gは、非接触、グリップ、及びノイズの際に得られた階差系列データから標準偏差を算出した結果を示すグラフである。 図14Hは、非接触、グリップ、及びノイズの際に得られた階差系列データから50%値を算出した結果を示すグラフである。 図15Aは、非接触、グリップ、及びノイズの際に得られた標準化系列データから25%値を算出した結果を示すグラフである。 図15Bは、非接触、グリップ、及びノイズの際に得られた標準化系列データから75%値を算出した結果を示すグラフである。 図15Cは、非接触、グリップ、及びノイズの際に得られた標準化系列データから歪度を算出した結果を示すグラフである。 図15Dは、非接触、グリップ、及びノイズの際に得られた標準化系列データから尖度を算出した結果を示すグラフである。 図15Eは、非接触、グリップ、及びノイズの際に得られた標準化系列データから最小値を算出した結果を示すグラフである。 図15Fは、非接触、グリップ、及びノイズの際に得られた標準化系列データから最大値を算出した結果を示すグラフである。 図15Gは、非接触、グリップ、及びノイズの際に得られた標準化系列データから50%値を算出した結果を示すグラフである。 図16Aは、非接触、グリップ、及びノイズの際に得られた標準化階差系列データから25%値を算出した結果を示すグラフである。 図16Bは、非接触、グリップ、及びノイズの際に得られた標準化階差系列データから75%値を算出した結果を示すグラフである。 図16Cは、非接触、グリップ、及びノイズの際に得られた標準化階差系列データから歪度を算出した結果を示すグラフである。 図16Dは、非接触、グリップ、及びノイズの際に得られた標準化階差系列データから尖度を算出した結果を示すグラフである。 図16Eは、非接触、グリップ、及びノイズの際に得られた標準化階差系列データから最小値を算出した結果を示すグラフである。 図16Fは、非接触、グリップ、及びノイズの際に得られた標準化階差系列データから最大値を算出した結果を示すグラフである。 図16Gは、非接触、グリップ、及びノイズの際に得られた標準化階差系列データから50%値を算出した結果を示すグラフである。 図17Aは、非接触、弱グリップ、中グリップ、及び強グリップの際に得られた原系列データから最小値を算出した結果を示すグラフである。 図17Bは、非接触、弱グリップ、中グリップ、及び強グリップの際に得られた原系列データから最大値を算出した結果を示すグラフである。 図17Cは、非接触、弱グリップ、中グリップ、及び強グリップの際に得られた原系列データから標準偏差を算出した結果を示すグラフである。 図17Dは、非接触、弱グリップ、中グリップ、及び強グリップの際に得られた原系列データから25%値を算出した結果を示すグラフである。 図17Eは、非接触、弱グリップ、中グリップ、及び強グリップの際に得られた原系列データから75%値を算出した結果を示すグラフである。 図18Aは、非接触、弱グリップ、中グリップ、及び強グリップの際に得られた階差系列データから最小値を算出した結果を示すグラフである。 図18Bは、非接触、弱グリップ、中グリップ、及び強グリップの際に得られた階差系列データから最大値を算出した結果を示すグラフである。 図18Cは、非接触、弱グリップ、中グリップ、及び強グリップの際に得られた階差系列データから標準偏差を算出した結果を示すグラフである。 図18Dは、非接触、弱グリップ、中グリップ、及び強グリップの際に得られた階差系列データから25%値を算出した結果を示すグラフである。 図18Eは、非接触、弱グリップ、中グリップ、及び強グリップの際に得られた階差系列データから75%値を算出した結果を示すグラフである。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
§1 適用例
図1は、本実施形態に係る判定システム100の適用場面の一例を模式的に例示する。図1に示されるとおり、本実施形態に係る判定システム100は、グリップ判定装置1及びモデル生成装置2を備えている。
本実施形態に係るグリップ判定装置1は、機械学習により生成された学習済み判定モデル5を使用して、圧電素子Sの測定データに基づき、対象物に対するグリップ行動(対象物を握ること)を判定するように構成されたコンピュータである。まず、グリップ判定装置1は、対象物に取り付けられた圧電素子Sの複数の測定値を時系列に示す時系列データ6を取得する。次に、グリップ判定装置1は、取得された時系列データ6から、時系列に並ぶ測定値の波形の形状に関する1つ以上の特徴量71を算出する。グリップ判定装置1は、機械学習により生成された学習済み判定モデル5を使用して、算出された1つ以上の特徴量71に基づき、対象物に対する行動がグリップであるか否かを判定する。そして、グリップ判定装置1は、判定の結果を出力する。
一方、本実施形態に係るモデル生成装置2は、上記グリップの判定に利用可能な学習済み判定モデル5を生成するように構成されたコンピュータである。モデル生成装置2は、複数の学習データセット3を取得する。各学習データセット3は、訓練データ及び正解ラベルの組み合わせで構成される。訓練データは、1つ以上の特徴量71と同種のデータを備えるように構成される。正解ラベルは、訓練データにおける対象物に対する行動の正解を示すように構成される。モデル生成装置2は、取得された複数の学習データセット3を使用して、判定モデル5の機械学習を実施する。これにより、圧電素子Sの時系列データから算出される1つ以上の特徴量(特徴量71)に基づいて、対象物に対する行動がグリップであるか否かを判定する能力を獲得した学習済み判定モデル5を生成することができる。
以上のとおり、本実施形態では、対象物に対する行動がグリップであるか否かの判定に、機械学習により生成された学習済み判定モデル5を使用し、かつ圧電素子Sの時系列データ6から算出される測定値の波形の形状に関する1つ以上の特徴量71を判定モデル5の説明変数に採用する。本実施形態によれば、このような構成を採用することにより、圧電素子Sを利用して、対象物に対する行動がグリップであるか否かを正確に判定することができる。
なお、図1の例では、グリップ判定装置1及びモデル生成装置2は、ネットワークを介して互いに接続されている。ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。ただし、グリップ判定装置1及びモデル生成装置2の間でデータをやりとりする方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、グリップ判定装置1及びモデル生成装置2の間では、記憶媒体を利用して、データがやりとりされてよい。
また、図1の例では、グリップ判定装置1及びモデル生成装置2は、それぞれ別個のコンピュータにより構成されている。しかしながら、本実施形態に係る判定システム100の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。たとえば、グリップ判定装置1及びモデル生成装置2は一体のコンピュータであってもよい。また、例えば、グリップ判定装置1及びモデル生成装置2のうちの少なくとも一方は、複数台のコンピュータにより構成されてもよい。
また、対象物は、握る対象となり得るものであれば、その種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。対象物は、例えば、車両のグリップ部、車載用スイッチ、ゲーム機器のコントローラ、電動工具、家庭用電気器具、農業機器のグリップ部等であってよい。車両のグリップ部は、例えば、ハンドル、レバー、自動運転車両の把持部、トラクタの把持部等であってよい。車両は、例えば、二輪車(例えば、バイク、自転車)、四輪車(例えば、自動車)等であってよい。自動運転車両は、例えば、自動運転バス、自動運転タクシー等であってよく、自動運転車両の把持部は、例えば、安全用途のつり革等であってよい。車載用スイッチは、例えば、タッチパッド、タッチパネル、自動ドアの開閉スイッチ、エンジンスタートのスイッチ等であってよい。電動工具は、例えば、電動ノコギリ、チェーンソー、芝刈り機等であってよい。家庭用電気器具は、例えば、掃除機、アイロン等であってよい。本実施形態を各機器に適用することにより、各機器に対するユーザのグリップ行動を監視することができる。そして、グリップ行動のオン/オフに応じて、何らかのアクションを各機器に実行させることができる。したがって、本実施形態によれば、各機器におけるユーザインタフェースの自由度の向上を図ることができる。
§2 構成例
[ハードウェア構成]
<グリップ判定装置>
図2は、本実施形態に係るグリップ判定装置1のハードウェア構成の一例を模式的に例示する。図2に示されるとおり、本実施形態に係るグリップ判定装置1は、制御部11、記憶部12、通信インタフェース13、外部インタフェース14、入力装置15、出力装置16、及びドライブ17が電気的に接続されたコンピュータである。なお、図2では、通信インタフェース及び外部インタフェースを「通信I/F」及び「外部I/F」と記載している。以降の図でも同様の表記を用いている。
制御部11は、ハードウェアプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部12は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部12は、グリップ判定プログラム81、学習結果データ225等の各種情報を記憶する。
グリップ判定プログラム81は、対象物に対するグリップの判定に関する後述の情報処理(図7)をグリップ判定装置1に実行させるためのプログラムである。グリップ判定プログラム81は、当該情報処理の一連の命令を含む。学習結果データ225は、学習済み判定モデル5に関する情報を示す。詳細は後述する。
通信インタフェース13は、例えば、有線LAN(Local Area Network)モジュール、無線LANモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。グリップ判定装置1は、通信インタフェース13を利用して、他の情報処理装置との間で、ネットワークを介したデータ通信を実行することができる。
外部インタフェース14は、例えば、USB(Universal Serial Bus)ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース14の種類及び数は任意に選択されてよい。図2の例では、グリップ判定装置1は、外部インタフェース14を介して、圧電素子Sに直接的に接続される。これにより、グリップ判定装置1は、圧電素子Sの測定データを取得することができる。ただし、グリップ判定装置1及び圧電素子Sの間の接続方法及び接続関係は、このような例に限定されなくてよい。例えば、グリップ判定装置1は、通信インタフェース13を介して接続されてよい。また、例えば、グリップ判定装置1は、他のコンピュータを介して圧電素子Sに間接的に接続されてもよい。なお、圧電素子Sは、加えられた力により出力を変えるように構成されていれば、その種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。一例では、圧電素子Sは、圧電性を有した材料(圧電体)及び電極により構成されてよい。例えば、圧電素子Sは、2つの電極で圧電体を挟むことにより構成されてよい。圧電体は、例えば、セラミックス、有機物、単結晶等であってよい。また、圧電素子Sの測定の周波数は任意でよい。圧電素子Sの測定の周波数は、例えば、60Hz以上であってよい。
入力装置15は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置16は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。ユーザ等のオペレータは、入力装置15及び出力装置16を利用することで、グリップ判定装置1を操作することができる。
ドライブ17は、例えば、CDドライブ、DVDドライブ等であり、記憶媒体91に記憶されたプログラム等の各種情報を読み込むためのドライブ装置である。記憶媒体91は、コンピュータその他装置、機械等が、記憶されたプログラム等の各種情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。上記グリップ判定プログラム81及び学習結果データ225の少なくともいずれかは、記憶媒体91に記憶されていてもよい。グリップ判定装置1は、この記憶媒体91から、上記グリップ判定プログラム81及び学習結果データ225の少なくともいずれかを取得してもよい。なお、図2では、記憶媒体91の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体91の種類は、ディスク型に限られなくてもよく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。ドライブ17の種類は、記憶媒体91の種類に応じて任意に選択されてよい。
なお、グリップ判定装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部11は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)等で構成されてよい。記憶部12は、制御部11に含まれるRAM及びROMにより構成されてもよい。通信インタフェース13、外部インタフェース14、入力装置15、出力装置16及びドライブ17の少なくともいずれかは省略されてもよい。グリップ判定装置1は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、グリップ判定装置1は、提供されるサービス専用に設計された情報処理装置の他、マイクロコンピュータ、汎用のPC(Personal Computer)等であってよい。
<モデル生成装置>
図3は、本実施形態に係るモデル生成装置2のハードウェア構成の一例を模式的に例示する。図3に示されるとおり、本実施形態に係るモデル生成装置2は、制御部21、記憶部22、通信インタフェース23、外部インタフェース24、入力装置25、出力装置26、及びドライブ27が電気的に接続されたコンピュータである。
モデル生成装置2の制御部21~ドライブ27及び記憶媒体92はそれぞれ、上記グリップ判定装置1の制御部11~ドライブ17及び記憶媒体91それぞれと同様に構成されてよい。制御部21は、ハードウェアプロセッサであるCPU、RAM、ROM等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部22は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部22は、モデル生成プログラム82、複数の学習データセット3、学習結果データ225等の各種情報を記憶する。
モデル生成プログラム82は、学習済み判定モデル5の生成(判定モデル5の機械学習)に関する後述の情報処理(図6)をモデル生成装置2に実行させるためのプログラムである。モデル生成プログラム82は、当該情報処理の一連の命令を含む。複数の学習データセット3は、学習済み判定モデル5の生成に使用される。学習結果データ225は、モデル生成プログラム82を実行した結果として生成されてよい。モデル生成プログラム82及び複数の学習データセット3の少なくともいずれかは、記憶媒体92に記憶されていてもよい。また、モデル生成装置2は、モデル生成プログラム82及び複数の学習データセット3の少なくともいずれかを記憶媒体92から取得してもよい。
なお、モデル生成装置2の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部21は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA等で構成されてよい。記憶部22は、制御部21に含まれるRAM及びROMにより構成されてもよい。通信インタフェース23、外部インタフェース24、入力装置25、出力装置26、及びドライブ27の少なくともいずれかは省略されてもよい。モデル生成装置2は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、モデル生成装置2は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のPC等であってもよい。
[ソフトウェア構成]
<グリップ判定装置>
図4は、本実施形態に係るグリップ判定装置1のソフトウェア構成の一例を模式的に例示する。グリップ判定装置1の制御部11は、記憶部12に記憶されたグリップ判定プログラム81をRAMに展開する。そして、制御部11は、RAMに展開されたグリップ判定プログラム81に含まれる命令をCPUにより解釈及び実行して、各構成要素を制御する。これにより、図4に示されるとおり、本実施形態に係るグリップ判定装置1は、データ取得部111、算出部112、判定部113、及び出力部114をソフトウェアモジュールとして備えるコンピュータとして動作する。
データ取得部111は、対象物に取り付けられた圧電素子Sの複数の測定値を時系列に示す時系列データ6を取得する。本実施形態では、時系列データ6は、4つの系列データ(原系列データ61、標準化系列データ62、階差系列データ63、及び標準化階差系列データ64)を含むように構成される。
原系列データ61は、圧電素子Sから直接的に得られた信号値が時系列に並ぶことで構成される。原系列データ61は、圧電素子Sの生の信号値により構成されてよい。この場合、データ取得部111は、圧電素子Sにより生成される生データ120を原系列データ61として取得してもよい。或いは、原系列データ61は、圧電素子Sの生の信号値に対して任意の前処理を適用することで得られる前処理済みの信号値により構成されてよい。この場合、データ取得部111は、圧電素子Sから生データ120を取得し、かつ取得された生データ120に対して前処理を実行することで、原系列データ61を取得してもよい。前処理は、例えば、直流成分(平均値)の除去、移動平均による高周波ノイズの除去等のノイズ処理を含んでよい。移動平均は、時系列データにおいて、一定の時間長の区画を時間軸方向にずらしながら、その区画内の平均値を算出したものである。区間内の平均値を算出する前に、その区間のデータに任意の窓関数(例えば、ハニング窓)を掛け算してもよい。
標準化系列データ62は、圧電素子Sから直接的に得られた信号値が時系列に並ぶことで構成された原系列データを標準化することで生成される。階差系列データ63は、圧電素子Sから直接的に得られた信号値が時系列に並ぶことで構成された原系列データの階差系列を演算することで生成される。標準化階差系列データ64は、圧電素子Sから直接的に得られた信号値が時系列に並ぶことで構成された原系列データの階差系列を演算し、かつ標準化することで生成される。それぞれの原系列データは、上記原系列データ61と同様、生データ120又は生データ120に対して前処理を実行することで得られる前処理済みの系列データであってよい。
標準化は、系列データの標準偏差及び平均値を一定の値に変換する正規化処理である(例えば、標準偏差を1、平均値を0のデータに変換する)。すなわち、標準化系列データ62は、原系列データに対して当該正規化処理を実行することにより得られる系列データであって、標準偏差及び平均値が一定の値である系列データである。以下の式1は、標準化の演算の一例である。
階差演算は、時系列に並ぶ複数の値により構成された系列データにおいて、各時点の値とその時点から1つ離れた時点の値との差分を算出する演算である。階差系列は、そのような階差演算により得られる系列である。すなわち、階差系列データ63は、原系列データに対して当該階差演算を実行することで得られる系列データであって、特定の時間内での変化を示す系列データである。そのため、ベースラインの揺らぎの影響を減らすことができる。標準化階差系列データ64は、原系列データに対して上記階差演算及び正規化処理を実行することにより得られる系列データである。標準化階差系列データ64を得る際の階差演算及び正規化処理の実行順序は任意でよい。以下の式2は、階差演算の一例である。
Figure 0007355242000001
Figure 0007355242000002
なお、Δytは、階差系列の時点tの値を示す。ytは、元の系列の時点tの値を示し、yt-1は、元の系列の時点t-1の値を示す。ystは、標準化後の時点tの値を示す。mean(y)は、標準化前の系列データの平均値を示し、std(y)は、標準化前の系列データの標準偏差を示す。標準化の演算及び階差演算では、各時点の測定値に対して上記各式の計算を実行する。
原系列データ61は、第1系列データの一例であり、圧電素子Sの測定値の時系列を直接的に示す。標準化系列データ62は、第2系列データの一例である。階差系列データ63は、第3系列データの一例である。標準化階差系列データ64は、第4系列データの一例である。標準化系列データ62、階差系列データ63、及び標準化階差系列データ64はそれぞれ、圧電素子Sの測定値の時系列を間接的に示す。すなわち、時系列データ6を構成する測定値は、圧電素子Sから得られる生の信号値、生の信号値にノイズ除去等の前処理を適用した後の信号値(前処理済みの信号値)、及び生の信号値又は前処理済みの信号値に対して何らかの演算処理(例えば、標準化、階差演算)を適用した後の値を含んでよい。本実施形態では、データ取得部111は、圧電素子Sから生データ120を取得し、取得された生データ120から上記各系列データ61~64を生成する。これにより、データ取得部111は、原系列データ61、標準化系列データ62、階差系列データ63、及び標準化階差系列データ64を含む時系列データ6を取得することができる。
算出部112は、取得された時系列データ6から、時系列に並ぶ測定値の波形の形状に関する1つ以上の特徴量71を算出する。特徴量71は、第1特徴量の一例である。波形の形状に関する特徴量71は、波形の形状が異なれば値が相違し得るタイプの特徴量である。この特徴量71は、例えば、所定のパーセンタイル値、歪度、尖度、最小値、最大値等であってよい。所定のパーセンタイル値は、系列データを構成する測定値の数が100であるとして、各測定値を小さい方(又は大きい方)から順に整列した後の所定番目の計測値を示す。50パーセンタイル値は、中央値である。パーセンタイル値を得る序数の値(所定値)は、任意に選択されてよい。波形の形状がよく反映された値を得るためには、この序数の値は、10~40又は60~90であるのが好ましい。歪度は、データ分布の歪み度合いを示す指標である。尖度は、データ分布の尖り具合を示す指標である。各値は、公知の演算方法により算出されてよい。
判定部113は、学習結果データ225を保持していることで、機械学習により生成された学習済み判定モデル5を備えている。判定部113は、学習済み判定モデル5を使用して、算出された1つ以上の特徴量71に基づき、対象物に対する行動がグリップであるか否かを判定する。対象物に対する行動がグリップであるか否かを判定することは、対象物に対する行動がグリップであるかそれ以外のノイズ行動であるかを判別することを含んでよい。ノイズ行動は、例えば、対象物を一時的に又は周期的にノックする等の対象物に力を加える行動であってよい。なお、波形の形状がよく反映された値を取得し、グリップの判定精度の向上を期待するためには、1つ以上の特徴量71は、上記の一例のうち所定のパーセンタイル値、歪度、尖度、又はこれらの組み合わせにより構成されるのが好ましい。
本実施形態では、算出部112は、取得された時系列データ6から、振幅に関する1つ以上の特徴量75を更に算出する。特徴量75は、第2特徴量の一例である。振幅に関する特徴量75は、振幅(測定値の大きさ)が異なれば値が相違し得るタイプの特徴量である。この特徴量75は、例えば、最小値、最大値、標準偏差、所定のパーセンタイル値等であってよい。判定部113は、学習済み判定モデル5を使用して、算出された1つ以上の特徴量75に基づき、対象物に対するグリップの強度を更に判定する。なお、振幅がよく反映された値を取得し、グリップ強度の判定精度の向上を期待するためには、1つ以上の特徴量75は、上記の一例のうち最小値、最大値、標準偏差、又はこれらの組み合わせにより構成されるのが好ましい。出力部114は、各判定の結果を出力する。
<モデル生成装置>
図5は、本実施形態に係るモデル生成装置2のソフトウェア構成の一例を模式的に例示する。モデル生成装置2の制御部21は、記憶部22に記憶されたモデル生成プログラム82をRAMに展開する。そして、制御部21は、RAMに展開されたモデル生成プログラム82に含まれる命令をCPUにより解釈及び実行して、各構成要素を制御する。これにより、本実施形態に係るモデル生成装置2は、データ収集部211、学習処理部212、及び保存処理部213をソフトウェアモジュールとして備えるコンピュータとして動作する。
データ収集部211は、機械学習に使用するための複数の学習データセット3を収集する。各学習データセット3は、訓練データ31及び正解ラベル32の組み合わせにより構成される。訓練データ31は、1つ以上の特徴量71と同種のデータを備えるように構成される。正解ラベル32は、訓練データ31における対象物に対する行動の正解(グリップか否か)を示すように構成される。対象物に対する行動がグリップであるかそれ以外のノイズ行動であるかをグリップ判定装置1において判別する場合、正解ラベル32は、この判別処理の正解を示すように構成される。本実施形態では、学習済み判定モデル5によりグリップの強度を更に判定するように構成される。そのため、本実施形態では、訓練データ31は、1つ以上の特徴量75と同種のデータを更に備えるように構成される。また、正解ラベル32は、訓練データ31におけるグリップの強度の正解を更に示すように構成される。
一例として、データ収集部211は、圧電素子S又は同種の圧電素子から、対象物に対する行動が特定された時間区間の測定データを学習用生データ220として取得してもよい。続いて、データ収集部211は、上記データ取得部111と同様の方法で、学習用生データ220から学習用時系列データ221を生成してもよい。学習用生データ220は、上記生データ120に対応し、学習用時系列データ221は、上記時系列データ6に対応する。次に、データ収集部211は、上記算出部112と同様の演算処理を実行することにより、各学習データセット3の訓練データ31を学習用時系列データ221から生成してもよい。そして、データ収集部211は、特定された行動(グリップか否か/グリップの強度)を示す情報を正解ラベル32として対応する訓練データ31に関連付ける。これにより、各学習データセット3を生成することができる。
学習処理部212は、複数の学習データセット3を使用して、判定モデル5の機械学習を実施する。判定モデル5の構成は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。機械学習の方法は、判定モデル5の構成に応じて適宜選択されてよい。判定モデル5の構成及び機械学習の方法には、公知の構成及び方法が採用されてよい。この機械学習の実施の結果、圧電素子Sの時系列データから算出される特徴量(特徴量71/特徴量75)に基づいて、対象物に対する行動がグリップであるか否か及びグリップの強度を判定する能力を獲得した学習済み判定モデル5を生成することができる。
保存処理部213は、機械学習の結果、すなわち、生成された学習済み判定モデル5に関する情報を学習結果データ225として生成する。学習結果データ225は、学習済み判定モデル5を再生するための情報を含むように構成される。そして、保存処理部213は、生成された学習結果データ225を所定の記憶領域に保存する。
<その他>
グリップ判定装置1及びモデル生成装置2の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、グリップ判定装置1及びモデル生成装置2の各ソフトウェアモジュールがいずれも汎用のCPUによって実現される例について説明している。しかしながら、上記ソフトウェアモジュールの一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。すなわち、上記各モジュールは、ハードウェアモジュールとして実現されてもよい。また、グリップ判定装置1及びモデル生成装置2それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。学習結果データ225は必ず学習済み判定モデル5と別に生成されるとは限らず、学習結果データ225が反映された学習済み判定モデルのみを生成する場合も含み得る。
§3 動作例
[モデル生成装置]
図6は、本実施形態に係るモデル生成装置2による判定モデル5の機械学習に関する処理手順の一例を示すフローチャートである。ただし、モデル生成装置2の処理手順は、一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下のモデル生成装置2の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS201)
ステップS201では、制御部21は、データ収集部211として動作し、複数の学習データセット3を収集する。
各学習データセット3は適宜生成されてよい。一例として、圧電素子S又はこれと同種の圧電素子を用意する。判定時を想定した対象物に用意した圧電素子を取り付ける。そして、グリップを含む様々な行動を対象物に対して行う。これにより、学習用生データ220を生成する。続いて、学習用生データ220から学習用時系列データ221を生成する。本実施形態では、学習用時系列データ221は、原系列データ、標準化系列データ、階差系列データ、及び標準化階差系列データを含むように構成される。次に、生成された学習用生データ220から上記特徴量71と同種の特徴量を算出する。また、上記特徴量75と同種の特徴量を学習用生データ220から算出する。これらの演算の結果、算出された特徴量を訓練データ31として取得することができる。そして、対象物に対して行った行動(グリップか否か/グリップの強度)を示す情報を正解ラベル32として対応する訓練データ31に関連付ける。これらの処理により、各学習データセット3を生成することができる。
各学習データセット3は、コンピュータの動作により自動的に生成されてもよいし、或いは少なくとも部分的にオペレータの操作を含むことで手動的に生成されてもよい。また、各学習データセット3の生成は、モデル生成装置2により行われてもよいし、モデル生成装置2以外の他のコンピュータにより行われてもよい。各学習データセット3をモデル生成装置2が生成する場合、制御部21は、自動的に又はオペレータの操作により手動的に上記生成処理を実行することで、各学習データセット3を収集する。一方、各学習データセット3を1又は複数の他のコンピュータが生成する場合、制御部21は、例えば、ネットワーク、記憶媒体92等を介して、各学習データセット3を収集する。一部の学習データセット3をモデル生成装置2が生成し、その他の学習データセット3を1又は複数の他のコンピュータが生成してもよい。
収集する学習データセット3の件数は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。複数の学習データセット3を収集すると、制御部21は、次のステップS202に処理を進める。
(ステップS202)
ステップS202では、制御部21は、学習処理部212として動作し、得られた複数の学習データセット3を使用して、判定モデル5の機械学習を実施する。
判定モデル5は、推論結果を導出するための1つ以上の演算パラメータを備える。対象データに基づく判定モデル5の推論結果は、対象データを判定モデル5に入力し、判定モデル5の演算処理を実行することで、判定モデル5からの出力として得られる。なお、判定モデル5の出力形式は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。機械学習は、各学習データセット3について、訓練データ31に基づく判定モデル5の推論結果が対応する正解ラベル32に適合するように判定モデル5を訓練する(すなわち、演算パラメータの値を調整する)ことにより構成される。
判定モデル5には、例えば、決定木モデル、ニューラルネットワーク、回帰モデル、サポートベクターマシン等の機械学習モデルが採用されてよい。機械学習の方法(演算パラメータの調整方法)には、例えば、ランダムフォレスト、誤差逆伝播法、回帰分析等の公知の方法が採用されてよい。一例として、判定モデル5は、決定木モデルにより構成されてよい。この場合、条件分岐の閾値等が、演算パラメータの一例である。制御部21は、機械学習の処理として、ランダムフォレスト法により決定木モデルの演算パラメータの値を調整する。その他の一例として、判定モデル5は、ニューラルネットワークにより構成されてよい。この場合、各ニューロン間の結合の重み、各ニューロンの閾値等が、演算パラメータの一例である。制御部21は、機械学習の処理として、誤差逆伝播法により演算パラメータの値を調整する。
この機械学習を実施した結果、圧電素子Sの時系列データから算出される特徴量(特徴量71/特徴量75)に基づいて、対象物に対する行動がグリップであるか否か及びグリップの強度を判定する能力を獲得した学習済み判定モデル5を生成することができる。機械学習が完了すると、制御部21は、次のステップS203に処理を進める。
(ステップS203)
ステップS203では、制御部21は、保存処理部213として動作し、生成された学習済み判定モデル5を示す学習結果データ225を生成する。上記推論(判定)の演算を実行するための情報を保持可能であれば、学習結果データ225の構成は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。一例として、学習結果データ225は、判定モデル5の構成(例えば、ニューラルネットワークの構造等)及び上記調整により得られた演算パラメータの値を示す情報により構成されてよい。そして、制御部21は、生成された学習結果データ225を所定の記憶領域に保存する。
所定の記憶領域は、例えば、制御部21内のRAM、記憶部22、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。記憶メディアは、例えば、CD、DVD等であってよく、制御部21は、ドライブ27を介して記憶メディアに学習結果データ225を格納してもよい。外部記憶装置は、例えば、NAS(Network Attached Storage)等のデータサーバであってよい。この場合、制御部21は、通信インタフェース23を利用して、ネットワークを介してデータサーバに学習結果データ225を格納してもよい。また、外部記憶装置は、例えば、外部インタフェース24を介してモデル生成装置2に接続された外付けの記憶装置であってもよい。
学習結果データ225の保存が完了すると、制御部21は、本動作例に係る処理手順を終了する。
なお、生成された学習結果データ225は、任意のタイミングでグリップ判定装置1に提供されてよい。例えば、制御部21は、ステップS203の処理として又は当該処理とは別に、学習結果データ225をグリップ判定装置1に転送してもよい。グリップ判定装置1は、これを受信することで、学習結果データ225を取得してもよい。また、例えば、グリップ判定装置1は、通信インタフェース13を利用して、モデル生成装置2又はデータサーバにネットワークを介してアクセスすることで、学習結果データ225を取得してもよい。また、例えば、グリップ判定装置1は、記憶媒体91を介して、学習結果データ225を取得してもよい。また、例えば、学習結果データ225は、グリップ判定装置1に予め組み込まれてもよい。
更に、制御部21は、上記ステップS201~ステップS203の処理を定期又は不定期に繰り返すことで、学習結果データ225を更新又は新たに生成してもよい。この繰り返しの際に、複数の学習データセット3の少なくとも一部の変更、修正、追加、削除等が適宜実行されてよい。そして、制御部21は、更新された又は新たに生成された学習結果データ225を任意の方法でグリップ判定装置1に提供してもよい。これにより、グリップ判定装置1の保持する学習結果データ225を更新してもよい。
[グリップ判定装置]
図7は、本実施形態に係るグリップ判定装置1によるグリップ判定に関する処理手順の一例を示すフローチャートである。以下のグリップ判定装置1の処理手順は、グリップ判定方法の一例である。ただし、以下のグリップ判定装置1の処理手順は、一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下のグリップ判定装置1の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS101)
ステップS101では、制御部11は、データ取得部111として動作し、対象物に取り付けられた圧電素子Sの複数の測定値を時系列に示す時系列データ6を取得する。
本実施形態では、制御部11は、4つの系列データ61~64を含む時系列データ6を取得する。一例として、制御部11は、圧電素子Sから生データ120を取得し、取得された生データ120に対して前処理を実行することで、前処理済みデータを生成してもよい。前処理は、直流成分(平均値)を除去する処理、及び移動平均により高周波ノイズを除去する処理を含んでよい。制御部11は、前処理済みデータを原系列データ61として取得してもよい。また、制御部11は、得られた前処理済みデータ(原系列データ)に対して標準化の処理(上記式1の演算)を実行することで、標準化系列データ62を生成してもよい。同様に、制御部11は、得られた前処理済みデータに対して階差演算(上記式2の演算)を実行することで、階差系列データ63を生成してもよい。制御部11は、前処理済みデータに対して階差演算を実行し、階差演算により得られた系列データに対して標準化の演算を更に実行することで、標準化階差系列データ64を生成してもよい。なお、各系列データ61~64を生成する過程で前処理は省略されてよい。これらの処理を実行するにより、制御部11は、4つの系列データ61~64を含む時系列データ6を取得することができる。その他の一例として、上記各系列データ61~64の生成処理は、他のコンピュータで実行されてもよい。この場合、制御部11は、他のコンピュータにより生成された時系列データ6を取得してもよい。
時系列データ6の時間長は任意に設定されてよい。例えば、後述する実験例に示されるとおり、4Hz~30Hzのノイズとグリップとを高精度に判別するために、時系列データ6(すなわち、各系列データ61~64)の時間長は、400ms以上に設定されてよい。時系列データ6を取得すると、制御部11は、次のステップS102に処理を進める。
(ステップS102)
ステップS102では、制御部11は、算出部112として動作し、取得された時系列データ6から、時系列に並ぶ測定値の波形の形状に関する1つ以上の特徴量71を算出する。1つ以上の特徴量71は、所定のパーセンタイル値、歪度、尖度、又はこれらの組み合わせにより構成されてよい。制御部11は、これらのタイプの特徴量のうちの少なくともいずれかを各系列データ61~64から算出することで、1つ以上の特徴量71を得ることができる。
また、本実施形態では、制御部11は、算出部112は、取得された時系列データ6から、振幅に関する1つ以上の特徴量75を算出する。1つ以上の特徴量75は、最小値、最大値、標準偏差、又はこれらの組み合わせにより構成されてよい。制御部11は、これらのタイプの特徴量のうちの少なくともいずれかを各系列データ61~64から算出することで、1つ以上の特徴量75を得ることができる。
なお、各系列データ61~64の間で、算出する各特徴量(71、75)のタイプ及び数は、一致していてもよいし、一致していなくてもよい。各系列データ61~64から算出する各特徴量(71、75)のタイプ及び数はそれぞれ、実施の形態に応じて適宜選択されてよい。ただし、標準化系列データ62及び標準化階差系列データ64については、標準偏差以外の特徴量が選択されるのが好ましい。各特徴量(71、75)を算出すると、制御部11は、次のステップS103に処理を進める。
(ステップS103)
ステップS103では、制御部11は、判定部113として動作し、学習結果データ225を参照することで、学習済み判定モデル5を設定する。そして、制御部11は、学習済み判定モデル5を使用して、算出された1つ以上の特徴量71に基づき、対象物に対する行動がグリップであるか否かを判定する。対象物に対する行動がグリップであるか否かを判定することは、対象物に対する行動がグリップであるかそれ以外のノイズ行動であるかを判別することを含んでよい。また、制御部11は、学習済み判定モデル5を使用して、算出された1つ以上の特徴量75に基づき、対象物に対するグリップの強度を算出する。本実施形態では、制御部11は、算出された1つ以上の特徴量71及び1つ以上の特徴量75を学習済み判定モデル5に入力し、学習済み判定モデル5の演算処理を実行する。これにより、制御部11は、各判定の結果に対応する出力を学習済み判定モデル5から取得する。学習済み判定モデル5から各判定の結果を取得すると、制御部11は、次のステップS104に処理を進める。
(ステップS104)
ステップS104では、制御部11は、出力部114として動作し、各判定の結果に関する情報を出力する。
出力先及び出力する情報の内容はそれぞれ、実施の形態に応じて適宜決定されてよい。一例として、制御部11は、ステップS103の各判定の結果をそのまま出力装置16に出力してもよい。また、その他の一例として、制御部11は、各判定の結果に基づいて、所定の情報処理を実行してもよい。制御部11は、その情報処理を実行した結果を、各判定の結果に関する情報として出力してもよい。例えば、制御部11は、ステップS103の判定の結果に基づいて、グリップ行動のオン/オフ(又はグリップの強度)を認識してもよい。そして、制御部11は、グリップ行動のオン/オフに応じて、何らかのアクションを実行してもよい。
判定の結果に関する情報の出力が完了すると、制御部11は、本動作例に係る処理手順を終了する。なお、制御部11は、ステップS101~ステップS104の一連の情報処理を継続的に繰り返し実行してもよい。繰り返すタイミングは、任意であってよい。これにより、グリップ判定装置1は、対象物に対するグリップに関する判定タスクを継続的に実施してもよい。また、一例として、制御部11は、一連の情報処理をリアルタイムに実行してもよい。すなわち、制御部11は、圧電素子Sからリアルタイムに取得されるデータに対して上記ステップS101~ステップS104の一連の情報処理を実行してもよい。その他の一例として、制御部11は、圧電素子Sから過去に取得されたデータに対して上記ステップS101~ステップS104の一連の情報処理を実行してもよい。
[実験例]
上記本実施形態によりグリップ行動を判定可能か否か検証するために、市販のPCを用いて、以下の実験を行った。なお、本発明は、以下の実験例に限定されるものではない。
まず、圧電素子を取り付けたハンドルを用意した。用意したハンドルを利用して、非接触、グリップ、及びノイズ行動の各行動の測定データ(学習用生データ)を取得した。非接触は、ハンドルに何ら物が触れていない状態を示す。ノイズ行動には、凡そ1Hz~5Hzの周期でハンドルをノックする行動を採用した。グリップの強度は三段階に分けて、各強度のグリップを測定した。すなわち、非接触、弱グリップ、中グリップ、強グリップ及びノイズ行動の5つの行動それぞれの測定データを取得した。取得した測定データの時間長はそれぞれ約4分であった。図8Aは、非接触時に得られた測定データの一サンプルを示す。図8Bは、グリップ(強度:中)時に得られた測定データの一サンプルを示す。図8Cは、ノイズ行動(ノック)時に得られた測定データの一サンプルを示す。これらはいずれも、横軸には時間が示されており、縦軸には圧電素子の測定値から直流成分を除く前処理を行った値が示されている。
次に、得られた各行動の測定データを、1000ミリ秒、500ミリ秒、400ミリ秒、及び300ミリ秒の各時間長のデータに分割し、学習用時系列データ(原系列データ、標準化系列データ、階差系列データ、及び標準化階差系列データ)を行動種及び分割時間長毎に生成した。図9A~図9Dは、非接触時に得られた原系列データ(図9A)、階差系列データ(図9B)、標準化系列データ(図9C)、及び標準化階差系列データ(図9D)のヒストグラムの一サンプルを示す。図10A~図10Dは、グリップ(強度:中)時に得られた原系列データ(図10A)、階差系列データ(図10B)、標準化系列データ(図10C)、及び標準化階差系列データ(図10D)のヒストグラムの一サンプルを示す。図11A~図11Dは、ノイズ行動(ノック)時に得られた原系列データ(図11A)、階差系列データ(図11B)、標準化系列データ(図11C)、及び標準化階差系列データ(図11D)のヒストグラムの一サンプルを示す。
続いて、生成された学習用時系列データ(各系列データ)から各特徴量を算出した。原系列データ及び階差系列データの特徴量には、25パーセンタイル値、50パーセンタイル値(中央値)、75パーセンタイル値、最小値、最大値、標準偏差、尖度、及び歪度を選択した。一方、標準化系列データ及び標準化階差系列データの特徴量には、25パーセンタイル値、50パーセンタイル値(中央値)、75パーセンタイル値、最小値、最大値、尖度、及び歪度を選択した。
算出された各特徴量により訓練データを構成し、得られた訓練データに対して各行動種を示す正解ラベルを関連付けた。これにより、時系列データの時間長毎に、複数の学習データセットを生成した。すなわち、1000ミリ秒の時系列データに対応する約240件の学習データセット、500ミリ秒の時系列データに対応する約480件の学習データセット、400ミリ秒の時系列データに対応する約600件の学習データセット、及び300ミリ秒の時系列データに対応する約800件の学習データセットを生成した。
そして、生成された複数の学習データセットを使用して、判定モデルの機械学習を実施した。判定モデルには、決定木モデルを採用し、機械学習の方法には、ランダムフォレスト法を採用した。この機械学習の結果、時系列データの時間長毎に、上記各行動を判定する能力を獲得した学習済み判定モデルを生成した。
生成された各学習済み判定モデルの性能を評価するために、用意したハンドルを利用して、各行動の検証用の測定データを更に取得した。取得した検証用の測定データの時間長はそれぞれ約30秒であった。取得された検証用の測定データを対応する時間長のデータに分割し、約30件の1000ミリ秒の時系列データ、約60件の500ミリ秒の時系列データ、約75件の400ミリ秒の時系列データ及び約100件の300ミリ秒の時系列データを行動種毎に生成した。各件の時系列データから上記各特徴量を算出し、算出された各特徴量を対応する時間長の学習済み判定モデルに与えることで、各学習済み判定モデルが各行動を正しく判別できるか否か検証した。
図12は、各学習済み判定モデルの判別精度を算出した結果を示す。本検証では、3つの強度のグリップ行動を一つにまとめて判別精度を算出した(すなわち、3つの強度のグリップ行動を単一のグリップ行動として取り扱った)。図12に示されるとおり、各時間長の学習済み判定モデルの判別精度は90%を超えていた。この結果から、上記各特徴量を説明変数に用いることで、対象物に対する行動がグリップか否かを高精度に判定する能力を有する判定モデルを機械学習により生成可能であることが分かった。また、時系列データの時間長を400ms以上にすることで、各行動の判別、特に、ノイズ行動(凡そ1Hz~5Hzのノック)とグリップ行動との判別の精度が96%を超えていた。この結果から、1Hz以上(特に、4Hz~30Hz)のノック行動とグリップ行動とを高精度に判別するためには、時系列データの時間長を400ms以上にすればよいことが分かった。
次に、グリップの強度の判定精度について検証した。300ミリ秒の学習済み判定モデルによる弱グリップ及び強グリップの判別精度は94.06%及び87.38%であった。400ミリ秒の学習済み判定モデルによる弱グリップ及び強グリップの判別精度は90.79%及び89.61%であった。500ミリ秒の学習済み判定モデルによる弱グリップ及び強グリップの判別精度は91.67%及び95.08%であった。1000ミリ秒の学習済み判定モデルによる弱グリップ及び強グリップの判別精度は96.67%及び100%であった。この結果から、各特徴量を説明変数に用いることで、グリップの強度を高精度に判定する能力を有する判定モデルを機械学習により生成可能であることが分かった。
更に、各行動の判別と各特徴量との関係を調べるため、上記演算で得られた各特徴量の分布を分析した。図13A~図13Hは、非接触、グリップ、及びノイズ行動の各行動により得られた検証用の原系列データから算出された25パーセンタイル値(図13A)、75パーセンタイル値(図13B)、歪度(図13C)、尖度(図13D)、最小値(図13E)、最大値(図13F)、標準偏差(図13G)、50パーセンタイル値(図13H)の分布を示す。図14A~図14Hは、非接触、グリップ、及びノイズ行動の各行動により得られた検証用の階差系列データから算出された25パーセンタイル値(図14A)、75パーセンタイル値(図14B)、歪度(図14C)、尖度(図14D)、最小値(図14E)、最大値(図14F)、標準偏差(図14G)、50パーセンタイル値(図14H)の分布を示す。図15A~図15Gは、非接触、グリップ、及びノイズ行動の各行動により得られた検証用の標準化系列データから算出された25パーセンタイル値(図15A)、75パーセンタイル値(図15B)、歪度(図15C)、尖度(図15D)、最小値(図15E)、最大値(図15F)、50パーセンタイル値(図15G)の分布を示す。図16A~図16Gは、非接触、グリップ、及びノイズ行動の各行動により得られた検証用の標準化階差系列データから算出された25パーセンタイル値(図16A)、75パーセンタイル値(図16B)、歪度(図16C)、尖度(図16D)、最小値(図16E)、最大値(図16F)、50パーセンタイル値(図16G)の分布を示す。
所定のパーセンタイル値(特に、25パーセンタイル値、75パーセンタイル値等の中央値を除いた値)、歪度、及び尖度は、測定値の波形の形状に影響を受ける(すなわち、形状が変動すれば値が変わり得る)特徴量の一例である。各図に示されるとおり、各行動(特に、グリップ行動及びノイズ行動)の間で、各系列データから算出される25パーセンタイル値、75パーセンタイル、歪度、及び尖度の分布に差が生じていた。この結果から、グリップ行動の判定(特に、グリップ行動かノイズ行動かの判別)には、測定値の波形の形状に関する特徴量が有効であることが分かった。なお、各系列データから算出された最小値、最大値、及び中央値(50パーセンタイル値)、更に、原系列データ及び階差系列データから算出された標準偏差の分布でも、各行動の間で差が生じていた。この結果から、最小値、最大値、及び中央値も(原系列データ及び階差系列データについては、更に標準偏差も)、測定値の波形の形状に関する特徴量としてグリップ行動の判定に利用可能であることが分かった。
また、グリップの強度と各特徴量との関係を調べるため、非接触及び各強度のグリップ行動の時系列データから得られた各特徴量の分布を分析した。図17A~図17Eは、非接触及び各強度のグリップの各行動により得られた検証用の原系列データから算出された最小値(図17A)、最大値(図17B)、標準偏差(図17C)、25パーセンタイル値(図17D)、及び75パーセンタイル値(図17E)の分布を示す。図18A~図18Eは、非接触及び各強度のグリップの各行動により得られた検証用の原系列データから算出された最小値(図18A)、最大値(図18B)、標準偏差(図18C)、25パーセンタイル値(図18D)、及び75パーセンタイル値(図18E)の分布を示す。
最小値、最大値及び標準偏差は、測定値の振幅に影響を受ける(すなわち、振幅が変動すれば値が変わり得る)特徴量の一例である。各図に示されるとおり、最小値、最大値及び標準偏差の分布は、グリップの強度に相関性を有していた。この結果から、グリップの強度の判定には、測定値の振幅に関する特徴量が有効であることが分かった。なお、原系列データ及び階差系列データから算出された25パーセンタイル値及び75パーセンタイル値の分布も、グリップの強度に相関性を有していた。この結果から、所定のパーセンタイル値も、測定値の振幅に関する特徴量としてグリップの強度の判定に利用可能であることが分かった。
[特徴]
以上のとおり、本実施形態では、ステップS103において、機械学習により生成された学習済み判定モデル5を使用し、かつ圧電素子Sの時系列データ6から算出される測定値の波形の形状に関する1つ以上の特徴量71を説明変数に採用して、対象物に対する行動がグリップであるか否かを判定する。本実施形態によれば、このような構成を採用することにより、上記実験例に示されるとおり、圧電素子Sを利用して、対象物に対する行動がグリップであるか否かを正確に判定することができる。
また、本実施形態では、ステップS103において、機械学習により生成された学習済み判定モデル5を使用し、かつ圧電素子Sの時系列データ6から算出される振幅に関する1つ以上の特徴量75を説明変数に採用して、対象物に対するグリップの強度を判定する。本実施形態によれば、このような構成を採用することにより、上記実験例に示される通り、圧電素子Sを利用して、対象物に対するグリップの強度を正確に判定することができる。
また、測定値の平均値により、ノック等のノイズをグリップと判別しようとすると、グリップと同じような強度のノイズをグリップと誤判定してしまう可能性が生じる。同様に、学習済み判定モデルがそのように構成されると、測定値の平均値に起因する誤判定が起きる可能性があると推測される。これに対して、本実施形態では、学習時及び推論時の時系列データは、標準化系列データ及び標準化階差系列データを含んでいる。標準化の演算によれば、時系列データの平均値を一定値にすることができる。その結果、測定値の平均値に起因する誤判定の起きる可能性を低減することができ、対象物に対する行動がグリップか否かの判定(特に、グリップかノイズ行動かの判別)の精度の向上を期待することができる。
また、本実施形態では、学習時及び推論時の時系列データは、階差系列データ及び標準化階差系列データを含んでいる。階差演算によれば、圧電素子Sの信号におけるベースラインの揺らぎ(ノイズ)を除去することができる。すなわち、信号のベースラインをある程度統一することができる。その結果、ステップS103における判定精度の向上を期待することができる。
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
<4.1>
上記実施形態では、学習時及び推論時の時系列データは、原系列データ、標準化系列データ、階差系列データ、及び標準化階差系列データの4つの系列データを含むように構成される。しかしながら、時系列データの構成は、このような例に限定されなくてよい。時系列データは、原系列データ、標準化系列データ、階差系列データ、及び標準化階差系列データの少なくともいずれかは省略されてよい。
<4.2>
上記実施形態では、学習済み判定モデル5は、対象物に対する行動がグリップか否か及びグリップの強度の2つの判定を実行するように構成される。しかしながら、学習済み判定モデル5の構成は、このような例に限定されなくてもよい。2つの判定のうちのいずれか一方は省略されてよい。
対象物に対する行動がグリップか否かを判定する能力のみ有するように学習済み判定モデル5を構成する場合、上記機械学習のフェーズにおいて、グリップの強度を判定する能力の獲得に関連するデータは訓練データ31及び正解ラベル32から省略されてよい。加えて、推論(判定)のフェーズにおいて、特徴量75を算出する処理及びグリップの強度を判定する処理は省略されてよい。
また、グリップの強度を判定する能力のみ有するように学習済み判定モデル5を構成する場合、上記機械学習のフェーズにおいて、対象物に対する行動がグリップか否かを判定する能力の獲得に関連するデータは訓練データ31及び正解ラベル32から省略されてよい。加えて、推論のフェーズにおいて、特徴量71を算出する処理及び対象物に対する行動を判定する処理は省略されてよい。なお、グリップの強度を判定する能力のみ有するように学習済み判定モデル5を構成する場合、時系列データは、原系列データ及び階差系列データの少なくとも一方を含むように構成されるのが好ましい。
また、上記実験例では、グリップの強度を3段階(弱、中、強)で設定している。しかしながら、グリップの強度のスケールは、このような例に限定されなくてもよい。グリップの強度は、連続値で推定されてもよいし、或いは任意数のレベルで推定されてもよい。
また、上記実施形態では、1つの学習済み判定モデル5が上記2つの判定を実行する能力を有するように構成されている。しかしながら、学習済み判定モデルの数は、このような例に限定されなくてもよい。判定処理毎に別々の学習済み判定モデルが用意されてよい。
また、上記実験例では、得られた時系列データを400ms以上の長さに分割した時系列データを用いて判定したが、たとえば切り取る位置を100msずつずらしながら、400ms以上の長さのデータを重複しながら取得して判定してもよい。
1…グリップ判定装置、
11…制御部、12…記憶部、13…通信インタフェース、
14…外部インタフェース、
15…入力装置、16…出力装置、17…ドライブ、
91…記憶媒体、81…グリップ判定プログラム、
111…データ取得部、112…算出部、
113…判定部、114…出力部、
120…生データ、
2…モデル生成装置、
21…制御部、22…記憶部、23…通信インタフェース、
24…外部インタフェース、
25…入力装置、26…出力装置、27…ドライブ、
92…記憶媒体、82…モデル生成プログラム、
211…データ収集部、212…学習処理部、
213…保存処理部、
220…学習用生データ、221…学習用時系列データ、
225…学習結果データ、
3…学習データセット、
31…訓練データ、32…正解ラベル、
5…判定モデル、
6…時系列データ、
61…原系列データ(第1系列データ)、
62…標準化系列データ(第2系列データ)、
63…階差系列データ(第3系列データ)、
64…標準化階差系列データ(第4系列データ)、
71…特徴量(第1特徴量)、75…特徴量(第2特徴量)

Claims (14)

  1. 対象物に取り付けられた圧電素子の測定値を時系列に示す時系列データを取得するデータ取得部と、
    取得された前記時系列データから、時系列に並ぶ前記測定値の波形の形状に関する1つ以上の第1特徴量を算出する算出部と、
    機械学習により生成された学習済み判定モデルを使用して、算出された前記1つ以上の第1特徴量に基づき、前記対象物に対する行動がグリップであるか否かを判定する判定部と、
    判定の結果を出力する出力部と、を備え
    前記学習済み判定モデルは、前記1つ以上の第1特徴量と、グリップに関する前記対象物に対する行動とを関連付けた訓練用データを用いた機械学習によって生成されたモデルである、グリップ判定装置。
  2. 前記時系列データは、前記圧電素子から直接的に得られた信号値が時系列に並ぶことで構成された第1系列データを含む、請求項1に記載のグリップ判定装置。
  3. 前記時系列データは、前記圧電素子から直接的に得られた信号値が時系列に並ぶことで構成された原系列データを標準化することで生成された第2系列データを含む、請求項1又は2に記載のグリップ判定装置。
  4. 前記時系列データは、前記圧電素子から直接的に得られた信号値が時系列に並ぶことで構成された原系列データの階差系列を演算することで生成された第3系列データを含む、請求項1から3のいずれか1項に記載のグリップ判定装置。
  5. 前記時系列データは、前記圧電素子から直接的に得られた信号値が時系列に並ぶことで構成された原系列データの階差系列を演算し、かつ標準化することで生成された第4系列データを含む、請求項1から4のいずれか1項に記載のグリップ判定装置。
  6. 前記1つ以上の第1特徴量は、所定のパーセンタイル値、歪度、尖度、又はこれらの組み合わせにより構成される、請求項1から5のいずれか1項に記載のグリップ判定装置。
  7. 前記時系列データの時間長は400ms以上である、請求項1から6のいずれか1項に記載のグリップ判定装置。
  8. 前記対象物に対する行動がグリップであるか否かを判定することは、前記対象物に対する行動がグリップであるかそれ以外のノイズ行動であるかを判別することを含む、請求項1から7のいずれか1項に記載のグリップ判定装置。
  9. 前記算出部は、取得された前記時系列データから、振幅に関する1つ以上の第2特徴量を更に算出し、
    前記判定部は、前記学習済み判定モデルを使用して、算出された前記1つ以上の第2特徴量に基づき、前記対象物に対するグリップの強度を更に判定する、請求項1から8のいずれか1項に記載のグリップ判定装置。
  10. 前記1つ以上の第2特徴量は、最小値、最大値、標準偏差、又はこれらの組み合わせにより構成される、請求項9に記載のグリップ判定装置。
  11. コンピュータが、
    対象物に取り付けられた圧電素子の測定値を時系列に示す時系列データを取得するステップと、
    取得された前記時系列データから、時系列に並ぶ前記測定値の波形の形状に関する1つ以上の特徴量を算出するステップと、
    機械学習により生成された学習済み判定モデルを使用して、算出された前記1つ以上の特徴量に基づき、前記対象物に対する行動がグリップであるか否かを判定するステップと、
    判定の結果を出力するステップと、を実行し、
    前記学習済み判定モデルは、前記1つ以上の特徴量と、グリップに関する前記対象物に対する行動とを関連付けた訓練用データを用いた機械学習によって生成されたモデルである、グリップ判定方法。
  12. 前記1つ以上の特徴量は、所定のパーセンタイル値、歪度、尖度、又はこれらの組み合わせにより構成される、請求項11に記載のグリップ判定方法。
  13. コンピュータに以下のステップを実行させるためのプログラムであって
    前記ステップは
    対象物に取り付けられた圧電素子の測定値を時系列に示す時系列データを取得するステップと、
    取得された前記時系列データから、時系列に並ぶ前記測定値の波形の形状に関する1つ以上の特徴量を算出するステップと、
    機械学習により生成された学習済み判定モデルを使用して、算出された前記1つ以上の特徴量に基づき、前記対象物に対する行動がグリップであるか否かを判定するステップと、
    判定の結果を出力するステップと、を含み、
    前記学習済み判定モデルは、前記1つ以上の特徴量と、グリップに関する前記対象物に対する行動とを関連付けた訓練用データを用いた機械学習によって生成されたモデルである、グリップ判定プログラム。
  14. 前記1つ以上の特徴量は、所定のパーセンタイル値、歪度、尖度、又はこれらの組み合わせにより構成される、請求項13に記載のグリップ判定プログラム。
JP2022530034A 2020-06-12 2021-03-19 グリップ判定装置、グリップ判定方法及びグリップ判定プログラム Active JP7355242B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020102181 2020-06-12
JP2020102181 2020-06-12
PCT/JP2021/011421 WO2021250971A1 (ja) 2020-06-12 2021-03-19 グリップ判定装置、グリップ判定方法及びグリップ判定プログラム

Publications (2)

Publication Number Publication Date
JPWO2021250971A1 JPWO2021250971A1 (ja) 2021-12-16
JP7355242B2 true JP7355242B2 (ja) 2023-10-03

Family

ID=78845543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022530034A Active JP7355242B2 (ja) 2020-06-12 2021-03-19 グリップ判定装置、グリップ判定方法及びグリップ判定プログラム

Country Status (3)

Country Link
JP (1) JP7355242B2 (ja)
DE (1) DE112021000332T5 (ja)
WO (1) WO2021250971A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116306937B (zh) * 2023-03-22 2023-11-10 中航信移动科技有限公司 一种基于时间序列离线数据的规则提取方法、介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004237022A (ja) 2002-12-11 2004-08-26 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
WO2019017099A1 (ja) 2017-07-20 2019-01-24 ソニー株式会社 電子機器、情報処理装置及び情報処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7001219B2 (ja) 2017-12-22 2022-01-19 三井化学株式会社 振動計測装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004237022A (ja) 2002-12-11 2004-08-26 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
WO2019017099A1 (ja) 2017-07-20 2019-01-24 ソニー株式会社 電子機器、情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
DE112021000332T5 (de) 2022-09-22
JPWO2021250971A1 (ja) 2021-12-16
WO2021250971A1 (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
US20120197138A1 (en) Biological parameter monitoring method, computer-readable storage medium and biological parameter monitoring device
JP6882397B2 (ja) 異音等検出システム、装置、方法及びプログラム
US10702175B2 (en) Brain activity analysis method and apparatus thereof
JP4952162B2 (ja) データ処理装置,データ処理方法及びデータ処理プログラム
JP7355242B2 (ja) グリップ判定装置、グリップ判定方法及びグリップ判定プログラム
US10980463B2 (en) Driver's tension level determining apparatus and driver's tension level determining method
Nema et al. Wavelet-frequency analysis for the detection of discontinuities in switched system models of human balance
CN108803690A (zh) 数值控制装置
JP6468635B2 (ja) 眠気推定装置及び眠気推定プログラム
EP3735893A1 (en) Method for generating heart rate variability information related to external object by using plurality of filters, and device therefor
CN111730604B (zh) 基于人体肌电信号的机械夹爪控制方法、装置和电子设备
US20210366602A1 (en) Signal-processing device, analysis system, signal-processing method, and signal-processing program
Eun et al. Development of personalized urination recognition technology using smart bands
Firpi et al. Genetically programmed-based artificial features extraction applied to fault detection
JP2008188092A (ja) データ処理方法,データ処理装置及びデータ処理プログラム
Verma et al. Data driven approach for drill bit monitoring
JP6689214B2 (ja) ドライバ緊張度表示装置及びドライバ緊張度表示方法
JP2004089272A (ja) 生体状態推定方法及び装置、プログラム
CN117860251B (zh) 基于游戏体验测评儿童注意力的方法、装置、介质及设备
JP6036242B2 (ja) 心音情報処理装置、心音情報処理方法およびプログラム
JP2003057210A (ja) 故障診断方法およびその装置
JP2002196783A (ja) 時系列信号の識別方法及び装置
CN114475256B (zh) 预测电动汽车中电机过温的方法和装置
JP5852331B2 (ja) データ処理装置、及びプログラム
JP6670413B1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R150 Certificate of patent or registration of utility model

Ref document number: 7355242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150