JP7082956B2 - 信号データに応じた基準値に基づき生体信号の計数を行う生体信号処理装置、プログラム及び方法 - Google Patents

信号データに応じた基準値に基づき生体信号の計数を行う生体信号処理装置、プログラム及び方法 Download PDF

Info

Publication number
JP7082956B2
JP7082956B2 JP2019098323A JP2019098323A JP7082956B2 JP 7082956 B2 JP7082956 B2 JP 7082956B2 JP 2019098323 A JP2019098323 A JP 2019098323A JP 2019098323 A JP2019098323 A JP 2019098323A JP 7082956 B2 JP7082956 B2 JP 7082956B2
Authority
JP
Japan
Prior art keywords
value
signal
reference value
determined
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019098323A
Other languages
English (en)
Other versions
JP2020192002A (ja
Inventor
大作 若松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2019098323A priority Critical patent/JP7082956B2/ja
Publication of JP2020192002A publication Critical patent/JP2020192002A/ja
Application granted granted Critical
Publication of JP7082956B2 publication Critical patent/JP7082956B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、人の生体信号を検知する技術に関する。
近年、人間や動物の各種活動に起因する種々の生体信号をセンサによって検知し、信号処理して得られる生体データを様々な場面で利用する技術が開発されている。ここでセンサとしては、例えば、腕時計型脈拍センサ、イヤホン型脈拍センサや、ヘッドバンド型脳波センサ等が使用される。また、このようなセンサによって検知された生体信号は、例えばユーザに携帯されたスマートフォンによって処理・加工され、様々なアプリで利用されている。
このようなセンサを利用した具体的技術例として、本願発明者は、生体信号としての筋電信号を検出する筋電センサを備えており笑みや噛み締めといった顔表情を識別することができるデバイスを発明している(特許文献1参照)。ここで、この筋電センサのリファレンス用電極及び検出用電極はそれぞれ、左及び右(又は、右及び左)の耳介周辺から頬近傍の何処か1点の皮膚表面に接するように配置される。
また、このデバイスは筋電信号処理として、アーチファクト(目的信号以外のノイズ信号)に係る第1の周波数帯におけるパワー値VLFと、第1の顔表情時の信号に係る第2の周波数帯におけるパワー値LFとを算出し、第1のパワーVLFが第1の基準パワーVLFBase以下であり、且つ第2のパワーLFが第2の基準パワーLFBaseよりも大きい場合に、第1の顔表情時であると判定するものとなっている。
さらに、本願発明者は、特許文献2において、筋電信号の周波数軸のパワー特徴量を基準となる特徴量と比較するため、類似度として周波数ワーピングにより距離を求める方法を開示している。また、特許文献3においては、筋電信号の高周波成分をフィルタリングした後、信号成分の周期性を分析することによって、口角上げによる筋電信号の発生を判断する方法を開示している。
さらにまた、本願発明者は、特許文献4において、筋電信号の信号成分の振幅と周期性との2つを特徴量とし、口角上げによる筋電信号の発生をMT法により判断する方法を開示している。さらに、特許文献5においては、生体信号を安定して検出し、装置内に確実に取り込むことができるメガネ型の生体信号取得装置を開示している。
特開2017-029323号公報 特開2017-140198号公報 特開2018-099239号公報 特開2018-139630号公報 特開2019-017945号公報
このように、本願発明者は、様々な生体信号処理手法の研究開発を行ってきたが、特に、信号の周波数分析を行わずに、所定の時間的周期性を有する生体信号である「周期的生体信号」の発生を判定し、さらにその計数(カウント)を行うとの課題に取り組んできた。ここで、この「周期的生体信号」としては、例えば頭部に装着するタイプの筋電センサデバイスを用いた場合に、「咀嚼」によって発生する筋電信号が典型例として挙げられる。
しかしながら例えば、上記の特許文献1に開示したデバイスでは信号検出手法として、特定の周波数に対する基準パワーを事前に計測する必要があり、また、上記の特許文献2に開示した手法においても、周波数に対するパワーを特徴量ベクトル(スペクトラムの山の形)として類似度を求める必要があった。これに対し、周波数分析を行わずに「周期的生体信号」が発生したか否かの判定を行い、さらにその計数処理を行うことによって、より計算量の少ない処理も実現し易くなる。
そこで、本発明は、周波数分析に頼ることなく、周期的生体信号の計数処理を実施することができる生体信号処理装置、プログラム及び方法を提供することを目的とする。
本発明によれば、周期的な生体信号を含み得る入力信号に係るデータ値を逐次取り込み、取り込んだデータ値に基づいて、当該データ値の極小値に対応する下基準値と当該データ値の極大値に対応する上基準値とを順次決定又は更新し、(a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て、予め決定した下閾値分を超えて下回ったデータ値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て、予め決定した上閾値分を超えて上回ったデータ値が取り込まれた際に、当該生体信号の波数のカウントを行う信号計数手段を有する生体信号処理装置が提供される。
この本発明による生体信号処理装置の信号計数手段における信号計数処理は、
取り込まれたデータ値が1つ前の時点の値以下である場合、当該データ値を仮下基準値に決定し、次いで取り込まれたデータ値が、当該仮下基準値よりも大きい値である場合、当該仮下基準値を下基準値に決定して、次の上側閾値判定状態に移行する上昇局面検出状態と、
取り込まれたデータ値が、当該下基準値から見て、予め決定した上閾値分を超えて上回った値であるか否かを判定し、当該上回った値であるとの判定を行った際に、次の下降局面検出状態に移行する上側閾値判定状態と、
取り込まれたデータ値が、1つ前の時点の値以上である場合、当該データ値を仮上基準値に決定し、次いで取り込まれたデータ値が、当該仮上基準値よりも小さい値である場合、当該仮上基準値を上基準値に決定して、次の下側閾値判定状態に移行する下降局面検出状態と、
取り込まれたデータ値が、当該上基準値から見て、予め決定した下閾値分を超えて下回った値であるか否かを判定し、当該下回った値であるとの判定を行った際に、次の上昇局面検出状態に移行する下側閾値判定状態と
を有し、
信号計数手段は、当該上昇局面検出状態、当該上側閾値判定状態、当該下降局面検出状態、及び当該下側閾値判定状態からなる1つの組の処理が完了する毎に、当該生体信号の波数のカウントを行うことも好ましい。
また、上記4つの状態を用いる実施形態において、当該上閾値は、所定期間の当該データ値の標準偏差に基づいて決定され、当該下閾値は、当該データ値から決定された上基準値に基づいて決定されることも好ましい。
さらに、上記4つの状態を用いる実施形態において、記信号計数手段は、当該上昇局面検出状態から当該上側閾値判定状態への移行に係る時点を第1基準時点とし、(a1)当該上側閾値判定状態において、第1基準時点から所定時間が経過するまでの間に、当該超えた値であるとの判定を行わなかった場合、(a2)当該下降局面検出状態において、第1基準時点から所定時間が経過するまでの間に、当該上基準値を決定しなかった場合、若しくは(a3)当該下側閾値判定状態において、第1基準時点から所定時間が経過するまでの間に、当該下回った値であるとの判定を行わなかった場合に、または、当該下降局面検出状態から当該下側閾値判定状態への移行に係る時点を第2基準時点とし、(b1)当該下側閾値判定状態において、第2基準時点から所定時間が経過するまでの間に、当該下回った値であるとの判定を行わなかった場合、(b2)当該上昇局面検出状態において、第2基準時点から所定時間が経過するまでの間に、当該下基準値を決定しなかった場合、若しくは(b3)当該上側閾値判定状態において、第2基準時点から所定時間が経過するまでの間に、当該超えた値であるとの判定を行わなかった場合に、当該生体信号の波数のカウントを行わない又はリセットすることも好ましい。
またさらに、上記4つの状態を用いる実施形態において、信号計数手段は、当該上昇局面検出状態、当該上側閾値判定状態、当該下降局面検出状態、及び当該下側閾値判定状態の各々において、当該状態に留まっている時間が所定時間を超えた場合、当該生体信号の波数のカウントを行わない又はリセットすることも好ましい。
また、本発明によれば
周期的な生体信号を含み得る入力信号に係るデータ値を逐次取り込み、取り込んだデータ値に基づいて、当該データ値の極小値に対応する下基準値と当該データ値の極大値に対応する上基準値とを順次決定又は更新し、(a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て所定条件を満たすより小さいデータ値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て所定条件を満たすより大きいデータ値が取り込まれた際に、当該生体信号の波数のカウントを行う信号計数手段を有し、
この信号計数手段は、(a)取り込んだデータ値が当該上基準値から見て所定条件を満たすより小さいデータ値であるとの判断に係る時点が、または、(b)取り込んだデータ値が当該下基準値から見て所定条件を満たすより大きいデータ値であるとの判断に係る時点が、波数をカウントした直近の時点から見て未だ所定時間以上経過した時点ではない場合、波数のカウントをスキップす
を特徴とする生体信号処理装置が提供される
さらに、本発明による生体信号処理装置において具体的に、当該入力信号は、生体の頭部から取得される信号であり、信号計数手段は、当該周期的な生体信号としての咀嚼に係る筋電信号の波数のカウントを行うことも好ましい。
さらにまた、本発明によれば
周期的な生体信号を含み得る入力信号の加速度成分データを生成する加速度成分生成手段と
当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出する代表値算出手段と
該代表値を逐次取り込み、取り込んだ代表値に基づいて、当該代表値の極小値に対応する下基準値と当該代表値の極大値に対応する上基準値とを順次決定又は更新し、(a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て所定条件を満たすより小さい代表値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て所定条件を満たすより大きい代表値が取り込まれた際に、当該生体信号の波数のカウントを行う信号計数手段と
を有する生体信号処理装置が提供される。
ここで、上記の代表値算出手段は、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みを算出し、当該所定時間区間における当該加速度成分データの偏り具合に係る値を、当該重みによって重み付けした値を当該代表値とすることも好ましい。
また、本生体信号処理装置は、当該加速度成分データを生成する前の当該入力信号に対し、商用電源に係るノイズを低減する帯域除去フィルタ処理と、高周波ノイズを除去する低域通過フィルタ処理とを実施する前フィルタ処理手段を更に有することも好ましい。
さらに、本発明によれば
周期的な生体信号を含み得る入力信号に係るデータ値を逐次取り込み、取り込んだデータ値に基づいて、当該データ値の極小値に対応する下基準値と当該データ値の極大値に対応する上基準値とを順次決定又は更新し、(a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て所定条件を満たすより小さいデータ値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て所定条件を満たすより大きいデータ値が取り込まれた際に、当該生体信号の波数のカウントを行う信号計数手段と、
当該入力信号に対し多重解像度解析処理を実施し、多重解像度解析処理後の信号振幅の時系列データが所定のヒステリシスを示す時間区間を、何らかの生体信号が発生した信号発生時間区間に決定する発生時間区間決定手段
有し、
上記の信号計数手段は、決定された当該信号発生時間区間において当該生体信号の波数のカウントを行
を特徴とする生体信号処理装置が提供される
またさらに、本発明による生体信号処理装置において具体的に、当該周期的な生体信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることも好ましい。
本発明によれば、また、周期的な生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
当該入力信号に係るデータ値を逐次取り込み、取り込んだデータ値に基づいて、当該データ値の極小値に対応する下基準値と当該データ値の極大値に対応する上基準値とを順次決定又は更新し、(a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て、予め決定した下閾値分を超えて下回ったデータ値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て、予め決定した上閾値分を超えて上回ったデータ値が取り込まれた際に、当該生体信号の波数のカウントを行う信号計数手段としてコンピュータを機能させる生体信号処理プログラムが提供される。
本発明によれば、さらに、周期的な生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
当該入力信号に係るデータ値を逐次取り込み、取り込んだデータ値に基づいて、当該データ値の極小値に対応する下基準値と当該データ値の極大値に対応する上基準値とを順次決定又は更新するステップと、
(a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て、予め決定した下閾値分を超えて下回ったデータ値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て、予め決定した上閾値分を超えて上回ったデータ値が取り込まれた際に、当該生体信号の波数のカウントを行うステップと
を有する生体信号処理方法が提供される。
本発明の生体信号処理装置、プログラム及び方法によれば、周波数分析に頼ることなく、周期的生体信号の計数処理を実施することができる。
本発明による生体信号処理装置の一実施形態を示す模式図である。 本発明に係る代表値SDWを算出するのに用いられる重みWを説明するためのグラフである 人間による「ガムの咀嚼」に起因する筋電信号を含む入力信号に対し、代表値算出処理までの処理を行った実施例を示すグラフである。 人間による「お笑い動画視聴」に起因する筋電信号を含む入力信号に対し、代表値算出処理までの処理を行った実施例を示すグラフである。 人間による「ガムの咀嚼」及び「お笑い動画視聴」に起因する筋電信号を含む入力信号に対し、発生時間区間決定処理を行った実施例を示すグラフである。 本発明による生体信号処理方法の一実施形態の概略を示すフローチャートである。 状態1~3における処理内容の一実施形態を示すフローチャートである。 状態4における処理内容の一実施形態を示すフローチャートである。 固定閾値判定を行う比較例、及び動的閾値判定を行う実施例を説明するためのグラフである。 処理された生体信号の時系列データにおけるヒステリシスを利用した生体信号計数処理の一実施例を示すグラフである。 本発明による生体信号処理装置の他の実施形態を示す模式図である。 本発明による生体信号処理装置の更なる他の実施形態を示す模式図である。
以下では、本発明の実施形態について、図面を用いて詳細に説明する。
[生体信号処理装置]
図1は、本発明による生体信号処理装置の一実施形態を示す模式図である。
図1には、本発明による生体信号処理装置の一実施形態としての筋電センサ付メガネ1が示されている。筋電センサ付メガネ1は、生体(例えば人間であるユーザ)の頭部に取り付けて、生体信号を取得可能なメガネ型の装置である。この装置で取得される生体信号は、本実施形態において、顔面内部位の動き又は表情に係る動きに起因して発生する電気信号としての「筋電信号」となっている。なお、取得される生体信号には、このような動きによって発生する「電極ズレに起因する(ノイズ)信号」等も混入し得る。
ここで、検出対象となる顔面内部位の動き又は表情に係る動きとしては、例えば、(微笑に係る)口角上げ、噛み締め(若しくは食い縛り)及び瞬目(まばたき動作)等のうちの少なくとも1つが設定可能であるが、本実施形態の筋電センサ付メガネ1では、特に、繰り返し動作に起因するが故に時間的周期性を有するような「周期的生体信号」である「咀嚼」に係る筋電信号を、効率良く検出することを特徴としている。
同じく図1に示すように、筋電センサ付メガネ1は、
(a)生体信号を取り込んで処理を行う部分である信号処理ボックス11を備えた、装置本体部としてのフレーム部と、
(b)頭部の皮膚に接触する位置であってフレーム部の重量の少なくとも一部を受け止め可能な位置に配された、生体信号を受信するための電極部としてのプラス電極パッド13及びマイナス電極パッド14と、
(c)プラス電極パッド13及びマイナス電極パッド14を介して受信された生体信号を信号処理ボックス11へ伝えるための導電路を備えた弾性支持部と、
(d)鼻の上部近傍に接触する位置に配され、生体信号受信の際のグランド(GND)電極又はノイズキャンセル用電極を備えた鼻パッド電極部15と
を有している。なお、上記(d)のノイズキャンセル用電極は、商用電源等に起因するコモンモードノイズを低減させるDRL(Driven Right Leg)電極であってもよい。
また、上記(b)のプラス電極パッド13は、生体信号受信の際の検出電極又はプラス電極として機能し、一方、マイナス電極パッド14は、生体信号受信の際のリファレンス電極又はマイナス電極として機能する。生体信号は、これらプラス電極パッド13とマイナス電極パッド14との間の電位差として検出・取得されることになる。
このように、筋電センサ付メガネ1では、プラス電極パッド13及びマイナス電極パッド14といった電極部が、生体信号を受信する手段としてだけではなく、装置本体部を支持する手段としても機能している。また、弾性支持部は、弾性をもってこれら「電極部」と装置本体部とを接続している。その結果、例えば装着された頭部が大きく動いたとしても、これらの電極部を、弾性支持部という弾性部位を介して伝わる装置本体部の重量をもって、頭部の皮膚の所定位置近傍に安定して接触させ続けることが可能となる。
ここで、1つの装着例を説明する。人間の頬骨は顔の正面から見ると横に張り出しているが、プラス電極パッド13及びマイナス電極パッド14を、例えばこの頬骨の最も幅広の箇所より若干上方の皮膚に当接させれば、左右の「電極部」の間隔が頬骨の最大幅よりも狭くなっていて頬骨上部の広がった部分に引っ掛かることになるので、これにより、筋電センサ付メガネ1が安定して支持される。
また、筋電センサ付メガネ1は、図示していないが、電極部から信号処理ボックス11へ生体信号を取り込むための導電路を備えており、電極部で受信された生体信号を、信号処理ボックス11へ安定して確実に取り込むことを可能にする。すなわち、導電路は、左右の信号処理ボックス11と各電極部との間をつなぐ安定した電気的伝送路として機能する。
なお、変更態様として、GND電極又はノイズキャンセル用電極としての機能を、メガネ1のモダン部に持たせることもできる。この場合、鼻パッド電極部15を省略し、鼻パッドレスとすることも可能となる。また、更なる変更態様として、このモダン部の電極と鼻パッド電極部15とを電気的に導通させ、それら複数の電極をGND電極として機能させてもよい。
さらに当然ではあるが、プラス電極パッド13及びマイナス電極パッド14がそれぞれ左のテンプル部分及び右のテンプル部分に接続する入れ替わった形であってもかまわない。いずれにしても、プラス電極パッド13及びマイナス電極パッド14を左右に分けて配置することによって、正中線に対し左右それぞれに存在する同種の筋肉の活動を捉えることが可能となる。
例えば、本実施形態において特に着目している「咀嚼」に係る筋肉活動や、顔表情「笑み」を作る筋肉活動は一般に、左右のいずれか一方ではなく両方で同時に発生する。そのため、1チャンネルを構成する1組の電極を左右のいずれか一方のみであって観測対象の筋肉直上に例えば数cm隔てて配置するよりも、1組をなす電極の各々を左右に分けて配置する方が、左右の筋肉活動の全体を捉えることになるので結局、より安定した大きな筋電信号を得ることができるのである。
また、このように左右の電極を離隔させておくことにより、「咀嚼」(口の開閉)に起因する筋電信号や、「咀嚼」に伴って生じる皮膚表面の凹凸を原因とする皮膚と電極との間の接触抵抗の変化に起因する信号、さらには、その他の(例えば左右の眼球運動や食い縛り等の)頭部内の筋肉活動に起因する筋電信号等を、より確実に捉えることも可能となるのである。
さらに、弾性支持部は、本実施形態において2つ設けられており、それぞれプラス電極パッド13及びマイナス電極パッド14を、こめかみより下側の皮膚の位置であって、顔を正面から見た際の頬骨における最も幅広の個所より少し上の皮膚の位置へ弾性をもって押し当て(当接させ)、これにより筋電センサ付メガネ1を支持する支持構造として機能している。また、プラス電極パッド13及びマイナス電極パッド14のいずれも、頬上部からこめかみを介し耳の付け根までの範囲内のいずれかの位置で皮膚に接触することができるように、この弾性支持部のフレーム部に対する位置が調整されている。
同じく図1に示すように、本実施形態において、右側のテンプル部分に配置された信号処理ボックス11は、処理部駆動用の電池を内蔵しており、一方、左側のテンプル部分に配置された信号処理ボックス11は、この電池からの供給電力をもって、取得した生体信号の処理を行う生体信号処理部12を含んでいる。これら左右の信号処理ボックス11のそれぞれの重量は略(ほぼ)同等に設定されていることも好ましい。これにより、筋電センサ付メガネ1の重量における左右のバランスをとることができ、偏りのない良好な装着感を実現することができる。
ちなみに、これらの電池や生体信号処理部12を、ボックスにではなくフレーム部に内蔵させ、筋電センサ付メガネ1全体を、外観上通常のメガネと大きく変わらないデザインにすることもできる。このような処理部のコンパクト化は、後に詳細に説明する実施形態の生体信号処理部12を用いることによって可能となっている。
また、上述したように、プラス電極パッド13及びマイナス電極パッド14が頬上部からこめかみを介し耳の付け根までの範囲内の位置で皮膚に接触している場合、取得可能な生体信号は、筋電信号に限定されるものではない。例えば、耳付近の位置から検知可能である眼電位信号や脳波といった生体電位に基づく生体信号の他、(生体用電位センサ以外のセンサデバイスが必要となるが)体温や発汗に係る信号や脈波等を検出し取得することも可能となっている。
[生体信号処理部の構成]
同じく図1によれば、信号処理ボックス11に含まれる生体信号処理部12は、生体信号を含み得る入力信号の処理部であって、その顕著な特徴として「信号計数部127」を備えており、周波数分析に頼ることなく、周期的生体信号の計数処理を実施することができる。
ここで、「信号計数部127」は、
(A)周期的な生体信号を含み得る入力信号に係るデータ値を逐次取り込み、取り込んだデータ値に基づいて、データ値の極小値に対応する「下基準値」とデータ値の極大値に対応する「上基準値」とを順次決定又は更新し、
(B)「下基準値」とそれに次ぐ「上基準値」とが決定若しくは更新され、さらに「上基準値」から見て所定条件を満たす(例えば設定閾値分を超える)より小さいデータ値が取り込まれた際に、
(C)生体信号の波数のカウントを行うことを特徴とする。
ちなみに、上記(B)の代わりに、
(B’)「上基準値」とそれに次ぐ「下基準値」とが決定若しくは更新され、さらに「下基準値」から見て所定条件を満たす(例えば設定閾値分を超える)より大きいデータ値が取り込まれた際に、
を採用してもよい。いずれにしても、以上に述べたように「下基準値」及び「上基準値」を順次決定又は更新し適宜利用することによって、周波数分析に頼ることなく、周期的生体信号の計数処理を実施することができる。すなわち、多大な計算を要する周波数分析処理に比べてより処理負担の少ない処理で計数(カウント)を行うことができるのである。
また、生体信号は一般に、信号発生源である人や動物等の個体差や所在する環境等によってその強度(振幅)が大きく変化し、さらに、計数対象外のノイズも混入しやすい信号となっている。これに対し、上述した「下基準値」及び「上基準値」は、逐次取り込まれたデータ値に基づいて動的に決定・更新されるのであり、信号計数部127は、このようにデータ値に合わせて動的に変化する基準値を利用して計数処理を実施している。その結果、従来誤差の大きかった周期的な生体信号の計数処理を、より高い精度で実施することが可能となるのである。
ちなみに、以上に説明した信号計数部127による計数処理は、時間的周期性を有する信号ならば様々な信号に対し適用することが可能である。しかしながら、上述したような特徴を有する(通常不安定である)生体信号に対し、特に好適な処理方法となっている。
また、「信号計数部127」が取り込む「データ値」としては、周期的な生体信号を含み得る入力信号に係るものならば様々な値が採用可能である。この点、本願発明者は、周期的な生体信号としての咀嚼に関連する筋電信号を取り扱う場合には、入力信号の「加速度成分データ」における所定時間区間でのデータの偏り具合に係る「代表値」を「データ値」に採用することが非常に好ましいことを見出している。ここでこの「代表値」として、例えば標準偏差SDを用いてもよいが、後に説明するように、標準偏差SDに対し重み付けを行った値SDWを採用することがより好ましい。
実際、筋電信号等の生体信号は、人工的な機械等による振動とは異なり、例えば多数の細胞の活動に起因して発生するので、もともと幅の広い周波数成分を有する交流信号となっている。このような生体信号の計数処理を行うにあたり、上記の「代表値」を採用することによって、多大な計算を必要とする周波数分析を行うことなく、例えば電極ずれによるノイズの発生に対しても頑健な処理を実現することができるのである。
さらに、本願発明者は、以上に説明したような生体信号の計数処理によって、特に着目している「咀嚼」によって混入してしまう大きな振幅のアーチファクトを確実に識別し、このようなアーチファクトに対する頑健性を向上させることができることも見出している。
ちなみに、後述するように、以上に説明した信号計数部127を含む生体信号処理部12によれば、ユーザの顔から取得された筋電信号を用いて「笑み」等の顔表情を推定することも可能となる。そのような場合でも、「咀嚼」の発生の有無を確実に判定することによって、混入し得る大きな振幅のアーチファクトにも頑健な顔表情推定処理を実施することができるのである。
同じく図1に示す実施形態の機能ブロック図において、生体信号処理部12は、信号変換部121と、ノッチフィルタ部122a及び低域通過フィルタ(LPF,Low-Pass filter)部122bを含む前フィルタ処理部122と、2階差分フィルタ部123aを含む加速度成分生成部123と、代表値算出部124と、発生時間区間決定部126と、信号計数部127と、生体信号判別部128とを機能構成部としている。なお、本実施形態において、生体信号処理部12は、共振器フィルタ処理部125を更に有することも可能となっている。また、メガネ左側の信号処理ボックス11には、生体信号処理部12と合わせて信号インタフェース129が更に設けられていることも好ましい。
ここで、生体信号処理部12は、本発明による生体信号処理プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この生体信号処理プログラムを実行することによって、生体信号処理を実施する。また、上記の機能構成部は、生体信号処理部12に保存された生体信号処理プログラムの機能と捉えることができる。さらに、図1における生体信号処理部12の機能構成部間を矢印で接続して示した処理の流れは、本発明による生体信号処理方法の一実施形態としても理解される。
同じく図1において、信号変換部121は、筋電センサとして、
(a)プラス電極パッド13と電気的に接続されたプラス(検出用)電極と、
(b)マイナス電極パッド14と電気的に接続されたマイナス(リファレンス)電極と
の電位差の交流成分を、
(c)鼻パッド電極15と電気的に接続されたGND電極
におけるGND電位との差動増幅によって増幅し、このアナログの生体信号を一定のサンプリング周波数でデジタル化する。ちなみに、この差動増幅は、商用電源等に起因するコモンモードノイズを軽減するためのDRL回路をもって実施されてもよい。
これにより、例えば、プラスマイナス0.1~数百μVの範囲の皮膚電位検出が可能となる。また、このデジタル化の条件として、サンプリング周波数が500Hz以上であって量子化10bit以上でアナログ/デジタル(A/D)変換を行うことも好ましい。なお、このような回路構成は、例えばNeurosky社製のTGAM1を利用して実現可能となっている。
前フィルタ処理部122は、ノッチフィルタ部122a及びローパスフィルタ(LPF)部122bを有している。このうち、ノッチフィルタ部122aは、加速度成分データを生成する前の入力信号に対し、(混入する場合の少なくない)商用電源に係る周期的ノイズを低減する帯域除去フィルタ処理を実施する。ちなみに、上述したNeurosky社製のTGAM1は、商用電源由来のノイズを軽減するノッチフィルタを搭載しており、ノッチフィルタ部122aとしてこれを利用することができる。
一方、LPF部122bは、帯域除去フィルタ処理の施された入力信号に対し、高周波ノイズを除去するLPF処理を実施する。具体的にLPF部122bは、入力信号に対し高域通過フィルタ(HPF,High-Pass Filter)処理を実施し、その結果を元の入力信号から差し引くことによって、LPF処理としてもよい。ここで、HPFとして、例えばDCブロッカ(DC Blocker)を使用することができる。
このDCブロッカは、入力信号から直流バイアス成分(超低周波数成分)を除去し、交流成分を取り出すためのフィルタであり、次式
(1) y[n]=x[n]-x[n-1]+r*y[n-1]
のような差分方程式の下で機能する。ここで、nはサンプル位置(サンプル・インデックス)であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。また、係数rは0~1の値をとり、r=0の場合、このフィルタは次に説明する差分フィルタと等価になる。ちなみに、後に図3及び4を用いて説明する実施例では、r=0.9に設定されている。また、このLPF処理を施された後であっても、筋電信号としての交流信号は残留しているのである。
加速度成分生成部123は、2階差分フィルタ部123aを有し、LPF処理の施された入力信号の加速度成分データを生成する。具体的に、この2階差分フィルタ部123aは、当該入力信号に対して差分フィルタ処理を2回実施する構成とすることができる。ここで使用される差分フィルタの原理を示す差分方程式は、次式
(2) y[n]=x[n]-x[n-1]
の通りとなる。上式(2)において、nはサンプル位置(サンプル・インデックス)であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。
なお一般に、加速度成分生成部123のようにデジタルフィルタを使用する場合、高度なデジタルフィルタになるほど計算量がより増大することになる。この計算量の増大は、本筋電センサ付メガネ1のようなモバイルデバイスにおいてはバッテリーの持続時間の低下をもたらし、大きな問題となる。これに対し、加速度成分生成部123は、例えば三角関数を含むフィルタを使用したりせず、次数の少ないフィルタを用いて生体信号の処理を行っているので、問題となる計算量の増大を抑制することができるのである。
同じく図1において、代表値算出部124は、加速度成分生成部123で生成された加速度成分データを、所定時間区間(ウィンドウ分析区間)に分割し、各ウィンドウ分析区間でのデータの偏り具合に係る代表値を算出する。一般に、生体センサから出力される時系列データは、逐次リアルタイムに分析することによって、ユーザインタフェースを介し、ユーザにリアルタイムにフィードバック可能となり、非常に利用し易くなる。この際、予めウィンドウ分析区間を設け、この分析区間をずらしながら逐次分析することによって、概ねリアルタイムな分析処理が可能となるのである。
本実施形態において、代表値算出部124は、信号変換部121におけるデジタル化のサンプリング周波数が512Hzである場合、加速度成分の時系列データが64サンプル入力される毎に、直近に入力された128サンプルをウィンドウ分析区間として標準偏差SDを算出する。また変更態様として、同じくウィンドウ分析区間を128サンプルとし、加速度成分の時系列データを0.25秒毎(128サンプル毎)に区切りながら、区切った区間毎に、当該区間内の加速度成分データにおける標準偏差SDを算出してもよい。
なお、ここで算出される値は当然に、標準偏差SDに限定されるものではなく、ウィンドウ分析区間での加速度成分データの偏り具合に係る値ならば種々の値が採用可能である。
代表値算出部124は、また、各ウィンドウ分析区間における加速度成分が所定範囲内に連続して留まっている時間区間の長さ(サンプル数長len_th)について単調減少関数となる重みWを算出する。本願発明者は、筋電信号が発生していない場合に、発生している場合と比較して、この時間区間が相当に長くなることを見出した。そこで、この時間区間が長くなると急速に小さくなるような(又は少なくともこの時間区間について単調減少関数となる)「重みW」を決定し、代表値SDWにそのような特性を盛り込むことによって、筋電信号の無い場合やノイズのみの場合における筋電信号発生との誤判定を、より確実に回避することが可能となるのである。
以下具体的に、重みWの導出を説明する。図2は、本発明に係る代表値SDWを算出するのに用いられる重みWを説明するためのグラフである。
ここで最初に、加速度成分生成部123で生成された加速度成分データにおいて、重み算出対象のウィンドウ分析区間の先頭から加速度成分の振幅を走査し、予め設定した閾値th未満の振幅が連続しているサンプル数長len_thを決定しておく。また、ノイズ区間を規定することになる観測サンプル数obsを予め設定しておく。例えば、th=10、及びobs=15と設定することができる。
ちなみに、ウィンドウ分析区間内に、閾値th未満の振幅連続区間が複数存在する場合、サンプル数長len_thはそれらの区間の合計サンプル数としてもよい。または、そのうち最も時間区間の長い振幅連続区間におけるサンプル数を、サンプル数長len_thとすることも可能である。
図2(A)には、サンプル数長len_thの関数としての指数重みWが示されている。この指数重みWは、次式
(3) W=exp(1-len_th/obs)
によって規定されている。また、図2(A)ではobs=15であって、Len_th=15ならばW=1.0となる。さらに、len_thが大きくなるにつれて指数重みWは急激に減少し、ゼロに漸近する。実際、len_thがウィンドウ分析区間長(128サンプル)相当となると、指数重みWは概ねゼロとなる。
一方、図2(B)には、同じくobs=15の場合における、サンプル数長len_thの関数としての反比例重みWが示されている。反比例重みWは、次式
(4) W=1/((len_th-obs)/a+1)
によって規定される。ここで、aはobsを超える値(a>obs)をとって分母を正値にすることが好ましい。図2(B)の反比例重みWは、a=obs*obs(=225)の場合であり、Len_th=15ならばW=1.0となる。また、len_thが大きくなるにつれて反比例重みWは減少し、ゼロに近づく。
勿論、重みWは、以上に説明したものに限定されるものではない。len_thの単調減少関数であれば重みWとして採用可能であり、また好ましくは、len_thの増加とともにゼロに近づく関数、より好適にはゼロに漸近する関数であれば、種々のものが重みWとして用いることができる。ここで例えば、重みWを負の傾きを有するlen_thの一次関数としてもよいが、図2(A)に示した指数重みWの方が、より確実な生体信号発生判定に資することになる。
図1に戻って、代表値算出部124は、算出した標準偏差SDを、同じく算出した重みWによって重み付けした値を代表値SDWに決定する。具体的には、次式
(5) SDW[k]=W[k]*SD[k]
によって代表値SDW[k]を算出する。ここで上式(5)において、kはウィンドウ位置(ウィンドウ・インデックス)であり、SDW[k]、W[k]及びSD[k]における[k]は、それぞれウィンドウ位置kでの値であることを示す。
同じく図1において、共振器フィルタ処理部125は、代表値算出部124で算出された代表値SDWの時系列データに対し、共振器フィルタ処理を実施する。この共振器フィルタ処理は、算出された代表値SDWの時系列データにおいて予め特定された周期性が存在する場合に、この特定された周期性成分を増幅する処理となっている。このような処理を行うことにより、後に説明する信号発生判定部127において実施される、代表値の時系列データが周期性を有するか否かの判定処理を、より高い判定精度をもって実施することができるのである。
ちなみに、上述した共振器フィルタ処理を実施することなく、後述する信号計数部127が、代表値SDWの時系列データを直接に処理することも好ましい。この場合、共振器フィルタ処理によって目的の生体信号のみならず共振周波数に合ったアーチファクトまでもが増幅され、計数処理のエラーの原因となってしまう事態を回避することが可能となる。
ここで具体的に、共振器フィルタ処理は、次に示す差分方程式
(6) y[n]=a1*y[n-1]+a2*y[n-2]+b0*x[n]
によって実現される。上式(6)において、nはサンプル位置(サンプル・インデックス)であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。また、係数a1、a2及びb0は、次式
(7) a1=2*exp(-π*Q/fs)*cos(2π*f0/fs)
a2=-exp(-2π*Q/fs)
b0=1-a1-a2
をもって算出される。ここで、Qは共振度(Q>0)であり、fsはスライディング・ウィンドウ分析周波数(単位はHz)であって、f0は共振周波数(単位はHz)である。ちなみに、後に図3~6を用いて説明する実施例では、Q=1、f0=1/0.7=1.429(Hz)、及びfs=8(Hz)となっている。
発生時間区間決定部126は、加速度成分データを生成する前の入力信号に対して多重解像度解析(MRA,MultiResolution Analysis)処理を実施し、MRA処理後の信号振幅の時系列データが所定のヒステリシスを示す時間区間を、何らかの生体信号が発生した信号発生時間区間に決定する。
ここで、本願発明者は、センサからの入力信号に対しMRA処理を施すことによって生体信号が発生したか否かを判定可能であることを新たに見出した。この発見に基づき、発生時間区間決定部126は生体信号の発生時間区間を特定できるのである。なお、発生時間区間決定部126におけるこのMRA処理については、後に図5に示した実施例を用いて詳細に説明する。
いずれにしても、この後説明する信号計数部127は、この決定された信号発生時間区間を勘案することにより、周期的生体信号が確実に発生している入力信号データに対してのみ信号計数処理を実施して、不要な処理を大幅に低減することもできる。なお勿論、この発生時間区間決定部126を省略し、算出された代表値SDWの時系列データに対し一律に信号計数処理を実施することも可能である。
同じく図1において、信号計数部127は、<上昇局面検出状態>、<上側閾値判定状態>、<下降局面検出状態>、及び<下側閾値判定状態>を有し、これら4つの検出・判定状態を順次移行させながら、順次取り込まれる代表値SDWデータの処理を行い、生体信号の波数のカウントを行う。ここで、この代表値SDWデータは、アーチファクトによる誤計数の発生を極力抑えるため、本実施形態では共振器フィルタ処理の施されていないものとなっている。
さらに本実施形態においては、カウントされる周期的生体信号は、頭部に装着された筋電センサ付メガネ1から取得されるものであることから、「咀嚼」に起因する筋電信号であると判断される。すなわち、信号計数部127は、本実施形態において咀嚼に係る筋電信号の発生回数(咀嚼動作の回数)を計数するものとなっている。
次に、上記の4つの検出・判定状態における処理内容の概略を説明する。ここで、データ値(本実施形態では代表値SDW)は、所定時間間隔の下、刻々と信号計数部127に取り込まれるものとする。
<上昇局面検出状態>は、
(ア)取り込まれた代表値SDW(データ値)が1つ前の時点の値以下である場合、この代表値SDWを「仮下基準値」に決定し、
(イ)次いで取り込まれた代表値SDWが「仮下基準値」よりも大きい値である場合、「仮下基準値」を「下基準値」に決定して、次の上側閾値判定状態に移行する
検出状態となっている。
<上側閾値判定状態>は、
(ウ)取り込まれた代表値SDWが、「下基準値」から見て、予め決定した「上閾値」分を超えて上回った値であるか否かを判定し、真の判定、すなわち上回った値であるとの判定を行った際に、次の下降局面検出状態に移行する
判定状態となっている。
<下降局面検出状態>は、
(エ)取り込まれた代表値SDWが、1つ前の時点の値以上である場合、この代表値SDWを「仮上基準値」に決定し、
(オ)次いで取り込まれた代表値SDWが「仮上基準値」よりも小さい値である場合、「仮上基準値」を「上基準値」に決定して、次の下側閾値判定状態に移行する
検出状態となっている。
<下側閾値判定状態>は、
(カ)取り込まれた代表値SDWが、「上基準値」から見て、予め決定した「下閾値」分を超えて下回った値であるか否かを判定し、真の判定、すなわち下回った値であるとの判定を行った際に、次の上昇局面検出状態に移行する
判定状態となっている。
信号計数部127は、以上に説明した<上昇局面検出状態>、<上側閾値判定状態>、<下降局面検出状態>、及び<下側閾値判定状態>からなる1つの組の処理が完了する毎に、生体信号の波数のカウントを行う。例えば、
(a)<上昇局面検出状態>で始まり<下側閾値判定状態>で終了する一連の処理、
(b)<上側閾値判定状態>で始まり<上昇局面検出状態>で終了する一連の処理、
(c)<下降局面検出状態>で始まり<上側閾値判定状態>で終了する一連の処理、又は
(d)<下側閾値判定状態>で始まり<下降局面検出状態>で終了する一連の処理
が完了する毎に、生体信号の波数を1だけ増分することができる。
またこの後、図7及び8のフローチャートを用いて具体的に説明するが、上記(ウ)における「上閾値」は、所定期間の代表値SDWの標準偏差に基づいて決定され、さらに、上記(カ)における「下閾値」は、代表値SDWから決定された「上基準値」に基づいて決定されることも好ましい。
ここで特に「上閾値」決定の際、入力信号がバイアス成分を有する場合に、バイアス成分の平均値を入力信号から差し引いて、代表値SDW(入力信号データ値)がゼロラインを中心に変動するように調整してから、予め設定した所定期間モニタを行い、その標準偏差を算出して「上閾値」を求めることも好ましい。
同じく図1において、生体信号判別部128は、(発生時間区間決定部126において決定された信号発生時間区間において)信号計数部127が周期的生体信号(本実施形態では「咀嚼」に係る筋電信号)の計数処理を実施しない又は終了した場合、この信号発生時間区間で発生している生体信号の種別を判定する。例えば、発生した生体信号は食い縛り動作によるもの、又は口角上げ動作によるものとの判定を行う。この生体信号判別部128での処理については、後に、図6のフローチャートを用いて全体のフローを概観する際、詳細に説明を行う。
ちなみに、信号計数判定部127や生体信号判別部128における判定結果の情報は、信号インタフェース129を介し、例えばユーザの携帯した携帯端末2へ送信され、携帯端末2において様々なアプリで利用されることも好ましい。この場合、例えば単位時間(1時間や1日等)当たりの生体信号発生回数や生体活動量が時系列のグラフとして表示されてもよい。
例えば、咀嚼の回数や、咀嚼ではないとの判定の下で口角上げに係る筋電信号が特定された場合には「笑み」の起こった回数等が、グラフ化されてもよい。また、咀嚼に係る筋肉の活動量や「笑み」に係る筋肉の活動量が、時系列のグラフとして表示されることも可能である。また、これらの情報がログとして記録されてもよく、さらには、筋電センサ付メガネ1のレンズ部に設けられた(図示していない)ディスプレイに表示させることも可能となる。
なお、信号インタフェース129と携帯端末2とは、無線又は有線(ケーブル)をもって通信接続されている。このうち、無線は、例えばBluetooth(登録商標)や、Wi-Fi(登録商標)等の無線LANとすることができる。また、有線(ケーブル)は、USB(Universal Serial Bus)で接続されるものであってもよい。さらに、携帯端末2は、スマートフォン、携帯電話機、PDA(Personal Digital Assistant)、タブレット型コンピュータ等とすることができるが、例えばパーソナルコンピュータ等の他の情報処理装置であってもよい。
[実データ例]
以下、実際の生体信号(筋電信号)を含む入力信号を用い、本発明に係る生体信号処理をより詳細に説明する。
図3及び4はそれぞれ、人間による「ガムの咀嚼」及び「お笑い動画視聴」に起因する筋電信号を含む(サンプリング周波数512Hzでサンプリングされた)入力信号に対し、代表値算出処理までの処理を行った実施例を示すグラフである。ちなみに、本実施例では、アーチファクトによる誤計数の発生を極力抑えるため、共振器フィルタ処理は実施していない。
図3(A)及び図4(A)には、入力信号の時系列データの信号強度波形を示すグラフが示されている。ここでこれらの入力信号は、本実施例においてノッチフィルタ部122a(図1)として利用したTGAM1から出力された信号となっている。これらの入力信号に対し、LPF部122b(図1)、加速度成分生成部123(図1)及び代表値算出部124(図1)における処理を施した結果をそれぞれ、図3(B)及び図4(B)に示す。
なお本実施例において、上記の代表値算出部124(図1)における処理では、サンプリング周波数が512Hzである加速度成分の時系列データが64サンプル入力される毎に、直近に入力された128サンプルをウィンドウ分析区間とし、当該分析区間において標準偏差SDが算出されている。また、重みWとして、図2(A)に示したような指数重みWが採用されている。
これら図3(B)及び図4(B)のグラフには、代表値SDWの時系列データの波形が示されており、いずれも筋電信号の検出されていることが見てとれる。このうち、「ガムの咀嚼」(図3(B))の場合には、咀嚼に起因する高い周期性を有する周期的筋電信号が発生している。
ここで一般に、正常な有歯顎者による咀嚼周期は0.8秒前後と言われているが、図3(B)の筋電信号の周期も0.7秒強であって、当該筋電信号が咀嚼に起因するものであることを裏付けている。このように、咀嚼による筋電信号の発生を判定し、その発生回数(波数)のカウントを行うにあたり、この時間的な周期性が利用可能であることが理解される。
一方、「お笑い動画視聴」(図4(B))の場合には、周期性を有さない筋電信号が連続して発生していることが分かる。またこの場合、筋電信号が連続して発生してはいるがその強度は不安定であり、波形が乱高下している時間区間も存在する。このような筋電信号に対し、従来の如くそれぞれ所定値に固定された上端閾値及び下端閾値を用いて、周期性の判断を行うと、強度変動がたまたま咀嚼周期の範囲内の周期性を示しているとの判定の行われることが、少なからず発生するのである。
これに対し、信号計数判定部127の動的基準値・閾値による信号計数処理によれば、例えば「お笑い動画視聴」時の筋肉の動きを「咀嚼」と誤判定し、誤って咀嚼としてカウントしてしまうといった事態を回避することが可能となるのである。
ちなみに本実施例では、この信号計数判定部127による信号計数処理の前に、発生時間区間決定部126(図1)が、加速度成分データを生成する前の入力信号に対してMRA(多重解像度解析)処理を実施し、信号発生時間区間を決定している。
図5は、人間による「ガムの咀嚼」及び「お笑い動画視聴」に起因する筋電信号を含む入力信号に対し、発生時間区間決定処理を行った実施例を示すグラフである。
図5(A)及び図5(B)にはそれぞれ、図3(A)及び図4(A)に示された(サンプリング周波数512Hzの)入力信号に対し、256サンプル到着毎にウィンドウ分析区間256サンプルで区切った上で、MRA処理を施した結果がグラフで示されている。ここで、これらのグラフの横軸は時間(ウィンドウ・インデックス)である。また、実施されたMRA処理では繰り返し計算の計算レベル(変換レベル)が1に設定されており、処理出力を示すグラフの縦軸は、変換レベル1の高周波成分を表す変換値群の絶対値の平均値(以下、(高周波成分の)平均値と略称)となっている。
このように本実施例で行われたMRA処理における変換レベルは1であるので、図5(A)及び図5(B)に示す処理出力は、ナイキスト周波数をfnとして、周波数がfn/2~fnの範囲に対応する高周波成分への変換結果となっている。ここで、ナイキスト周波数をfnはサンプリング周波数の半分、すなわち256(=512/2)Hzであるので結局、128~256Hzに対応する高周波成分を観測した結果ということになる。
ちなみに、本実施例において入力信号の高周波成分にのみ着目している理由としては、「咀嚼」の場合も「お笑い動画視聴(笑み)」の場合も筋肉が活動した結果であり、交流の筋電信号がある程度連続的に混入するので、アーチファクトの多い低周波成分を観測する処理と比較すると、結果的にアーチファクトの影響を大幅に抑えられることが挙けられる。
具体的に本実施例では、MRA処理としてハール(haar)のウェーブレット変換を用いている。ハールウェーブレットは、最も単純な矩形型のウェーブレットである。本願発明者は、このような単純なハールウェーブレットでも筋電信号の検出には十分であることを見出している。通常、MRA処理は、繰り返しの計算を伴い計算量が増大しがちであるので、モバイル機器での処理としては敬遠されている。しかしながら、本実施例では、計算レベルを1として計算量を低減させ、高周波成分のみに着目して筋電信号の発生区間の検出に特化しているので、アーチファクト耐性にも優れた効率的な処理が実現しているのである。
次いで本実施例では、図5(A)及び図5(B)の高周波成分平均値の波形に基づき、
(a)高周波成分平均値が所定閾値thh_dwtを上回った時点と、その後この高周波成分平均値が所定閾値thl_dwtを下回った時点とを決定し、
(b)上記(a)で決定した両時点間の時間区間を、筋電信号の発生時間区間に決定している。
すなわち、振幅(高周波成分平均値)が所定のヒステリシスを示す時間区間を、筋電信号発生時間区間に決定しているのである。ここで、所定閾値thh_dwt及びthl_dwtはそれぞれ50及び20に設定された。以上の処理によって、図5(A)及び図5(B)の場合には、それぞれの図に示す両矢印の区間が、筋電信号発生時間区間に決定されている。
ちなみに、上述した所定閾値thh_dwt及びthl_dwtも、統計的手法をもって予め設定されることが可能である。例えば、筋電センサ付メガネ1(図1)を装着したユーザの無表情時のセンサ信号を予め多数取得し、MRA処理後の入力信号の時系列データにおける振幅の標準偏差のN倍及びN'倍(N>N')の値をそれぞれthh_dwt及びthl_dwtすることも好ましい。
また、以上に説明した発生時間区間決定処理では、筋電信号が発生した時間区間は特定されるものの、その発生している筋電信号が例えば「咀嚼」によるものか「笑み(口角上げ)」によるものか、といった信号の種別までは判断できない。そこで次に、このような信号種別の判定も含めた生体信号処理全体について、図6に示したフローチャートを用いてその概略を説明する。
[生体信号処理方法]
図6は、本発明による生体信号処理方法の一実施形態の概略を示すフローチャートである。
(S101)取得した入力信号を差動増幅してデジタル化し、バッファリングを行う。
(S102)バッファリングされた入力信号に対し、商用電源に係る周期的ノイズを低減するノッチフィルタ処理を実施する。
(S103)ノッチフィルタ処理を施された入力信号に対し、LPF処理を実施する。
(S104)LPF処理を施された入力信号に対し、2階差分フィルタ処理を実施する。
(S105)2階差分フィルタ処理を施され、時系列の加速度成分データとなった入力信号を、所定のウィンドウ分析区間に分割する。
(S106)ウィンドウ分析区間毎に重みWを算出する。
(S107)ウィンドウ分析区間毎に代表値SDWを算出する。
(S201)上記ステップS103~S107と並行して又は前後して、ノッチフィルタ処理を施された入力信号に対し、MRA処理を実施する。
(S202)MRA処理後の高周波成分の時系列データが所定のヒステリシスを示す時間区間を生体信号発生時間区間に決定する。
ここで、以上のステップで算出された代表値SDWの時系列データ、及び生体信号発生時間区間に基づいて、周期的生体信号の計数処理及び生体信号種別判定処理を行う。ちなみに以下、上述した<上昇局面検出状態>、<上側閾値判定状態>、<下降局面検出状態>、及び<下側閾値判定状態>をそれぞれ、状態1、2、3及び4としている。
(S301,S302)代表値SDWデータを逐次取り込み、取り込んだ代表値SDWが生体信号発生時間区間に係る値である場合に、当該代表値SDWが該当する状態(状態1~4のうちの1つ)に応じた処理を実施する。なお、この各状態における処理の内容は、後に図7及び8を用いて詳細に説明する。
(S321)一方、ステップS301において、取り込んだ代表値SDWが生体信号発生時間区間に係る値ではない場合、現時点では生体信号は発生していないと判断し、当該取り込んだ代表値SDWについて、またはこの後所定期間、本生体信号処理を終了する。
(S303)取り込んだ代表値SDWに該当する状態に応じた処理を実施する中、状態1から状態4までの移行が順次繰り返して進行するか否かをもって、周期的生体信号が発生しているか否かを判断する。具体的には、この後、図7及び8を用いて説明する状態1~4の実施によって、所定期間内に(所定以上の)計数処理が行われるか否かによって周期的生体信号が発生しているか否かを判定することができる。
(S304)(周期的生体信号が発生していると判断している場合において)カウントが行われる毎にカウント数CNTを1だけ増分させ、周期的生体信号の計数処理(周期的生体現象の生起数のカウント)を実施する。なお、以上に述べたステップS106~S304は、ウィンドウ分析区間毎に算出された代表値SDWを取り込む毎に実施され、計数対象期間において又は所定回数だけ繰り返し実施されることになる。
(S311)一方、ステップS303において、生体信号発生時間区間であるにもかかわらず周期的生体信号が発生していないと判断した場合、何らかの非周期的な生体信号が発生しているものとして、生体信号の種別判定を行う。ちなみに、この種別判定処理については、後に詳細に説明する。
(S312)ステップS311で種別を判定された生体信号の計数処理(生体現象の生起数のカウント)を行う。この計数処理についても後に説明を行う。
図7は、状態1~3における処理内容の一実施形態を示すフローチャートである。また、図8は、状態4における処理内容の一実施形態を示すフローチャートである。
最初に、図7(A)のフローチャートを用いて、状態1(上昇局面検出状態)で実施される処理内容を説明する。
(S401)今回取り込まれた代表値SDWが「仮下基準値」よりも大きいか否かを判定する。ここで、「仮下基準値」は、1つ前の時点(直前時点)の代表値SDW(であってステップS406又は図8のステップS708で決定された値)、又は(当初)予め設定された初期値とすることができる。
(S402)ステップS401で真の判定(SDW>「仮下基準値」との判定)を行った場合、現時点は上昇局面に入っていると判断し、現時点の「仮下基準値」を「下基準値」に決定する。
(S403)今回取り込まれた代表値SDWに係る時点情報、例えば代表値SDWの時間的位置であるサンプル番号を、状態サイクルの初期時点位置CPに決定する。
(S404)次回(1つ後の時点に)取り込まれる代表値SDWについては次の「状態2」へ移行することを決定する。
(S405)一方、ステップS401で偽の判定(SDW≦「仮下基準値」との判定)を行った場合、なお下降局面にあると判断し、次回取り込まれる代表値SDWについても「状態1」を継続することを決定する。
(S406)次回の「状態1」で使用する「仮下基準値」を、今回取り込まれた代表値SDWに更新する。
次に、図7(B)のフローチャートを用いて、状態2(上側閾値判定状態)で実施される処理内容を説明する。
(S501)今回取り込まれた代表値SDWのサンプル番号と初期時点位置CPとの差、すなわち初期時点位置CPからの現時点のサンプル経過数(経過時間)が、所定のP長閾値(サンプル点数長閾値)ThPを超えた値であるか否かを判定する。
(S502)ステップS501で偽の判定(「CPからのサンプル経過数」≦ThPとの判定)を行った場合、今回取り込まれた代表値SDWが、現時点の「下基準値」から見て、予め決定した「上閾値」分を超えて上回った値であるか否かを判定する。すなわち、次式
(8) SDW>「下基準値」+「上閾値」
が成り立つか否かを判定する。ここで、「上閾値」として、例えば過去所定期間での代表値SDWの分布における標準偏差のn倍(例えばn=2)の値を採用することができる。
(S503)ステップS502で真の判定(上式(8)が成立するとの判定)を行った場合、当該信号の「山」が検出されたとして、次回取り込まれる代表値SDWについては次の「状態3」へ移行することを決定する。
(S506)次の「状態3」で使用する「仮上基準値」を、今回取り込まれた代表値SDWに決定・更新する。
(S504)一方、ステップS502で偽の判定(上式(8)が成り立たないとの判定)を行った場合、当該信号の「山」はなお検出されていないとして、次回取り込まれる代表値SDWについても「状態2」を継続することを決定する。
(S505)さらに、ステップS501で真の判定(「CPからのサンプル経過数」>ThPとの判定)を行った場合、現時点までの状態での滞留が長期となっており計数対象である周期的信号ではないと判断し、信号カウント数CNTをゼロにリセットして、次回取り込まれる代表値SDWについては「状態1」へ戻ることを決定する。
次いで、図7(C)のフローチャートを用い、状態3(下降局面検出状態)で実施される処理内容を説明する。
(S601)今回取り込まれた代表値SDWのサンプル番号と初期時点位置CPとの差、すなわち初期時点位置CPからの現時点のサンプル経過数(経過時間)が、所定のP長閾値ThPを超えた値であるか否かを判定する。
(S602)ステップS601で偽の判定(「CPからのサンプル経過数」≦ThPとの判定)を行った場合、今回取り込まれた代表値SDWが「仮上基準値」よりも小さいか否かを判定する。ここで、「仮上基準値」は、1つ前の時点(直前時点)の代表値SDW(であってステップS606又はステップS506で決定された値)とすることができる。
(S603)ステップS602で真の判定(SDW<「仮上基準値」との判定)を行った場合、現時点は下降局面に入っていると判断し、現時点の「仮上基準値」を「上基準値」に決定する。
(S604)次回取り込まれる代表値SDWについては次の「状態4」へ移行することを決定する。
(S605)一方、ステップS602で偽の判定(SDW≧「仮上基準値」との判定)を行った場合、なお上昇局面にあると判断し、次回取り込まれる代表値SDWについても「状態3」を継続することを決定する。
(S606)次回の「状態3」で使用する「仮上基準値」を、今回取り込まれた代表値SDWに更新する。
(S607)さらに、ステップS601で真の判定(「CPからのサンプル経過数」>ThPとの判定)を行った場合、現時点までの状態での滞留が長期となっており計数対象である周期的信号ではないと判断し、信号カウント数CNTをゼロにリセットして、次回取り込まれる代表値SDWについては「状態1」へ戻ることを決定する。
最後に、図8のフローチャートを用いて、状態4(下側閾値判定状態)で実施される処理内容を説明する。
(S701)今回取り込まれた代表値SDWのサンプル番号と初期時点位置CPとの差、すなわち初期時点位置CPからの現時点のサンプル経過数(経過時間)が、所定のP長閾値ThPを超えた値であるか否かを判定する。
(S702)ステップS701で偽の判定(「CPからのサンプル経過数」≦ThPとの判定)を行った場合、今回取り込まれた代表値SDWが、現時点の「上基準値」から見て、予め決定した「下閾値」分を超えて下回った値であるか否かを判定する。すなわち、次式
(9) SDW<「上基準値」-「下閾値」
が成り立つか否かを判定する。ここで、「下閾値」として、例えば現時点での「上基準値」(ピーク値)の例えばピーク値のm倍(0<m<1,例えばm=0.9)の値を採用することができる。
(S703)ステップS702で真の判定(上式(9)が成り立つとの判定)を行った場合、当該信号の「山」につづき「谷」が検出されたとして当該信号を計数対象とするが、ここで、今回の計数処理が初回ではないか否か、すなわち現時点の信号カウント数CNTが正値(正の整数値)であるか否かの判定を行う。
(S704)ステップS703で偽の判定(CNT=0との判定)を行った場合、今回の計数処理は初回であるので、信号カウント数CNTを1だけ増分する。
(S705)一方、ステップS703で真の判定(CNT>0との判定)を行った場合、今回の計数処理は2回目以降であるので、ここで改めてカウントを行うべき周期的信号か否かを確認する。具体的には、前回の計数処理を行った際に取り込まれた代表値SDWのサンプル番号を時点位置PIとして、今回取り込まれた代表値SDWのサンプル番号とこの時点位置PIとの差、すなわち時点位置PIからの現時点のサンプル経過数(経過時間)が、所定のP長閾値ThPLを超えた値であるか否かを判定する。
ここで、このステップS705において真の判定(「PLからのサンプル経過数」>ThPLとの判定)を行った場合、計数対象の周期的信号を捉えているとして、ステップS704に移行し、計数処理を行う。一方、ステップS705で偽の判定(「PLからのサンプル経過数」≦ThPLとの判定)を行った場合、短い時間間隔で発生したパルス状の非計数対象の信号が生じているとし、ステップS704をスキップし、ステップS706に移行する。
(S706)今回取り込まれた代表値SDWの時間的位置であるサンプル番号を、時点位置PIに決定する。
(S707)次回(1つ後の時点に)取り込まれる代表値SDWについては次の「状態1」へ移行することを決定する。
(S708)次の「状態1」で使用する「仮下基準値」を、今回取り込まれた代表値SDWに決定・更新する。
(S711)一方、ステップS702で偽の判定(上式(9)が成立しないとの判定)を行った場合、今回取り込まれた代表値SDWが「上基準値」よりも大きいか否かを判定する。ここで、真の判定(SDW>「上基準値」)を行った場合、「上基準値」をこの代表値SDWに更新する(S712)。一方、偽の判定(SDW≦「上基準値」)を行った場合、ステップS712をスキップし、ステップS713へ移行する。
(S713)当該信号の「谷」はなお検出されていないとして、次回取り込まれる代表値SDWについても「状態4」を継続することを決定する。
(S721)さらに、ステップS701で真の判定(「CPからのサンプル経過数」>ThPとの判定)を行った場合、現時点までの状態での滞留が長期となっており計数対象である周期的信号ではないと判断し、信号カウント数CNTをゼロにリセットして、次回取り込まれる代表値SDWについては「状態1」へ戻ることを決定する。
以上説明したように本実施形態の生体信号処理においては、4つの状態を1つのサイクルとし、代表値SDWを取り込む毎に波形(パルス)を逐次分析することによって、例えば「咀嚼」、「心拍」、「脈拍」、「呼吸」や「歩行」等の周期的生体信号の波数、すなわち「咀嚼数」、「心拍数」、「脈拍数」、「呼吸数」や「歩数」等を、周波数分析を行うことなくより確実にカウントすることが可能となる。
ここで、本実施形態では特に、「上基準値」及び「下基準値」を、予め設定した固定値ではなく、逐次取り込まれた代表値SDW(入力信号データ値)によって、その都度動的に決定している。さらに、「上閾値」及び「下閾値」も代表値SDW(入力信号データ値)に基づいて適宜動的に決定されている。その結果、一般に振幅変動が大きく計数対象外のノイズも混入しやすい生体信号に対しても、その波形・波数をより適切に捉え、より精度の高い、すなわちカウント誤差のより小さい信号計数処理を実施することができるのである。
さらに言えば、生体信号の強度は一般に、計数対象であるユーザや動物における個人差・個体差が大きく、通常は信号計数処理におけるパラメータを、計数対象であるユーザや動物毎に人手で調整しなければならない。これに対し本実施形態によれば、「上基準値」、「下基準値」、「上閾値」及び「下閾値」といった計数処理の精度に関わるパラメータは自動的に決定されるので、当該パタメータを計数対象毎に人手で調整するといった手間が不要となるのである。
ちなみに、上述した初期時点位置CPは、<上昇局面検出状態(状態1)>から<上側閾値判定状態(状態2)>への移行に係る「第1基準時点」となっているが、ここで以上に説明した初期時点位置CPに係る処理をまとめると、結局、
(a1)<上側閾値判定状態(状態2)>において、「第1基準時点(初期時点位置CP)」から所定時間が経過するまでの間に、代表値SDWが「仮下基準値」を上回った値であるとの判定を行わなかった場合、
(a2)<下降局面検出状態(状態3)>において、「第1基準時点(初期時点位置CP)」から所定時間が経過するまでの間に、「上基準値」を決定しなかった場合、または、
(a3)<下側閾値判定状態(状態4)>において、「第1基準時点(初期時点位置CP)」から所定時間が経過するまでの間に、代表値SDWが「仮上基準値」を下回った値であるとの判定を行わなかった場合に、
生体信号の波数のカウントを行わない又はリセットすることになっている。
これに対しすでに述べたように、他の実施形態として、生体信号処理の1サイクルを、状態3から開始して、状態4、状態1及び状態2へ順次移行し、最後の状態2において信号計数処理を行うものとすることも可能である。
このような実施形態では、上述した初期時点位置CPは、<下降局面検出状態(状態3)>から<下側閾値判定状態(状態4)>への移行に係る「第2基準時点」となり、この初期時点位置CPに係る処理は、結局、
(b1)<下側閾値判定状態(状態4)>において、「第2基準時点(初期時点位置CP)」から所定時間が経過するまでの間に、代表値SDWが「仮上基準値」を下回った値であるとの判定を行わなかった場合、
(b2)<上昇局面検出状態(状態1)>において、「第2基準時点(初期時点位置CP)」から所定時間が経過するまでの間に、「下基準値」を決定しなかった場合、または、
(b3)<上側閾値判定状態(状態2)>において、「第2基準時点(初期時点位置CP)」から所定時間が経過するまでの間に、代表値SDWが「仮下基準値」を上回った値であるとの判定を行わなかった場合に、
生体信号の波数のカウントを行わない又はリセットすることになるのである。
いずれにしても、初期時点位置CPを用いることによって、入力信号の時間的長さが計数対象信号の周期から期待される範囲内にあるかどうかを判断し、当該時間的長さが適当である信号のみを計数処理対象とすることが可能となる。これにより例えば、(個人差はあるが)比較的振幅の小さい「咀嚼」信号に対し、「笑顔」信号といった計数対象外の弱いノイズ信号が混入し得る場合に、振幅感度を落とすことなく、計数対象の「咀嚼」信号に期待される時間的長さ(周期性)の制約を利用して、計数対象外のノイズ信号の誤カウントを抑制することも可能となるのである。
また、上述したステップS705における判定処理は、まとめると、
(a)取り込んだ代表値SDW(入力信号データ値)が「上基準値」から見て所定条件を満たすより小さいデータ値であるとの判断に係る時点が、波数をカウントした直近の時点から見て未だ所定時間以上経過した時点ではない場合に、波数のカウントをスキップする
となる。
これに対し、上述したように他の実施形態として、生体信号処理の1サイクルを、状態3から開始して、状態4、状態1及び状態2へ順次移行し、最後の状態2において信号計数処理を行うものとした場合には、状態2(上側閾値判定状態)における上記ステップS705に対応するステップでの処理として、
(b)取り込んだ代表値SDW(入力信号データ値)が「下基準値」から見て所定条件を満たすより大きいデータ値であるとの判断に係る時点が、波数をカウントした直近の時点から見て未だ所定時間以上経過した時点ではない場合に、波数のカウントをスキップする
との処理が実施されるのである。
また、更なる他の実施形態として、<上昇局面検出状態>、<上側閾値判定状態>、<下降局面検出状態>、及び<下側閾値判定状態>の各々において、当該状態に留まっている時間が所定時間を超えた場合、生体信号の波数のカウントを行わない又はリセットすることも可能である。勿論、このような処理は、上述した初期時点位置CPを利用した処理と併せて実施されてもよい。
図9は、固定閾値判定を行う比較例、及び動的閾値判定を行う実施例を説明するためのグラフである。
図9(A)には、予め設定した「上端閾値」及び「下端閾値」を利用した、比較例としての信号計数処理が示されている。具体的には、代表値SDWが時系列で逐次取り込まれており、
(a)取り込まれた代表値SDWが、「上端閾値」を下から横切って上回った時点と、
(b)それに次いで「下側閾値」を上から横切って下回った時点と
の組を生成して記憶し、この組の数を信号カウント数CNTの増分ΔCNTとしている。図9(A)の本比較例では、ΔCNT=3となっている。
ここで、本比較例で取り扱っている代表値SDW時系列データは、本来、図9(A)のグラフの横軸範囲(0~30秒の範囲)において波数が1つであるデータとなっている。これに対し、上記の比較例では、固定閾値判定を行っているが故に、当該データに乗った短パルス状のノイズ信号も計数対象としてしまい、本来ΔCNT=1に決定すべきところ、ΔCNT=3にしてしまっている。
これに対し、図9(B)には、上記の比較例と同一の代表値SDW時系列データに対する本発明に係る実施例としての信号計数処理が示されている。具体的には、比較例と同様、代表値SDWが時系列で逐次取り込まれており、
(a)取り込まれた代表値SDWが、動的に決定した「下基準値」から見て、(同じく動的に決定した)「上閾値」分を超えて上回った値となった後に、さらに「上基準値」を決定・更新した時点と、
(b)それに次いで、取り込まれた代表値SDWが、上記の決定・更新した「上基準値」から見て、(同じく動的に決定した)「下閾値」分を超えて下回った値となった後に、さらに「下基準値」を決定・更新した時点と
の組を生成して記憶し、この組の数を信号カウント数CNTの増分ΔCNTとしている。
図9(B)に示した本実施例ではΔCNT=1となっており、動的な基準値・閾値を採用して信号データ値に即した計数処理を行った結果、正しいカウント数が得られているのである。
以下、図6の生体信号処理全体を示したフローチャートにおけるステップS311及びS312の生体信号種別判定処理及び生体信号計数処理を説明する。ちなみに、これらの処理は、生体信号判別部128(図1)によって実施される処理となっている。
生体信号判別部128は、生体信号種別判定の一実施形態として、何らかの生体信号は発生しているが周期的生体信号は発生していないと判断された時間区間において、入力信号の平均パワー周波数(MPF,mean power frequency)を算出し、MPFの高さに基づいて、発生した生体信号の種別を判定することも好ましい。
ここで、本願発明者は、筋電センサ付メガネ1を用いて取得した入力信号に対し、高速フーリエ変換(FFT,Fast Fourier Transform)等による周波数解析処理を実施し、各ウィンドウ分析区間においてMPFを算出したところ、このMPF値の閾値判定によって、発生した筋電信号の種別が判断可能であることを見出した。
具体的には、例えば、MPF値が所定閾値を超えている場合、発生している生体信号は食い縛り動作による筋電信号であると判定し、一方、MPF値がこの所定閾値以下である場合、発生している生体信号は、口角上げ動作による筋電信号であると判定することができる。
さらに、ウィンドウ分析区間において、信号強度、例えば振幅の標準偏差SD’を算出し、この値もMPF値と同様にして発生信号の種別判定に用いることも可能となっている。
ちなみに、一般的にFFT等の周波数解析処理には相当の計算量が必要とされるが、本実施形態では、何らかの生体信号が発生したと判定された時間区間のみにおいてこのような周波数解析を行うので、種別判定において周波数解析処理を実施するにもかかわらず、計算量を大幅に削減することができるのである。
さらに、生体信号判別部128は、生体信号種別判定の他の実施形態として、生体信号は発生しているが周期的生体信号は発生していないと判断された時間区間において、標準偏差SD’と入力信号のMPF値(MPF)とを含む特徴量、例えば{SD', MPF}を算出し、この特徴量について、基準状態に該当する入力信号の特徴量によって設定された単位空間から離隔した度合いである離隔度合いを算出し、算出された離隔度合いに基づいて、発生した生体信号の種別を判定することも好ましい。
この場合具体的に、生体信号判別部128は、生体信号が発生していない基準状態に係る単位空間からの離隔度合いから、所定の生体信号が発生した状態及び生体信号が発生していない状態を合わせた基準状態に係る単位空間からの離隔度合いと、所定の生体信号が発生した基準状態に係る単位空間からの離隔度合いとを差し引いた量に基づいて、所定の生体信号の発生を判定することができる。
ここで、上記の単位空間及び離隔度合いとして、
(a)MT(Mahalanobis Taguchi)法における単位空間、及びマハラノビス距離から算出される値、
(b)MTA(Mahalanobis-Taguchi Adjoint)法における単位空間、及びマハラノビス距離から算出される値、
(c)T法における単位空間、及び特性値から算出される値、又は
(d)RT(Recognition Taguchi)法における単位空間、及びRT距離から算出される値
を採用することができる。ちなみに、このような生体信号種別判定の方法が有効であることも、本願発明者が実験を通して見出したものである。
このうちMT法を用いた場合、例えば口角上げ動作による筋電信号を判別する際には、
(ア)無表情状態及び口角上げ状態(を合わせた状態群)
(イ)無表情状態
(ウ)口角上げ状態
についての3つの単位空間を設計し、入力信号において、これらの単位空間からの離隔度合いをそれぞれ距離1、距離2及び距離3として算出して、(判定用距離)=(距離2)-(距離1)-(距離3)とすることによって、より好適な判定結果が得られることが分かっている。具体的には、このような判定用距離が所定閾値を超えている場合、発生している生体信号は口角上げ動作による筋電信号であると判定することができるのである。
次いで以下、図6のステップS312における生体信号計数処理の好適な一実施形態として、時系列データのヒステリシスを利用する方法を説明する。
図10は、処理された生体信号の時系列データにおけるヒステリシスを利用した生体信号計数処理の一実施例を示すグラフである。この図10のグラフは、生体信号種別判定をMT法によって実施した際に算出された判定用距離の時系列データ点を、線分で結んだ折れ線グラフとなっている。
生体信号判別部128(図1)は、
(a)判定用距離(の推移を示す折れ線)が閾値Thhのラインを下方(値の小さい方)から横切って上方(値の大きい方)に向かう点をカウント開始点(丸印)とし、
(b)判定用距離(の推移を示す折れ線)が閾値Thl(<Thh)のラインを上方(値の大きい方)から横切って下方(値の小さい方)に向かう点をカウント終了点(三角印)として、
これらのカウント開始点とそれに次ぐカウント終了点との組毎に1だけカウントを増分する。
図10の実施例では、この組が4つ存在しているので、これらの4つの組がグラフで決定された段階で、(用いた判定用距離に係る種別の)生体信号が4回発生したと判定される(生体信号の発生数が4とカウントされる)。ここで、開始点の閾値(thh)及び終了点の閾値(thl)を適切に設定することによって、信号発生判定結果のチャタリングを防止することも可能となるのである。
さらに、生体信号判別部128は、カウント開始点を決定してから所定の時間閾値Tmaxだけ時間が経過してもカウント終了点が決定されない際、このカウント開始点からその時点までで1回をカウントした上で、この時間閾値Tmax経過後は、判定用距離Wが閾値Thlを下回るまでノイズ判定期間であるとしてもよい。この場合、図10の実施例では、結局、(用いた判定用距離に係る種別の)生体信号の発生回数は5回であると決定されることになる。
なお変更態様として、生体信号種別判定をMPF導出によって実施した際には、図10の縦軸をMPF値としたヒステリシスグラフを生成し、(種別判定された種別に係る)生体信号の発生回数をカウントすることも可能となる。
[生体信号処理装置の他の実施形態]
図11及び図12は、本発明による生体信号処理装置の他の実施形態を示す模式図である。
図11には、本発明による生体信号処理装置としてのヘッドフォン1’が示されている。ヘッドフォン1’は、携帯端末2に連携するウェアラブルデバイスであり、検知された生体信号としての筋電信号を含み得る入力信号を、筋電センサ付メガネ1(図1)と同様に生体信号処理部12において処理して、筋電信号発生の有無や、発生した筋電信号の種別を判定し、さらには信号発生回数をカウントして、このような判定結果・計数結果に係る情報を、無線又は有線(ケーブル)を介して携帯端末2に送信する。
ここで、無線は、例えばBluetooth(登録商標)や、Wi-Fi(登録商標)等の無線LANとすることができる。また、有線は、例えば携帯端末2のヘッドフォン・マイクロフォン用アナログ音声入出力端子(ジャック)に接続されるものであってもよく、USB(Universal Serial Bus)で接続されるものであってもよい。いずれにしても、当該無線又は有線を介し、携帯端末2からヘッドフォン1’へ、例えばコンテンツの音声信号が伝送されるとともに、ヘッドフォン1’から携帯端末2へ、筋電センサによって検知された筋電信号に係る判定結果情報が伝送される。
また、ヘッドフォン1’の筋電センサも、筋電センサ付メガネ1(図1)と同様、「検出用+(プラス)電極」、「リファレンス用-(マイナス)電極」、及び「DRL(Driven Right Leg)電極」の3つの電極を有している。また、これらの電極配置についても図11に示すように、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するように設定することができる。ちなみに、この場合、検知され得る生体信号には、口角上げ運動や食い縛り運動に起因する筋電信号が含まれる。
なお、筋電センサの電極の配置は、当然に上記の形態に限定されるものではない。例えば、ヘッドフォン1’がオープンエア型のイヤカップやイヤパッドを有さない場合、ヘッドフォンを頭部に装着するため支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い位置に電極を配置してもよい。
さらに、本発明による生体信号処理装置であって、同様の筋電センサ及びその電極を備えた頭部装着デバイスとして、図12に示したイヤホン1’’も挙げられる。このイヤホン1’’も、検知された生体信号としての筋電信号を含み得る入力信号を処理し、筋電信号発生の有無や、発生した筋電信号の種別を判定して、この判定結果に係る情報を、無線又は有線(ケーブル)を介して携帯端末2に送信する。また、当該無線又は有線を介し、携帯端末2からイヤホン1’’へ、例えばコンテンツの音声信号が伝送される。
ここで以上に説明した、耳を含む位置に装着される筋電センサ付メガネ1(図1)、ヘッドフォン1’(図11)や、イヤホン1’’(図12)を用いて、「咀嚼」に起因する筋電信号の発生をより確実に把握し、その発生回数(咀嚼数)を的確にカウントすることもでき、さらに例えば、「笑み」を含む顔表情に相当する口角上げ運動に係る筋電信号を検知することもできるのである。ちなみに、このような筋電信号は、ユーザの意識的反応による信号である場合、ユーザインタフェースとして利用可能となる。一方、無意識的反応による信号ならば、ユーザの感情及びその推移の測定結果として利用することができる。
また例えば、携帯端末2が再生中のコンテンツの音声をヘッドフォン1’に送信し、ヘッドフォン1’を装着したユーザにおける音声体験中での筋電信号を検知することによって、当該コンテンツに対してユーザの抱く感情に係る情報を取得することも可能となる。また、ユーザによるヘッドフォン1’の装着/未装着も、筋電信号の検知状況から判断可能となるのである。
ちなみに、耳を含む位置に装着される筋電センサ付メガネ1(図1)、ヘッドフォン1’(図11)や、イヤホン1’’(図12)は、頭部内の筋肉による筋電信号のみならず、耳付近の位置から検知可能な、体温、発汗、脈波、脈拍、脳波等に係る生体信号を検出することも可能とする。以上に説明したような実施形態の生体信号処理方法は、筋電信号に限らずこのような様々な種別の生体信号の処理にも適用することができるのである。
なお勿論、本実施形態の生体信号処理方法は、筋電信号や脳波等のノイジーな交流信号に対し、より効果的な処理が実施可能となっている。すなわち、乾式電極を用いる筋電センサ等によって検出される信号が交流である性質を利用して検出を実施し、一方で、振幅の小さい交流信号は検出せず、さらに乾式電極のズレによるノイズ(アーチファクト)も生体信号として検出しないので、計算量を小さくしつつより確実に交流信号としての「周期的生体信号」を検出することができる。
以上詳細に説明したように、本発明によれば、「下基準値」及び「上基準値」を順次決定又は更新し適宜利用することによって、周波数分析に頼ることなく、周期的生体信号の計数処理を実施することができる。すなわち、多大な計算を要する周波数分析処理に比べてより処理負担の少ない処理でカウント(計数)を行うことが可能となる。
また、本発明によれば、周期的生体信号の典型例として、「咀嚼」に起因する筋電信号の発生をより確実に把握し、「咀嚼」回数をより正確にカウントすることもできる。さらに、1つの実施形態としてではあるが、この「咀嚼」とは区別する形で口角上げに係る筋肉に起因する筋電信号を捉え、「笑み」等の顔表情を推定することも可能となる。その際、「咀嚼」の発生の有無を確実に判定することによって、混入し得る大きな振幅のアーチファクトにも頑健な顔表情推定処理を実施することが可能となるのである。
また、本発明によれば、応用例として、例えばユーザによる所定回数の咀嚼動作をトリガとするユーザからのコマンド指示、例えばカメラのシャッタ動作やズーミング等、さらには視聴中コンテンツのお気に入り登録等を実行可能にする。さらには、「咀嚼」や「笑み」の定量計測を定常的に実施し、ユーザが健全な食事や日常生活を行っているのかどうかを定量化することもできるのである。
さらに、本発明は、他の実施形態として、上記の筋電信号以外にも様々な周期的生体信号を特定し、その周期的生体信号に係る生体現象の発生回数をより確実に把握することも可能とする。また、その結果を応用し、これらの判定結果や発生回数計測結果を、様々なタイプのコンテンツ等の評価、意志による生体現象のユーザインタフェース化、さらには身体状態や感情・精神状態の定量化等に生かすこともできるのである。
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
1 筋電センサ付メガネ(生体信号処理装置)
1’ ヘッドフォン(生体信号処理装置)
1’’ イヤホン(生体信号処理装置)
11 信号処理ボックス
12 生体信号処理部
121 信号変換部
122 前フィルタ処理部
122a ノッチフィルタ部
122b LPF部
123 加速度成分生成部
123a 2階差分フィルタ部
124 代表値算出部
125 共振器フィルタ処理部
126 発生時間区間決定部
127 信号計数部
128 生体信号判別部
129 信号インタフェース
13 プラス電極パッド
14 マイナス電極パッド
15 鼻パッド電極部
2 携帯端末

Claims (14)

  1. 周期的な生体信号を含み得る入力信号に係るデータ値を逐次取り込み、取り込んだデータ値に基づいて、当該データ値の極小値に対応する下基準値と当該データ値の極大値に対応する上基準値とを順次決定又は更新し、(a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て、予め決定した下閾値分を超えて下回ったデータ値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て、予め決定した上閾値分を超えて上回ったデータ値が取り込まれた際に、当該生体信号の波数のカウントを行う信号計数手段を有することを特徴とする生体信号処理装置。
  2. 前記信号計数手段における信号計数処理は、
    取り込まれたデータ値が1つ前の時点の値以下である場合、当該データ値を仮下基準値に決定し、次いで取り込まれたデータ値が、当該仮下基準値よりも大きい値である場合、当該仮下基準値を下基準値に決定して、次の上側閾値判定状態に移行する上昇局面検出状態と、
    取り込まれたデータ値が、当該下基準値から見て、予め決定した上閾値分を超えて上回った値であるか否かを判定し、当該上回った値であるとの判定を行った際に、次の下降局面検出状態に移行する上側閾値判定状態と、
    取り込まれたデータ値が、1つ前の時点の値以上である場合、当該データ値を仮上基準値に決定し、次いで取り込まれたデータ値が、当該仮上基準値よりも小さい値である場合、当該仮上基準値を上基準値に決定して、次の下側閾値判定状態に移行する下降局面検出状態と、
    取り込まれたデータ値が、当該上基準値から見て、予め決定した下閾値分を超えて下回った値であるか否かを判定し、当該下回った値であるとの判定を行った際に、次の上昇局面検出状態に移行する下側閾値判定状態と
    を有し、
    前記信号計数手段は、当該上昇局面検出状態、当該上側閾値判定状態、当該下降局面検出状態、及び当該下側閾値判定状態からなる1つの組の処理が完了する毎に、当該生体信号の波数のカウントを行うことを特徴とする請求項1に記載の生体信号処理装置。
  3. 当該上閾値は、所定期間の当該データ値の標準偏差に基づいて決定され、当該下閾値は、当該データ値から決定された上基準値に基づいて決定されることを特徴とする請求項2に記載の生体信号処理装置。
  4. 前記信号計数手段は、当該上昇局面検出状態から当該上側閾値判定状態への移行に係る時点を第1基準時点とし、(a1)当該上側閾値判定状態において、第1基準時点から所定時間が経過するまでの間に、当該超えた値であるとの判定を行わなかった場合、(a2)当該下降局面検出状態において、第1基準時点から所定時間が経過するまでの間に、当該上基準値を決定しなかった場合、若しくは(a3)当該下側閾値判定状態において、第1基準時点から所定時間が経過するまでの間に、当該下回った値であるとの判定を行わなかった場合に、または、当該下降局面検出状態から当該下側閾値判定状態への移行に係る時点を第2基準時点とし、(b1)当該下側閾値判定状態において、第2基準時点から所定時間が経過するまでの間に、当該下回った値であるとの判定を行わなかった場合、(b2)当該上昇局面検出状態において、第2基準時点から所定時間が経過するまでの間に、当該下基準値を決定しなかった場合、若しくは(b3)当該上側閾値判定状態において、第2基準時点から所定時間が経過するまでの間に、当該超えた値であるとの判定を行わなかった場合に、当該生体信号の波数のカウントを行わない又はリセットすることを特徴とする請求項2又は3に記載の生体信号処理装置。
  5. 前記信号計数手段は、当該上昇局面検出状態、当該上側閾値判定状態、当該下降局面検出状態、及び当該下側閾値判定状態の各々において、当該状態に留まっている時間が所定時間を超えた場合、当該生体信号の波数のカウントを行わない又はリセットすることを特徴とする請求項2から4のいずれか1項に記載の生体信号処理装置。
  6. 周期的な生体信号を含み得る入力信号に係るデータ値を逐次取り込み、取り込んだデータ値に基づいて、当該データ値の極小値に対応する下基準値と当該データ値の極大値に対応する上基準値とを順次決定又は更新し、(a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て所定条件を満たすより小さいデータ値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て所定条件を満たすより大きいデータ値が取り込まれた際に、当該生体信号の波数のカウントを行う信号計数手段を有し、
    前記信号計数手段は、(a)取り込んだデータ値が当該上基準値から見て所定条件を満たすより小さいデータ値であるとの判断に係る時点が、または、(b)取り込んだデータ値が当該下基準値から見て所定条件を満たすより大きいデータ値であるとの判断に係る時点が、波数をカウントした直近の時点から見て未だ所定時間以上経過した時点ではない場合、波数のカウントをスキップす
    とを特徴とする生体信号処理装置。
  7. 当該入力信号は生体の頭部から取得される信号であり、
    前記信号計数手段は、当該周期的な生体信号としての咀嚼に係る筋電信号の波数のカウントを行う
    ことを特徴とする請求項1から6のいずれか1項に記載の生体信号処理装置。
  8. 周期的な生体信号を含み得る入力信号の加速度成分データを生成する加速度成分生成手段と、
    当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出する代表値算出手段と、
    該代表値を逐次取り込み、取り込んだ代表値に基づいて、当該代表値の極小値に対応する下基準値と当該代表値の極大値に対応する上基準値とを順次決定又は更新し、(a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て所定条件を満たすより小さい代表値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て所定条件を満たすより大きい代表値が取り込まれた際に、当該生体信号の波数のカウントを行う信号計数手段と
    を有することを特徴とする生体信号処理装置。
  9. 前記代表値算出手段は、
    当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みを算出し、
    当該所定時間区間における当該加速度成分データの偏り具合に係る値を、当該重みによって重み付けした値を当該代表値とする
    ことを特徴とする請求項8に記載の生体信号処理装置。
  10. 当該加速度成分データを生成する前の当該入力信号に対し、商用電源に係るノイズを低減する帯域除去フィルタ処理と、高周波ノイズを除去する低域通過フィルタ処理とを実施する前フィルタ処理手段を更に有することを特徴とする請求項8又は9に記載の生体信号処理装置。
  11. 周期的な生体信号を含み得る入力信号に係るデータ値を逐次取り込み、取り込んだデータ値に基づいて、当該データ値の極小値に対応する下基準値と当該データ値の極大値に対応する上基準値とを順次決定又は更新し、(a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て所定条件を満たすより小さいデータ値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て所定条件を満たすより大きいデータ値が取り込まれた際に、当該生体信号の波数のカウントを行う信号計数手段と、
    当該入力信号に対し多重解像度解析処理を実施し、多重解像度解析処理後の信号振幅の時系列データが所定のヒステリシスを示す時間区間を、何らかの生体信号が発生した信号発生時間区間に決定する発生時間区間決定手段
    有し、
    前記信号計数手段は、決定された当該信号発生時間区間において当該生体信号の波数のカウントを行う
    ことを特徴とする生体信号処理装置。
  12. 当該周期的な生体信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることを特徴とする請求項1から11のいずれか1項に記載の生体信号処理装置。
  13. 周期的な生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
    当該入力信号に係るデータ値を逐次取り込み、取り込んだデータ値に基づいて、当該データ値の極小値に対応する下基準値と当該データ値の極大値に対応する上基準値とを順次決定又は更新し、(a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て、予め決定した下閾値分を超えて下回ったデータ値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て、予め決定した上閾値分を超えて上回ったデータ値が取り込まれた際に、当該生体信号の波数のカウントを行う信号計数手段としてコンピュータを機能させることを特徴とする生体信号処理プログラム。
  14. 周期的な生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
    当該入力信号に係るデータ値を逐次取り込み、取り込んだデータ値に基づいて、当該データ値の極小値に対応する下基準値と当該データ値の極大値に対応する上基準値とを順次決定又は更新するステップと、
    (a)当該下基準値とそれに次ぐ当該上基準値とが決定若しくは更新され、さらに当該上基準値から見て、予め決定した下閾値分を超えて下回ったデータ値が取り込まれた際に、または、(b)当該上基準値とそれに次ぐ当該下基準値とが決定若しくは更新され、さらに当該下基準値から見て、予め決定した上閾値分を超えて上回ったデータ値が取り込まれた際に、当該生体信号の波数のカウントを行うステップと
    を有することを特徴とする生体信号処理方法。
JP2019098323A 2019-05-27 2019-05-27 信号データに応じた基準値に基づき生体信号の計数を行う生体信号処理装置、プログラム及び方法 Active JP7082956B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019098323A JP7082956B2 (ja) 2019-05-27 2019-05-27 信号データに応じた基準値に基づき生体信号の計数を行う生体信号処理装置、プログラム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019098323A JP7082956B2 (ja) 2019-05-27 2019-05-27 信号データに応じた基準値に基づき生体信号の計数を行う生体信号処理装置、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP2020192002A JP2020192002A (ja) 2020-12-03
JP7082956B2 true JP7082956B2 (ja) 2022-06-09

Family

ID=73548435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019098323A Active JP7082956B2 (ja) 2019-05-27 2019-05-27 信号データに応じた基準値に基づき生体信号の計数を行う生体信号処理装置、プログラム及び方法

Country Status (1)

Country Link
JP (1) JP7082956B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009122788A1 (ja) 2008-03-31 2009-10-08 シャープ株式会社 体動測定装置、携帯電話、体動測定装置の制御方法、体動測定装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2018182043A1 (ja) 2017-03-31 2018-10-04 コンピュータ・ハイテック株式会社 咀嚼又は嚥下の検知装置
JP2019017945A (ja) 2017-07-21 2019-02-07 Kddi株式会社 本体と電極部とを弾性をもって接続した生体信号取得装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009122788A1 (ja) 2008-03-31 2009-10-08 シャープ株式会社 体動測定装置、携帯電話、体動測定装置の制御方法、体動測定装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2018182043A1 (ja) 2017-03-31 2018-10-04 コンピュータ・ハイテック株式会社 咀嚼又は嚥下の検知装置
JP2019017945A (ja) 2017-07-21 2019-02-07 Kddi株式会社 本体と電極部とを弾性をもって接続した生体信号取得装置

Also Published As

Publication number Publication date
JP2020192002A (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
JP6423487B2 (ja) 痙攣の検出のためのシステムおよびその作動方法
JP7009342B2 (ja) 咀嚼や笑みに係る量に基づき食事を評価可能な装置、プログラム及び方法
US10736560B2 (en) Automatic detection of teeth clenching and/or teeth grinding
JP6580497B2 (ja) 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法
JP5464072B2 (ja) 筋活動診断装置および方法、並びにプログラム
US20190174039A1 (en) Bio-sensing and eye-tracking system
US20190073605A1 (en) Systems and methods for real-time neural command classification and task execution
JP6521778B2 (ja) 筋電信号を用いてアプリケーションに感情識別子を付与するプログラム、端末及びシステム
JP6452248B2 (ja) 筋電信号を用いて顔表情を識別するデバイス、端末及びプログラム
US20170188867A1 (en) Systems, Methods, and Uses of Bayes-Optimal Nonlinear Filtering Algorithm
US20220218941A1 (en) A Wearable System for Behind-The-Ear Sensing and Stimulation
JP6765352B2 (ja) 本体と電極部とを弾性をもって接続した生体信号取得装置
JP6914525B2 (ja) 嚥下機能解析システム及びプログラム
US11961382B2 (en) Method for operating a hearing system
JP6810682B2 (ja) 加速度成分の代表値で周期的生体信号発生を判定する生体信号処理装置、プログラム及び方法
JP6685891B2 (ja) フィルタ処理及び周波数判定処理を用いた生体信号処理装置、プログラム及び方法
JP7082956B2 (ja) 信号データに応じた基準値に基づき生体信号の計数を行う生体信号処理装置、プログラム及び方法
JP6821549B2 (ja) 加速度成分の代表値で生体信号発生を判定する生体信号処理装置、プログラム及び方法
JP6695817B2 (ja) 単位空間からの離隔度合いで判定を行う生体信号処理装置、プログラム及び方法
US11494001B2 (en) Gesture detection system for personal head wearable device
US20230210400A1 (en) Ear-wearable devices and methods for respiratory condition detection and monitoring
JP7184731B2 (ja) 左右対称に取得した生体信号の偏りを検知する生体信号処理装置、プログラム及び方法
JP2023527742A (ja) 複数の生体信号を監視するためのシステム及び方法、並びそのシステムにおいて動作可能なゲートウェイ・デバイス
US20220339444A1 (en) A Wearable System for Intra-Ear Sensing and Stimulating
EP3821805B1 (en) Physiological state evaluation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R150 Certificate of patent or registration of utility model

Ref document number: 7082956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150