JP6810682B2 - 加速度成分の代表値で周期的生体信号発生を判定する生体信号処理装置、プログラム及び方法 - Google Patents

加速度成分の代表値で周期的生体信号発生を判定する生体信号処理装置、プログラム及び方法 Download PDF

Info

Publication number
JP6810682B2
JP6810682B2 JP2017250189A JP2017250189A JP6810682B2 JP 6810682 B2 JP6810682 B2 JP 6810682B2 JP 2017250189 A JP2017250189 A JP 2017250189A JP 2017250189 A JP2017250189 A JP 2017250189A JP 6810682 B2 JP6810682 B2 JP 6810682B2
Authority
JP
Japan
Prior art keywords
signal
myoelectric
time interval
representative value
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017250189A
Other languages
English (en)
Other versions
JP2019115410A (ja
Inventor
大作 若松
大作 若松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2017250189A priority Critical patent/JP6810682B2/ja
Publication of JP2019115410A publication Critical patent/JP2019115410A/ja
Application granted granted Critical
Publication of JP6810682B2 publication Critical patent/JP6810682B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、人の生体信号を検知する技術に関する。
近年、人間や動物の各種活動に起因する種々の生体信号をセンサによって検知し、信号処理して得られる生体データを様々な場面で利用する技術が開発されている。ここでセンサとしては、例えば、腕時計型脈拍センサ、イヤホン型脈拍センサや、ヘッドバンド型脳波センサ等が使用される。また、このようなセンサによって検知された生体信号は、例えばユーザに携帯されたスマートフォンによって処理・加工され、様々なアプリで利用されている。
このようなセンサを利用した具体的技術例として、本願発明者は、生体信号としての筋電信号を検出する筋電センサを備えており笑みや噛み締めといった顔表情を識別することができるデバイスを発明している（特許文献１参照）。ここで、この筋電センサのリファレンス用電極及び検出用電極はそれぞれ、左及び右（又は、右及び左）の耳介周辺から頬近傍の何処か１点の皮膚表面に接するように配置される。
また、このデバイスは筋電信号処理として、アーチファクト（目的信号以外のノイズ信号）に係る第１の周波数帯におけるパワー値VLFと、第１の顔表情時の信号に係る第２の周波数帯におけるパワー値LFとを算出し、第１のパワーVLFが第１の基準パワーVLFBase以下であり、且つ第２のパワーLFが第２の基準パワーLFBaseよりも大きい場合に、第１の顔表情時であると判定するものとなっている。
さらに、本願発明者は、特許文献２において、筋電信号の周波数軸のパワー特徴量を基準となる特徴量と比較するため、類似度として周波数ワーピングにより距離を求める方法を開示している。
特開２０１７−０２９３２３号公報 特開２０１７−１４０１９８号公報
このように、本願発明者は、様々な生体信号処理手法の研究開発を行ってきたが、特に、信号の周波数分析を行わずに、所定の時間的周期性を有する生体信号である「周期的生体信号」の発生を判定するとの課題に取り組んできた。ここで、この「周期的生体信号」としては、例えば頭部に装着するタイプの筋電センサデバイスを用いた場合に、「咀嚼」によって発生する筋電信号が典型例として挙げられる。
しかしながら例えば、上記の特許文献１に開示したデバイスでは信号検出手法として、特定の周波数に対する基準パワーを事前に計測する必要があり、また、上記の特許文献２に開示した手法においても、周波数に対するパワーを特徴量ベクトル（スペクトラムの山の形）として類似度を求める必要があった。これに対し、周波数分析を行わずに「周期的生体信号」が発生したか否かの判定を行うことによって、より計算量の少ない処理も実現し易くなる。
そこで、本発明は、周波数分析に頼ることなく、周期的生体信号の発生を判定可能な生体信号処理装置、プログラム及び方法を提供することを目的とする。
本発明によれば、筋電信号を含み得る入力信号を処理する生体信号処理装置であって、
当該入力信号に対し２階差分フィルタ処理を施して当該入力信号の２階差分としての加速度成分データを生成する加速度成分生成手段と、
当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出する代表値算出手段と、
当該代表値が所定範囲を超えて変動した際のピーク位置を算出し、隣接する当該ピーク位置の時間間隔が所定時間範囲内である場合に、生体の繰り返し運動に起因する筋電信号である周期的筋電信号が発生したと判定する信号発生判定手段と
を有する生体信号処理装置が提供される。
また、本発明による生体信号処理装置において、入力信号は生体の頭部から取得される信号であり、信号発生判定手段は、当該周期的筋電信号としての咀嚼に係る筋電信号の発生を判定することも好ましい。
さらに、本発明による生体信号処理装置の一実施形態として、本装置は、算出された当該代表値の時系列データに対し、共振器フィルタ処理を実施する共振器フィルタ処理手段を更に有し、
信号発生判定手段は、当該共振器フィルタ処理の施された当該代表値が当該所定範囲を超えて変動した際のピーク位置を算出して当該周期的筋電信号の発生を判定することも好ましい。
また、本発明による生体信号処理装置における代表値算出手段は、
当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みを算出し、
当該所定時間区間における当該加速度成分データの偏り具合に係る値を、当該重みによって重み付けした値を当該代表値とすることも好ましい。
さらに、本発明による生体信号処理装置の他の実施形態として、本装置は、当該加速度成分データを生成する前の当該入力信号に対し、商用電源に係るノイズを低減する帯域除去フィルタ処理と、高周波ノイズを除去する低域通過フィルタ処理とを実施する前フィルタ処理手段を更に有することも好ましい。
さらにまた、本発明による生体信号処理装置の更なる他の実施形態として、本装置は、当該入力信号に対し多重解像度解析処理を実施し、多重解像度解析処理後の信号振幅の時系列データが、時間経過とともに第１の閾値を上回った時点と、次いで該第１の閾値よりも小さい第２の閾値を下回った時点とを決定し、決定した両時点の間となる時間区間を、何らかの筋電信号が発生した信号発生時間区間に決定する発生時間区間決定手段を更に有し、
信号発生判定手段は、当該代表値の周期性と、決定された当該信号発生時間区間とに基づいて当該周期的筋電信号の発生を判定することも好ましい。
また、上記の発生時間区間を決定する実施形態において、本装置は、当該信号発生時間区間で当該周期的筋電信号が発生していないと判定された際、当該入力信号の平均パワー周波数を算出し、当該平均パワー周波数の高さに基づいて、発生した当該何らかの筋電信号の種別を判定する生体信号判別手段を更に有することも好ましい。
さらに、上記の発生時間区間を決定する実施形態において、本装置は、当該信号発生時間区間で当該周期的筋電信号が発生していないと判定された際、当該入力信号の標準偏差と平均パワー周波数とを含む特徴量を算出し、当該特徴量について、基準状態に該当する入力信号の当該特徴量によって設定された単位空間から離隔した度合いである離隔度合いを算出し、算出された当該離隔度合いに基づいて、発生した当該何らかの筋電信号の種別を判定する生体信号判別手段を更に有することも好ましい。
また、本発明による生体信号処理装置において、当該周期的筋電信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左（又は右）の耳介周辺から頬近傍の１つの皮膚位置に接し、検出用電極が右（又は左）の耳介周辺から頬近傍の１つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることも好ましい。
本発明によれば、また、筋電信号を含み得る入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
当該入力信号に対し２階差分フィルタ処理を施して当該入力信号の２階差分としての加速度成分データを生成する加速度成分生成手段と、
当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出する代表値算出手段と、
当該代表値が所定範囲を超えて変動した際のピーク位置を算出し、隣接する当該ピーク位置の時間間隔が所定時間範囲内である場合に、生体の繰り返し運動に起因する筋電信号である周期的筋電信号が発生したと判定する信号発生判定手段と
してコンピュータを機能させる生体信号処理プログラムが提供される。
本発明によれば、さらに、筋電信号を含み得る入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
当該入力信号に対し２階差分フィルタ処理を施して当該入力信号の２階差分としての加速度成分データを生成するステップと、
当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出するステップと、
当該代表値が所定範囲を超えて変動した際のピーク位置を算出し、隣接する当該ピーク位置の時間間隔が所定時間範囲内である場合に、生体の繰り返し運動に起因する筋電信号である周期的筋電信号が発生したと判定するステップと
を有する生体信号処理方法が提供される。
本発明の生体信号処理装置、プログラム及び方法によれば、周波数分析に頼ることなく、周期的生体信号の発生を判定することができる。
本発明による生体信号処理装置の一実施形態を示す模式図である。 本発明に係る代表値SDWを算出するのに用いられる重みWを説明するためのグラフである。 人間による「ガムの咀嚼」に起因する筋電信号を含む入力信号に対し、共振器フィルタ処理までの処理を行った実施例を示すグラフである。 人間による「煎餅の咀嚼」に起因する筋電信号を含む入力信号に対し、共振器フィルタ処理までの処理を行った実施例を示すグラフである。 人間による「お笑い動画視聴」に起因する筋電信号を含む入力信号に対し、共振器フィルタ処理までの処理を行った実施例を示すグラフである。 人間による「ガムの咀嚼」、「煎餅の咀嚼」及び「お笑い動画視聴」に起因する筋電信号を含む入力信号に対し、発生時間区間決定処理を行った実施例を示すグラフである。 本発明による生体信号処理方法の一実施形態の概略を示すフローチャートである。 処理された生体信号の時系列データにおけるヒステリシスを利用した生体信号計数処理の一実施例を示すグラフである。 本発明による生体信号処理装置の他の実施形態を示す模式図である。 本発明による生体信号処理装置の更なる他の実施形態を示す模式図である。
以下では、本発明の実施形態について、図面を用いて詳細に説明する。
［生体信号処理装置］
図１は、本発明による生体信号処理装置の一実施形態を示す模式図である。
図１には、本発明による生体信号処理装置の一実施形態としての筋電センサ付メガネ１が示されている。筋電センサ付メガネ１は、生体（例えば人間であるユーザ）の頭部に取り付けて、生体信号を取得可能なメガネ型の装置である。この装置で取得される生体信号は、本実施形態において、顔面内部位の動き又は表情に係る動きに起因して発生する電気信号としての「筋電信号」となっている。また、取得される生体信号には、このような動きによって発生する「電極ズレに起因する（ノイズ）信号」等も混入し得る。
ここで、検出対象となる顔面内部位の動き又は表情に係る動きとしては、例えば、（微笑に係る）口角上げ、噛み締め（若しくは食い縛り）及び瞬目（まばたき動作）等のうちの少なくとも１つが設定可能であるが、本実施形態の筋電センサ付メガネ１では、特に、繰り返し動作に起因するが故に時間的周期性を有するような「周期的生体信号」である「咀嚼」に係る筋電信号を、効率良く検出することを特徴としている。
同じく図１に示すように、筋電センサ付メガネ１は、
（ａ）生体信号を取り込み処理する部分である信号処理ボックス１１を備えた、装置本体部としてのフレーム部と、
（ｂ）頭部の皮膚に接触する位置であってフレーム部の重量の少なくとも一部を受け止め可能な位置に配された、生体信号を受信するための電極部としてのプラス電極パッド１３及びマイナス電極パッド１４と、
（ｃ）プラス電極パッド１３及びマイナス電極パッド１４を介して受信された生体信号を信号処理ボックス１１へ伝えるための導電路を備えた弾性支持部と、
（ｄ）鼻の上部近傍に接触する位置に配され、生体信号受信の際のグランド（ＧＮＤ）電極又はノイズキャンセル用電極を備えた鼻パッド電極部１５と
を有している。なお、上記（ｄ）のノイズキャンセル用電極は、商用電源等に起因するコモンモードノイズを低減させるＤＲＬ(Driven Right Leg)電極であってもよい。
また、上記（ｂ）のプラス電極パッド１３は、生体信号受信の際の検出電極又はプラス電極として機能し、一方、マイナス電極パッド１４は、生体信号受信の際のリファレンス電極又はマイナス電極として機能する。生体信号は、これらプラス電極パッド１３とマイナス電極パッド１４との間の電位差として検出・取得されることになる。
このように、筋電センサ付メガネ１では、プラス電極パッド１３及びマイナス電極パッド１４といった電極部が、生体信号を受信する手段としてだけではなく、装置本体部を支持する手段としても機能している。また、弾性支持部は、弾性をもってこれら「電極部」と装置本体部とを接続している。その結果、例えば装着された頭部が大きく動いたとしても、これらの電極部を、弾性支持部という弾性部位を介して伝わる装置本体部の重量をもって、頭部の皮膚の所定位置近傍に安定して接触させ続けることが可能となる。
ここで、１つの装着例を説明する。人間の頬骨は顔の正面から見ると横に張り出しているが、プラス電極パッド１３及びマイナス電極パッド１４を、例えばこの頬骨の最も幅広の箇所より若干上方の皮膚に当接させれば、左右の「電極部」の間隔が頬骨の最大幅よりも狭くなっていて頬骨上部の広がった部分に引っ掛かることになるので、これにより、筋電センサ付メガネ１が安定して支持される。
また、筋電センサ付メガネ１は、図示していないが、電極部から信号処理ボックス１１へ生体信号を取り込むための導電路を備えており、電極部で受信された生体信号を、信号処理ボックス１１へ安定して確実に取り込むことを可能にする。すなわち、導電路は、左右の信号処理ボックス１１と各電極部との間をつなぐ安定した電気的伝送路として機能する。
なお、変更態様として、ＧＮＤ電極又はノイズキャンセル用電極としての機能を、メガネ１のモダン部に持たせることもできる。この場合、鼻パッド電極部１５を省略し、鼻パッドレスとすることも可能となる。また、更なる変更態様として、このモダン部の電極と鼻パッド電極部１５とを電気的に導通させ、それら複数の電極をＧＮＤ電極として機能させてもよい。
さらに当然ではあるが、プラス電極パッド１３及びマイナス電極パッド１４がそれぞれ左のテンプル部分及び右のテンプル部分に接続する入れ替わった形であっても構わない。いずれにしても、プラス電極パッド１３及びマイナス電極パッド１４を左右に分けて配置することによって、正中線に対し左右それぞれに存在する同種の筋肉の活動を捉えることができる。
例えば、本実施形態において特に着目している「咀嚼」に係る筋肉活動や、顔表情「笑み」を作る筋肉活動は一般に、左右のいずれか一方ではなく両方で同時に発生する。そのため、１チャンネルを構成する１組の電極を左右のいずれか一方のみであって観測対象の筋肉直上に例えば数ｃｍ隔てて配置するよりも、１組をなす電極の各々を左右に分けて配置する方が、左右の筋肉活動の全体を捉えることになるので結局、より安定した大きな筋電信号を得ることができるのである。
また、このように左右の電極を離隔させておくことにより、「咀嚼」（口の開閉）に起因する筋電信号や、「咀嚼」に伴って生じる皮膚表面の凹凸を原因とする皮膚と電極との間の接触抵抗の変化に起因する信号、さらには、その他の（例えば左右の眼球運動や食い縛り等の）頭部内の筋肉活動に起因する筋電信号等を、より確実に捉えることも可能となるのである。
さらに、弾性支持部は、本実施形態において２つ設けられており、それぞれプラス電極パッド１３及びマイナス電極パッド１４を、こめかみより下側の皮膚の位置であって、顔を正面から見た際の頬骨における最も幅広の個所より少し上の皮膚の位置へ弾性をもって押し当て（当接させ）、これにより筋電センサ付メガネ１を支持する支持構造として機能している。また、プラス電極パッド１３及びマイナス電極パッド１４のいずれも、頬上部からこめかみを介し耳の付け根までの範囲内のいずれかの位置で皮膚に接触することができるように、この弾性支持部のフレーム部に対する位置が調整されている。
同じく図１に示すように、本実施形態において、右側のテンプル部分に配置された信号処理ボックス１１は、処理部駆動用の電池を内蔵しており、一方、左側のテンプル部分に配置された信号処理ボックス１１は、この電池からの供給電力をもって、取得した生体信号の処理を行う生体信号処理部１２を含んでいる。これら左右の信号処理ボックス１１のそれぞれの重量は略（ほぼ）同等に設定されていることも好ましい。これにより、筋電センサ付メガネ１の重量における左右のバランスをとることができ、偏りのない良好な装着感を実現することができる。
ちなみに、これらの電池や生体信号処理部１２を、ボックスにではなくフレーム部に内蔵させ、筋電センサ付メガネ１全体を、外観上通常のメガネと大きく変わらないデザインにすることもできる。このような処理部のコンパクト化は、後に詳細に説明する実施形態の生体信号処理部１２を用いることによって可能となっている。
また、上述したように、プラス電極パッド１３及びマイナス電極パッド１４が頬上部からこめかみを介し耳の付け根までの範囲内の位置で皮膚に接触している場合、取得可能な生体信号は、筋電信号に限定されるものではない。例えば、耳付近の位置から検知可能である眼電位信号や脳波といった生体電位に基づく生体信号の他、生体用電位センサ以外のセンサデバイスが必要となるが、体温や発汗に係る信号や脈波等を検出し取得することも可能となっている。
［生体信号処理部の構成］
同じく図１によれば、信号処理ボックス１１に含まれる生体信号処理部１２は、生体信号を含み得る入力信号の処理部であり、
（Ａ）入力信号の「加速度成分データ」を生成する加速度成分生成部１２３と、
（Ｂ）「加速度成分データ」における所定時間区間でのデータの偏り具合に係る「代表値」を算出する代表値算出部１２４と、
（Ｃ）算出された「代表値」の周期性に基づいて、生体の繰り返し運動に起因する「周期的生体信号」の発生を判定する信号発生判定部１２８と
を有することを特徴としている。ここで「代表値」として、例えば標準偏差SDを用いてもよいが、より好ましくは後に詳述する、標準偏差SDに対し重み付けを行った値SDWを採用することができる。
このように、生体信号処理部１２は、「周期的生体信号」が発生しているか否かの判定において、多大な計算量を必要とする周波数分析を行うのではなく、「加速度成分データ」における「代表値」を算出して判定処理を行っている。本願発明者は、このようなより計算負担の少ない処理を適用することによって、検出対象である「周期的生体信号」が発生したか否かをより確実に判定することができることを見出した。
実際、筋電信号等の生体信号は、人工的な機械等による振動とは異なり、例えば多数の細胞の活動に起因して発生するので、もともと幅の広い周波数成分を有する交流信号となっている。本生体信号処理部１２によれば、このような生体信号発生の判定を行うにあたり、「加速度成分データ」の「代表値」に着目するので、多大な計算を必要とする周波数分析が不要となり、また、電極ずれによるノイズの発生に対しても頑健な生体信号処理が実現されるのである。
さらに、本願発明者は、このような生体信号処理部１２によって、特に着目している「咀嚼」によって混入してしまう大きな振幅のアーチファクトを確実に識別し、このようなアーチファクトに対する頑健性を向上させることができることも見出している。
ちなみに、後述するように、本生体信号処理部１２によれば、ユーザの顔から取得された筋電信号を用いて「笑み」等の顔表情を推定することも可能となる。その際、「咀嚼」の発生の有無を確実に判定することによって、「咀嚼」で混入する大きな振幅のアーチファクトにも頑健な顔表情推定処理を実施することができるのである。
同じく図１に示す実施形態の機能ブロック図において、生体信号処理部１２は、信号変換部１２１と、ノッチフィルタ部１２２ａ及び低域通過フィルタ（ＬＰＦ，Low-Pass filter）部１２２ｂを含む前フィルタ処理部１２２と、２階差分フィルタ部１２３ａを含む加速度成分生成部１２３と、代表値算出部１２４と、共振器フィルタ処理部１２５と、発生時間区間決定部１２６と、信号発生判定部１２７と、生体信号判別部１２８とを機能構成部としている。
ここで、生体信号処理部１２は、本発明による生体信号処理プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この生体信号処理プログラムを実行することによって、生体信号処理を実施する。また、上記の機能構成部は、生体信号処理部１２に保存された生体信号処理プログラムの機能と捉えることができる。さらに、図１における生体信号処理部１２の機能構成部間を矢印で接続して示した処理の流れは、本発明による生体信号処理方法の一実施形態としても理解される。なお、左側の信号処理ボックス１１には、生体信号処理部１２と合わせて信号インタフェース１２９が更に設けられていることも好ましい。
同じく図１において、信号変換部１２１は、筋電センサとして、
（ａ）プラス電極パッド１３と電気的に接続されたプラス（検出用）電極と、
（ｂ）マイナス電極パッド１４と電気的に接続されたマイナス（リファレンス）電極と
の電位差の交流成分を、
（ｃ）鼻パッド電極１５と電気的に接続されたＧＮＤ電極
におけるＧＮＤ電位との差動増幅によって増幅し、このアナログの生体信号を一定のサンプリング周波数でデジタル化する。ちなみに、この差動増幅は、商用電源等に起因するコモンモードノイズを軽減するためのＤＲＬ回路をもって実施されてもよい。
これにより、例えば、プラスマイナス0.1〜数百μＶの範囲の皮膚電位検出が可能となる。また、このデジタル化の条件として、サンプリング周波数が500Hz以上であって量子化10bit以上でアナログ／デジタル（Ａ／Ｄ）変換を行うことも好ましい。なお、このような回路構成は、例えばNeurosky社製のＴＧＡＭ１を利用して実現可能となっている。
前フィルタ処理部１２２は、ノッチフィルタ部１２２ａ及びローパスフィルタ（ＬＰＦ）部１２２ｂを有している。このうち、ノッチフィルタ部１２２ａは、加速度成分データを生成する前の入力信号に対し、（混入する場合の少なくない）商用電源に係る周期的ノイズを低減する帯域除去フィルタ処理を実施する。ちなみに、上述したNeurosky社製のＴＧＡＭ１は、商用電源由来のノイズを軽減するノッチフィルタを搭載しており、ノッチフィルタ部１２２ａとしてこれを利用することができる。
一方、ＬＰＦ部１２２ｂは、帯域除去フィルタ処理の施された入力信号に対し、高周波ノイズを除去するＬＰＦ処理を実施する。具体的にＬＰＦ部１２２ｂは、入力信号に対し高域通過フィルタ（ＨＰＦ，High-Pass Filter）処理を実施し、その結果を元の入力信号から差し引くことによって、ＬＰＦ処理としてもよい。ここで、ＨＰＦとして、例えばＤＣブロッカ（DC Blocker）を使用することができる。
このＤＣブロッカは、入力信号から直流バイアス成分（超低周波数成分）を除去し、交流成分を取り出すためのフィルタであり、次式
（１） y[n]＝x[n]−x[n-1]＋r＊y[n-1]
のような差分方程式の下で機能する。ここで、nはサンプル位置（サンプル・インデックス）であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。また、係数rは０〜１の値をとり、r＝0の場合、このフィルタは次に説明する差分フィルタと等価になる。ちなみに、後に図３〜６を用いて説明する実施例では、r＝0.9に設定されている。また、このＬＰＦ処理を施された後であっても、筋電信号としての交流信号は残留しているのである。
加速度成分生成部１２３は、２階差分フィルタ部１２３ａを有し、ＬＰＦ処理の施された入力信号の加速度成分データを生成する。具体的に、この２階差分フィルタ部１２３ａは、当該入力信号に対して差分フィルタ処理を２回実施する構成とすることができる。ここで使用される差分フィルタの原理を示す差分方程式は、次式
（２） y[n]＝x[n]−x[n-1]
の通りとなる。上式（２）において、nはサンプル位置（サンプル・インデックス）であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。
なお一般に、加速度成分生成部１２３のようにデジタルフィルタを使用する場合、高度なデジタルフィルタになるほど計算量がより増大することになる。この計算量の増大は、本筋電センサ付メガネ１のようなモバイルデバイスにおいてはバッテリーの持続時間の低下をもたらし、大きな問題となる。これに対し、加速度成分生成部１２３は、例えば三角関数を含むフィルタを使用したりせず、次数の少ないフィルタを用いて生体信号の処理を行っているので、問題となる計算量の増大を抑制することができるのである。
同じく図１において、代表値算出部１２４は、加速度成分生成部１２３で生成された加速度成分データを、所定時間区間（ウィンドウ分析区間）に分割し、各ウィンドウ分析区間でのデータの偏り具合に係る代表値を算出する。一般に、生体センサから出力される時系列データは、逐次リアルタイムに分析することによって、ユーザインタフェースを介し、ユーザにリアルタイムにフィードバック可能となり、非常に利用し易くなる。この際、予めウィンドウ分析区間を設け、この分析区間をずらしながら逐次分析することによって、概ねリアルタイムな分析処理が可能となるのである。
本実施形態において、代表値算出部１２４は、信号変換部１２１におけるデジタル化のサンプリング周波数が512Hzである場合、加速度成分の時系列データが64サンプル入力される毎に、直近に入力された128サンプルをウィンドウ分析区間として標準偏差SDを算出する。また変更態様として、同じくウィンドウ分析区間を128サンプルとし、加速度成分の時系列データを0.25秒毎（128サンプル毎）に区切りながら、区切った区間毎に、当該区間内の加速度成分データにおける標準偏差SDを算出してもよい。
なお、ここで算出される値は当然に、標準偏差SDに限定されるものではなく、ウィンドウ分析区間での加速度成分データの偏り具合に係る値ならば種々の値が採用可能である。
代表値算出部１２４は、また、各ウィンドウ分析区間における加速度成分が所定範囲内に連続して留まっている時間区間の長さ（サンプル数長len_th）について単調減少関数となる重みWを算出する。本願発明者は、筋電信号が発生していない場合に、発生している場合と比較して、この時間区間が相当に長くなることを見出した。そこで、この時間区間が長くなると急速に小さくなるような（又は少なくともこの時間区間について単調減少関数となる）「重みW」を決定し、代表値SDWにそのような特性を盛り込むことによって、筋電信号の無い場合やノイズのみの場合における筋電信号発生との誤判定を、より確実に回避することが可能となるのである。
以下具体的に、重みWの導出を説明する。図２は、本発明に係る代表値SDWを算出するのに用いられる重みWを説明するためのグラフである。
ここで最初に、加速度成分生成部１２３で生成された加速度成分データにおいて、重み算出対象のウィンドウ分析区間の先頭から加速度成分の振幅を走査し、予め設定した閾値th未満の振幅が連続しているサンプル数長len_thを決定しておく。また、ノイズ区間を規定することになる観測サンプル数obsを予め設定しておく。例えば、th＝10、及びobs＝15と設定することができる。
ちなみに、ウィンドウ分析区間内に、閾値th未満の振幅連続区間が複数存在する場合、サンプル数長len_thはそれらの区間の合計サンプル数としてもよい。または、そのうち最も時間区間の長い振幅連続区間におけるサンプル数を、サンプル数長len_thとすることも可能である。
図２（Ａ）には、サンプル数長len_thの関数としての指数重みWが示されている。この指数重みWは、次式
（３） W＝exp(1−len_th/obs)
によって規定されている。また、図２（Ａ）ではobs＝15であって、Len_th＝15ならばW＝1.0となる。さらに、len_thが大きくなるにつれて指数重みWは急激に減少し、ゼロに漸近する。実際、len_thがウィンドウ分析区間長（128サンプル）相当となると、指数重みWは概ねゼロとなる。
一方、図２（Ｂ）には、同じくobs＝15の場合における、サンプル数長len_thの関数としての反比例重みWが示されている。反比例重みWは、次式
（４） W＝1／((len_th−obs)/a＋1)
によって規定される。ここで、aはobsを超える値（a＞obs）をとって分母を正値にすることが好ましい。図２（Ｂ）の反比例重みWは、a＝obs＊obs（＝225）の場合であり、Len_th＝15ならばW＝1.0となる。また、len_thが大きくなるにつれて反比例重みWは減少し、ゼロに近づく。
勿論、重みWは、以上に説明したものに限定されるものではない。len_thの単調減少関数であれば重みWとして採用可能であり、また好ましくは、len_thの増加とともにゼロに近づく関数、より好適にはゼロに漸近する関数であれば、種々のものが重みWとして用いることができる。ここで例えば、重みWを負の傾きを有するlen_thの一次関数としてもよいが、図２（Ａ）に示した指数重みWの方が、より確実な生体信号発生判定に資することになる。
図１に戻って、代表値算出部１２４は、算出した標準偏差SDを、同じく算出した重みWによって重み付けした値を代表値SDWに決定する。具体的には、次式
（５） SDW[k]＝W[k]＊SD[k]
によって代表値SDW[k]を算出する。ここで上式（５）において、kはウィンドウ位置（ウィンドウ・インデックス）であり、SDW[k]、W[k]及びSD[k]における[k]は、それぞれウィンドウ位置kでの値であることを示す。
共振器フィルタ処理部１２５は、算出された代表値SDWの時系列データに対し、共振器フィルタ処理を実施する。この共振器フィルタ処理は、算出された代表値SDWの時系列データにおいて予め特定された周期性が存在する場合に、この特定された周期性成分を増幅する処理となっている。このような処理を行うことにより、後に説明する信号発生判定部１２７において実施される、代表値の時系列データが周期性を有するか否かの判定処理を、より高い判定精度をもって実施することができるのである。
具体的に、共振器フィルタ処理は、次に示す差分方程式
（６） y[n]＝a1＊y[n-1]＋a2＊y[n-2]＋b0＊x[n]
によって実現される。上式（６）において、nはサンプル位置（サンプル・インデックス）であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。また、係数a1、a2及びb0は、次式
（７） a1＝2＊exp(−π＊Q／fs)＊cos(2π＊f0／fs)
a2＝−exp(−2π＊Q／fs)
b0＝1−a1−a2
をもって算出される。ここで、Qは共振度（Q＞0）であり、fsはスライディング・ウィンドウ分析周波数（単位はHz）であって、f0は共振周波数（単位はHz）である。ちなみに、後に図３〜６を用いて説明する実施例では、Q＝1、f0＝1／0.7＝1.429（Hz）、及びfs＝8（Hz）となっている。
発生時間区間決定部１２６は、加速度成分データを生成する前の入力信号に対して多重解像度解析（ＭＲＡ，MultiResolution Analysis）処理を実施し、ＭＲＡ処理後の信号振幅の時系列データが所定のヒステリシスを示す時間区間を、何らかの生体信号が発生した信号発生時間区間に決定する。
ここで、本願発明者は、センサからの入力信号に対しＭＲＡ処理を施すことによって生体信号が発生したか否かを判定可能であることを新たに見出した。この発見に基づき、発生時間区間決定部１２６は生体信号の発生時間区間を特定できるのである。なお、発生時間区間決定部１２６におけるこのＭＲＡ処理については、後に図３〜６に示した実施例を用いて詳細に説明する。
いずれにしても、次に説明する信号発生判定部１２７は、算出された代表値SDWの周期性だけではなく、この決定された信号発生時間区間をも勘案することによって、周期的生体信号の発生をより確実に判断することが可能となるのである。なお勿論、この発生時間区間決定部１２６を省略し、代表値SDWの周期性だけで信号発生判定処理を実施することも可能である。
同じく図１において、信号発生判定部１２７は本実施形態において、共振器フィルタ処理部１２５で共振器フィルタ処理の施された代表値SDWの時系列データの周期性に基づき、周期的生体信号の発生を判定する。ちなみに、本実施形態の場合、発生したと判定される周期的生体信号は、頭部に装着された筋電センサ付メガネ１から取得されるものであることから、「咀嚼」に起因する筋電信号であると判断される。すなわち、信号発生判定部１２７は、咀嚼に係る筋電信号の発生を判定するものとなっている。
ここで、代表値SDWの時系列データが周期性を有するか否かの判定の具体例については、後に図３〜６に示した実施例を用いて詳細に説明するが、ここではその概略を説明する。信号発生判定部１２７は、
（ａ）代表値SDWが所定範囲を超えて変動した際のピーク位置を算出し、
（ｂ）隣接するピーク位置の時間間隔が所定時間範囲内である場合に、代表値SDWの時系列データが周期性を有しているとし、周期的生体信号が発生したと判定するのである。
同じく図１において、生体信号判別部１２８は、（発生時間区間決定部１２６において決定された）信号発生時間区間において、（信号発生判定部１２７によって）周期的生体信号（本実施形態では「咀嚼」に係る筋電信号）が発生していないと判定された際、この信号発生時間区間で発生している生体信号の種別を判定する。例えば、発生した生体信号は食い縛り動作によるもの、又は口角上げ動作によるものとの判定を行う。この生体信号判別部１２８での処理については、後に、図８のフローチャートを用いて全体のフローを概観する際、詳細に説明を行う。
ちなみに、信号発生判定部１２７や生体信号判別部１２８における判定結果の情報は、信号インタフェース１２９を介し、例えばユーザの携帯した携帯端末２へ送信され、携帯端末２において様々なアプリで利用されることも好ましい。この場合、例えば単位時間（１時間や１日等）当たりの生体信号発生回数や生体活動量が時系列のグラフとして表示されてもよい。
例えば、咀嚼回数や、咀嚼ではないとの判定の下で口角上げに係る筋電信号が特定された場合には「笑み」の起こった回数等が、グラフ化されてもよい。また、咀嚼に係る筋肉の活動量や「笑み」に係る筋肉の活動量が、時系列のグラフとして表示されることも可能である。また、これらの情報がログとして記録されてもよく、さらには、筋電センサ付メガネ１のレンズ部に設けられた（図示していない）ディスプレイに表示させることも可能となる。
なお、信号インタフェース１２９と携帯端末２とは、無線又は有線（ケーブル）をもって通信接続されている。このうち、無線は、例えばBluetooth（登録商標）や、Wi-Fi（登録商標）等の無線ＬＡＮとすることができる。また、有線（ケーブル）は、ＵＳＢ(Universal Serial Bus)で接続されるものであってもよい。なお、携帯端末２は、スマートフォン、携帯電話機、ＰＤＡ(Personal Digital Assistant)、タブレット型コンピュータ等とすることができるが、例えばパーソナルコンピュータ等の他の情報処理装置であってもよい。
［実施例］
以下、実際の生体信号（筋電信号）を含む入力信号を用い、本発明に係る生体信号処理を行った実施例を説明する。
図３〜５はそれぞれ、人間による「ガムの咀嚼」、「煎餅の咀嚼」及び「お笑い動画視聴」に起因する筋電信号を含む（サンプリング周波数512Hzでサンプリングされた）入力信号に対し、共振器フィルタ処理までの処理を行った実施例を示すグラフである。
図３〜５（Ａ）には、入力信号の時系列データの信号強度波形を示すグラフが示されている。ここでこれらの入力信号は、本実施例においてノッチフィルタ部１２２ａ（図１）として利用したＴＧＡＭ１から出力された信号となっている。これらの入力信号に対し、ＬＰＦ部１２２ｂ（図１）、加速度成分生成部１２３（図１）及び代表値算出部１２４（図１）における処理を施した結果を図３〜５（Ｂ）に示す。
なお本実施例において、上記の代表値算出部１２４（図１）における処理では、サンプリング周波数が512Hzである加速度成分の時系列データが64サンプル入力される毎に、直近に入力された128サンプルをウィンドウ分析区間とし、当該分析区間において標準偏差SDが算出されている。また、重みWとして、図２（Ａ）に示したような指数重みWが採用されている。
これら図３〜５（Ｂ）のグラフには、代表値SDWの時系列データの波形が示されており、いずれも筋電信号の検出されていることが見てとれる。このうち、「ガムの咀嚼」（図３（Ｂ））及び「煎餅の咀嚼」（図４（Ｂ））の場合には、咀嚼に起因する高い周期性を有する周期的筋電信号が発生している。ここで一般に、正常な有歯顎者による咀嚼周期は0.8秒前後と言われているが、図３（Ｂ）及び図４（Ｂ）の筋電信号の周期も0.7秒強であって、当該筋電信号が咀嚼に起因するものであることを裏付けている。一方、「お笑い動画視聴」（図５（Ｂ））の場合には、周期性を有さない筋電信号が連続して発生していることが分かる。
このように、咀嚼による筋電信号の発生を判定するにあたり、この時間的な周期性が利用可能であることが理解される。しかしながら、図３〜５（Ｂ）のような代表値SDWの時系列データの段階でその周期性を判定しようとしても、誤判定の増加することが分かっている。例えば、図５（Ｂ）の「お笑い動画視聴」の場合でも、筋電信号が連続して発生してはいるもののその強度は不安定であり、強度変動がたまたま咀嚼周期の範囲内の周期性を示しているとの判定がなされる結果が少なからず得られている。
そこで本実施例では、図３〜５（Ｂ）に示した代表値SDWの時系列データに対し、さらに共振器フィルタ処理部１２６における処理を実施し、信号波形に見られる周期性を更に増幅する処置を施している。この際、共振度Qは1であって、共振周波数f0は1.429（＝1／0.7）（Hz）に設定された。このような共振器フィルタ処理を施した結果が、図３〜５（Ｃ）のグラフとなっている。ちなみにこれらのグラフにおいて、縦軸は、共振器フィルタ処理後の代表値、すなわち代表値SDWに共振器フィルタを作用させた値である。
このうち、「ガムの咀嚼」（図３（Ｃ））及び「煎餅の咀嚼」（図４（Ｃ））の場合には、共振器フィルタ処理を施す前（図３（Ｂ）及び図４（Ｂ））と比較して、波形における山や谷、すなわち周期性が強調されていることが分かる。一方、「お笑い動画視聴」（図５（Ｃ））の場合には、そのような変化はほとんど見られない。
ここで本実施例では、咀嚼による周期的筋電信号を特定するため、共振器フィルタ処理を施した時系列データSDWRに対し、以下に示すような周期性判定・ピーク位置特定処理を実施している。
（ａ）最初に、咀嚼に係る所定周期を示すSDWRの波形が当て嵌まるような時間範囲を規定する時間範囲パラメータt_short及びt_longと、SDWRの振幅範囲を規定する振幅閾値thh_SDWR及びthl_SDWRを予め設定しておく。なお本実施例では、咀嚼周期0.7秒に対し±0.4秒の周期ゆらぎの許容幅を設けてt_short＝0.3（秒）及びt_long＝1.1（秒）とし、さらに、経験的にthh_SDWR＝3及びthl_SDWR＝−3としている。
（ｂ）共振器フィルタ処理を施した時系列データにおいて、その波形の振幅がthh_SDWRを上回る時点からthl_SDWRを下回る時点までの所定ヒステリシスを示す時間範囲において、その波形区間の最大値から当該波形の山側のピーク位置を決定し、記憶する。
（ｃ）次いで、上記（ｂ）の（又は直前の）時間範囲の次となる当該時間範囲において、同じくピーク位置を決定し、同様に記憶する。
（ｄ）上記（ｂ）で決定されたピーク位置と、上記（ｃ）で決定されたピーク位置との時間差を算出し、この時間差が、t_shortからt_longまでの時間範囲に入っているか否かを判定する。
（ｅ）上記（ｄ）で入っているとの判定を行った場合、これら２つのピーク位置を「咀嚼」であるとして記録し、上記（ｃ）に戻って処理を継続する。なお、この際、最近に（直前に）決定されたピーク位置を有する時間範囲の次となる当該時間範囲において、ピーク位置が決定されることになる。
（ｆ）一方、上記（ｄ）で入っていないとの判定を行った場合、上記（ｂ）及び（ｃ）で記憶されたピーク位置を破棄し、上記（ｂ）に戻って処理を継続する。
以上説明したような上記（ａ）〜（ｆ）の処理を、周期性を判定すべき時間区間で実施し、その結果として、「咀嚼」としてピーク位置が記録された時間区間において、当該ピーク位置にピークを有する「咀嚼」による周期的筋電信号が発生したと判定されるのである。
図３〜５（Ｃ）のグラフにおいては、以上の手法で決定されたピーク（ピーク位置）が、小さな丸印で示されている。これらのグラフによれば、「ガムの咀嚼」（図３（Ｃ））及び「煎餅の咀嚼」（図４（Ｃ））の場合には、多数のピークが連続して存在していることが見てとれる。その結果、このようなピークの存在している時間区間において、咀嚼による筋電信号が発生していると判断することができる。ここで、このようにピーク位置が連続して記録されている時間区間では、その数を咀嚼回数としてカウントすることも可能である。一方、「お笑い動画視聴」（図５（Ｂ））の場合にはピークが見当たらず、結局、咀嚼による筋電信号は発生していないと判断されるのである。
なお、上述した時間範囲パラメータt_short及びt_long、及び振幅閾値thh_SDWR及びthl_SDWRは、統計的手法をもって予め設定されることも好ましい。例えば、筋電センサ付メガネ１（図１）を装着したユーザの咀嚼による筋電信号を予め多数取得し、上述したようにピーク位置を決定して咀嚼周期を数多く求め、その平均値に対し標準偏差の±N倍（例えばN＝2又は3）の値を加えた値をそれぞれt_long及びt_shortとすることができる。また、同じく筋電センサ付メガネ１（図１）を装着したユーザの無表情時のセンサ信号を予め多数取得し、共振器フィルタ処理後の代表値の時系列データにおける振幅の標準偏差の±N倍（例えばN＝2又は3）の値をそれぞれthh_SDWR及びthl_SDWRとすることも可能である。
次に本実施例では、以上に説明した周期的筋電信号判定処理と並行して、発生時間区間決定部１２６（図１）が、加速度成分データを生成する前の入力信号に対してＭＲＡ（多重解像度解析）処理を実施し、信号発生時間区間を決定している。
図６は、人間による「ガムの咀嚼」、「煎餅の咀嚼」及び「お笑い動画視聴」に起因する筋電信号を含む入力信号に対し、発生時間区間決定処理を行った実施例を示すグラフである。
図６（Ａ）、図６（Ｂ）及び図６（Ｃ）にはそれぞれ、図３〜５（Ａ）に示された（サンプリング周波数512Hzの）入力信号に対し、256サンプル到着毎にウィンドウ分析区間256サンプルで区切った上で、ＭＲＡ処理を施した結果がグラフで示されている。ここで、これらのグラフの横軸は時間（ウィンドウ・インデックス）である。また、実施されたＭＲＡ処理では繰り返し計算の計算レベル（変換レベル）が1に設定されており、処理出力を示すグラフの縦軸は、変換レベル1の高周波成分を表す変換値群の絶対値の平均値（以下、（高周波成分の）平均値と略称）となっている。
このように本実施例で行われたＭＲＡ処理における変換レベルは1であるので、図６（Ａ）〜（Ｃ）に示す処理出力は、ナイキスト周波数をfnとして、周波数がfn／2〜fnの範囲に対応する高周波成分への変換結果となっている。ここで、ナイキスト周波数をfnはサンプリング周波数の半分、すなわち256（＝512／2）Hzであるので結局、128〜256Hzに対応する高周波成分を観測した結果ということになる。
ちなみに、本実施例において入力信号の高周波成分にのみ着目している理由としては、「咀嚼」の場合も「お笑い動画視聴（笑み）」の場合も筋肉が活動した結果であり、交流の筋電信号がある程度連続的に混入するので、アーチファクトの多い低周波成分を観測する処理と比較すると、結果的にアーチファクトの影響を大幅に抑えられることが挙けられる。
具体的に本実施例では、ＭＲＡ処理としてハール（haar）のウェーブレット変換を用いている。ハールウェーブレットは、最も単純な矩形型のウェーブレットである。本願発明者は、このような単純なハールウェーブレットでも筋電信号の検出には十分であることを見出している。通常、ＭＲＡ処理は、繰り返しの計算を伴い計算量が増大しがちであるので、モバイル機器での処理としては敬遠されている。しかしながら、本実施例では、計算レベルを1として計算量を低減させ、高周波成分のみに着目して筋電信号の発生区間の検出に特化しているので、アーチファクト耐性にも優れた効率的な処理が実現しているのである。
次いで本実施例では、図６（Ａ）〜（Ｃ）の高周波成分平均値の波形に基づき、
（ａ）高周波成分平均値が所定閾値thh_dwtを上回った時点と、その後この高周波成分平均値が所定閾値thl_dwtを下回った時点とを決定し、
（ｂ）上記（ａ）で決定した両時点間の時間区間を、筋電信号の発生時間区間に決定している。
すなわち、振幅（高周波成分平均値）が所定のヒステリシスを示す時間区間を、筋電信号発生時間区間に決定しているのである。ここで、所定閾値thh_dwt及びthl_dwtはそれぞれ50及び20に設定された。以上の処理によって、図６（Ａ）〜（Ｃ）の場合には、それぞれの図に示す両矢印の区間が、筋電信号発生時間区間に決定されている。
ちなみに、以上に説明した発生時間区間決定処理では、筋電信号が発生した時間区間は特定されるものの、その発生している筋電信号が例えば「咀嚼」によるものか「笑み（口角上げ）」によるものか、といった信号の種別までは判断できない。そこで、本処理は、図３〜５で示したような「咀嚼」を判定可能な処理と組み合わせて実施されることになる。この組み合わせの形態については、後に図７のフローチャートを用いて詳細に説明する。
なお、上述した所定閾値thh_dwt及びthl_dwtも、統計的手法をもって予め設定されることが可能である。例えば、筋電センサ付メガネ１（図１）を装着したユーザの無表情時のセンサ信号を予め多数取得し、ＭＲＡ処理後の入力信号の時系列データにおける振幅の標準偏差のN倍及びN'倍（N＞N'）の値をそれぞれthh_dwt及びthl_dwtすることも好ましい。
［生体信号処理方法］
図７は、本発明による生体信号処理方法の一実施形態の概略を示すフローチャートである。なお、図７に示した本実施形態のフローには、生体信号判別部１２８（図１）による生体信号種別判定処理が含まれているが、この種別判定処理については別途詳細に説明を行う。
（Ｓ１０１）取得した入力信号を差動増幅してデジタル化し、バッファリングを行う。
（Ｓ１０２）バッファリングされた入力信号に対し、商用電源に係る周期的ノイズを低減するノッチフィルタ処理を実施する。
（Ｓ１０３）ノッチフィルタ処理を施された入力信号に対し、ＬＰＦ処理を実施する。
（Ｓ１０４）ＬＰＦ処理を施された入力信号に対し、２階差分フィルタ処理を実施する。
（Ｓ１０５）２階差分フィルタ処理を施され、時系列の加速度成分データとなった入力信号を、所定のウィンドウ分析区間に分割する。
（Ｓ１０６）ウィンドウ分析区間毎に重みWを算出する。
（Ｓ１０７）ウィンドウ分析区間毎に代表値SDWを算出する。
（Ｓ１０８）代表値SDWの時系列データに対し、共振器フィルタ処理を実施する。
（Ｓ１０９）共振器フィルタ処理後の代表値の時系列データが所定のヒステリシスを示す時間区間におけるピーク（ピーク位置）を検出する。
（Ｓ２０１）上記ステップＳ１０３〜Ｓ１０９と並行して又は前後して、ノッチフィルタ処理を施された入力信号に対し、ＭＲＡ処理を実施する。
（Ｓ２０２）ＭＲＡ処理後の高周波成分の時系列データが所定のヒステリシスを示す時間区間を生体信号発生時間区間に決定する。
（Ｓ３０１、Ｓ３０２、Ｓ３１１、Ｓ３２１）ステップＳ１０９で検出したピーク（ピーク位置）と、ステップＳ２０２で決定した生体信号発生時間区間とに基づいて、生体信号に係る判定を行う。具体的には、
（ａ）判定対象期間において生体信号発生時間区間が存在し、且つ当該時間区間においてピーク（ピーク位置）が（２以上の）所定数以上検出されている場合、周期的生体信号が発生しているとの判定を行う（Ｓ３０２）。
（ｂ）また、判定対象期間において生体信号発生時間区間が存在しているが、当該時間区間においてピーク（ピーク位置）が検出されていない場合、何らかの（非周期的な）生体信号が発生しているものとして、生体信号の種別判定を行う（Ｓ３１１）。ちなみに、この種別判定については、この後、詳細に説明する。
（ｃ）さらに、判定対象期間において生体信号発生時間区間が存在しない場合、生体信号は発生していないとの判定を行う（Ｓ３２１）。
（Ｓ３０３）上記（ａ）の判定を行った場合、さらに、発生している周期的生体信号（例えば咀嚼に係る筋電信号）に基づき、発生している周期的生体現象（例えば咀嚼動作）のカウントを行う（例えば咀嚼回数を算出する）。
（Ｓ３１２）一方、上記（ｂ）の判定を行った場合、種別を判定された生体信号の発生回数、すなわち該当生体現象の生起回数をカウントする。このカウントについてもこの後、説明を行う。
以下、生体信号判別部１２８（図１）によって実施される、上記ステップＳ３１１及びＳ３１２の生体信号種別判定処理及び生体信号計数処理を説明する。
生体信号判別部１２８は、生体信号種別判定の一実施形態として、（生体信号は発生しているが）周期的生体信号は発生していないとの判定に係る時間区間において、入力信号の平均パワー周波数（ＭＰＦ，mean power frequency）を算出し、ＭＰＦの高さに基づいて、発生した生体信号の種別を判定することも好ましい。
ここで、本願発明者は、筋電センサ付メガネ１を用いて取得した入力信号に対し、高速フーリエ変換（ＦＦＴ，Fast Fourier Transform）等による周波数解析処理を実施し、各ウィンドウ分析区間においてＭＰＦを算出したところ、このＭＰＦ値の閾値判定によって、発生した筋電信号の種別が判断可能であることを見出した。
具体的には、例えば、ＭＰＦ値が所定閾値を超えている場合、発生している生体信号は食い縛り動作による筋電信号であると判定し、一方、ＭＰＦ値がこの所定閾値以下である場合、発生している生体信号は、口角上げ動作による筋電信号であると判定することができる。
さらに、ウィンドウ分析区間において、信号強度、例えば振幅の標準偏差SD’を算出し、この値もＭＰＦ値と同様にして発生信号の種別判定に用いることも可能となっている。
ちなみに、一般的にＦＦＴ等の周波数解析処理には相当の計算量が必要とされるが、本実施形態では、上記ステップＳ３０１において何らかの生体信号が発生したと判定された時間区間のみにおいてこのような周波数解析を行うので、種別判定において周波数解析処理を実施するにもかかわらず、計算量を大幅に削減することができるのである。
さらに、生体信号判別部１２８は、生体信号種別判定の他の実施形態として、（生体信号は発生しているが）周期的生体信号は発生していないとの判定に係る時間区間において、標準偏差SD’と入力信号のＭＰＦ値（MPF）とを含む特徴量、例えば{SD', MPF}を算出し、この特徴量について、基準状態に該当する入力信号の特徴量によって設定された単位空間から離隔した度合いである離隔度合いを算出し、算出された離隔度合いに基づいて、発生した生体信号の種別を判定することも好ましい。
この場合具体的に、生体信号判別部１２８は、生体信号が発生していない基準状態に係る単位空間からの離隔度合いから、所定の生体信号が発生した状態及び生体信号が発生していない状態を合わせた基準状態に係る単位空間からの離隔度合いと、所定の生体信号が発生した基準状態に係る単位空間からの離隔度合いとを差し引いた量に基づいて、所定の生体信号の発生を判定することができる。
ここで、上記の単位空間及び離隔度合いとして、
（ａ）ＭＴ（Mahalanobis Taguchi）法における単位空間、及びマハラノビス距離から算出される値、
（ｂ）ＭＴＡ（Mahalanobis-Taguchi Adjoint）法における単位空間、及びマハラノビス距離から算出される値、
（ｃ）Ｔ法における単位空間、及び特性値から算出される値、又は
（ｄ）ＲＴ（Recognition Taguchi）法における単位空間、及びＲＴ距離から算出される値
を採用することができる。ちなみに、このような生体信号種別判定の方法が有効であることも、本願発明者が実験を通して見出したものである。
このうちＭＴ法を用いた場合、例えば口角上げ動作による筋電信号を判別する際には、
（ア）無表情状態及び口角上げ状態（を合わせた状態群）
（イ）無表情状態
（ウ）口角上げ状態
についての３つの単位空間を設計し、入力信号において、これらの単位空間からの離隔度合いをそれぞれ距離１、距離２及び距離３として算出して、（判定用距離）＝(距離２)−(距離1)−(距離３)とすることによって、より好適な判定結果が得られることが分かっている。具体的には、このような判定用距離が所定閾値を超えている場合、発生している生体信号は口角上げ動作による筋電信号であると判定することができるのである。
次いで以下、上記ステップＳ３１２における生体信号計数処理の好適な一実施形態として、時系列データのヒステリシスを利用する方法を説明する。
図８は、処理された生体信号の時系列データにおけるヒステリシスを利用した生体信号計数処理の一実施例を示すグラフである。この図８のグラフは、生体信号種別判定をＭＴ法によって実施した際に算出された判定用距離の時系列データ点を、線分で結んだ折れ線グラフとなっている。
生体信号判別部１２８（図１）は、
（ａ）判定用距離（の推移を示す折れ線）が閾値Thhのラインを下方（値の小さい方）から横切って上方（値の大きい方）に向かう点をカウント開始点（丸印）とし、
（ｂ）判定用距離（の推移を示す折れ線）が閾値Thl（＜Thh）のラインを上方（値の大きい方）から横切って下方（値の小さい方）に向かう点をカウント終了点（三角印）として、
これらのカウント開始点とそれに次ぐカウント終了点との組毎に１だけカウントを増分する。
図８の実施例では、この組が４つ存在しているので、これらの４つの組がグラフで決定された段階で、（用いた判定用距離に係る種別の）生体信号が４回発生したと判定される（生体信号の発生数が４とカウントされる）。ここで、開始点の閾値(thh)及び終了点の閾値(thl)を適切に設定することによって、信号発生判定結果のチャタリングを防止することも可能となるのである。
さらに、生体信号判別部１２８は、カウント開始点を決定してから所定の時間閾値Tmaxだけ時間が経過してもカウント終了点が決定されない際、このカウント開始点からその時点までで１回をカウントした上で、この時間閾値Tmax経過後は、判定用距離Wが閾値Thlを下回るまでノイズ判定期間であるとしてもよい。この場合、図８の実施例では、結局、（用いた判定用距離に係る種別の）生体信号の発生回数は５回であると決定されることになる。
なお変更態様として、生体信号種別判定をＭＰＦ導出によって実施した際には、図８の縦軸をＭＰＦ値としたヒステリシスグラフを生成し、（種別判定された種別に係る）生体信号の発生回数をカウントすることも可能となる。
［生体信号処理装置の他の実施形態］
図９及び図１０は、本発明による生体信号処理装置の他の実施形態を示す模式図である。
図９には、本発明による生体信号処理装置としてのヘッドフォン１’が示されている。ヘッドフォン１’は、携帯端末２に連携するウェアラブルデバイスであり、検知された生体信号としての筋電信号を含み得る入力信号を、筋電センサ付メガネ１（図１）と同様に生体信号処理部１２において処理し、筋電信号発生の有無や、発生した筋電信号の種別を判定して、この判定結果に係る情報を、無線又は有線（ケーブル）を介して携帯端末２に送信する。
ここで、無線は、例えばBluetooth（登録商標）や、Wi-Fi（登録商標）等の無線ＬＡＮとすることができる。また、有線は、例えば携帯端末２のヘッドフォン・マイクロフォン用アナログ音声入出力端子（ジャック）に接続されるものであってもよく、ＵＳＢ(Universal Serial Bus)で接続されるものであってもよい。いずれにしても、当該無線又は有線を介し、携帯端末２からヘッドフォン１’へ、例えばコンテンツの音声信号が伝送されるとともに、ヘッドフォン１’から携帯端末２へ、筋電センサによって検知された筋電信号に係る判定結果情報が伝送される。
また、ヘッドフォン１’の筋電センサも、筋電センサ付メガネ１（図１）と同様、「検出用＋（プラス）電極」、「リファレンス用−（マイナス）電極」、及び「ＤＲＬ(Driven Right Leg)電極」の３つの電極を有している。また、これらの電極配置についても図９に示すように、リファレンス用電極が左（又は右）の耳介周辺から頬近傍の１つの皮膚位置に接し、検出用電極が右（又は左）の耳介周辺から頬近傍の１つの皮膚位置に接するように設定することができる。ちなみに、この場合、検知され得る生体信号には、口角上げ運動や食い縛り運動に起因する筋電信号が含まれる。
なお、筋電センサの電極の配置は、当然に上記の形態に限定されるものではない。例えば、ヘッドフォン１’がオープンエア型のイヤカップやイヤパッドを有さない場合、ヘッドフォンを頭部に装着するため支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い位置に電極を配置してもよい。
さらに、本発明による生体信号処理装置であって、同様の筋電センサ及びその電極を備えた頭部装着デバイスとして、図１０に示したイヤホン１’’も挙げられる。このイヤホン１’’も、検知された生体信号としての筋電信号を含み得る入力信号を処理し、筋電信号発生の有無や、発生した筋電信号の種別を判定して、この判定結果に係る情報を、無線又は有線（ケーブル）を介して携帯端末２に送信する。また、当該無線又は有線を介し、携帯端末２からイヤホン１’’へ、例えばコンテンツの音声信号が伝送される。
ここで以上に説明した、耳を含む位置に装着される筋電センサ付メガネ１（図１）、ヘッドフォン１’（図９）や、イヤホン１’’（図１０）を用いて、「咀嚼」に起因する筋電信号の発生をより確実に把握することもでき、さらに例えば、「笑み」を含む顔表情に相当する口角上げ運動に係る筋電信号を検知することもできる。ちなみに、このような筋電信号は、ユーザの意識的反応による信号である場合、ユーザインタフェースとして利用可能となる。一方、無意識的反応による信号ならば、ユーザの感情及びその推移の測定結果として利用することができるのである。
また例えば、携帯端末２が再生中のコンテンツの音声をヘッドフォン１’に送信し、ヘッドフォン１’を装着したユーザにおける音声体験中での筋電信号を検知することによって、当該コンテンツに対してユーザの抱く感情に係る情報を取得することも可能となる。また、ユーザによるヘッドフォン１’の装着／未装着も、筋電信号の検知状況から判断可能となるのである。
ちなみに、耳を含む位置に装着される筋電センサ付メガネ１（図１）、ヘッドフォン１’（図９）や、イヤホン１’’（図１０）は、頭部内の筋肉による筋電信号のみならず、耳付近の位置から検知可能な、体温、発汗、脈波、脈拍、脳波等に係る生体信号を検出することも可能とする。以上に説明したような実施形態の生体信号処理方法は、筋電信号に限らずこのような様々な種別の生体信号の処理にも適用することができるのである。
特に、筋電信号や脳波等のノイジーな交流信号に対し、より効果的な処理が実施可能となる。すなわち、乾式電極を用いる筋電センサ等によって検出される信号が交流である性質を利用して検出を実施し、一方で、振幅の小さい交流信号は検出せず、さらに乾式電極のズレによるノイズ（アーチファクト）も生体信号として検出しないので、計算量を小さくしつつより確実に交流信号としての「周期的生体信号」を検出することができる。
以上詳細に説明したように、本発明は、周期的生体信号が発生しているか否かの判定において、多大な計算量を必要とする周波数分析を行うのではなく、加速度成分データにおける代表値を算出して判定処理を行う。これにより、本発明によれば、生体信号発生の判定において、周波数分析が不要であり、電極ずれによるノイズの発生に対しても頑健な生体信号処理が実現するのである。
また、本発明によれば、周期的生体信号の典型例として、「咀嚼」に起因する筋電信号の発生をより確実に把握することもできる。さらに、この「咀嚼」とは区別する形で口角上げに係る筋肉に起因する筋電信号を捉え、「笑み」等の顔表情を推定することも可能となる。その際、「咀嚼」の発生の有無を確実に判定することによって、「咀嚼」で混入する大きな振幅のアーチファクトにも頑健な顔表情推定処理を実施することが可能となるのである。
また、本発明によれば、ユーザの咀嚼動作や口角上げ動作をトリガとするユーザからのコマンド指示、例えばカメラのシャッタ動作やズーミング等、さらには視聴中コンテンツのお気に入り登録等を実行可能にする。さらには、「咀嚼」や「笑み」の定量計測を定常的に実施し、ユーザが健全な食事や日常生活を行っているのかどうかを定量化することもできるのである。
さらに、本発明は、上記の筋電信号以外にも様々な生体信号を特定し、その生体信号に係る生体現象の発生をより確実に判定することも可能とする。したがって、これらの判定結果や発生回数計測結果を、様々なタイプのコンテンツ等の評価、意志による生体現象のユーザインタフェース化、さらには身体状態や感情・精神状態の定量化等に生かすこともできるのである。
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 筋電センサ付メガネ（生体信号処理装置）
１’ ヘッドフォン（生体信号処理装置）
１’’ イヤホン（生体信号処理装置）
１１ 信号処理ボックス
１２ 生体信号処理部
１２１ 信号変換部
１２２ 前フィルタ処理部
１２２ａ ノッチフィルタ部
１２２ｂ ＬＰＦ部
１２３ 加速度成分生成部
１２３ａ ２階差分フィルタ部
１２４ 代表値算出部
１２５ 共振器フィルタ処理部
１２６ 発生時間区間決定部
１２７ 信号発生判定部
１２８ 生体信号判別部
１２９ 信号インタフェース
１３ プラス電極パッド
１４ マイナス電極パッド
１５ 鼻パッド電極部
２ 携帯端末

Claims (11)

  1. 筋電信号を含み得る入力信号を処理する生体信号処理装置であって、
    当該入力信号に対し２階差分フィルタ処理を施して当該入力信号の２階差分としての加速度成分データを生成する加速度成分生成手段と、
    当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出する代表値算出手段と、
    当該代表値が所定範囲を超えて変動した際のピーク位置を算出し、隣接する当該ピーク位置の時間間隔が所定時間範囲内である場合に、生体の繰り返し運動に起因する筋電信号である周期的筋電信号が発生したと判定する信号発生判定手段と
    を有することを特徴とする生体信号処理装置。
  2. 当該入力信号は生体の頭部から取得される信号であり、
    前記信号発生判定手段は、当該周期的筋電信号としての咀嚼に係る筋電信号の発生を判定する
    ことを特徴とする請求項１に記載の生体信号処理装置。
  3. 算出された当該代表値の時系列データに対し、共振器フィルタ処理を実施する共振器フィルタ処理手段を更に有し、
    前記信号発生判定手段は、当該共振器フィルタ処理の施された当該代表値が当該所定範囲を超えて変動した際のピーク位置を算出して当該周期的筋電信号の発生を判定する
    ことを特徴とする請求項１又は２に記載の生体信号処理装置。
  4. 前記代表値算出手段は、
    当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みを算出し、
    当該所定時間区間における当該加速度成分データの偏り具合に係る値を、当該重みによって重み付けした値を当該代表値とする
    ことを特徴とする請求項１から３のいずれか１項に記載の生体信号処理装置。
  5. 当該加速度成分データを生成する前の当該入力信号に対し、商用電源に係るノイズを低減する帯域除去フィルタ処理と、高周波ノイズを除去する低域通過フィルタ処理とを実施する前フィルタ処理手段を更に有することを特徴とする請求項１から４のいずれか１項に記載の生体信号処理装置。
  6. 当該入力信号に対し多重解像度解析処理を実施し、多重解像度解析処理後の信号振幅の時系列データが、時間経過とともに第１の閾値を上回った時点と、次いで該第１の閾値よりも小さい第２の閾値を下回った時点とを決定し、決定した両時点の間となる時間区間を、何らかの筋電信号が発生した信号発生時間区間に決定する発生時間区間決定手段を更に有し、
    前記信号発生判定手段は、当該代表値の周期性と、決定された当該信号発生時間区間とに基づいて当該周期的筋電信号の発生を判定する
    ことを特徴とする請求項１から５のいずれか１項に記載の生体信号処理装置。
  7. 当該信号発生時間区間において、当該周期的筋電信号が発生していないと判定された際、当該入力信号の平均パワー周波数を算出し、当該平均パワー周波数の高さに基づいて、発生した当該何らかの筋電信号の種別を判定する生体信号判別手段を更に有することを特徴とする請求項６に記載の生体信号処理装置。
  8. 当該信号発生時間区間において、当該周期的筋電信号が発生していないと判定された際、当該入力信号の標準偏差と平均パワー周波数とを含む特徴量を算出し、当該特徴量について、基準状態に該当する入力信号の当該特徴量によって設定された単位空間から離隔した度合いである離隔度合いを算出し、算出された当該離隔度合いに基づいて、発生した当該何らかの筋電信号の種別を判定する生体信号判別手段を更に有することを特徴とする請求項６に記載の生体信号処理装置。
  9. 当該周期的筋電信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左（又は右）の耳介周辺から頬近傍の１つの皮膚位置に接し、検出用電極が右（又は左）の耳介周辺から頬近傍の１つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることを特徴とする請求項１から８のいずれか１項に記載の生体信号処理装置。
  10. 筋電信号を含み得る入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
    当該入力信号に対し２階差分フィルタ処理を施して当該入力信号の２階差分としての加速度成分データを生成する加速度成分生成手段と、
    当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出する代表値算出手段と、
    当該代表値が所定範囲を超えて変動した際のピーク位置を算出し、隣接する当該ピーク位置の時間間隔が所定時間範囲内である場合に、生体の繰り返し運動に起因する筋電信号である周期的筋電信号が発生したと判定する信号発生判定手段と
    してコンピュータを機能させることを特徴とする生体信号処理プログラム。
  11. 筋電信号を含み得る入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
    当該入力信号に対し２階差分フィルタ処理を施して当該入力信号の２階差分としての加速度成分データを生成するステップと、
    当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出するステップと、
    当該代表値が所定範囲を超えて変動した際のピーク位置を算出し、隣接する当該ピーク位置の時間間隔が所定時間範囲内である場合に、生体の繰り返し運動に起因する筋電信号である周期的筋電信号が発生したと判定するステップと
    を有することを特徴とする生体信号処理方法。
JP2017250189A 2017-12-26 2017-12-26 加速度成分の代表値で周期的生体信号発生を判定する生体信号処理装置、プログラム及び方法 Active JP6810682B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017250189A JP6810682B2 (ja) 2017-12-26 2017-12-26 加速度成分の代表値で周期的生体信号発生を判定する生体信号処理装置、プログラム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017250189A JP6810682B2 (ja) 2017-12-26 2017-12-26 加速度成分の代表値で周期的生体信号発生を判定する生体信号処理装置、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP2019115410A JP2019115410A (ja) 2019-07-18
JP6810682B2 true JP6810682B2 (ja) 2021-01-06

Family

ID=67304812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017250189A Active JP6810682B2 (ja) 2017-12-26 2017-12-26 加速度成分の代表値で周期的生体信号発生を判定する生体信号処理装置、プログラム及び方法

Country Status (1)

Country Link
JP (1) JP6810682B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7184731B2 (ja) * 2019-11-15 2022-12-06 Kddi株式会社 左右対称に取得した生体信号の偏りを検知する生体信号処理装置、プログラム及び方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2536410B2 (ja) * 1993-07-02 1996-09-18 日本電気株式会社 心電図解析装置
JPH1049791A (ja) * 1996-08-05 1998-02-20 Nippon Telegr & Teleph Corp <Ntt> 時系列信号処理方法および装置
JP5481108B2 (ja) * 2009-06-26 2014-04-23 株式会社東芝 超音波診断装置及び自動診断支援装置
JP5464072B2 (ja) * 2010-06-16 2014-04-09 ソニー株式会社 筋活動診断装置および方法、並びにプログラム
JP2012075758A (ja) * 2010-10-05 2012-04-19 Doshisha 嚥下障害検出システム
JP6095213B2 (ja) * 2013-01-09 2017-03-15 株式会社タニタ 筋活動監視装置、筋活動監視プログラム
JP6521778B2 (ja) * 2015-07-15 2019-05-29 Kddi株式会社 筋電信号を用いてアプリケーションに感情識別子を付与するプログラム、端末及びシステム
JP6452248B2 (ja) * 2015-07-30 2019-01-16 Kddi株式会社 筋電信号を用いて顔表情を識別するデバイス、端末及びプログラム
JP6580497B2 (ja) * 2016-02-09 2019-09-25 Kddi株式会社 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法

Also Published As

Publication number Publication date
JP2019115410A (ja) 2019-07-18

Similar Documents

Publication Publication Date Title
US10736560B2 (en) Automatic detection of teeth clenching and/or teeth grinding
US11032457B2 (en) Bio-sensing and eye-tracking system
JP5464072B2 (ja) 筋活動診断装置および方法、並びにプログラム
JP6580497B2 (ja) 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法
EP2792297B1 (en) System and method for the analysis of biopotential signals using motion artifact removal techniques
JP7009342B2 (ja) 咀嚼や笑みに係る量に基づき食事を評価可能な装置、プログラム及び方法
US20190073605A1 (en) Systems and methods for real-time neural command classification and task execution
JP6521778B2 (ja) 筋電信号を用いてアプリケーションに感情識別子を付与するプログラム、端末及びシステム
Tran et al. Detecting neural changes during stress and fatigue effectively: A comparison of spectral analysis and sample entropy
JP5574407B2 (ja) 顔面動作推定装置及び顔面動作推定方法
JP6452248B2 (ja) 筋電信号を用いて顔表情を識別するデバイス、端末及びプログラム
JP6765352B2 (ja) 本体と電極部とを弾性をもって接続した生体信号取得装置
KR101527273B1 (ko) 전두엽 부착형 뇌파신호 검출 및 뇌파기반 집중력 분석 방법 및 장치
JP6810682B2 (ja) 加速度成分の代表値で周期的生体信号発生を判定する生体信号処理装置、プログラム及び方法
US20220218941A1 (en) A Wearable System for Behind-The-Ear Sensing and Stimulation
JP6685891B2 (ja) フィルタ処理及び周波数判定処理を用いた生体信号処理装置、プログラム及び方法
JP6821549B2 (ja) 加速度成分の代表値で生体信号発生を判定する生体信号処理装置、プログラム及び方法
JP6695817B2 (ja) 単位空間からの離隔度合いで判定を行う生体信号処理装置、プログラム及び方法
US11494001B2 (en) Gesture detection system for personal head wearable device
JP7082956B2 (ja) 信号データに応じた基準値に基づき生体信号の計数を行う生体信号処理装置、プログラム及び方法
JP7184731B2 (ja) 左右対称に取得した生体信号の偏りを検知する生体信号処理装置、プログラム及び方法
EP2388680A1 (en) Apparatus and method for controlling at least one device, a corresponding computer program and a corresponding computer-readable storage medium
JP7373459B2 (ja) 頭部を後方から挟み込むフレームを備えた生体信号取得装置
Poyil et al. Algorithms for brain mobile phone interfaces: A survey

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201211

R150 Certificate of patent or registration of utility model

Ref document number: 6810682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150