JP6695817B2 - Biological signal processing device, program and method for making judgment based on the degree of separation from a unit space - Google Patents

Biological signal processing device, program and method for making judgment based on the degree of separation from a unit space Download PDF

Info

Publication number
JP6695817B2
JP6695817B2 JP2017034145A JP2017034145A JP6695817B2 JP 6695817 B2 JP6695817 B2 JP 6695817B2 JP 2017034145 A JP2017034145 A JP 2017034145A JP 2017034145 A JP2017034145 A JP 2017034145A JP 6695817 B2 JP6695817 B2 JP 6695817B2
Authority
JP
Japan
Prior art keywords
biological signal
signal
unit
biological
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017034145A
Other languages
Japanese (ja)
Other versions
JP2018139630A (en
Inventor
大作 若松
大作 若松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2017034145A priority Critical patent/JP6695817B2/en
Publication of JP2018139630A publication Critical patent/JP2018139630A/en
Application granted granted Critical
Publication of JP6695817B2 publication Critical patent/JP6695817B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、人の生体信号を検知する技術に関する。   TECHNICAL FIELD The present invention relates to a technique for detecting a biological signal of a person.

近年、人間や動物の各種活動に起因する種々の生体信号をセンサによって検知し、信号処理して得られる生体データを様々な場面で利用する技術が開発されている。ここで使用されるセンサとしては、例えば、腕時計型脈拍センサ、イヤホン型脈拍センサや、ヘッドバンド型脳波センサ等が挙げられる。また、これらのセンサによって検知された生体信号は、例えばユーザに携帯されたスマートフォンによって処理・加工され、様々なアプリで利用される。   In recent years, a technique has been developed in which various kinds of biological signals caused by various activities of humans and animals are detected by a sensor, and biological data obtained by signal processing is used in various situations. Examples of the sensor used here include a wristwatch type pulse sensor, an earphone type pulse sensor, and a headband type electroencephalogram sensor. In addition, the biological signals detected by these sensors are processed / processed by, for example, a smartphone carried by the user and used in various applications.

このようなセンサを利用した具体的技術例として、特許文献1には、センサ付きイヤホンによって、脳波、体温、動き加速度や、脈拍等に係る生体信号を検知するシステムが開示されている。このシステムでは、イヤホンに装着されたセンサによって耳付近の生体信号を検知し、その生体信号をユーザ所持の携帯電話機を介して外部装置へ伝送している。   As a specific technical example using such a sensor, Patent Document 1 discloses a system for detecting biological signals related to brain waves, body temperature, motion acceleration, pulse, etc., by an earphone with a sensor. In this system, a sensor mounted on an earphone detects a biomedical signal near the ear and transmits the biomedical signal to an external device via a mobile phone owned by the user.

また、特許文献2及び3には、筋電センサ付きイヤホンやヘッドバンドで検知された筋電信号に基づいて、表情を判定する筋活動診断装置が開示されている。この装置では、耳付近の筋肉に係る筋電信号から、人の笑顔、咀嚼状態や、無表情が判別されている。さらに、特許文献4には、脳波、心拍、瞳孔、視線等に係る生体情報や、動作、表情、ため息等に係る行動情報から、ユーザの嗜好を判断するシステムが開示されている。   Further, Patent Documents 2 and 3 disclose a muscle activity diagnostic device that determines a facial expression based on an myoelectric signal detected by an earphone with a myoelectric sensor or a headband. In this device, a person's smile, mastication state, and no-expression are discriminated from the myoelectric signals relating to the muscles near the ears. Further, Patent Document 4 discloses a system that determines a user's preference from biological information relating to an electroencephalogram, a heartbeat, a pupil, a line of sight, and the like, and action information relating to a motion, a facial expression, a sigh, and the like.

特開2003−31056号公報JP, 2003-31056, A 特開2012−000228号公報JP 2012-000228A 特許5574407号公報Japanese Patent No. 5574407 特開2014−219937号公報JP, 2014-219937, A

上述した特許文献1〜4に記載された技術のように、従来、生体信号を処理して生体に関する情報を判定・推定する技術はたしかに存在する。しかしながら、生体信号は通常、非常に微弱な信号である。一方で、センサから取得される信号には、対象となる生体部位以外の部位に起因する信号や、外乱ノイズ、さらには皮膚上に付された電極のズレ等から生じるノイズ等が混入していることが一般的である。その結果、生体信号の有無を誤って判別してしまう場合が少なくない。   As in the technologies described in Patent Documents 1 to 4 described above, there is certainly a conventional technology that processes a biological signal to determine / estimate information about the biological body. However, biological signals are usually very weak signals. On the other hand, the signal obtained from the sensor is mixed with a signal caused by a part other than the target living body part, a disturbance noise, and a noise caused by displacement of an electrode attached to the skin. Is common. As a result, it is often the case that the presence or absence of a biological signal is erroneously determined.

1つの具体例として、口角上げに係る筋肉に起因する筋電信号(生体信号)を検知して、顔表情の1つである「笑み」を判定することを考える。この場合、上述したような検知対象外の生体信号や種々のノイズが邪魔をして、この微弱な筋電信号の有無の判定を誤ってしまう問題が生じてしまう。例えば、実際には表情が「笑み」ではないにもかかわらず、ノイズを検知対象筋電信号であると判定して、「笑み」であると決定する可能性が生じるのである。   As one specific example, it is considered to detect a myoelectric signal (biological signal) caused by the muscles involved in raising the corner of the mouth and determine “smile” which is one of facial expressions. In this case, there is a problem that the above-mentioned non-detection target biomedical signal and various noises interfere, and the presence or absence of this weak myoelectric signal is erroneously determined. For example, even though the facial expression is not actually "smiley", there is a possibility that the noise is determined to be the detection target myoelectric signal and is determined to be "smiley".

さらに、障害となる種々のノイズを的確に除去し、検知対象となる微弱な生体信号だけを特定するためには、従来、FFT(Fast Fourier Transform)等を利用した大きな計算量を必要とする信号処理が必要となってきた。したがって、必然的に信号処理によって消費される電力量が増大してしまう。その結果、電池で電力消費を賄うウェアブルデバイスでは、生体信号を例えば定常的に又は所定の期間継続して処理することが困難となっていた。   Furthermore, in order to accurately remove various noises that become obstacles and to identify only weak biological signals to be detected, signals that conventionally require a large amount of calculation using FFT (Fast Fourier Transform) or the like. Processing has become necessary. Therefore, the amount of power consumed by the signal processing inevitably increases. As a result, it has been difficult for a wearable device that consumes power by a battery to process a biomedical signal, for example, constantly or continuously for a predetermined period.

そこで、本発明は、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定可能な生体信号処理装置、システム、プログラム及び方法を提供することを目的とする。   Therefore, an object of the present invention is to provide a biological signal processing device, system, program, and method capable of more accurately determining the generation of a biological signal to be detected while suppressing an increase in the amount of calculation of signal processing. To do.

本発明によれば、生体信号を含み得る入力信号を処理する生体信号処理装置であって、
当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量に基づき、少なくとも当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間を含む複数の単位空間を設計する単位空間設計手段と、
判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該複数の単位空間から離隔した度合いである複数の離隔度合いを算出する離隔度合い算出手段と、
算出された当該複数の離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定する信号発生判定手段と
を有する生体信号処理装置が提供される。
According to the present invention, a biological signal processing device for processing an input signal, which may include a biological signal,
Based on the feature amount generated from the input signal corresponding to one or more preset reference states relating to the presence or absence of the generation of the biological signal , at least the state in which the biological signal is generated and the biological signal is generated. A unit space designing means for designing a plurality of unit spaces including a unit space relating to a reference state in which the non-existing states are combined ,
Based on the feature quantity generated from the input signal to be determined, and the separation degree calculation means for calculating the determined degree der Ru separation degree of multiple spaced from the plurality of unit spaces in the input signal of the target,
A biological signal processing apparatus is provided that includes a signal generation determination unit that determines the generation of the biological signal in the input signal of the determination target based on the calculated plurality of separation degrees.

この本発明による生体信号処理装置の一実施形態として、単位空間設計手段は、少なくとも、当該生体信号が発生した基準状態に係る単位空間を設計することも好ましい。さらに、単位空間設計手段は、当該生体信号が発生していない基準状態に係る単位空間を更に設計し、信号発生判定手段は、少なくとも、設計された3つの当該単位空間について算出された3つの当該離隔度合いに基づいて当該生体信号の発生を判定することも好ましい。 As one embodiment of the biological signal processing apparatus according to the present invention, it is also preferable that the unit space designing unit designs at least a unit space relating to a reference state in which the biological signal is generated. Furthermore, the unit space design means, the biological signal is further designed between the unit air according to the reference state does not occur, the signal occurrence determination means, at least, designed three calculated for three of the unit space It is also preferable to determine the generation of the biological signal based on the degree of separation.

ここで、信号発生判定手段は、より具体的に、当該生体信号が発生していない基準状態に係る単位空間からの離隔度合いから、当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間からの離隔度合いと、当該生体信号が発生した基準状態に係る単位空間からの離隔度合いとを差し引いた量に基づいて、当該生体信号の発生を判定することも好ましい。   Here, more specifically, the signal generation determination means, based on the degree of separation from the unit space relating to the reference state in which the biological signal is not generated, the state in which the biological signal is generated and the biological signal is not generated. Determining the occurrence of the biological signal based on an amount obtained by subtracting the degree of separation from the unit space related to the reference state in which the states are combined and the degree of separation from the unit space related to the reference state in which the biological signal has occurred Is also preferable.

また、本発明による生体信号処理装置において、本装置は、当該入力信号の振幅に係る成分及び当該入力信号の周期に係る成分のうちの両方又は一方を含む特徴量を生成する特徴量生成手段を更に有することも好ましい。   Further, in the biological signal processing device according to the present invention, the device includes a feature amount generating means for generating a feature amount including both or one of a component related to the amplitude of the input signal and a component related to the cycle of the input signal. It is also preferable to further have.

さらに、本発明による生体信号処理装置の更なる他の実施形態として、本生体信号処理装置は、
当該生体信号に係る周波数と主ノイズに係る周波数との間に遮断周波数を設定し、当該主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を当該入力信号に施すフィルタ処理手段と、
当該フィルタ処理を施された当該入力信号の特徴量を生成する特徴量生成手段と
を更に有し、
単位空間設計手段は、当該フィルタ処理を施された当該入力信号の特徴量によって1つ又は複数の単位空間を設計し、
離隔度合い算出手段は、当該フィルタ処理を施された当該判定対象の入力信号の特徴量に基づいて、当該複数の離隔度合いを算出する
ことも好ましい。また、この実施形態において、フィルタ処理手段は、遮断周波数が当該生体信号に係る周波数と当該主ノイズに係る周波数との間となるように移動区間サンプル数を設定し、当該入力信号に対して移動平均を用いたフィルタ処理を施すことも好ましい。
Furthermore, as still another embodiment of the biological signal processing device according to the present invention, the biological signal processing device is
Filtering means for setting a cutoff frequency between the frequency related to the biological signal and the frequency related to the main noise, and performing a filtering process with a cutoff band including the frequency related to the main noise on the input signal,
Further comprising a feature amount generating means for generating a feature amount of the input signal subjected to the filtering process,
The unit space design means designs one or a plurality of unit spaces according to the feature amount of the filtered input signal,
It is also preferable that the separation degree calculation unit calculates the plurality of separation degrees based on the feature amount of the input signal of the determination target subjected to the filtering process. Further, in this embodiment, the filter processing unit sets the number of moving section samples so that the cutoff frequency is between the frequency related to the biological signal and the frequency related to the main noise, and moves with respect to the input signal. It is also preferable to perform filtering using an average.

さらに、本発明による生体信号処理装置の更なる他の実施形態として、本生体信号処理装置は、当該生体信号が発生した回数を計数する生体信号計数手段を更に有し、
生体信号計数手段は、当該生体信号が発生したと判定された場合において、当該判定対象の入力信号における当該離隔度合いが所定のヒステリシスを示した際に当該回数のカウントを行うことも好ましい。
Furthermore, as still another embodiment of the biological signal processing device according to the present invention, the biological signal processing device further has a biological signal counting means for counting the number of times the biological signal is generated,
It is also preferable that the biological signal counting means counts the number of times when it is determined that the biological signal has occurred and the separation degree in the input signal of the determination target shows a predetermined hysteresis.

また、本発明による生体信号処理装置においては、具体的に、当該生体信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることも好ましい。また、当該生体信号は、口角上げに係る筋肉に起因する筋電信号であることも好ましい。   Further, in the biological signal processing apparatus according to the present invention, specifically, the biological signal is a device attached to the head of the user, and the reference electrode is from the left (or right) auricle to the vicinity of the cheek. It is also preferable that the signal is obtained by a device having an electrode configuration in which one of the skin positions is contacted and the detection electrode is in contact with one skin position near the cheek from the periphery of the right (or left) pinna. Further, it is also preferable that the biological signal is a myoelectric signal caused by a muscle involved in raising the corner of the mouth.

さらに、本発明による生体信号処理装置の単位空間設計手段及び離隔度合い算出手段は、それぞれ当該単位空間及び当該離隔度合いとして、
MT(Mahalanobis Taguchi)法における単位空間、及びマハラノビス距離から算出される値、
MTA(Mahalanobis-Taguchi Adjoint)法における単位空間、及びマハラノビス距離から算出される値、
T法における単位空間、及び特性値から算出される値、又は
RT(Recognition Taguchi)法における単位空間、及びRT距離から算出される値
を採用することも好ましい。
Furthermore, the unit space design means and the separation degree calculation means of the biological signal processing device according to the present invention, the unit space and the separation degree, respectively,
A unit space in the MT (Mahalanobis Taguchi) method, and a value calculated from the Mahalanobis distance,
A value calculated from the unit space in the MTA (Mahalanobis-Taguchi Adjoint) method and the Mahalanobis distance,
It is also preferable to adopt a value calculated from the unit space in the T method and the characteristic value, or a value calculated from the unit space in the RT (Recognition Taguchi) method and the RT distance.

本発明によれば、また、生体信号を含み得る入力信号を処理する生体信号処理システムであって、
当該生体信号に係る周波数と主ノイズに係る周波数との間に遮断周波数を設定し、当該主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を当該入力信号に施すフィルタ処理手段を有する装置と、
当該フィルタ処理を施された当該入力信号を処理する、上述した生体信号処理装置と
を備えている生体信号処理システムが提供される。
According to the present invention, there is also provided a biological signal processing system for processing an input signal which may include a biological signal,
An apparatus having a filter processing unit that sets a cutoff frequency between a frequency related to the biological signal and a frequency related to main noise, and performs a filtering process with a cutoff band including a frequency related to the main noise on the input signal,
There is provided a biological signal processing system including the biological signal processing device described above, which processes the input signal subjected to the filtering process.

本発明によれば、さらに、生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量に基づき、少なくとも当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間を含む複数の単位空間を設計する単位空間設計手段と、
判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該複数の単位空間から離隔した度合いである複数の離隔度合いを算出する離隔度合い算出手段と、
算出された当該複数の離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定する信号発生判定手段と
してコンピュータを機能させる生体信号処理プログラムが提供される。
According to the present invention, there is further provided a program that causes a computer installed in an apparatus that processes an input signal that may include a biological signal,
Based on the feature amount generated from the input signal corresponding to one or more preset reference states relating to the presence or absence of the generation of the biological signal , at least the state in which the biological signal is generated and the biological signal is generated. A unit space designing means for designing a plurality of unit spaces including a unit space relating to a reference state in which the non-existing states are combined ,
Based on the feature quantity generated from the input signal to be determined, and the separation degree calculation means for calculating the determined degree der Ru separation degree of multiple spaced from the plurality of unit spaces in the input signal of the target,
A biological signal processing program that causes a computer to function as a signal generation determination unit that determines the generation of the biological signal in the input signal to be determined based on the calculated plurality of separation degrees is provided.

本発明によれば、さらにまた、生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量に基づき、少なくとも当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間を含む複数の単位空間を設計するステップと、
判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該複数の単位空間から離隔した度合いである複数の離隔度合いを算出するステップと、
算出された当該複数の離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定するステップと
を有する生体信号処理方法が提供される。
According to the present invention, a biological signal processing method by a computer mounted on an apparatus that processes an input signal that may include a biological signal,
Based on the characteristic amount generated from the input signal corresponding to one or more preset reference states relating to the presence or absence of the generation of the biological signal , at least the state in which the biological signal is generated and the biological signal is generated. A step of designing a plurality of unit spaces including a unit space related to a reference state in which the states that do not exist are combined ;
Calculating on the basis of the feature quantities generated from the input signal to be determined, the determination multiple spaced degree degree Ru der spaced from the plurality of unit spaces in the input signal of the target,
Based on the calculated plurality of separation degrees, a step of determining the generation of the biological signal in the input signal of the determination target is provided.

本発明の生体信号処理装置、システム、プログラム及び方法によれば、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定することができる。   According to the biological signal processing device, system, program, and method of the present invention, it is possible to more accurately determine the generation of a biological signal to be detected while suppressing an increase in the amount of calculation of signal processing.

本発明による生体信号処理装置を含む生体信号処理システムの一実施形態を示す模式図である。1 is a schematic diagram showing an embodiment of a biological signal processing system including a biological signal processing device according to the present invention. 本発明による生体信号処理装置を含む生体信号処理システムの他の実施形態を示す模式図である。It is a schematic diagram which shows other embodiment of the biological signal processing system containing the biological signal processing apparatus by this invention. 本発明による生体信号処理装置の一実施形態における機能構成を示す機能ブロック図である。It is a functional block diagram showing functional composition in one embodiment of a living body signal processing device by the present invention. フィルタ処理部におけるSMAフィルタ処理の実施例を示すグラフである。It is a graph which shows the example of the SMA filter process in a filter process part. 口角上げに係る筋電信号を含む入力信号に対するSMAフィルタ処理の実施例を示すグラフである。It is a graph which shows the Example of the SMA filter process with respect to the input signal containing the myoelectric signal which concerns on the rise in the mouth angle. MT法及びMTA法を用いた単位空間の設計及び離隔度合いの算出を概略的に示す模式図である。It is a schematic diagram which shows the design of unit space using the MT method and the MTA method, and calculation of the isolation | separation degree roughly. T法及びRT法を用いた単位空間の設計及び離隔度合いの算出を概略的に示す模式図である。It is a schematic diagram which shows the design of unit space using the T method and RT method, and calculation of the isolation | separation degree roughly. MT法を用いた本発明による単位空間の設計及び離隔度合いの算出の一実施例を示すグラフである。5 is a graph showing an example of designing a unit space and calculating a separation degree according to the present invention using the MT method. MT法を用いた本発明による判定用距離算出及び信号発生判定処理の実施例を示すグラフである6 is a graph showing an example of the determination distance calculation and signal generation determination processing according to the present invention using the MT method. MT法を用いた本発明による判定用距離算出及び信号発生判定処理の実施例を示すグラフである6 is a graph showing an example of the determination distance calculation and signal generation determination processing according to the present invention using the MT method. MT法を用いた本発明による判定用距離算出及び信号発生判定処理の実施例を示すグラフである6 is a graph showing an example of the determination distance calculation and signal generation determination processing according to the present invention using the MT method. MT法を用いた本発明による判定用距離算出及び信号発生判定処理の他の実施例を示すグラフである。7 is a graph showing another embodiment of the determination distance calculation and signal generation determination processing according to the present invention using the MT method. 生体信号計数部における離隔度合いのヒステリシスを勘案した生体信号計数処理を説明するためのグラフである。6 is a graph for explaining a biological signal counting process in consideration of the hysteresis of the degree of separation in the biological signal counting unit. 生体信号計数部における離隔度合いのヒステリシスを勘案した生体信号計数処理の一実施例を示すグラフである。It is a graph which shows one Example of the biological signal counting process which considered the hysteresis of the separation degree in a biological signal counting part. 本発明による生体信号処理システムの更なる他の実施形態における機能構成を示す機能ブロック図である。It is a functional block diagram which shows the functional structure in further another embodiment of the biological signal processing system by this invention. 本発明による生体信号処理方法の一実施形態を概略的に示すフローチャートである。3 is a flowchart schematically showing an embodiment of a biological signal processing method according to the present invention.

以下では、本発明の実施形態について、図面を用いて詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

[生体信号処理システム]
図1は、本発明による生体信号処理装置を含む生体信号処理システムの一実施形態を示す模式図である。また、図2は、同システムの他の実施形態を示す模式図である。
[Biological signal processing system]
FIG. 1 is a schematic diagram showing an embodiment of a biological signal processing system including a biological signal processing device according to the present invention. FIG. 2 is a schematic diagram showing another embodiment of the system.

図1(A)に示した本実施形態の生体信号処理システムは、携帯端末2と、この携帯端末2に連携するウェアラブルデバイス、特に頭部装着デバイスとしてのヘッドフォン1とを含んでいる。本実施形態では、このヘッドフォン1が本発明に係る生体信号処理装置となっている。具体的に、ヘッドフォン1は、検知された生体信号としての筋電信号を含み得る入力信号を処理し、所定の筋肉の作動の有無を判定して、この判定結果に係る情報、本実施形態では顔表情「笑み」が生じたか否かに係る情報を、無線又は有線(ケーブル)を介して携帯端末2に送信する。   The biomedical signal processing system of the present embodiment shown in FIG. 1A includes a mobile terminal 2 and a wearable device that cooperates with the mobile terminal 2, in particular, a headphone 1 as a head-mounted device. In the present embodiment, the headphone 1 is the biological signal processing device according to the present invention. Specifically, the headphone 1 processes an input signal that may include a myoelectric signal as a detected biomedical signal, determines whether or not a predetermined muscle is operating, and outputs information related to the determination result, in the present embodiment. Information relating to whether or not the facial expression “smile” has occurred is transmitted to the mobile terminal 2 via a wireless or wired (cable).

ここで、無線は、例えばBluetooth(登録商標)や、Wi-Fi(登録商標)等の無線LANとすることができる。また、有線は、例えば携帯端末2のヘッドフォン・マイクロフォン用アナログ音声入出力端子(ジャック)に接続されるものであってもよく、USB(Universal Serial Bus)で接続されるものであってもよい。いずれにしても、当該無線又は有線を介し、携帯端末2からヘッドフォン1へ、例えばコンテンツの音声信号が伝送されるとともに、ヘッドフォン1から携帯端末2へ、筋電センサによって検知された筋電信号に係る判定結果情報が伝送される。なお、携帯端末2は、スマートフォン、携帯電話機、PDA(Personal Digital Assistant)、タブレット型コンピュータ等とすることができるが、例えばパーソナルコンピュータ等の他の情報処理装置であってもよい。   Here, the wireless can be a wireless LAN such as Bluetooth (registered trademark) or Wi-Fi (registered trademark). The wire may be connected to, for example, an analog audio input / output terminal (jack) for a headphone / microphone of the mobile terminal 2, or may be connected via a USB (Universal Serial Bus). In any case, an audio signal of content, for example, is transmitted from the mobile terminal 2 to the headphone 1 via the wireless or wired, and the myoelectric signal detected by the myoelectric sensor is transmitted from the headphone 1 to the mobile terminal 2. The determination result information is transmitted. The mobile terminal 2 may be a smartphone, a mobile phone, a PDA (Personal Digital Assistant), a tablet computer, or the like, but may be another information processing device such as a personal computer.

また、ヘッドフォン1は、左右の(スピーカを含む)イヤパッドに渡って筋電センサを備えている。筋電センサは、計測対象となるユーザの筋肉の作動によって皮膚表面に発生する電気的物理量を非侵襲的に計測可能なセンサであり、ヘッドフォン1がユーザの頭部に装着された際、図1(B)に示すように、筋電センサの電極がユーザの耳前下方の頬近傍におけるいずれか1点の皮膚表面に接触するように配置されている。これにより、大頬骨筋等の作動を確実に捉え、顔表情の中でも特に「笑み」に係る判定を行うことが可能となる。ちなみに、ヘッドフォン1のイヤカップは、密閉型、オープンエア型、又はセミオープンエア型等、種々の形式のものとすることができる。   The headphone 1 also includes myoelectric sensors across the left and right earpads (including the speaker). The myoelectric sensor is a sensor capable of non-invasively measuring the electrical physical quantity generated on the skin surface by the operation of the user's muscle to be measured, and when the headphone 1 is worn on the user's head, As shown in (B), the electrode of the myoelectric sensor is arranged so as to contact the skin surface at any one point in the vicinity of the cheek under the front of the user's ear. As a result, it is possible to reliably capture the operation of the greater zygomaticus muscle and to make a determination regarding "smile" among facial expressions. By the way, the ear cup of the headphone 1 may be of various types such as a closed type, an open air type, or a semi-open air type.

ここで、本実施形態において、1チャンネルの筋電センサは、「検出用+(プラス)電極」、「リファレンス用−(マイナス)電極」、及び「DRL(Driven Right Leg)電極」の3つの電極を有している。このうち、「検出用+(プラス)電極」及び「リファレンス用−(マイナス)電極」は、イヤパッドにおける顔の前向き前方且つ下方であって頬にできる限り近い位置に配置されることも好ましい。一方、「DRL(Driven Right Leg)電極」は、商用電源等に起因するコモンモードノイズを低減させるノイズキャンセル用電極であり、皮膚に接触するいずれかの位置に設けられる。また、これらの電極は、繰り返し使用可能な乾式電極であり、皮膚との接触抵抗が小さく導電性の高い金属、例えば、銀‐塩化銀やステンレススチール等で形成された鋲であってもよい。または、同様な性質を有する導電性ゴムの鋲とすることもできる。   Here, in the present embodiment, the 1-channel myoelectric sensor has three electrodes of “detection + (plus) electrode”, “reference − (minus) electrode”, and “DRL (Driven Right Leg) electrode”. have. Of these, the “detection + (plus) electrode” and the “reference − (minus) electrode” are preferably arranged in front of and below the face of the earpad, as close as possible to the cheek. On the other hand, a "DRL (Driven Right Leg) electrode" is a noise canceling electrode that reduces common mode noise caused by a commercial power source or the like, and is provided at any position in contact with the skin. Further, these electrodes are dry electrodes that can be repeatedly used, and may be rivets formed of a metal having a small contact resistance with the skin and a high conductivity, such as silver-silver chloride or stainless steel. Alternatively, a conductive rubber tack having similar properties can be used.

なお、筋電センサの電極の配置は、当然に上記の形態に限定されるものではない。例えば、オープンエア型のイヤカップやイヤパッドの無いヘッドフォンの場合、ヘッドフォンを頭部に装着するため支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い位置に電極を配置してもよい。また、筋電センサ(の電極)は、図2に示すように、頭部装着デバイスとしてのイヤホン1’に備えられてもよい。このイヤホン1’も、本発明に係る生体信号処理装置であり、検知された生体信号としての筋電信号を含み得る入力信号を処理し、所定の筋肉の作動の有無を判定して、この判定結果に係る情報を、無線又は有線(ケーブル)を介して携帯端末2に送信する。さらに、筋電センサ(の電極)を設置可能なデバイスとして、メガネ(グラス)型、腕時計型、カチューシャ型、リスト(腕)バンド型等、身体の表面部分に面する部分を有する情報機器であれば様々な形式のデバイスが採用可能である。   It should be noted that the arrangement of the electrodes of the myoelectric sensor is naturally not limited to the above-mentioned form. For example, in the case of headphones without open-air type ear cups or ear pads, the electrodes may be arranged at a position closer to the cheek from the surface of the support mechanism that comes into contact with the skin around the ears in order to mount the headphones on the head. .. Also, the myoelectric sensor (the electrode thereof) may be provided in the earphone 1 ′ as a head-mounted device, as shown in FIG. 2. This earphone 1 ′ is also the biological signal processing device according to the present invention, processes an input signal that may include a myoelectric signal as a detected biological signal, determines whether or not a predetermined muscle is operating, and makes this determination. The information related to the result is transmitted to the mobile terminal 2 via wireless or wired (cable). Further, as a device capable of installing (an electrode of) the myoelectric sensor, it may be an information device having a portion facing the surface portion of the body such as glasses (glass) type, wristwatch type, headband type, wrist (arm) band type. For example, various types of devices can be adopted.

いずれにしても、耳を含む位置に装着されるヘッドフォン1やイヤホン1’を用いて、「笑み」を含む顔表情に係る筋電信号を検知することができる。ちなみに、このような筋電信号は、ユーザの意識的反応による信号である場合、ユーザインタフェースとして利用可能となる。一方、無意識的反応による信号ならば、ユーザの感情及びその推移の測定結果として利用することができる。例えば、携帯端末2が再生中のコンテンツの音声をヘッドフォン1に送信し、ヘッドフォン1を装着したユーザにおける音声体験中での筋電信号を検知することによって、当該コンテンツに対してユーザの抱く感情に係る情報を取得することが可能となる。また、ユーザによるヘッドフォン1の装着/未装着も、筋電信号の検知状況から判断可能となるのである。   In any case, it is possible to detect the myoelectric signal related to the facial expression including "smile" by using the headphones 1 and the earphones 1'which are attached to the position including the ears. Incidentally, such a myoelectric signal can be used as a user interface when it is a signal due to a user's conscious reaction. On the other hand, if the signal is an unconscious reaction, it can be used as a measurement result of the user's emotion and its transition. For example, by transmitting the sound of the content being reproduced by the mobile terminal 2 to the headphone 1 and detecting the myoelectric signal during the sound experience of the user wearing the headphone 1, the user can feel the emotion of the content. It becomes possible to obtain such information. In addition, whether or not the user wears the headphone 1 can be determined from the detection status of the myoelectric signal.

ちなみに、耳を含む位置に装着されるヘッドフォン1やイヤホン1’は、頭部内の筋肉による筋電信号のみならず、耳付近の位置から検知可能な、体温、発汗、脈波、眼球運動に係る筋電信号、眼電位信号や、さらには脳波といった生体信号を検出することも可能とする。以下に説明するように、本発明は、筋電信号に限らず、このような様々な種別の生体信号(例えば他にも心電信号や心音信号等)の処理を実施することも可能な発明となっている。なお当然に、判定対象が耳付近の位置以外での筋電信号である場合でも、筋電センサの電極は、この筋電信号に係る筋肉を挟み込むように配置されることになる。   By the way, the headphones 1 and earphones 1 ′ worn at the position including the ears are not limited to the myoelectric signals from the muscles in the head, and can detect body temperature, sweating, pulse waves, and eye movements from the position near the ears. It is also possible to detect the myoelectric signal, the electro-oculography signal, and further a biological signal such as an electroencephalogram. As described below, the present invention is not limited to myoelectric signals, and is also an invention capable of performing processing of such various types of biological signals (for example, other electrocardiographic signals, heart sound signals, etc.). Has become. Of course, even when the determination target is a myoelectric signal other than the position near the ear, the electrodes of the myoelectric sensor are arranged so as to sandwich the muscle related to this myoelectric signal.

ここで、入力信号から、障害となる種々のノイズを的確に除去し、通常、非常に微弱である生体信号のみを特定するためには、従来、FFT等を利用した大きな計算量を必要とする信号処理が必要となっており、必然的に信号処理によって消費される電力量が増大する傾向にあった。その結果、電池で電力消費を賄うヘッドフォンのようなウェアブルデバイスでは、生体信号を例えば定常的に又は所定期間継続して処理することが困難となっていた。   Here, conventionally, a large amount of calculation using FFT or the like is required in order to accurately remove various types of disturbing noises from an input signal and to specify only a very weak biological signal. Signal processing is required, and the amount of power consumed by the signal processing tends to increase inevitably. As a result, it has been difficult for a wearable device such as a headphone that consumes power by a battery to process a biological signal, for example, constantly or continuously for a predetermined period.

このような問題に対し、本発明による生体信号処理装置としてのヘッドフォン1は、生体信号を含み得る入力信号を処理可能であり、具体的に、
(A)生体信号の発生の有無に係る1つ又は複数の予め設定された「基準状態」に該当する入力信号から生成された「特徴量」によって1つ又は複数の「単位空間」を設計(生成)し、
(B)判定対象の入力信号から生成された「特徴量」に基づいて、判定対象の入力信号における「単位空間」から離隔した度合いである1つ又は複数の「離隔度合い」を算出し、
(C)算出された「離隔度合い」に基づいて、判定対象の入力信号における生体信号の発生(生体信号が発生したか否か)を判定する
ことを特徴としている。
In response to such a problem, the headphone 1 as the biological signal processing device according to the present invention can process an input signal that may include a biological signal.
(A) Designing one or more "unit spaces" with "feature values" generated from an input signal corresponding to one or more preset "reference states" relating to the presence or absence of the generation of a biological signal ( Generate) and
(B) Based on the “feature amount” generated from the determination target input signal, calculate one or more “separation degrees” that are the degrees of separation from the “unit space” in the determination target input signal,
(C) It is characterized in that the generation of the biological signal (whether or not the biological signal is generated) in the input signal to be determined is determined based on the calculated "separation degree".

このように、ヘッドフォン1は、生体信号の発生の有無に係る「基準状態」に係る「単位空間」からの「離隔度合い」に着目することによって、FFTやウェーブレット(wavelet)変換等を利用した大きな計算量を必要とする信号処理を用いずとも、また周期性の分析に依ることなしに、生体信号の発生の有無を判定することを可能としている。また、後に詳しく説明するが、この「単位空間」からの「離隔度合い」として、品質工学の分野で実績のあるタグチメソッドの概念が採用可能となっている。このように、ヘッドフォン1は、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定することが可能となるのである。   In this way, the headphone 1 uses the FFT, the wavelet transform, or the like by focusing on the “separation degree” from the “unit space” related to the “reference state” related to the presence or absence of the generation of the biological signal. It is possible to determine whether or not a biological signal is generated without using signal processing that requires a large amount of calculation and without relying on analysis of periodicity. Further, as will be described in detail later, the concept of the Taguchi method, which has a proven record in the field of quality engineering, can be adopted as the “separation degree” from the “unit space”. In this way, the headphone 1 can more accurately determine the generation of the biological signal to be detected while suppressing an increase in the amount of calculation of signal processing.

[生体信号処理装置の構成]
図3は、本発明による生体信号処理装置の一実施形態における機能構成を示す機能ブロック図である。
[Configuration of biological signal processing device]
FIG. 3 is a functional block diagram showing a functional configuration in an embodiment of the biological signal processing device according to the present invention.

図3(A)によれば、生体信号処理装置としてのヘッドフォン1は、筋電センサと、信号変換部と、生体信号処理部3と、信号インタフェースと、音声変換部と、左右スピーカとを有する。ここで、装置の主要部である生体信号処理部3は、ヘッドフォン1に搭載されたコンピュータを機能させるプログラムを実行することによって、生体信号処理機能を実現させる。すなわち、ヘッドフォン1は、本発明による生体信号処理プログラムを搭載したコンピュータを含むものとすることができる。   According to FIG. 3A, the headphone 1 as the biological signal processing device has a myoelectric sensor, a signal conversion unit, a biological signal processing unit 3, a signal interface, a voice conversion unit, and left and right speakers. .. Here, the biomedical signal processing unit 3, which is the main part of the apparatus, realizes the biomedical signal processing function by executing a program that causes a computer mounted on the headphones 1 to function. That is, the headphone 1 may include a computer in which the biomedical signal processing program according to the present invention is installed.

一方、携帯端末2は、様々なユーザエクスペリエンスを提供するアプリケーションを実行可能な装置とすることができる。携帯端末2から出力される音声信号は、通信インタフェースを介して送信されて、ヘッドフォン1の信号インタフェースで受信され、音声変換部においてアナログ信号に変換され増幅されて左右スピーカに出力され、これらの左右スピーカで音声に変換されてユーザに提供される。 On the other hand, the mobile terminal 2 may be a device capable of executing applications that provide various user experiences. The audio signal output from the mobile terminal 2 is transmitted via the communication interface, received by the signal interface of the headphone 1, converted into an analog signal in the audio conversion unit, amplified, and output to the left and right speakers. It is converted into voice by the speaker and provided to the user.

ヘッドフォン1の生体信号処理部3は、図3(B)に示すように、計算区間設定部311及び処理実行部312を含むフィルタ処理部31と、特徴量生成部321、単位空間設計部322、離隔度合い算出部323及び信号発生判定部324を含む信号判定部32と、信号強度算出部33aを含む生体信号計数部33とを有する。ここで、図3(A)及び(B)に示された、各機能構成部を矢印で接続した処理の流れは、本発明による生体信号処理方法の一実施形態としても理解される。   As shown in FIG. 3B, the biological signal processing unit 3 of the headphone 1 includes a filter processing unit 31 including a calculation section setting unit 311 and a process executing unit 312, a feature amount generating unit 321, a unit space designing unit 322, It has a signal determination unit 32 including a separation degree calculation unit 323 and a signal generation determination unit 324, and a biological signal counting unit 33 including a signal strength calculation unit 33a. Here, the flow of the process shown in FIGS. 3A and 3B in which the functional components are connected by arrows is understood as an embodiment of the biological signal processing method according to the present invention.

なお、本発明による生体信号処理装置は当然に、上記の実施形態に限定されるものではない。例えば、図3(C)に示すように、ヘッドフォン1から生体信号を含み得る信号を入力し処理する携帯端末2とすることもできる。この場合、ヘッドフォン1は図3(A)の信号変換部を有し、筋電センサの電極から得られた生体信号を増幅しデジタル化した上で携帯端末2に送信することも好ましい。   The biomedical signal processing apparatus according to the present invention is not of course limited to the above embodiment. For example, as shown in FIG. 3C, the mobile terminal 2 that receives and processes a signal that may include a biological signal from the headphones 1 may be used. In this case, it is also preferable that the headphone 1 has the signal conversion unit shown in FIG. 3A and that the biological signal obtained from the electrode of the myoelectric sensor is amplified and digitized and then transmitted to the mobile terminal 2.

一方で、ヘッドフォン1及び携帯端末2の信号インタフェースがアナログインタフェースの場合は、筋電センサによって検出された筋電信号をマイクレベルにまで増幅して携帯端末2に送信することも好ましい。この際、筋電信号は人間の可聴範囲内に収まる周波数特性を有しており周波数変換の必要は生じない。また、携帯端末2に受信された筋電信号は、携帯端末2の信号変換部で、マイク入力による音声同様にアナログ/デジタル変換(デジタル化)される。   On the other hand, when the signal interface between the headphones 1 and the mobile terminal 2 is an analog interface, it is also preferable to amplify the myoelectric signal detected by the myoelectric sensor to a microphone level and transmit the amplified myoelectric signal to the mobile terminal 2. At this time, the myoelectric signal has a frequency characteristic that falls within the audible range of human beings, and the need for frequency conversion does not occur. Further, the myoelectric signal received by the mobile terminal 2 is subjected to analog / digital conversion (digitization) like the voice input by the microphone in the signal conversion unit of the mobile terminal 2.

ここで、図3(C)の携帯端末2は、図3(A)のヘッドフォン1と同じく生体信号処理部3を有し、さらに、信号処理結果に係る情報を入力して、この情報を所定のアプリケーション・プログラムで利用するためのAP(アプリケーション)処理部21も有している。要するに、本発明に係る生体信号処理部3は、生体信号を取得する装置・デバイスに備えられてもよく、当該装置とは別の装置に備えられてもよいのである。   Here, the mobile terminal 2 of FIG. 3C has the biological signal processing unit 3 similarly to the headphone 1 of FIG. 3A, and further inputs information relating to the signal processing result, and predetermined this information. It also has an AP (application) processing unit 21 to be used by the application program. In short, the biological signal processing unit 3 according to the present invention may be provided in an apparatus / device that acquires a biological signal or may be provided in an apparatus different from the apparatus.

図3(A)において、ヘッドフォン1の筋電センサ(及びその電極)は、図1を用いて説明した実施形態のものとすることができる。すなわち、少なくともリファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するような電極構成を有するものであってよい。ちなみに、この場合、検知され得る生体信号には、口角上げに係る筋肉(大頬骨筋等)に起因する筋電信号が含まれる。   In FIG. 3A, the myoelectric sensor (and its electrode) of the headphone 1 can be the one of the embodiment described with reference to FIG. That is, at least the reference electrode is in contact with one skin position near the cheek from the left (or right) auricle, and the detection electrode is in contact with one skin position near the cheek from the right (or left) auricle. It may have such an electrode configuration. By the way, in this case, the biomedical signals that can be detected include myoelectric signals resulting from the muscles related to raising the corner of the mouth (major zygomaticus etc.).

また、信号変換部は、筋電センサとして、商用電源等に起因するコモンモードノイズを軽減するDRL回路を有し、検出用電極とリファレンス電極との電位差の交流成分をGNDとの差動増幅によって増幅し、このアナログの筋電計測結果を一定のサンプリング周波数でデジタル化してもよい。これにより、例えば、プラスマイナス0.1〜数百μVの範囲の皮膚電位検出が可能となる。なお、デジタル化の条件として、サンプリング周波数が500Hz以上であって量子化10bit以上でアナログ/デジタル(A/D)変換を行うことも好ましい。なお、このような回路構成は、例えば、Neurosky社製のTGAM1等を利用して実現可能となっている。   In addition, the signal conversion unit has a DRL circuit that reduces common mode noise caused by a commercial power source or the like as a myoelectric sensor, and an AC component of the potential difference between the detection electrode and the reference electrode is differentially amplified with GND. It is also possible to amplify and digitize this analog myoelectric measurement result at a constant sampling frequency. As a result, for example, it becomes possible to detect the skin potential in the range of plus / minus 0.1 to several hundred μV. As a condition for digitization, it is also preferable to perform analog / digital (A / D) conversion at a sampling frequency of 500 Hz or more and quantization of 10 bits or more. Note that such a circuit configuration can be realized by using, for example, TGAM1 manufactured by Neurosky.

信号変換部は、次いで、デジタル化された生体信号に対してウィンドウ分割処理を行うことも好ましい。実際、連続して時系列をなすセンサデータ(筋電センサ出力信号データ)は、リアルタイムに逐次分析することによって、ユーザに対しリアルタイムにフィードバックを行うユーザインタフェースを実現可能とする。また、アプリケーションでの利用も容易となる。このウィンドウ分割処理では、センサデータの波形を分析するために、予めウィンドウ分析区間を設け、この分析区間をずらしながら逐次分析を行う。例えば、デジタル化のサンプリング周波数が512Hzである場合、ウィンドウ分析区間を256サンプルとし、時系列センサデータを0.5秒毎(256サンプル毎)に区切りながら、区切った区間毎に、当該区間内のセンサデータの分析を行ってもよい。   It is also preferable that the signal conversion unit then perform window division processing on the digitized biomedical signal. In fact, continuous time-series sensor data (myoelectric sensor output signal data) can be sequentially analyzed in real time to realize a user interface that provides real-time feedback to the user. Also, it is easy to use in applications. In this window division processing, in order to analyze the waveform of the sensor data, a window analysis section is provided in advance, and sequential analysis is performed while shifting this analysis section. For example, if the digitized sampling frequency is 512 Hz, the window analysis interval is 256 samples, and the time-series sensor data is divided every 0.5 seconds (every 256 samples), and the sensor data in the interval May be analyzed.

図3(B)において、生体信号処理部3のフィルタ処理部31は、生体信号に係る周波数と、主ノイズに係る周波数との間に遮断周波数を設定し、主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を、例えば所定時間毎に区分けしたウィンドウ毎の入力信号に施す。ここで、本実施形態において、主ノイズは商用電源(国内では50Hz又は60HzのAC電源)に起因するノイズとなっている。また、同じく本実施形態において、判定対象となる生体信号は、口角上げに係る筋肉(大頬骨筋等)に起因する筋電信号であり、この商用電源の周波数未満の周波数(40Hz付近)に係る信号となっている。   In FIG. 3B, the filter processing unit 31 of the biological signal processing unit 3 sets the cutoff frequency between the frequency related to the biological signal and the frequency related to the main noise, and the cutoff band including the frequency related to the main noise. Is applied to the input signal for each window divided for every predetermined time. Here, in the present embodiment, the main noise is the noise caused by the commercial power supply (AC power supply of 50 Hz or 60 Hz in Japan). Also, in the present embodiment, the biological signal to be determined is a myoelectric signal resulting from the muscles related to raising the corner of the mouth (major zygomaticus muscle, etc.), and is related to a frequency lower than the frequency of this commercial power source (around 40 Hz). It is a signal.

そこで具体的に、フィルタ処理部31の計算区間設定部311は、遮断周波数が生体信号に係る周波数(例えば40Hz付近)と主ノイズに係る周波数(例えば50Hz)との間となるように「移動区間サンプル数」を設定し、次いで、処理実行部312は、入力信号に対して単純移動平均(SMA, Simple Moving Average)を用いたフィルタ処理を施すことができる。   Therefore, specifically, the calculation interval setting unit 311 of the filter processing unit 31 sets the “moving interval so that the cutoff frequency is between the frequency related to the biological signal (for example, around 40 Hz) and the frequency related to the main noise (for example, 50 Hz). The number of samples ”is set, and then the processing execution unit 312 can perform filter processing on the input signal using a simple moving average (SMA).

ここで、SMAフィルタは、周波数成分抽出を可能とするデジタルフィルタであるFIR(Finite Impulse Response)フィルタであって、ローパスフィルタの一種と捉えることができる。具体的には、移動区間(サンプル数)を単位時間区間として、その区間のN倍(Nは自然数)の周期性を持つ信号に対してフィルタ効果を奏し、例えば、後述するように、商用電源ノイズのみならず、商用電源ノイズの倍数周波数ノイズをもフィルタリングすることを可能にするのである。   Here, the SMA filter is a FIR (Finite Impulse Response) filter that is a digital filter that enables frequency component extraction, and can be regarded as a type of low-pass filter. Specifically, the moving section (the number of samples) is used as a unit time section, and a filter effect is exerted on a signal having N times (N is a natural number) periodicity of the section. This makes it possible to filter not only noise but also multiple frequency noise of commercial power supply noise.

実際、商用電源に起因する周期性を有する電磁誘導ノイズが、処理対象の信号に強く混入する場合は少なくない。このような周期性の高いノイズを排除するため、従来、多くの場面においてバンドエリミネーションフィルタ等が利用されてきた。しかしながら、このような高度なデジタルフィルタは一般に、多大な処理計算量を必要とし、バッテリー駆動のモバイルデバイスには不適である。一方、上記の処理実行部312におけるSMAフィルタ処理は、それに比較して処理計算量を十分に抑制することができ、それ故、生体信号を検知可能なモバイルデバイスでのフィルタ手段として非常に適しているのである。   In fact, electromagnetic induction noise having periodicity due to a commercial power source is often mixed with a signal to be processed. In order to eliminate such highly periodic noise, band elimination filters and the like have been conventionally used in many situations. However, such sophisticated digital filters generally require a great deal of processing complexity and are unsuitable for battery-powered mobile devices. On the other hand, the SMA filter processing in the processing execution unit 312 described above can sufficiently reduce the processing calculation amount, and therefore is very suitable as a filter means in a mobile device that can detect a biological signal. There is.

ここで、計算区間設定部311は、具体的に、デジタル化で使用されたサンプリング周波数(例えば512Hz)と、商用電源(主ノイズ)に係る周波数(例えば50Hz)との比(例えば10.24)に基づいて算出されるサンプル数(例えば10)のさらに整数分の1の値(例えば5)に基づいて、1回のSMAフィルタ処理の対象となるサンプルの数を算出し、移動区間サンプル数(例えば5)を設定してもよい。これにより、主ノイズをフィルタリングし、判定対象の生体信号(例えば口角上げに係る筋肉に起因する筋電信号)を特定することが可能となる。次に、このような移動区間サンプル数設定のメリットを、図4を用いて具体的に説明する。   Here, the calculation section setting unit 311 is specifically based on the ratio (for example, 10.24) between the sampling frequency (for example, 512 Hz) used for digitization and the frequency (for example, 50 Hz) related to the commercial power source (main noise). The number of samples to be subjected to one SMA filtering process is calculated based on a value (eg, 5) that is an integer fraction of the sample number (eg, 10) calculated by ) May be set. This makes it possible to filter the main noise and specify the biological signal to be determined (for example, the myoelectric signal caused by the muscles involved in raising the corner of the mouth). Next, the merit of setting the number of samples of the moving section will be specifically described with reference to FIG.

図4は、フィルタ処理部31におけるSMAフィルタ処理の実施例を示すグラフである。本実施例において、デジタル化で使用されたサンプリング周波数は512Hzであり、主ノイズの発生源とされる商用(AC)電源の周波数は50Hzである。   FIG. 4 is a graph showing an example of SMA filter processing in the filter processing unit 31. In this embodiment, the sampling frequency used for digitization is 512 Hz, and the frequency of the commercial (AC) power source that is the main noise source is 50 Hz.

図4(A)に、移動区間サンプル数を10(約50Hzに相当)に設定したSMAフィルタの特性(周波数依存性)を示す。同図によれば、遮断周波数(通過利得が3dB低下する周波数)が約25Hzのローパスフィルタ(LPF)が形成されており、商用電源及びその高調波ノイズを大きくカットすることが可能となっている。すなわち、このLPFでは、主ノイズとしての商用電源ノイズの周波数を含む遮断帯域として、この主ノイズの高調波の周波数をも含む遮断帯域が設定されている。しかしながら、口角上げに係る筋肉(大頬骨筋等)に起因する(約40Hzでピークをなす)筋電信号を判定対象とする場合、このようなLPFはパスバンド帯域が狭すぎるので、この対象の筋電信号をもカットしてしまう。   FIG. 4A shows the characteristic (frequency dependence) of the SMA filter in which the number of moving section samples is set to 10 (corresponding to about 50 Hz). According to the figure, a low-pass filter (LPF) having a cutoff frequency (frequency at which the passing gain is reduced by 3 dB) of about 25 Hz is formed, and it is possible to significantly cut the commercial power supply and its harmonic noise. .. That is, in this LPF, the cut-off band including the frequency of the harmonics of the main noise is set as the cut-off band including the frequency of the commercial power supply noise as the main noise. However, when an electromyographic signal (peaking at about 40 Hz) resulting from a muscle (such as the greater zygomaticus muscle) involved in raising the corner of the mouth is used as a determination target, such a LPF has a too narrow passband band. It also cuts myoelectric signals.

これに対し、図4(B)に、移動区間サンプル数を5(約100Hzに相当)に設定したSMAフィルタの特性(周波数依存性)を示す。同図によれば、遮断周波数が50Hz弱のLPFが形成されている。このLPFによって、商用電源及びその高調波ノイズを大きくカットし、且つ判定対象である口角上げに係る筋肉(大頬骨筋等)に起因する(約40Hzでピークをなす)筋電信号はパスさせることが可能となるのである。ちなみに、筋電信号の中でも、例えば歯を食い縛る噛み締め動作に係る筋電信号は、より高い周波数である約80Hzでピークを有する信号となっている。この場合、このLPFは、この判定対象外の筋電信号をもノイズとしてカットすることが可能となっている。   On the other hand, FIG. 4B shows the characteristic (frequency dependence) of the SMA filter in which the number of moving section samples is set to 5 (corresponding to about 100 Hz). According to the figure, an LPF having a cutoff frequency of less than 50 Hz is formed. With this LPF, the commercial power source and its harmonic noise are greatly cut, and the myoelectric signal (peaking at about 40 Hz) resulting from the muscles related to the corner of the mouth that are the object of determination (major zygomaticus, etc.) is passed. Is possible. By the way, among the myoelectric signals, for example, the myoelectric signal related to the clenching operation that holds the tooth in contact has a peak at a higher frequency of about 80 Hz. In this case, the LPF can also cut the myoelectric signal that is not the determination target as noise.

すなわち、上記のSMAフィルタ処理では、判定対象となっている生体信号に係る周波数(例えば約40Hz)と、主ノイズに係る周波数(例えば50Hz)との間に遮断周波数が位置するように移動区間サンプル数を設定することが重要となる。上記の実施例では、結局、商用電源の周波数50Hzに相当する10サンプル分を周期としたノイズが入力信号に混入しやすいのであり、この入力信号に対し、その半分(1/2)の5サンプル毎の平均を移動させながら(ずらしながら)計算し、SMAフィルタ処理とするのである。   That is, in the above-mentioned SMA filter processing, the moving section samples are arranged such that the cutoff frequency is located between the frequency related to the biological signal to be judged (for example, about 40 Hz) and the frequency related to the main noise (for example, 50 Hz). It is important to set the number. In the above embodiment, after all, noise having a period of 10 samples corresponding to the frequency of the commercial power supply of 50 Hz is likely to be mixed in the input signal, and half (1/2) of the input signal is sampled by 5 samples. The SMA filter processing is performed by moving (shifting) the average of each of the calculations.

図5は、口角上げに係る筋電信号を含む入力信号に対するSMAフィルタ処理の実施例を示すグラフである。   FIG. 5 is a graph showing an example of SMA filter processing for an input signal including a myoelectric signal related to a rise in the mouth angle.

図5(A1)及び(A2)にはそれぞれ、口角上げに係る筋肉(大頬骨筋等)に起因する筋電信号を含む入力信号の波形、及びその周波数特性が示されている。ちなみに、図5(A1)の筋電波形を表すグラフの横軸は、サンプリング周波数512Hzでデジタル化された入力信号サンプルのサンプル単位(サンプル・インデックス)であり、512個で1秒間に相当する単位となっている。また、この横軸の範囲は、サンプル・インデックス0〜255の範囲、すなわち時間換算で0.5秒の範囲となっている。一方、縦軸は、信号強度であって計測電圧となっている。すなわち、このグラフは、入力信号サンプルにおける電圧値の時系列を表したグラフとなっている。   5 (A1) and (A2) show the waveform of the input signal including the myoelectric signal resulting from the muscles related to the rise of the mouth angle (the greater zygomatic muscle, etc.) and the frequency characteristics thereof, respectively. By the way, the horizontal axis of the graph showing the myoelectric waveform of FIG. 5 (A1) is the sample unit (sample index) of the input signal sample digitized at the sampling frequency of 512 Hz, and the unit corresponding to 1 second with 512 pieces. Has become. The range of the horizontal axis is the range of sample indexes 0 to 255, that is, the range of 0.5 seconds in terms of time. On the other hand, the vertical axis represents the signal strength and the measured voltage. That is, this graph is a graph showing a time series of voltage values in the input signal sample.

この図5(A1)及び(A2)に示した入力信号に対し、移動区間サンプル数を5(約100Hzに相当)に設定したSMAフィルタ処理を実施した結果(信号波形及び周波数特性)を、図5(B1)及び(B2)に示す。これらの図によれば、この入力信号は、ローパスフィルタ処理を施されており、特に、商用電源(50Hz)及びその高調波ノイズ(100Hz)は減衰させられ、一方で、判定対象である40Hz付近でピークをなす口角上げに係る筋電信号はパスしていることが分かる。   The results (signal waveform and frequency characteristics) of the SMA filter processing in which the number of moving section samples is set to 5 (corresponding to about 100 Hz) are applied to the input signals shown in FIGS. 5 (A1) and (A2). 5 (B1) and (B2). According to these figures, this input signal is low-pass filtered, and in particular, the commercial power supply (50Hz) and its harmonic noise (100Hz) are attenuated, while at the It can be seen that the myoelectric signal related to the rise in the mouth angle, which peaks at, passes.

ちなみに、以上に示した実施例とは異なり、サンプリング周波数が512Hzであって、商用電源の周波数が60Hzである場合、その高調波を含むノイズを除去したい場合の移動区間サンプル数は、両周波数の比(512/60=8.53)からすると8又は9となる。しかしながら、このような値に設定すると遮断周波数が低くなりすぎるため、移動区間サンプル数は、例えば4(=8/2)とすることになる。   By the way, unlike the embodiment shown above, when the sampling frequency is 512 Hz and the frequency of the commercial power supply is 60 Hz, the number of moving section samples when removing noise including its harmonics is From the ratio (512/60 = 8.53), it becomes 8 or 9. However, if the value is set to such a value, the cutoff frequency becomes too low, so that the number of moving section samples is set to 4 (= 8/2), for example.

さらに、変更態様として、SMAによってハイパスフィルタ(HPF)を形成し、主ノイズに係る周波数よりも高い周波数に係る生体信号をパスさせ、主ノイズをカットすることも可能である。例えば、歯を食い縛る噛み締め動作に係る筋電信号を判定対象とした場合、この筋電信号に係る周波数(約80Hz)と、主ノイズである商用電源の周波数(50Hz)との間に遮断周波数がくるようなHPFを形成してもよい。ここで、SMAによるHPFとしては、例えば、SMAによって形成されたLPFによる処理を入力信号に施した結果を、当該入力信号から差し引く構成とすることができる。   Furthermore, as a modification, it is also possible to form a high pass filter (HPF) by SMA and pass a biosignal having a frequency higher than that of main noise to cut the main noise. For example, when the determination target is the myoelectric signal related to the clenching motion that holds the tooth in check, the cutoff frequency is between the frequency related to this myoelectric signal (about 80 Hz) and the frequency of the commercial power source (50 Hz), which is the main noise. You may form HPF so that it may come out. Here, as the HPF by the SMA, for example, the result of applying the processing by the LPF formed by the SMA to the input signal can be subtracted from the input signal.

図3(B)に戻って、生体信号処理部3の信号判定部32は、特徴量生成部321と、単位空間設計部322と、離隔度合い算出部323と、信号発生判定部324とを有し、例えば品質工学のタグチメソッドに基づき、予め設定した(生体信号の発生の有無に係る)基準状態に係る単位空間を設計(生成)し、判定対象であるフィルタ処理を施された(ウィンドウ毎の)入力信号から生成された特徴量に基づいて、この判定対象の入力信号における単位空間からの離隔度合いを算出し、当該離隔度合いに基づいて、この判定対象の入力信号における生体信号の発生を判定する。   Returning to FIG. 3B, the signal determination unit 32 of the biological signal processing unit 3 includes a feature amount generation unit 321, a unit space design unit 322, a separation degree calculation unit 323, and a signal generation determination unit 324. However, for example, based on the Taguchi method of quality engineering, a unit space relating to a preset reference state (whether or not a biological signal is generated) is designed (generated), and a filter process that is a determination target is performed (for each window). Based on the feature amount generated from the input signal, the degree of separation from the unit space in the input signal of the determination target is calculated, and the generation of the biological signal in the input signal of the determination target is calculated based on the separation degree. judge.

具体的に、信号判定部32の特徴量生成部321は、
(ア)単位空間を設計するための(フィルタ処理を施された)入力信号の特徴量(単位空間設計用サンプル)、及び
(イ)判定対象の(フィルタ処理を施された)入力信号の特徴量(判定対象信号サンプル)
を生成する。このように生成される特徴量によって、判定対象となる生体信号と、ノイズ及びその他の生体信号とを特徴付けて区別することが可能となる。
Specifically, the feature amount generation unit 321 of the signal determination unit 32
(A) Features of the input signal (filtered) for designing the unit space (samples for unit space design), and (ii) Features of the input signal (filtered) to be judged Amount (Signal sample to be judged)
To generate. With the feature amount generated in this way, it becomes possible to characterize and distinguish the biological signal to be determined from noise and other biological signals.

ここで、本実施形態では、特徴量生成部321は、(フィルタ処理を施された)入力信号の(a)振幅に係る成分、及び(b)当該入力信号の周期に係る成分、のうちの両方又は一方を項目として含む特徴量を生成する。具体的に、(a)振幅(の代表値)に係る特徴量成分の項目としては、標準偏差、実効値、平均値、最頻値、絶対値の平均値、絶対値の最頻値、中央値、最大値等、が挙げられる。このような項目の成分において情報量を残す方法としては、例えば、振幅の大きさを所定の段階に区切ることによって度数分布を生成し、当該分布の度数値を成分としてもよい。なお、区切りの分割幅は等間隔でなくてもよい。   Here, in the present embodiment, the feature amount generation unit 321 selects one of the (a) amplitude-related component of the (filtered) input signal and the (b) component related to the cycle of the input signal. A feature amount including both or one of the items is generated. Specifically, (a) items of the characteristic amount component related to (representative value of) amplitude include standard deviation, effective value, average value, mode value, average value of absolute value, mode value of absolute value, and central value. Values, maximum values, etc. As a method of leaving the information amount in the component of such an item, for example, a frequency distribution may be generated by dividing the magnitude of the amplitude into predetermined steps, and the frequency value of the distribution may be used as the component. The division widths of the divisions do not have to be equal intervals.

一方、(b)周期(の代表値)に係る特徴量成分の項目としては、ゼロクロス数、ゼロクロス間の周期の標準偏差、ゼロクロス間の周期の平均値等、が挙げられる。このような項目の成分において情報量を残す方法としては、例えば、ゼロクロス間の周期を所定の段階に区切ることによって度数分布を生成し、当該分布の度数値を成分としてもよい。なお、ここでも区切りの分割幅は等間隔でなくてもよい。   On the other hand, (b) items of the characteristic amount component related to (representative value of) the period include the number of zero crosses, the standard deviation of the period between zero crosses, the average value of the period between zero crosses, and the like. As a method of leaving the amount of information in the components of such items, for example, a frequency distribution may be generated by dividing the cycle between zero crossings into predetermined stages, and the frequency values of the distribution may be used as the components. Here again, the division widths of the divisions do not have to be equal intervals.

なお、特徴量成分の項目として上記以外の他の項目、例えば振幅分布や周期分布等、を採用してもよい。また、例えば複数の多種多様なセンサからの出力を項目とし、当該センサの出力値を特徴量成分とすることも可能である。さらに、入力信号の自己相関係数を算出し、相関係数値の集合を特徴量とすることもできる。また、特徴量として、(フィルタ処理を施された)入力信号の波形分析結果、例えば、微分波形や積分波形を生成して特徴量化することも可能である。   Note that items other than the above, such as the amplitude distribution and the period distribution, may be adopted as the items of the characteristic amount component. Further, for example, it is possible to use the output from a plurality of various sensors as an item and use the output value of the sensor as the feature amount component. Furthermore, it is also possible to calculate the autocorrelation coefficient of the input signal and use the set of correlation coefficient values as the feature amount. Further, as the feature amount, it is also possible to generate a waveform analysis result of the (filtered) input signal, for example, a differential waveform or an integrated waveform to make the feature amount.

さらに、特徴量として、(フィルタ処理を施された)入力信号における、ある一定の信号強度Icのラインを横切るクロス数Ncを計測し、IcとNcとの関係を示したヒストグラムを採用することも可能である。また、下から上に横切る際のクロス点と上から下に横切る際のクロス点との間のサンプル区間の長さの合計Lcを測定し、IcとLcとの関係を示したヒストグラムを特徴量に採用してもよい。   Furthermore, as a feature quantity, the number of crosses Nc across a line of a certain signal strength Ic in the (filtered) input signal may be measured and a histogram showing the relationship between Ic and Nc may be adopted. It is possible. In addition, the total Lc of the lengths of the sample sections between the cross point when crossing from the bottom to the top and the cross point when crossing from the top to the bottom is measured, and a histogram showing the relationship between Ic and Lc is used as a feature amount. May be adopted for.

ちなみに、以上示したような特徴量は、SVM等の分類器に入力されるような特徴量と比較すると、周波数分析が不要であって、基本特徴量空間を作るために必要となるデータ量も少なく済み、その分計算量も小さくなる。したがって、ヘッドフォン1のような装着モバイルデバイスにも特徴量計算処理手段を組み込みやすい。なお、ある程度の処理計算量の増大を許容するならば、例えば、入力信号のFFT処理の結果を所定の周波数範囲で複数に分割し、各分割結果におけるパワー平均を成分とする特徴量を生成することも可能である。この場合でも、分割のための周波数範囲は、特徴が出やすいように等間隔でなくてもよい。   By the way, compared to the feature amount that is input to a classifier such as SVM, the feature amount as shown above does not require frequency analysis, and the data amount required to create the basic feature amount space is also It is less, and the amount of calculation becomes smaller accordingly. Therefore, it is easy to incorporate the feature amount calculation processing means into the wearing mobile device such as the headphones 1. It should be noted that, if an increase in the amount of processing calculation is allowed to some extent, for example, the result of the FFT processing of the input signal is divided into a plurality of frequencies within a predetermined frequency range, and a characteristic amount having a power average in each division result as a component is generated. It is also possible. Even in this case, the frequency ranges for division need not be evenly spaced so that the characteristics can be easily seen.

次いで、上記(ア)の単位空間設計用の特徴量(単位空間設計用サンプルデータ群)の生成手順、すなわちキャリブレーション方法を考える。例えば、生体信号として口角上げに係る筋肉に起因する筋電信号を対象とする場合、ユーザに対し、無表情の状態を1分程度維持してもらい、次いで、弱い口角上げ状態から強い口角上げ状態までの顔表情を1分程度の間作ってもらう指示を画面表示や音声によって行い、この指示中に取得された(さらにフィルタ処理された)入力信号から特徴量を算出して単位空間設計用の特徴量群に加えてもよい。なお、この場合、無表情の状態でのノイズ及び口角上げの状態でのノイズについても調査していることになる。また当然に、このような単位空間設計用の特徴量生成は、単位空間をユーザの現状に適合したものに更新するため、適宜、使用開始時又は定期的に実施されてもよい。   Next, the generation procedure of the feature quantity (unit space design sample data group) for unit space design of the above (A), that is, the calibration method will be considered. For example, when a myoelectric signal resulting from the muscles involved in raising the mouth angle is targeted as the biomedical signal, the user is asked to maintain a state of expressionlessness for about 1 minute, and then a weak mouth angle raising state to a strong mouth angle raising state. Up to 1 minute facial expressions are instructed by screen display or voice, and the feature quantity is calculated from the input signal (filtered further) acquired during this instruction to calculate the unit space design. It may be added to the feature amount group. In this case, the noise in the expressionless state and the noise in the state of raising the corner of the mouth are also investigated. In addition, naturally, such feature amount generation for unit space design may be appropriately performed at the start of use or periodically, in order to update the unit space to that suitable for the current state of the user.

さらに、ユーザが正しい顔の表情を作っているかどうかを確認するために、例えば、携帯端末2の(図示されていない)インカメラによってユーザの顔画像を取得し、顔表情認識技術を用いて無表情状態や口角上げ状態といった指示した表情状態にあるか否かを判定し、指示した表情状態であると判定された時間区間における入力信号の特徴量を算出することも好ましい。   Furthermore, in order to confirm whether or not the user is making a correct facial expression, for example, an in-camera (not shown) of the mobile terminal 2 is used to acquire the user's facial image and the facial expression recognition technology is used to It is also preferable to determine whether or not there is an instructed facial expression state such as a facial expression state or a raised mouth angle state, and to calculate the feature amount of the input signal in the time period determined to be the instructed facial expression state.

同じく図3(B)において、信号判定部32の単位空間設計部322は、(フィルタ処理を施された)生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量を、単位空間設計のために必要なサンプル数分だけ集めることによって、1つ又は複数の「単位空間」を設計(生成)する。すなわち、設定された基準状態毎に、生成された特徴量群に基づいて「単位空間」を設計し、記憶する。   Similarly, in FIG. 3B, the unit space designing unit 322 of the signal determining unit 32 corresponds to one or a plurality of preset reference states relating to the presence / absence of generation of the (filtered) biological signal. One or a plurality of "unit spaces" are designed (generated) by collecting the feature amounts generated from the input signals by the number of samples required for unit space design. That is, a "unit space" is designed and stored based on the generated feature amount group for each set reference state.

ここで、基準状態として、少なくとも、(a)生体信号が発生した基準状態が設定されてこの基準状態に係る単位空間が設計されることも好ましい。またさらに、(b)生体信号が発生していない基準状態に係る単位空間と、(c)生体信号が発生した状態及び生体信号が発生していない状態を合わせた基準状態に係る単位空間とが更に設計されることも好ましい。この場合、後に詳述するように、信号発生判定部324は、設計された3つの単位空間について算出された3つの離隔度合いに基づいて生体信号の発生を判定することになる。   Here, it is also preferable that at least (a) the reference state in which the biological signal is generated is set as the reference state and the unit space related to this reference state is designed. Furthermore, (b) a unit space related to a reference state in which no biological signal is generated, and (c) a unit space related to a reference state in which a state in which a biological signal is generated and a state in which no biological signal is generated are combined. Further design is also preferable. In this case, as will be described later in detail, the signal generation determination unit 324 determines the generation of the biological signal based on the three separation degrees calculated for the three designed unit spaces.

同じく図3(B)において、信号判定部32の離隔度合い算出部323は、単位空間が設計されていれば、単位空間との「離隔度合い」を計算する。具体的には、「離隔度合い」の判定対象である(フィルタ処理を施された)入力信号から生成された特徴量に基づいて、判定対象の(フィルタ処理を施された)入力信号における「単位空間」から離隔した度合いである1つ又は複数の「離隔度合い」を算出する。   Similarly, in FIG. 3B, the separation degree calculation unit 323 of the signal determination unit 32 calculates the “separation degree” from the unit space if the unit space is designed. Specifically, based on the feature amount generated from the (filtered) input signal that is the “separation degree” determination target, the “unit” in the determination target (filtered) input signal is One or a plurality of "separation degrees" that are the degrees of separation from the "space" are calculated.

以上に説明した単位空間設計部322及び離隔度合い算出部323は、それぞれ「単位空間」及び「離隔度合い」として、
(a)MT(Mahalanobis Taguchi)法における単位空間、及びマハラノビス距離から算出される値、
(b)MTA(Mahalanobis-Taguchi Adjoint)法における単位空間、及びマハラノビス距離から算出される値、
(c)T法における単位空間、及び特性値から算出される値、又は
(d)RT(Recognition Taguchi)法における単位空間、及びRT距離から算出される値を採用することができる。ここで、(a)のMT法、(b)のMTA法、(c)のT法及び(d)のRT法はいずれも、品質工学のタグチメソッドの1つとなっている。以下、これらの方法を用いた「単位空間」及び「離隔度合い」の設計(生成)・算出方法を具体的に説明する。
The unit space design unit 322 and the separation degree calculation unit 323 described above respectively define the “unit space” and the “separation degree”, respectively.
(A) A unit space in the MT (Mahalanobis Taguchi) method and a value calculated from the Mahalanobis distance,
(B) A unit space in the MTA (Mahalanobis-Taguchi Adjoint) method, and a value calculated from the Mahalanobis distance,
(C) A unit space in the T method and a value calculated from the characteristic value, or (d) a unit space in the RT (Recognition Taguchi) method and a value calculated from the RT distance can be adopted. Here, the MT method of (a), the MTA method of (b), the T method of (c) and the RT method of (d) are all one of the Taguchi methods of quality engineering. The design (generation) / calculation method of the “unit space” and the “separation degree” using these methods will be specifically described below.

図6は、MT法及びMTA法を用いた単位空間の設計及び離隔度合いの算出を概略的に示す模式図である。   FIG. 6 is a schematic diagram schematically showing the design of the unit space and the calculation of the separation degree using the MT method and the MTA method.

図6(A)には、MT法を適用した場合が示されている。最初に、単位空間を設計するための信号サンプルi(i=1, 2, ・・・, n)の項目j(j=1, 2, ・・・, k;例えば振幅標準偏差、ゼロクロス数等)についての観測された各信号サンプルから計算した特徴量の値をxijとする。この信号サンプルxij(i=1〜n,j=1〜k)の相関行列Rは、次式

のように表される。また、Rはk×kの正方行列であり、相関行列の各要素は各項目間(j=1〜k)の相関係数であり、例えばr12=Σn i=1ui1・ui2/nで計算でき、r21=r12である。ここで、uijは、基準化サンプルuij=(xij−mj)/σj(mj:xijのi(=1〜n)についての平均、σj:xijのi(=1〜n)についての標準偏差)である。また、主対角線上の要素は同一項目同士の相関係数であるため全て1となる。MT法では、この相関行列Rの逆行列R-1と、mj及びσjとを算出することが、単位空間を設計(生成)することになる。
FIG. 6A shows the case where the MT method is applied. First, item j (j = 1, 2, ..., k) of signal sample i (i = 1, 2, ..., N) for designing the unit space; for example, amplitude standard deviation, zero-cross number, etc. Let x ij be the value of the feature quantity calculated from each observed signal sample for). The correlation matrix R of this signal sample x ij (i = 1 to n, j = 1 to k) is

It is expressed as. Also, R is a square matrix of k × k, each element of the correlation matrix are correlation coefficients between each item (j = 1~k), for example, r 12 = Σ n i = 1 u i1 · u i2 It can be calculated by / n, and r 21 = r 12 . Here, u ij is normalized samples u ij = (x ij -m j ) / σ j (m j: average for x ij of i (= 1~n), σ j : x ij of i (= 1 to n) standard deviation). Also, the elements on the main diagonal are all 1 because they are the correlation coefficients of the same items. In the MT method, calculating the inverse matrix R −1 of the correlation matrix R and m j and σ j means designing (generating) a unit space.

次いで、判定対象の(フィルタ処理された1つのウィンドウ内の)1つの観測値としての入力信号サンプルの項目j(j=1〜k)について、観測された各信号サンプルから計算した特徴量の値をyjとすると、ベクトルVとして、
(2) VT=[v1, v2, ・・・, vk]
とすることができる。ここで、vjは、基準化信号サンプルvj=(yj−mj)/σj(mj:単位空間で計算された平均,σj:単位空間で計算された標準偏差)である。このベクトルVで表される判定対象の入力信号における、設計した単位空間との離隔度合いMDは、MT法において、次式
(3) MD=k-1・VT・R-1・V
を用いて算出される。ここで、この離隔度合いMDは、いわゆるマハラノビス距離の2乗値をkで割り算した値となっている。
Then, for the item j (j = 1 to k) of the input signal sample as one observation value (in one filtered window) to be judged, the value of the feature amount calculated from each observed signal sample Let y j be the vector V,
(2) V T = [v 1 , v 2 , ..., v k ]
Can be Here, v j is a standardized signal sample v j = (y j −m j ) / σ j (m j: average calculated in unit space, σ j : standard deviation calculated in unit space) .. In the MT method, the degree MD of separation from the designed unit space in the input signal to be judged, which is represented by this vector V, is calculated by the following equation (3) MD = k −1 · V T · R −1 · V
Is calculated using. Here, the separation degree MD is a value obtained by dividing the square value of the so-called Mahalanobis distance by k.

次に、図6(B)には、MTA法を適用した場合が示されている。MTA法は、MT法とは異なり、単位空間を構成するデータの項目に標準偏差σ=0となる項目が存在していても計算処理が可能な方法となっている。最初に、単位空間を設計するための信号サンプルi(i=1, 2, ・・・, n)の項目Dj(j=1, 2, ・・・, k;例えば振幅標準偏差、ゼロクロス数等)について、観測された各信号サンプルから計算した特徴量の値をxiDjとする。ちなみに、振幅標準偏差やゼロクロス数といった項目Djは、標準偏差σ≠0の項目となる。ここで、このようなσ≠0の項目についてのxiDj(i=1〜n,j=1〜k)について、次式

で表される分散共分散行列Sを算出する。ここで、Sはk×kの正方行列であり、主対角線上の行列要素は1つの項目の分散となっており、一方、主対角線上以外の行列要素は項目間の共分散となっている。例えばs12は項目Dj=1と項目Dj=2との間の共分散であり、s12=s21である。また、例えばs11は項目Dj=1の分散である。次いで、このSの余因子行列Bを算出する。MTA法では、このような余因子行列Bを算出することが、単位空間を設計(生成)することになっている。一方、σ=0となる項目a(a=1, 2, ・・・, j)のxiaは、単位空間では用いられないが、後述する信号空間で使用される。
Next, FIG. 6B shows a case where the MTA method is applied. Unlike the MT method, the MTA method is a method that can perform calculation processing even if there is an item having a standard deviation σ = 0 in the data items that form the unit space. First, the item Dj (j = 1, 2, ..., K) of the signal sample i (i = 1, 2, ..., N) for designing the unit space; for example, the amplitude standard deviation, the number of zero crosses, etc. ), The value of the feature value calculated from each observed signal sample is defined as x iDj . Incidentally, the items Dj such as the amplitude standard deviation and the number of zero crosses are items with the standard deviation σ ≠ 0. Here, for x iDj (i = 1 to n, j = 1 to k) for such an item of σ ≠ 0, the following equation

The variance-covariance matrix S represented by is calculated. Here, S is a k × k square matrix, and the matrix elements on the main diagonal are the variances of one item, while the matrix elements other than on the main diagonal are the covariances between the items. .. For example, s 12 is the covariance between item Dj = 1 and item Dj = 2, and s 12 = s 21 . Further, for example, s 11 is the variance of the item Dj = 1. Next, the cofactor matrix B of this S is calculated. In the MTA method, calculating such a cofactor matrix B is to design (generate) a unit space. On the other hand, x ia of item a (a = 1, 2, ..., J) where σ = 0 is not used in the unit space, but is used in the signal space described later.

次いで、信号空間を設計するための(単位空間で使用したものとは別の)信号サンプルi(i=1〜p)における単位空間でσ≠0であった項目Dj(j=1〜k)についての、観測された各信号サンプルから計算した信号空間における特徴量の値をyiDjとすると、ベクトルViとして、
(5) Vi T=[viD1, viD2, ・・・, viDk]
とすることができる。ここで、viDjは、正規化された信号サンプルviDj=yiDj−mDj(mDj:単位空間で計算された平均)である。また、信号サンプルiには、信号真値Miが設定される。この信号真値Miについては、例えば、口角上げに係る筋肉に起因する筋電信号を判定対象とした場合に、口角上げ状態の信号空間を形成する信号サンプルの信号真値Miを2とし、無表情状態の信号真値が−1等に設定されるのに対して、判定したい状態の信号真値をより大きな値に設定する。さらに、このベクトルViで表される入力信号における、設計した単位空間との距離の2乗Di 2は、次式
(6) Di 2=k-1・Vi T・B・Vi
を用いて算出される。
Then, an item Dj (j = 1 to k) for which σ ≠ 0 in the unit space in the signal sample i (i = 1 to p) different from the one used in the unit space for designing the signal space Let y iDj be the value of the feature amount in the signal space calculated from each observed signal sample of, as vector V i ,
(5) V i T = [v iD1 , v iD2 , ..., v iDk ]
Can be Here, v iDj is a normalized signal sample v iDj = y iDj −m Dj (m Dj : average calculated in unit space). Further, the signal true value M i is set to the signal sample i. Regarding this signal true value M i , for example, when the myoelectric signal resulting from the muscles involved in raising the mouth angle is targeted for determination, the signal true value M i of the signal sample forming the signal space in the mouth angle raising state is set to 2. , The signal true value of the expressionless state is set to -1, etc., whereas the signal true value of the state to be determined is set to a larger value. Further, the squared distance D i 2 from the designed unit space in the input signal represented by the vector V i is expressed by the following equation (6) D i 2 = k −1 · V i T · B · V i
Is calculated using.

次いで、設定された信号真値を用いて、MTA法の有効除数r、線形式L0、全変動St0、当てはまりの良さSβ0、当てはまりの悪さVe0、傾きβ0、及びSN比η0を、下記の式によって算出する。
(7) r=Σp i=1Mi 2
L0=Σp i=1(Mi・Di)
St0=Σp i=1(Di・Di)
0=L0 2/r
Ve0=(St0−Sβ0)/(p−1)
β0=L0/r
η0= (Sβ0−Ve0)/(r・Ve0)
Then, using the set signal true value, the effective divisor r of the MTA method, the linear form L 0 , the total variation St 0 , the goodness of fit Sβ 0 , the badness of fit Ve 0 , the slope β 0 , and the SN ratio η 0. Is calculated by the following formula.
(7) r = Σ p i = 1 M i 2
L 0 = Σ p i = 1 (M i · D i ).
St 0 = Σ p i = 1 (D i · D i )
0 = L 0 2 / r
Ve 0 = (St 0 −Sβ 0 ) / (p−1)
β 0 = L 0 / r
η 0 = (Sβ 0 −Ve 0 ) / (r · Ve 0 )

また、単位空間を構成するデータの項目に標準偏差σ=0の項目が存在する場合、このような項目a(a=1〜j)についての値をyiaとすると、正規化した信号サンプルviaは、via=yia−ma(ma:単位空間で計算された平均)となるが、これにより次式を用いて、標準偏差σ=0の項目毎の線形式La、全変動Sta、当てはまりの良さSβa、当てはまりの悪さVea、傾きβa、及びSN比ηaを算出する。
(8) La=Σp i=1(Mi・via)
Sta=Σp i=1(via・via)
a=La 2/r
Vea=(Sta−Sβa)/(p−1)
βa=La/r
ηa= (Sβa−Vea)/(r・Vea)
In addition, when there is an item with a standard deviation σ = 0 in the items of data that form the unit space, if the value for such item a (a = 1 to j) is y ia , the normalized signal sample v ia is v ia = y ia −m a (m a : average calculated in the unit space). Therefore, using the following equation, the linear form L a of each item with standard deviation σ = 0, total The variation St a , the goodness of fit Sβ a , the badness of fit Ve a , the slope β a , and the SN ratio η a are calculated.
(8) L a = Σ p i = 1 (M i · v ia )
St a = Σ p i = 1 (v ia・ v ia )
a = L a 2 / r
Ve a = (St a −Sβ a ) / (p−1)
β a = L a / r
η a = (Sβ a −Ve a ) / (r ・ Ve a )

次いで、1つの観測値としての判定対象となるフィルタ処理された1つのウィンドウ内より得られた入力信号サンプルから計算された各特徴量における単位空間でσ≠0であった項目Dj(j=1〜k)についての値をzDjとすると、ベクトルWとして、
(9) WT=[wD1, wD2, ・・・, wDk]
とすることができる。ここで、wDjは、正規化信号サンプルwDj=zDj−mDj(mDj:単位空間で計算された平均)である。
Next, the item Dj (j = 1 where σ ≠ 0 in the unit space in each feature amount calculated from the input signal sample obtained from one filtered window that is the determination target as one observation value) Let z Dj be the value for
(9) W T = [w D1 , w D2 , ..., w Dk ]
Can be Here, w Dj is the normalized signal sample w Dj = z Dj −m Dj (m Dj : average calculated in unit space).

このベクトルWで表される判定対象の入力信号における、設計した単位空間との距離の2乗D2は、MTA法において、次式
(10) D2=k-1・WT・B・W
を用いて算出される。ここで、このD2も、いわゆるマハラノビス距離の2乗値をkで割り算した値となっている。このD2(D)を用いると、正規化信号サンプルwDjで表される判定対象の入力信号における、単位空間との離隔度合い(予測信号真値)MPは、MTA法において、次式
(11a) MP=((η0・(D/β0)2)0.5 (σ=0の項目が無い場合)
(11b) MP=((η0・(D/β0)2j a=1ηa・(waa)2)/Σj a=0ηa)0.5
(σ=0の項目が有る場合)
で表すことができるのである。ここで、waは、1つの観測値としてのフィルタ処理された1つのウィンドウ内の入力信号サンプルから計算された各特徴量における単位空間でσ=0であった項目a(a=1〜j)についての値をzaとすると、wa=za−ma(ma:単位空間で計算された平均)として算出される。ちなみに、本実施形態の信号判定部32(図3)での処理は、σ=0の項目が無い場合である上式(11a)を用いて実施される。
In the MTA method, the squared distance D 2 to the designed unit space in the input signal to be determined represented by this vector W is expressed by the following equation (10) D 2 = k −1 · W T · B · W
Is calculated using. Here, this D 2 is also a value obtained by dividing the so-called Mahalanobis distance squared by k. When this D 2 (D) is used, the degree of separation (predicted signal true value) MP from the unit space in the input signal to be determined, which is represented by the normalized signal sample w Dj , is calculated by the following equation (11a) in the MTA method. ) MP = ((η 0 · (D / β 0 ) 2 ) 0.5 (when there is no item of σ = 0)
(11b) MP = ((η 0 · (D / β 0 ) 2 + Σ j a = 1 η a · (w a / β a ) 2 ) / Σ j a = 0 η a ) 0.5
(When there is an item with σ = 0)
Can be expressed as Here, w a is an item a (a = 1 to j) where σ = 0 in the unit space in each feature amount calculated from the input signal sample in one filtered window as one observation value. When z a value for), w a = z a -m a (m a: average calculated in the unit space) is calculated as. Incidentally, the processing in the signal determination unit 32 (FIG. 3) of the present embodiment is performed by using the above equation (11a) which is the case where there is no item of σ = 0.

図7は、T法及びRT法を用いた単位空間の設計及び離隔度合いの算出を概略的に示す模式図である。   FIG. 7 is a schematic diagram schematically showing the design of the unit space and the calculation of the separation degree using the T method and the RT method.

図7(A)には、T法を適用した場合が示されている。最初に、単位空間を設計するための観測された信号サンプルi(i=1, 2, ・・・, n)について各信号サンプルから計算された特徴量における項目j(j=1, 2, ・・・, k;例えば振幅標準偏差、ゼロクロス数等)についての値をxijとし、さらに、正規化サンプルuijを、uij=xij−mj(mj:xijのi(=1〜n)についての平均)とする。 FIG. 7A shows the case where the T method is applied. First, for an observed signal sample i (i = 1, 2, ..., N) for designing a unit space, an item j (j = 1, 2, ... .., k; for example, the value for the amplitude standard deviation, the number of zero crossings, etc.) is x ij , and the normalized sample u ij is u ij = x ij −m j (m j : i (= 1 of x ij) ~ N) average).

また、この信号サンプルiの特性値をXiとする。この特性値Xiについては、例えば、口角上げに係る筋肉に起因する筋電信号を判定対象とした場合に、無表情状態の単位空間を形成する信号サンプルの特性値Xを−1としてもよい。 The characteristic value of this signal sample i is X i . Regarding this characteristic value X i , for example, when the myoelectric signal resulting from the muscles involved in raising the corner of the mouth is set as the determination target, the characteristic value X of the signal sample forming the unit space in the expressionless state may be −1. ..

次いで、信号空間を設計するための観測された信号サンプルi(i=1〜p)について各信号サンプルから計算された特徴量における項目j(j=1〜k)についての値をyijとし、さらに、正規化サンプルvijを、vij=yij−mj(mj:各項目j(j=1〜k)について単位空間で計算された平均)とする。また、この信号サンプルiの特性値をYiとする。この特性値Yiについては、例えば、口角上げに係る筋肉に起因する筋電信号を判定対象とした場合に、口角上げ状態の信号空間を形成する信号サンプルの特性値Yiを(単位空間での特性値Xi=−1に対し、より大きい値として)2とすることができる(なお、この場合、特性値Yiを例えば200にしても同様の結果が得られることが確認されている)。さらに、正規化特性値Miとして、
(12) Mi=Yi−mx
を算出する。ここで、mxは単位空間のXiについての平均である。また、次式を用いて、有効除数r、各項目に対する線形式Lj、全変動Stj及び誤差分散Veを算出する。
(13) r=Σp i=1Mi 2
Lj=Σp i=1(Mi・vij)
Stj=Σp i=1(vij・vij)
=L 2/r
Vej=(Stj−Sβj)/(p−1)
Next, let y ij be the value for the item j (j = 1 to k) in the feature amount calculated from each signal sample for the observed signal sample i (i = 1 to p) for designing the signal space, Further, the normalized sample v ij is set as v ij = y ij −m j (m j : average calculated in unit space for each item j (j = 1 to k)). The characteristic value of this signal sample i is Y i . For this characteristic value Y i , for example, when a myoelectric signal resulting from the muscles involved in raising the mouth angle is used as a determination target, the characteristic value Y i of the signal sample forming the signal space in the mouth angle raising state (in unit space It can be set to 2 with respect to the characteristic value X i of −1 (as a larger value) (in this case, it has been confirmed that similar results can be obtained even if the characteristic value Y i is 200, for example). ). Furthermore, as the normalized characteristic value M i ,
(12) M i = Y i -m x
To calculate. Where m x is the average for X i in the unit space. Further, the following equation is used to calculate the effective divisor r, the linear form L j for each item, the total variation St j, and the error variance Ve j .
(13) r = Σ p i = 1 M i 2
L j = Σ p i = 1 (M i · v ij )
St j = Σ p i = 1 (v ij · v ij ).
j = L j 2 / r
Ve j = (St j −Sβ j ) / (p−1)

次いで、判定対象の(フィルタ処理された1つのウィンドウ内の)1つの観測値としての入力信号サンプルから計算された特徴量の項目j(j=1〜k)についての値をzjとした場合に、正規化信号サンプルwjとして、wj=zj−mj(mj:各項目j(j=1〜k)について単位空間で計算された各項目の平均)を算出する。このような正規化信号サンプルwjで表される判定対象の入力信号における、単位空間との離隔度合い(特性値)Zは、T法において、次式
(14) Z=(Σk j=1ηj・(wj))/(Σk j=1ηj)+XAV
を用いて算出されるのである。
Then, if the value for the item j (j = 1 to k) of the feature amount calculated from the input signal sample as one observation value (in one filtered window) to be judged is z j Then, as a normalized signal sample w j , w j = z j −m j (m j : average of each item calculated in unit space for each item j (j = 1 to k)) is calculated. The degree of separation (characteristic value) Z from the unit space in the input signal to be determined, which is represented by such normalized signal sample w j , is calculated by the following equation (14) Z = (Σ k j = 1 in the T method. η j · (w j / β j )) / (Σ k j = 1 η j ) + X AV
Is calculated using.

この上式(14)において、ηjは、項目jのSN比であり、次式
(15) ηj=(r・Vej)-1・(Sβj−Vej)
を用いて算出される。また、同じく上式(14)において、βjは項目jの傾きであり、次式
(16) βj=Lj/r
によって算出される。なお、T法では、このようなSN比ηjや傾きβjを算出することが、単位空間及び単位空間と信号空間との関係を設計(生成)することになる。
In this equation (14), the eta j, an SN ratio of the item j, the following equation (15) η j = (r · Ve j) -1 · (Sβ j -Ve j)
Is calculated using. Similarly, in the above expression (14), β j is the slope of the item j, and β j = L j / r in the following expression (16)
Calculated by In the T method, calculating such an SN ratio η j and slope β j means designing (generating) the unit space and the relationship between the unit space and the signal space.

次に、図7(B)には、RT法を適用した場合が示されている。最初に、単位空間を設計するための観測された信号サンプルi(i=1, 2, ・・・, n)から計算された特徴量における各項目j(j=1, 2, ・・・, k;例えば振幅標準偏差、ゼロクロス数等)についての値をxijとし、各項目データの平均(mj:m1〜mk)を説明変数にし、単位空間のサンプル(xi1〜xik)を目的変数にして、標準SN比の概念に基づき次式を用いて傾きβi及び誤差分散Veiを算出する。
(17) r=Σk j=1 mj 2
Li=Σk j=1(mj・xij)
βi=Li/r
Sti=Σk j=1(xij・xij)
i=Li 2/r
Vei=(Sti−Sβi)/(k-1)
ηi=Vei -1
si=Vei 0.5
ここで、mjは各項目の平均値であり、さらに、rは有効除数、Liは線形式、Stiは全変動、Sβiは当てはまりの良さ、ηiはSN比、及びsiは誤差分散の平方根である。さらに、この単位空間サンプルxijのベクトルWiを、次式
(18) Wi T=[wi1, wi2]
wi1=βi−βAV
wi2=si−sAV
を用いて算出する。ここで、βAV及びsAVはそれぞれ、βi及びsiのi(=1〜n)についての平均である。
Next, FIG. 7B shows a case where the RT method is applied. First, each item j (j = 1, 2, ..., In the feature quantity calculated from the observed signal samples i (i = 1, 2, ..., N) for designing the unit space k; for example, the amplitude standard deviation, the number of zero crosses, etc.) is x ij , the average of each item data (m j : m 1 to m k ) is an explanatory variable, and the unit space sample (x i1 to x ik ) Using as a target variable, the slope β i and the error variance Ve i are calculated using the following formula based on the concept of the standard SN ratio.
(17) r = Σ k j = 1 m j 2
L i = Σ k j = 1 (m j · x ij )
β i = L i / r
St i = Σ k j = 1 (x ij · x ij )
i = L i 2 / r
Ve i = (St i −Sβ i ) / (k-1)
η i = Ve i -1
s i = Ve i 0.5
Here, m j is the average value of each item, r is an effective divisor, L i is a linear form, St i is the total variation, Sβ i is a good fit, η i is the SN ratio, and s i is It is the square root of the error variance. Further, the vector W i of this unit space sample x ij is converted into the following equation (18) W i T = [w i1 , w i2 ].
w i1 = β i −β AV
w i2 = s i −s AV
Calculate using. Here, β AV and s AV are averages of i (= 1 to n) of β i and s i , respectively.

次いで、このベクトルWi(i=1〜n)について、(βi, si)の分散共分散行列Sを算出し、さらに、次式

を用いてSの余因子行列Bを算出する。ここで、行列Bの各成分は、
(20) V11=Σn i=1i−βAV)2/(n−1)
V12=V21=Σn i=1i−βAV)(si−sAV)/(n−1)
V22=Σn i=1(si−sAV)2/(n−1)
によって算出される。RT法では、この余因子行列BとβAV及びsAVとを算出することが、単位空間を設計(生成)することになる。
Next, for this vector W i (i = 1 to n), the variance-covariance matrix S of (β i , s i ) is calculated, and

Is used to compute the cofactor matrix B of S. Here, each element of the matrix B is
(20) V 11 = Σ n i = 1 (β i -β AV) 2 / (n-1)
V 12 = V 21 = Σ n i = 1 (β i -β AV) (s i -s AV) / (n-1)
V 22 = Σ n i = 1 (s i -s AV) 2 / (n-1)
Calculated by In the RT method, calculating the cofactor matrix B and β AV and s AV is to design (generate) a unit space.

次いで、判定対象の(フィルタ処理された1つのウィンドウ内の)1つの入力信号サンプルから計算された特徴量の各項目j(j=1〜k)についての値をzjとし、単位空間と同様に単位空間の各項目データの平均(mj:m1〜mk)を説明変数にし、観測信号空間のサンプル(zj:z1〜zk)を目的変数にして、標準SN比の概念に基づき次式を用いて傾きβ及び誤差分散Veを算出する。
(21) L=Σk j=1(mj・zj)
β=L/r
St=Σk j=1(zj・zj)
Sβ=L2/r
Ve=(St−Sβ)/(k-1)
η=Ve-1
s=Ve0.5
ここで、rは単位空間で求めた有効除数である。これにより、ベクトルWとして、
(22) WT=[w1, w2]
w1=β−βAV
w2=s−sAV
を算出することができる。ここで、βAV及びsAVはそれぞれ、単位空間で計算されていた同項目の平均である。このベクトルWiで表される判定対象の入力信号における、設計した単位空間との離隔度合い(RT距離)Dは、次式
(23) D=(0.5・WT・B・W)0.5
を用いて算出される。
Next, let z j be the value for each item j (j = 1 to k) of the feature amount calculated from one input signal sample (in one filtered window) to be determined, similar to the unit space. The average of each item data in the unit space (m j : m 1 to m k ) is used as an explanatory variable, and the sample of the observed signal space (z j : z 1 to z k ) is used as an objective variable. Based on, the slope β and the error variance Ve are calculated using the following equations.
(21) L = Σ k j = 1 (m j · z j )
β = L / r
St = Σ k j = 1 ( z j · z j)
Sβ = L 2 / r
Ve = (St-Sβ) / (k-1)
η = Ve -1
s = Ve 0.5
Here, r is an effective divisor obtained in the unit space. This gives the vector W as
(22) W T = [w 1 , w 2 ]
w 1 = β−β AV
w 2 = s−s AV
Can be calculated. Here, β AV and s AV are the averages of the same items calculated in the unit space. The degree of separation (RT distance) D from the designed unit space in the input signal to be determined, which is represented by the vector W i , is given by the following equation (23) D = (0.5 · W T · B · W) 0.5.
Is calculated using.

以上、図6及び7を用いて、単位空間設計部322及び離隔度合い算出部323は、品質工学のタグチメソッドであるMT法、MTA法、T法及びRT法のいずれを用いても、「単位空間」及び「離隔度合い」を設計・算出することができることを示した。ちなみに、ここでいう「単位空間」の設計(生成)とは、上述したように、相関行列の逆行列R-1や、余因子行列B、さらには、単位空間(や信号空間)を構成するデータ群から求められる標準偏差σ、平均値m、傾きβや、SN比η等の値を算出することになっている。例えば、このような情報を予め記憶しておき、離隔度合いの算出に使用してもよい。 As described above, with reference to FIGS. 6 and 7, the unit space design unit 322 and the separation degree calculation unit 323 use the “unit” regardless of which of the MT method, MTA method, T method, and RT method, which are Taguchi methods of quality engineering. It was shown that "space" and "separation degree" can be designed and calculated. By the way, the design (generation) of the "unit space" mentioned here constitutes the inverse matrix R -1 of the correlation matrix, the cofactor matrix B, and the unit space (or signal space) as described above. Values such as the standard deviation σ, the average value m, the slope β, and the SN ratio η obtained from the data group are to be calculated. For example, such information may be stored in advance and used for calculating the degree of separation.

また、これらの情報を予め記憶しておいて、適宜、離隔度合いを算出することも可能である。以上のことから、「単位空間を設計(生成)する」とは、単位空間、すなわち入力信号を比較する際の基準となるデータを特徴付ける量を生成・算出することと捉えることができる。   Further, it is possible to store these pieces of information in advance and appropriately calculate the degree of separation. From the above, “designing (generating) a unit space” can be understood as generating and calculating a unit space, that is, an amount that characterizes data serving as a reference when comparing input signals.

次に、本発明の実施例として、口角上げに係る筋肉(大頬骨筋等)に起因する筋電信号を、判定すべき生体信号とし、MT法を用いて単位空間の設計及び離隔度合いの算出を行い、生体信号発生の判定を行った結果を示す。   Next, as an embodiment of the present invention, a myoelectric signal resulting from a muscle (eg, zygomaticus maximus muscle) involved in raising the corner of the mouth is used as a biological signal to be determined, and the MT method is used to design a unit space and calculate a degree of separation. The results of the determination of the generation of the biological signal are shown.

図8は、MT法を用いた本発明による単位空間の設計及び離隔度合いの算出の一実施例を示すグラフである。   FIG. 8 is a graph showing an example of designing a unit space and calculating a separation degree according to the present invention using the MT method.

図8には、MT法を用いて3つの単位空間を設計し、判定対象入力信号において、これらの単位空間からの離隔度合いをそれぞれ距離1、距離2及び距離3として算出した結果が示されている。   FIG. 8 shows the results of designing three unit spaces by using the MT method and calculating the degree of separation from these unit spaces as distance 1, distance 2 and distance 3 in the determination target input signal. There is.

これらの3つの単位空間は、基準状態として、
(a)無表情状態及び口角上げ状態(を合わせた状態群)
(b)無表情状態
(c)口角上げ状態
を設定した上で、それぞれの状態で観測される入力信号から特徴量化したデータサンプル群から単位空間を設計したものである。ここで、MT法における、上記(a)状態の異常状態は、ノイズの混入した状態であると捉えることができ、上記(b)状態の異常状態は、口角上げ状態又はノイズ混入状態であると捉えることができ、上記(c)状態の異常状態は、無表情状態又はノイズ混入状態であると捉えることができる。
These three unit spaces are
(A) Expressionless state and raised mouth corners (combined state groups)
(B) Expressionless state (c) After setting the mouth corner raising state, a unit space is designed from a data sample group that is feature-valued from the input signal observed in each state. Here, in the MT method, the abnormal state of the (a) state can be considered to be a state in which noise is mixed, and the abnormal state of the (b) state is a mouth corner raising state or a noise mixed state. The abnormal state of the above-mentioned state (c) can be grasped as an expressionless state or a noise mixed state.

図8のグラフは、判定対象入力信号サンプルについて、これらの単位空間(a)、(b)及び(c)からの離隔度合いを、それぞれ距離1、距離2及び距離3として上式(3)(MD=k-1・VT・R-1・V)を用いて算出した結果となっている。 The graph of FIG. 8 shows that the degree of separation from the unit spaces (a), (b), and (c) for the determination target input signal sample is set as the distance 1, the distance 2, and the distance 3 by the above equation (3) ( MD = k -1 · V T · R -1 · V).

ここで、距離1は無表情状態及び口角上げ状態(を合わせた状態群)を基準としており、それ以外の(すなわち想定していない)ノイズの発生のみに反応する量となっている。また、距離2は無表情状態を基準としており、無表情状態以外の場合、すなわちノイズの発生か、又は口角上げの状態かに反応する量となっている。さらに、距離3は口角上げ状態を基準としており、口角上げ状態以外の場合、すなわち無表情の状態か、又はノイズの発生に反応する量となっている。そこで、口角上げ状態か否か(口角上げに係る筋電信号発生の有無)を判定するべく、口角上げに反応する距離2から、口角上げ時に反応しない距離1を差し引いた量、すなわち、次式
(24) (判定用距離)=(距離2)−(距離1)
を採用し、この判定用距離を用いて判定を行うことが可能である。しかしながら、さらに、口角上げ状態でないものを当該状態であると誤判定する状況をより確実に排除するため、無表情又はノイズに反応する距離3を用い、判定用距離として次式
(25) (判定用距離)=(距離2)−(距離1)−(距離3)
を採用することがより好ましい。これにより判定精度がより向上することは、後に図9及び図12の実施例を用いて示される。
Here, the distance 1 is based on the expressionless state and the raised mouth angle state (a combined state group), and is a quantity that responds only to the generation of other (that is, unexpected) noise. Further, the distance 2 is based on the expressionless state, and is a quantity that responds to the case other than the expressionless state, that is, whether noise is generated or the mouth angle is raised. Further, the distance 3 is based on the mouth corner raising state, and is a quantity other than the mouth corner raising state, that is, the expressionless state or the amount that reacts to the generation of noise. Therefore, in order to determine whether or not the mouth angle is raised (whether or not a myoelectric signal is generated in association with the mouth angle increase), an amount obtained by subtracting a distance 1 that does not react when the mouth angle is raised, that is, the following formula (24) (Distance for determination) = (Distance 2)-(Distance 1)
Can be adopted, and the judgment can be made using this judgment distance. However, in order to more surely eliminate a situation in which a person who is not in the state of raising the mouth angle is erroneously determined to be the state, the distance 3 that reacts to expressionlessness or noise is used, and the distance for determination is expressed by the following expression (25) (determination Distance) = (distance 2)-(distance 1)-(distance 3)
Is more preferably adopted. It will be shown later that the determination accuracy is further improved by using the embodiments of FIGS. 9 and 12.

なお、単位空間設計用の信号サンプルや、判定対象信号サンプルから生成する特徴量(項目)の設定の仕方によっても、口角上げ状態か否かの判定結果の精度が大きな影響を受けることが本願発明者等によって確認されている。この確認実験の結果も、後に図9〜11の実施例を用いて示される。   It should be noted that the accuracy of the determination result as to whether or not the mouth corner is in a raised state is greatly affected by the way of setting the signal amount for unit space design and the feature amount (item) generated from the determination target signal sample. It has been confirmed by other persons. The results of this confirmation experiment are also shown later using the examples of FIGS.

図3に戻って、信号発生判定部324は、上述したように、算出された離隔度合い(上記の例では距離1、距離2及び距離3)に基づいて、判定対象の入力信号における生体信号(ここでは口角上げに係る筋電信号)の発生を判定する。   Returning to FIG. 3, the signal generation determination unit 324, as described above, based on the calculated separation degree (distance 1, distance 2 and distance 3 in the above example), the biological signal in the input signal to be determined ( Here, the occurrence of a myoelectric signal related to a rise in the mouth angle is determined.

ここで、好適な実施形態(上式(25))として、信号発生判定部324は、
(a)生体信号が発生していない基準状態に係る単位空間からの離隔度合いから、
(b)生体信号が発生した状態及び生体信号が発生していない状態を合わせた基準状態に係る単位空間からの離隔度合いと、
(c)生体信号が発生した基準状態に係る単位空間からの離隔度合いと
を差し引いた量に基づいて、生体信号の発生を判定することができる。
Here, as a preferred embodiment (the above equation (25)), the signal generation determination unit 324 is
(A) From the degree of separation from the unit space related to the reference state in which no biological signal is generated,
(B) the degree of separation from the unit space related to the reference state in which the state in which the biological signal is generated and the state in which the biological signal is not generated are combined,
(C) The generation of the biological signal can be determined based on the amount obtained by subtracting the degree of separation from the unit space related to the reference state in which the biological signal has been generated.

ちなみに、その有無を判定すべき生体信号が2種、例えば口角上げの筋電信号及び食い縛りの筋電信号、又はそれ以上設定される場合、基準状態としては、例えば(a)口角上げ状態、(b)食い縛り状態、(c)無表情状態、(d)口角上げ状態及び無表情状態を合わせた状態、並びに(e)食い縛り状態及び無表情状態を合わせた状態、といったように、それらの生体信号発生状態と無発生状態との組合せを含む複数の状態が設定可能となる。また、この場合、それらの複数の基準状態に対応した複数の単位空間が設計され、さらに、それらの複数の単位空間からの複数の離隔度合いが算出されるのである。   By the way, when two kinds of biomedical signals whose presence or absence is to be determined are set, for example, a myoelectric signal for raising the angle of the mouth and a myoelectric signal for restraint, or more, as the reference state, for example, (a) the state of raising the angle of the mouth, Such as (b) restrained state, (c) expressionless state, (d) combined state of raised mouth and expressionless state, and (e) combined state of restrained state and expressionless state. It is possible to set a plurality of states including a combination of the biological signal generation state and the non-generation state. Further, in this case, a plurality of unit spaces corresponding to the plurality of reference states are designed, and further, a plurality of degrees of separation from the plurality of unit spaces are calculated.

図9、図10及び図11は、MT法を用いた本発明による判定用距離算出及び信号発生判定処理の実施例を示すグラフである。   FIG. 9, FIG. 10 and FIG. 11 are graphs showing examples of the judgment distance calculation and signal generation judgment processing according to the present invention using the MT method.

ここで、図9、図10及び図11の実施例では、特徴量(項目)としてそれぞれ、
{(振幅の標準偏差), (振幅のゼロクロス数)}、
{(振幅加速度の標準偏差), (振幅加速度のゼロクロス数)}、及び
{(振幅の標準偏差), (振幅のゼロクロス数), (振幅加速度の標準偏差), (振幅加速度のゼロクロス数)}
を採用している。
Here, in the embodiments of FIGS. 9, 10, and 11, as the feature amount (item),
{(Standard deviation of amplitude), (number of zero-crossings of amplitude)},
{(Standard deviation of amplitude acceleration), (zero-crossing number of amplitude acceleration)}, and {(standard deviation of amplitude), (zero-crossing number of amplitude), (standard deviation of amplitude-accelerating), (zero-crossing number of amplitude acceleration)}
Has been adopted.

ここで、ウィンドウ分割されてSMAフィルタ処理を施された信号やノイズは、振幅がゼロラインを中心にしてプラス及びマイナス方向へ変化することによって、例えば図5(B1)に示すように、山型や谷型の波が幾重にも重なって連続した波形を示す。このような振幅の波形において、上記の「振幅のゼロクロス数」は、離散振幅値の変化の軌跡が分析ウィンドウ内においてゼロラインと交差した回数のことである。また、上記の「振幅の標準偏差」は、分析ウィンドウ内における離散振幅値について算出される標準偏差となる。さらに、上記の「振幅加速度のゼロクロス数」及び「振幅加速度の標準偏差」についても、振幅加速度の波形(離散振幅加速度値の変化の軌跡)において同様に定義される。   Here, the signals and noises that have been window-divided and subjected to the SMA filter process change their amplitudes in the plus and minus directions around the zero line, so that, for example, as shown in FIG. It shows a continuous waveform with multiple valley-shaped waves that overlap. In the waveform of such an amplitude, the above-mentioned “number of zero-crossings of amplitude” is the number of times the trajectory of the change in the discrete amplitude value crosses the zero line in the analysis window. Further, the above “standard deviation of amplitude” is a standard deviation calculated for discrete amplitude values within the analysis window. Further, the above-mentioned "zero-cross number of amplitude acceleration" and "standard deviation of amplitude acceleration" are similarly defined in the waveform of amplitude acceleration (trajectory of change in discrete amplitude acceleration value).

これらの実施例の各々について、上記の3つの単位空間(a)〜(c)を設計し、それぞれに対応する距離1〜3を算出して、上式(25)の判定用距離(=(距離2)−(距離1)−(距離3))を算出した結果が、図9〜11のグラフとなっている。なお、いずれの実施例においても、入力信号サンプルは、SMAフィルタ処理後のサンプルであり、また、各図に示したように、無表情状態が正解であるサンプル群と、口角上げ状態が正解であるサンプル群と、無表情状態又はノイズ発生が正解であるサンプル群とがこの順で時間的に並んだものとなっている。   For each of these examples, the above-mentioned three unit spaces (a) to (c) are designed, the corresponding distances 1 to 3 are calculated, and the determination distance (= (( The results of calculation of (distance 2)-(distance 1)-(distance 3)) are graphs in FIGS. In any of the embodiments, the input signal sample is a sample after SMA filtering, and as shown in each figure, the sample group in which the expressionless state is correct and the mouth angle raising state are correct. A certain sample group and a sample group in which the expressionless state or the occurrence of noise is the correct answer are temporally arranged in this order.

これらのグラフにおいては、判定用距離が所定閾値よりも大きい(サンプル・インデックスの)サンプルにおいて、口角上げ(に係る筋電信号)が発生したと判定している。ちなみに、MT法の特徴として、単位空間からの距離は単位空間を設計した際の項目数を自由度とするχ2乗分布を示すことが知られている。そこで、図9〜11の実施例では、上記の判定用の所定閾値として、用いる項目数(2又は4)を自由度とするχ2乗分布における外側5%の位置を採用している。   In these graphs, it is determined that (the myoelectric signal related to the increase in the corner of the mouth) has occurred in the sample (the sample index) in which the determination distance is larger than the predetermined threshold value. By the way, as a feature of the MT method, it is known that the distance from the unit space exhibits a χ 2 distribution with the number of items when designing the unit space as the degree of freedom. Therefore, in the examples of FIGS. 9 to 11, the outermost 5% position in the χ 2 distribution having the number of items (2 or 4) used as the degree of freedom is adopted as the predetermined threshold value for the above determination.

具体的に、図9の実施例では、口角上げであるとの判定が正しいサンプル・インデックス区間における判定精度を表す正判定率(当該区間の全サンプル数に対する口角上げ判定されたサンプル数の割合)が85.1%であって、図10の実施例での正判定率(77.6%)及び図10の実施例での正判定率(83.6%)と比較してより良好な結果となっている。ちなみに、この区間以外の区間で口角上げとの誤判定を行う誤判定率は、いずれの実施例でも0.0%及び2%台であって、同程度に低い値となっている。したがって、この場合、特徴量としては、図9の実施例で採用された
{(振幅の標準偏差), (振幅のゼロクロス数)}
が最も好適であることが理解される。もちろん、その他の(図10や図11で採用された)特徴量をもってしても十分に高い判定精度が得られることは上述した通りである。
Specifically, in the embodiment of FIG. 9, the positive determination rate (the ratio of the number of samples for which the mouth angle is raised to the total number of samples in the section) indicating the determination accuracy in the sample index section where the determination that the mouth angle is raised is correct. Is 85.1%, which is a better result than the positive determination rate (77.6%) in the example of FIG. 10 and the positive determination rate (83.6%) in the example of FIG. Has become. By the way, the erroneous determination rate for performing the erroneous determination that the mouth angle is raised in the sections other than this section is in the range of 0.0% and 2% in any of the examples, which is a low value to the same extent. Therefore, in this case, as the feature amount, {(standard deviation of amplitude), (zero crossing number of amplitude)} adopted in the embodiment of FIG. 9 is used.
Is understood to be the most suitable. Of course, it is as described above that a sufficiently high determination accuracy can be obtained even with other feature amounts (adopted in FIGS. 10 and 11).

図12は、MT法を用いた本発明による判定用距離算出及び信号発生判定処理の他の実施例を示すグラフである。     FIG. 12 is a graph showing another embodiment of the judgment distance calculation and signal generation judgment processing according to the present invention using the MT method.

図12に示した実施例は、図9に示した実施例と比較して、判定用距離として距離3、すなわち、
(26) (判定用距離)=(距離3)
を採用しているが、この点以外は、特徴量の設定を含めて同様の条件で判定を行っている。
Compared with the embodiment shown in FIG. 9, the embodiment shown in FIG. 12 has a distance of 3 as the determination distance, that is,
(26) (distance for judgment) = (distance 3)
Other than this, the determination is performed under the same conditions including the setting of the feature amount.

また、本実施例では、判定に用いる所定閾値として、
(a)χ2乗分布における外側5%の位置、
(b)χ2乗分布における外側5%の位置から見て0.3ポイントだけ低い位置、及び
(c)χ2乗分布における外側5%の位置から見て0.8ポイントだけ低い位置
の各々を用い、判定用距離が当該所定閾値未満となった(サンプル・インデックスの)サンプルにおいて、口角上げ(に係る筋電信号)が発生したと判定している。
Further, in this embodiment, as the predetermined threshold value used for the determination,
(A) 5% outer position in the χ 2 distribution,
(B) A position lower by 0.3 points from the outer 5% position in the χ 2 distribution, and (c) a position lower by 0.8 points from the outer 5% position in the χ 2 distribution are used. It is determined that the myoelectric signal (related to the rise in the mouth angle) has occurred in the sample (of the sample index) in which the determination distance is less than the predetermined threshold value.

ここで、上記の所定閾値(a)を採用した場合、口角上げとの判定が正しいサンプル・インデックス区間における正判定率は、93.3%となり非常に良好ではあるが、一方で、無表情又はノイズ発生との判定が正しい区間で口角上げとの誤判定を行う誤判定率は、18.2%であって非常に高くなってしまう。また、これより低い所定閾値(b)を採用した場合でも、正判定率(85.1%)は図9の実施例と同等となるが、誤判定率が5.5%であって、なお高い値になってしまう。   Here, when the above-mentioned predetermined threshold value (a) is adopted, the positive determination rate in the sample index section in which the determination that the mouth corner is raised is correct is 93.3%, which is very good. The erroneous determination rate of performing the erroneous determination that the mouth angle is raised in the section where the determination that noise is generated is correct is 18.2%, which is extremely high. Further, even when the predetermined threshold value (b) lower than this is adopted, the correct determination rate (85.1%) is equal to that of the embodiment of FIG. 9, but the erroneous determination rate is 5.5%, which is still high. It becomes a value.

さらに、より低い所定閾値(c)を採用した場合には、誤判定率は2.6%であり、図9の実施例と同等の低い値となるが、一方で、正判定率は67.2%まで低下してしまう。したがって、判定用距離として距離3を採用することは十分に可能であって高い判定精度を実現できるように調整可能ではあるが、やはり、判定用距離としては、図9の実施例(上式(25))のように、(距離2)−(距離1)−(距離3)を採用することがより好ましいことが理解される。   Further, when the lower predetermined threshold value (c) is adopted, the erroneous determination rate is 2.6%, which is a low value equivalent to that of the embodiment of FIG. 9, while the correct determination rate is 67.2. It will decrease to%. Therefore, although it is possible to sufficiently adopt the distance 3 as the determination distance and the adjustment can be performed so as to realize the high determination accuracy, the determination distance is not limited to the embodiment of FIG. It is understood that it is more preferable to adopt (distance 2)-(distance 1)-(distance 3) as in (25)).

以上、MT法による生体信号発生の判定処理の実施例について説明したが、本願発明者等は、さらに、
(a)MTA法を用い、上式(11a)によって算出した離隔度合いを用いた判定処理、
(b)T法を用い、上式(14)によって算出した離隔度合いを用いた判定処理、及び
(c)RT法を用い、上式(23)によって算出した離隔度合いを用いた判定処理
のいずれをも実施した。
Although the embodiment of the biosignal generation determination process by the MT method has been described above, the inventors of the present application further
(A) A determination process using the degree of separation calculated by the above formula (11a) using the MTA method,
Either (b) the determination process using the separation degree calculated by the above equation (14) using the T method, or (c) the determination processing using the separation degree calculated by the above equation (23) using the RT method. Was also conducted.

ここで、RT法を用いた上記実施例(c)では、以上に説明したMT法と同様、上述した3つの単位空間(a)〜(c)を設計し、対応する3つの距離(離隔度合い)によって判定を行った。これに対し、MTA法を用いた上記実施例(a)、及びT法を用いた上記実施例(b)では、無表情状態を基準状態として単位空間を設計し、さらに、口角上げの状態に係る信号空間を設計して判定を行った。   Here, in the above-mentioned embodiment (c) using the RT method, similar to the MT method described above, the above-mentioned three unit spaces (a) to (c) are designed, and the corresponding three distances (distance degree) are designed. ). On the other hand, in the embodiment (a) using the MTA method and the embodiment (b) using the T method, the unit space is designed with the expressionless state as the reference state, and the mouth angle is raised. The signal space was designed and judged.

その結果、最も判定精度の高い結果となったのが上述したMT法による判定であった。また、このMT法の結果と同程度の判定精度が得られたのが、MTA法による判定であった。一方、T法及びRT法による判定精度は、これらに次ぐ高さであることが分かった。このような実験結果から、MT法を用い、上述した3つの単位空間(a)〜(c)を設計して、対応する3つの距離(離隔度合い)によって判定を行う手法が、判定精度の点でより優れていることが理解される。   As a result, the determination with the MT method described above has the highest determination accuracy. Further, it was the determination by the MTA method that the determination accuracy similar to the result of the MT method was obtained. On the other hand, it was found that the determination accuracy by the T method and the RT method was the next highest. From such an experimental result, the method of designing the above-mentioned three unit spaces (a) to (c) using the MT method and performing the determination based on the corresponding three distances (degrees of separation) has a determination accuracy point. Is understood to be better at.

図3(B)に戻って、生体信号計数部33は、信号判定部32(信号発生判定部324)において判定対象の生体信号が発生したと判定したその判定回数を計数する。判定対象が大頬骨筋等の口角を上げる筋肉に起因する筋電信号である場合は、ユーザが「笑み(微笑)」状態にあると判定された回数がカウントされることになる。また、変更態様として、生体信号における「離隔度合い」のヒステリシスを勘案して当該回数をカウントすることも好ましい。この場合、生体信号計数部33は、信号判定部32で当該生体信号が発生したと判定された場合において、当該生体信号における離隔度合いが所定のヒステリシスを示した際に回数のカウントを行ってもよい。   Returning to FIG. 3B, the biological signal counting section 33 counts the number of times the signal determining section 32 (signal generation determining section 324) determines that the biological signal to be determined has occurred. When the determination target is a myoelectric signal resulting from a muscle that raises the corner of the mouth, such as the greater zygomaticus muscle, the number of times the user is determined to be in a "smiling (smiling)" state is counted. As a modification, it is also preferable to count the number of times in consideration of the hysteresis of the “separation degree” in the biological signal. In this case, the biological signal counting unit 33 may count the number of times when the separation degree in the biological signal shows a predetermined hysteresis when the signal determining unit 32 determines that the biological signal has occurred. Good.

図13は、生体信号計数部33における離隔度合いのヒステリシスを勘案した生体信号計数処理を説明するためのグラフである。   FIG. 13 is a graph for explaining the biological signal counting process in consideration of the hysteresis of the separation degree in the biological signal counting unit 33.

図13のグラフでは、「笑み」に係る判定を行った時刻毎の判定用距離(=(距離2)−(距離1)−(距離3))の推移が折れ線で示されている。同グラフでは、2つのノイズ判定期間(「笑み」状態ではないとの判定がなされた期間)に挟まれる形で、「笑み」判定期間(「笑み」状態であるとの判定がなされた期間)が存在している。   In the graph of FIG. 13, the transition of the determination distance (= (distance 2)-(distance 1)-(distance 3)) for each time when the determination regarding "smile" is performed is shown by a polygonal line. In the graph, the "smile" determination period (the period in which it was determined to be in the "smile" state) was sandwiched between two noise determination periods (the period in which it was determined to be in the "smile" state). Exists.

生体信号計数部33は、この「笑み」判定期間において、
(a)判定用距離(の推移を示す折れ線)が閾値Thhのラインを下(距離の小さい方)から横切って上(距離の大きい方)に向かう点(丸印)をカウント開始点とし、
(b)判定用距離(の推移を示す折れ線)が閾値Thl(<Thh)のラインを上(距離の大きい方)から横切って下(距離の小さい方)に向かう点(三角印)をカウント終了点として、
これらのカウント開始点とそれに次ぐカウント終了点との組毎に1だけカウントを増分する。図13の実施例では、この組が4つ存在しているので、これらの4つの組がグラフに現出した(グラフで決定された)段階で、「笑み」の回数が4回であるとカウントされることになる。
The biometric signal counting unit 33, during this “smile” determination period,
(A) The point (circle) at which the judgment distance (the polygonal line showing the transition) crosses the line of the threshold value Thh from below (smaller distance) to the upper side (larger distance) is the counting start point,
(B) Counting ends at the point (triangle mark) where the judgment distance (the polygonal line showing the transition) crosses the line of the threshold Thl (<Thh) from above (the one with the larger distance) to the bottom (the one with the smaller distance) As a point
The count is incremented by 1 for each set of the count start point and the next count end point. In the embodiment of FIG. 13, since there are four sets of these, it is said that the number of “smiles” is four at the stage when these four sets appear in the graph (determined by the graph). It will be counted.

さらに、生体信号計数部33は、カウント開始点を決定してから所定の時間閾値Tmaxだけ時間が経過してもカウント終了点が現出しない(決定されない)場合、このカウント開始点からその時点までで1回をカウントした上で、この時間閾値Tmax経過後は、判定用距離が閾値Thlを下回るまでノイズ判定期間とする。したがって、図13の実施例では、結局、この「笑み」判定期間における「笑み」の回数は5回であるとカウントされることになる。 Further, when the biological signal counting section 33 does not appear (is not determined) the counting end point even after a predetermined time threshold value T max has elapsed after determining the counting start point, the biological signal counting unit 33 determines the time point from this counting start point. After the time threshold T max has elapsed, the noise determination period is set until the determination distance falls below the threshold Thl. Therefore, in the example of FIG. 13, the number of “smiles” in the “smile” determination period is eventually counted as 5 times.

図14は、生体信号計数部33における離隔度合いのヒステリシスを勘案した生体信号計数処理の一実施例を示すグラフである。   FIG. 14 is a graph showing an example of the biological signal counting process in consideration of the hysteresis of the degree of separation in the biological signal counting section 33.

図14には、図9に示した実施例における判定用距離(=(距離2)−(距離1)−(距離3))の推移が示されている。本実施例では、この判定用距離におけるヒステリシスを用いて、口角上げ(笑み)の回数をカウントしている。ここで、閾値Thhは、図9の閾値よりも外側となるχ2乗分布の外側1%の位置であり、一方、閾値Thlは、(判定用距離)=0の位置となっている。   FIG. 14 shows the transition of the determination distance (= (distance 2)-(distance 1)-(distance 3)) in the embodiment shown in FIG. In this embodiment, the number of times the mouth corner is raised (smile) is counted using the hysteresis in the determination distance. Here, the threshold Thh is a position outside the threshold of FIG. 9 that is 1% outside the χ 2 distribution, while the threshold Thl is a position (distance for determination) = 0.

このようなヒステリシスを考慮した判定の結果、ノイズを口角上げとする誤判定が若干増えてはいるものの、口角上げ(笑み)との正判定の精度(正判定率)が91.8%に達し、図9の実施例に比べて+6.7%向上した。   As a result of the judgment considering such hysteresis, the accuracy of the positive judgment with the mouth corner rising (smile) (correct judgment rate) has reached 91.8%, although the false judgment that the noise is the mouth corner raising slightly increased. , + 6.7% compared to the embodiment of FIG.

以上説明したように、離隔度合いのヒステリシスを勘案して回数のカウントを行うことによって、判定精度の向上を期することができる。また、意に反して回数カウントが進んでしまうチャタリング現象も軽減可能となるのである。なお当然に、チャタリングを回避すべく離隔度合いを考慮する実施形態は、以上に述べたものに限定されるものではない。例えば、離隔度合いのヒステリシスの代わりに、「笑み」判定期間における離隔度合い又は信号強度の総和を筋肉活動量として採用し、この筋肉活動量に応じてカウントを行うことも可能である。   As described above, it is possible to improve the determination accuracy by counting the number of times in consideration of the hysteresis of the separation degree. In addition, it is possible to reduce the chattering phenomenon in which the number of counts advances unintentionally. Naturally, the embodiment that considers the degree of separation in order to avoid chattering is not limited to the above-described embodiments. For example, instead of the separation degree hysteresis, the separation degree or the sum of signal intensities in the “smile” determination period may be adopted as the muscle activity amount, and counting may be performed according to the muscle activity amount.

なお、生体信号計数部33は、算出された離隔度合い及び判定用距離や、信号判定部32での判定結果、さらには、上述したような計数(カウント)処理結果を、時系列情報として記憶(バッファリング)することも好ましい。このように離隔度合い(判定用距離)もバッファリングすることによって、前後の判定結果も勘案して、対象とする生体信号の発生の判定をより確実に行うことが可能になる。例えば、前後の一定サンプル数の区間において口角上げの判定がなされていて、一時的に(例えば1サンプルだけ)口角上げではないと判定された場合、これを口角上げであると判定し直すことも可能となる。   The biological signal counting unit 33 stores the calculated separation degree and the determination distance, the determination result of the signal determination unit 32, and the counting processing result as described above as time-series information ( Buffering) is also preferable. By also buffering the separation degree (determination distance) in this manner, it becomes possible to more reliably determine the generation of the target biological signal in consideration of the determination results before and after. For example, if it is determined that the mouth angle has been raised in a certain number of samples before and after, and it is temporarily (for example, only one sample) determined that the mouth angle has not been raised, it may be determined that the mouth angle has been raised again. It will be possible.

また、算出される離隔度合いとは直接的には関係しない信号強度を、信号強度算出部33aで算出し、同様にバッファリングすることも好ましい。「微笑」と判定した区間の信号強度を記憶しておくこともできる。この信号強度の大きさ又はヒステリシスに基づいて判定回数をカウントすることも可能である。なお、この信号強度は、公知の種々の方法によって算出可能であるが、例えば信号振幅(電圧)の二乗平均に基づく一般的なパワー計算式で算出されてもよい。   It is also preferable that the signal strength calculation unit 33a calculates a signal strength that is not directly related to the calculated separation degree, and similarly buffers the signal strength. It is also possible to store the signal strength of the section determined to be "smiling". It is also possible to count the number of determinations based on the magnitude of this signal strength or hysteresis. The signal intensity can be calculated by various known methods, but may be calculated by a general power calculation formula based on the root mean square of the signal amplitude (voltage), for example.

さらに、これらの情報をログとして記録してもよく、これらの情報を、信号インタフェースを介し(好ましくはデジタル情報として)、携帯端末2等の外部の情報処理装置に送信して活用させてもよい。また、これらの情報を(例えば携帯端末2の)ディスプレイに表示させることも好ましい。この際、単位時間(1時間や1日等)当たりの信号発生回数(例えば「笑み」の起こった回数)や生体活動量(例えば「笑み」に係る筋肉の収縮活動の量)に換算して表示してもよく、時系列のグラフとして表示することも好ましい。   Furthermore, these pieces of information may be recorded as a log, and these pieces of information may be transmitted to an external information processing device such as the mobile terminal 2 via a signal interface (preferably as digital information) to be utilized. .. It is also preferable to display these pieces of information on a display (for example, the mobile terminal 2). At this time, it is converted into the number of signal generations per unit time (one hour, one day, etc.) (for example, the number of "smiles") and the amount of biological activity (for example, the amount of muscle contraction activity related to "smiles"). It may be displayed, and it is also preferable to display it as a time-series graph.

[生体信号処理システムの他形態]
図15は、本発明による生体信号処理システムの更なる他の実施形態における機能構成を示す機能ブロック図である。
[Other forms of biological signal processing system]
FIG. 15 is a functional block diagram showing a functional configuration in still another embodiment of the biological signal processing system according to the present invention.

図15によれば、本実施形態の生体信号処理システムは、
(a)生体信号に係る周波数と主ノイズに係る周波数との間に遮断周波数を設定し、主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を入力信号に施すフィルタ処理部31を有するヘッドフォン1と、
(b)フィルタ処理を施された入力信号を処理する(図3(B)に示したものと同等の)信号判定部32を備えた携帯端末2と
を備えている。なお、本実施形態では、携帯端末2は、生体信号計数部33及びAP処理部21も有している。
According to FIG. 15, the biological signal processing system according to the present embodiment is
(A) Headphone 1 having a filter processing unit 31 that sets a cutoff frequency between a frequency related to a biological signal and a frequency related to main noise, and performs a filtering process on an input signal with a cutoff band including a frequency related to main noise. ,
(B) The mobile terminal 2 including the signal determination unit 32 (similar to that shown in FIG. 3B) that processes the input signal subjected to the filter processing. In addition, in the present embodiment, the mobile terminal 2 also includes the biological signal counting unit 33 and the AP processing unit 21.

このように、本実施形態では、フィルタ処理部31を、生体信号の測定に係るモバイルデバイスに持たせ、一方、このフィルタ処理後の情報を、信号判定部32を備えたユーザ端末に送信して、当該ユーザ端末で生体信号判定処理を行うのである。これにより、ヘッドフォン1等のモバイルデバイスにおける処理計算量が低減可能となるので、当該モバイルデバイスへの実装を容易にすることができる。また、測定された生体信号をモバイルデバイス側で予めフィルタ処理するので、携帯端末2等のユーザ端末へ送信する処理信号データ量を低減させることも可能となるのである。   As described above, in the present embodiment, the filter processing unit 31 is provided in the mobile device for measuring the biological signal, and the information after the filtering process is transmitted to the user terminal including the signal determination unit 32. The biological signal determination process is performed by the user terminal. As a result, the amount of processing calculation in the mobile device such as the headphones 1 can be reduced, so that the mounting on the mobile device can be facilitated. Further, since the measured biomedical signal is filtered on the mobile device side in advance, it is possible to reduce the amount of processed signal data transmitted to the user terminal such as the mobile terminal 2.

さらに、フィルタ処理部31においてSMAによるLPFを採用する場合、高い周波数成分は不要になるので、サンプリング周波数を間引くデシメーションフィルタを用いて、通信するデータ量をより低減させることも可能となる。この際、例えば5サンプルを1つのサンプルにして、周波数を102.4(=512/5)Hzに落としてもよい。   Furthermore, when the LPF based on SMA is adopted in the filter processing unit 31, high frequency components are not required, so it is possible to further reduce the amount of data to be communicated by using a decimation filter that thins out the sampling frequency. At this time, for example, 5 samples may be made into one sample and the frequency may be lowered to 102.4 (= 512/5) Hz.

[生体信号処理方法]
図16は、本発明による生体信号処理方法の一実施形態を概略的に示すフローチャートである。ここで、本実施形態では、判定すべき生体信号は、大頬骨筋等の口角上げに係る筋肉に起因する筋電信号となっている。
[Biological signal processing method]
FIG. 16 is a flowchart schematically showing an embodiment of the biological signal processing method according to the present invention. Here, in the present embodiment, the biological signal to be determined is a myoelectric signal resulting from a muscle related to a rise in the mouth angle, such as the greater zygomaticus muscle.

(S101)最初に、信号変換部において、ヘッドフォン1の筋電センサからのセンサ出力信号を、差動増幅しデジタル化した上でバッファに保存する。
(S102)信号変換部において、バッファに保存された時系列(離散サンプルの列)のセンサ出力信号に対し、ウィンドウ分割処理を行い、当該信号列をウィンドウに分割する。
(S103)フィルタ処理部31において、ウィンドウ毎に、SMAフィルタ処理を実行する。
(S104)信号判定部32において、フィルタ処理されたウィンドウ毎の判定対象の信号について、予め設定された項目に係る特徴量を算出する。
(S101) First, in the signal conversion unit, the sensor output signal from the myoelectric sensor of the headphone 1 is differentially amplified and digitized, and then stored in the buffer.
(S102) The signal conversion unit performs window division processing on the time-series (discrete sample sequence) sensor output signal stored in the buffer to divide the signal sequence into windows.
(S103) The filter processing unit 31 executes SMA filter processing for each window.
(S104) In the signal determination unit 32, the feature amount of the preset item is calculated for the signal to be determined for each window that has been filtered.

(S105)信号判定部32において、算出された特徴量から、設定された基準状態に対応させて予め設計された3つの単位空間からの離隔度合いを算出し、判定用距離(=(距離2)−(距離1)−(距離3))を算出する。
(S106)信号判定部32において、算出した判定用距離が、所定閾値を超えているか否かを判定する。ここで、真の判定(判定用距離が所定閾値よりも大きいとの判定)が行われた場合、ステップS107aに移行する。
(S107b)一方、ステップS106で偽の判定が行われた場合、判定対象の筋電信号は発生していないと判定し、ステップS108に移行する。
(S105) The signal determination unit 32 calculates the degree of separation from the three unit spaces designed in advance corresponding to the set reference state from the calculated feature amount, and the determination distance (= (distance 2) -(Distance 1)-(Distance 3)) is calculated.
(S106) The signal determination unit 32 determines whether the calculated determination distance exceeds a predetermined threshold value. Here, when the true determination (determination that the determination distance is larger than the predetermined threshold) is performed, the process proceeds to step S107a.
(S107b) On the other hand, when the false determination is made in step S106, it is determined that the myoelectric signal to be determined is not generated, and the process proceeds to step S108.

(S107a)信号判定部32において、(ステップS106で真の判定が行われた場合であるので)判定対象の筋電信号が発生したとの判定を行う。
(S108)ステップS107a及び107bで判定(決定)された対象筋電信号発生の有無、及び判定用距離(のヒステリシス)に基づいて、対象生体現象である「笑み」の発生した回数がカウントされる。
ちなみに、上記のステップS103〜S108のフローは、例えばウィンドウ毎に繰り返され、ステップS108で順次カウント処理が進むことも好ましい。
(S107a) The signal determination unit 32 determines that the myoelectric signal to be determined has occurred (because the true determination has been performed in step S106).
(S108) Based on the presence or absence of the target myoelectric signal generation determined (determined) in steps S107a and 107b and the determination distance (hysteresis), the number of times the "smile" that is the target biological phenomenon has occurred is counted. ..
Incidentally, it is also preferable that the flow of steps S103 to S108 described above is repeated, for example, for each window, and the count process proceeds sequentially in step S108.

以上詳細に説明したように、本発明によれば、一般に処理の容易でない微弱な信号である生体信号を、FFTやウェーブレット変換等を利用した大きな計算量を必要とする信号処理を用いずとも、確実に処理することができる。その結果、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定することが可能となるのである。   As described in detail above, according to the present invention, a biological signal, which is a weak signal that is generally not easy to process, without using signal processing that requires a large amount of calculation using FFT, wavelet transform, or the like, It can be processed reliably. As a result, it is possible to more accurately determine the generation of the biological signal to be detected while suppressing an increase in the amount of calculation of signal processing.

これにより、例えば、生体信号として大頬骨筋等の口角上げに係る筋肉に起因する筋電信号を判定対象とした場合、本発明を利用して「笑み」を定量的に計測し、例えばお笑い電子コンテンツの面白さを、笑み回数や口角上げ活動量から定量化することができる。また、ユーザの口角上げ動作をトリガとするユーザからのコマンド指示、例えばカメラのシャッタ動作やズーミング等、さらには視聴中コンテンツのお気に入り登録等を実行可能にする。さらには、「笑み」の定量計測を定常的に実施し、ユーザが健全な生活を送っているのかどうかを定量化することも可能となる。   Thereby, for example, when the electromyographic signal resulting from the muscles related to the angle of mouth up, such as the greater zygomaticus muscle, is determined as the biological signal, the "smile" is quantitatively measured using the present invention, and for example, comedy electronic It is possible to quantify the interestingness of the content from the number of smiles and the amount of activity to raise the corners of the mouth. Further, it is possible to execute a command instruction from the user triggered by the user's mouth corner raising operation, for example, a shutter operation of the camera, zooming, or the like, and favorite registration of the content being viewed. Furthermore, it becomes possible to constantly carry out quantitative measurement of "smile" to quantify whether or not the user is living a healthy life.

さらに、本発明は、上記の筋電信号以外にも様々な生体信号を特定し、その生体信号に係る生体現象の発生を判定することもできる。したがって、これらの判定結果や発生回数計測結果を、様々なタイプのコンテンツ等の評価、意志による生体現象のユーザインタフェース化、さらには身体状態や感情・精神状態の定量化等に生かすことも可能にするのである。   Furthermore, the present invention can identify various biological signals other than the above-mentioned myoelectric signals and determine the occurrence of biological phenomena related to the biological signals. Therefore, it is possible to utilize these judgment results and occurrence count results for evaluation of various types of content, user interface of biological phenomena by volition, and quantification of physical condition and emotional / mental condition. To do.

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。   With regard to the various embodiments of the present invention described above, various changes, modifications and omissions in the technical idea and scope of the present invention can be easily made by those skilled in the art. The above description is merely an example and is not intended to be limiting. The invention is limited only by the claims and their equivalents.

1 ヘッドフォン
1’ イヤホン
2 携帯端末
21 AP処理部
3 生体信号処理部
31 フィルタ処理部
311 計算区間設定部
312 処理実行部
32 信号判定部
321 特徴量生成部
322 単位空間設計部
323 離隔度合い算出部
324 信号発生判定部
33 生体信号計数部
33a 信号強度算出部
DESCRIPTION OF SYMBOLS 1 Headphone 1'Earphone 2 Mobile terminal 21 AP processing unit 3 Biological signal processing unit 31 Filter processing unit 311 Calculation interval setting unit 312 Processing execution unit 32 Signal determination unit 321 Feature amount generation unit 322 Unit space design unit 323 Separation degree calculation unit 324 Signal generation determination unit 33 Biological signal counting unit 33a Signal strength calculation unit

Claims (14)

生体信号を含み得る入力信号を処理する生体信号処理装置であって、
当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量に基づき、少なくとも当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間を含む複数の単位空間を設計する単位空間設計手段と、
判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該複数の単位空間から離隔した度合いである複数の離隔度合いを算出する離隔度合い算出手段と、
算出された当該複数の離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定する信号発生判定手段と
を有することを特徴とする生体信号処理装置。
A biological signal processing device for processing an input signal, which may include a biological signal,
Based on the characteristic amount generated from the input signal corresponding to one or more preset reference states relating to the presence or absence of the generation of the biological signal , at least the state in which the biological signal is generated and the biological signal is generated. A unit space designing means for designing a plurality of unit spaces including a unit space relating to a reference state in which the non-existing states are combined ,
Based on the feature quantity generated from the input signal to be determined, and the separation degree calculation means for calculating the determined degree der Ru separation degree of multiple spaced from the plurality of unit spaces in the input signal of the target,
A biological signal processing device, comprising: a signal generation determination unit that determines generation of the biological signal in the input signal to be determined based on the calculated plurality of separation degrees.
前記単位空間設計手段は、少なくとも、当該生体信号が発生した基準状態に係る単位空間を設計することを特徴とする請求項1に記載の生体信号処理装置。   The biological signal processing apparatus according to claim 1, wherein the unit space design means designs at least a unit space related to a reference state in which the biological signal is generated. 前記単位空間設計手段は、当該生体信号が発生していない基準状態に係る単位空間を更に設計し、
前記信号発生判定手段は、少なくとも、設計された3つの当該単位空間について算出された3つの当該離隔度合いに基づいて当該生体信号の発生を判定する
ことを特徴とする請求項2に記載の生体信号処理装置。
The unit space design means further designed between the unit air according to the reference state in which the biological signal is not generated,
It said signal generating judging means, at least, the biological signal according to claim 2, characterized in that to determine the occurrence of the biological signal based on three of the spaced degree calculated for three of the unit space which is designed Processing equipment.
前記信号発生判定手段は、当該生体信号が発生していない基準状態に係る単位空間からの離隔度合いから、当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間からの離隔度合いと、当該生体信号が発生した基準状態に係る単位空間からの離隔度合いとを差し引いた量に基づいて、当該生体信号の発生を判定することを特徴とする請求項3に記載の生体信号処理装置。   The signal generation determination means, from the degree of separation from the unit space related to the reference state in which the biological signal is not generated, to the reference state that combines the state in which the biological signal is generated and the state in which the biological signal is not generated The generation of the biological signal is determined based on an amount obtained by subtracting the degree of separation from the unit space and the degree of separation from the unit space related to the reference state in which the biological signal is generated. The biological signal processing device according to item 1. 当該入力信号の振幅に係る成分及び当該入力信号の周期に係る成分のうちの両方又は一方を含む特徴量を生成する特徴量生成手段を更に有することを特徴とする請求項1から4のいずれか1項に記載の生体信号処理装置。   5. The method according to claim 1, further comprising a feature amount generating unit that generates a feature amount including both or one of a component related to the amplitude of the input signal and a component related to the cycle of the input signal. The biological signal processing device according to item 1. 前記生体信号処理装置は、
当該生体信号に係る周波数と主ノイズに係る周波数との間に遮断周波数を設定し、当該主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を当該入力信号に施すフィルタ処理手段と、
当該フィルタ処理を施された当該入力信号の特徴量を生成する特徴量生成手段と
を更に有し、
前記単位空間設計手段は、当該フィルタ処理を施された当該入力信号の特徴量によって複数の単位空間を設計し、
前記離隔度合い算出手段は、当該フィルタ処理を施された当該判定対象の入力信号の特徴量に基づいて、当該複数の離隔度合いを算出する
ことを特徴とする請求項1から5のいずれか1項に記載の生体信号処理装置。
The biological signal processing device,
Filtering means for setting a cutoff frequency between the frequency related to the biological signal and the frequency related to the main noise, and performing a filtering process with a cutoff band including the frequency related to the main noise on the input signal,
Further comprising a feature amount generating means for generating a feature amount of the input signal subjected to the filtering process,
The unit space design means to design the unit space of the multiple by the feature amount of the filter has been subjected the input signal,
6. The separation degree calculation means calculates the plurality of separation degrees based on the characteristic amount of the input signal of the determination target subjected to the filtering process. The biological signal processing device according to item 1.
前記フィルタ処理手段は、遮断周波数が当該生体信号に係る周波数と当該主ノイズに係る周波数との間となるように移動区間サンプル数を設定し、当該入力信号に対して移動平均を用いたフィルタ処理を施すことを特徴とする請求項6に記載の生体信号処理装置。   The filter processing unit sets the number of moving section samples so that the cutoff frequency is between the frequency related to the biological signal and the frequency related to the main noise, and the filter processing using the moving average for the input signal. The biological signal processing device according to claim 6, wherein 前記生体信号処理装置は、当該生体信号が発生した回数を計数する生体信号計数手段を更に有し、
前記生体信号計数手段は、当該生体信号が発生したと判定された場合において、当該判定対象の入力信号における当該離隔度合いが所定のヒステリシスを示した際に当該回数のカウントを行う
ことを特徴とする請求項1から7のいずれか1項に記載の生体信号処理装置。
The biological signal processing device further has a biological signal counting means for counting the number of times the biological signal is generated,
The biological signal counting means, when it is determined that the biological signal has occurred, counts the number of times when the separation degree in the input signal of the determination target shows a predetermined hysteresis. The biological signal processing device according to any one of claims 1 to 7.
当該生体信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることを特徴とする請求項1から8のいずれか1項に記載の生体信号処理装置。   The biological signal is a device attached to the user's head, where the reference electrode is in contact with one skin position near the cheek from the left (or right) auricle and the detection electrode is right (or left). 9. The biological signal processing according to any one of claims 1 to 8, wherein the signal is obtained by a device having an electrode configuration that touches one skin position in the vicinity of the cheek from (4). apparatus. 当該生体信号は、口角上げに係る筋肉に起因する筋電信号であることを特徴とする請求項1から9のいずれか1項に記載の生体信号処理装置。   The biological signal processing apparatus according to any one of claims 1 to 9, wherein the biological signal is a myoelectric signal resulting from a muscle involved in raising the corner of the mouth. 前記単位空間設計手段及び前記離隔度合い算出手段は、それぞれ当該単位空間及び当該離隔度合いとして、
MT(Mahalanobis Taguchi)法における単位空間、及びマハラノビス距離から算出される値、
MTA(Mahalanobis-Taguchi Adjoint)法における単位空間、及びマハラノビス距離から算出される値、
T法における単位空間、及び特性値から算出される値、又は
RT(Recognition Taguchi)法における単位空間、及びRT距離から算出される値
を採用することを特徴とする請求項1に記載の生体信号処理装置。
The unit space design means and the separation degree calculation means, respectively, as the unit space and the separation degree,
A unit space in the MT (Mahalanobis Taguchi) method, and a value calculated from the Mahalanobis distance,
A value calculated from the unit space in the MTA (Mahalanobis-Taguchi Adjoint) method and the Mahalanobis distance,
The biological signal according to claim 1, wherein a value calculated from a unit space in the T method and a characteristic value, or a value calculated from a unit space in the RT (Recognition Taguchi) method and an RT distance is used. Processing equipment.
生体信号を含み得る入力信号を処理する生体信号処理システムであって、
当該生体信号に係る周波数と主ノイズに係る周波数との間に遮断周波数を設定し、当該主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を当該入力信号に施すフィルタ処理手段を有する装置と、
当該フィルタ処理を施された当該入力信号を処理する、請求項1から5のいずれか1項に記載の生体信号処理装置と
を備えていることを特徴とする生体信号処理システム。
A biological signal processing system for processing an input signal, which may include a biological signal,
An apparatus having a filter processing unit that sets a cutoff frequency between a frequency related to the biological signal and a frequency related to main noise, and performs a filtering process with a cutoff band including a frequency related to the main noise on the input signal,
A biological signal processing system, comprising: the biological signal processing device according to any one of claims 1 to 5 that processes the input signal that has been subjected to the filtering process.
生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量に基づき、少なくとも当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間を含む複数の単位空間を設計する単位空間設計手段と、
判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該複数の単位空間から離隔した度合いである複数の離隔度合いを算出する離隔度合い算出手段と、
算出された当該複数の離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定する信号発生判定手段と
してコンピュータを機能させることを特徴とする生体信号処理プログラム。
A program for operating a computer mounted on a device that processes an input signal, which may include a biological signal,
Based on the feature amount generated from the input signal corresponding to one or more preset reference states relating to the presence or absence of the generation of the biological signal , at least the state in which the biological signal is generated and the biological signal is generated. A unit space designing means for designing a plurality of unit spaces including a unit space relating to a reference state in which the non-existing states are combined ,
Based on the feature quantity generated from the input signal to be determined, and the separation degree calculation means for calculating the determined degree der Ru separation degree of multiple spaced from the plurality of unit spaces in the input signal of the target,
A biological signal processing program, which causes a computer to function as signal generation determination means for determining the generation of the biological signal in the input signal to be determined based on the calculated plurality of separation degrees.
生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量に基づき、少なくとも当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間を含む複数の単位空間を設計するステップと、
判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該複数の単位空間から離隔した度合いである複数の離隔度合いを算出するステップと、
算出された当該複数の離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定するステップと
を有することを特徴とする生体信号処理方法。
A method for processing a biological signal by a computer mounted on a device that processes an input signal that may include a biological signal,
Based on the feature amount generated from the input signal corresponding to one or more preset reference states relating to the presence or absence of the generation of the biological signal , at least the state in which the biological signal is generated and the biological signal is generated. A step of designing a plurality of unit spaces including a unit space relating to a reference state in which the non-existent states are combined ,
Calculating on the basis of the feature quantities generated from the input signal to be determined, the determination multiple spaced degree degree Ru der spaced from the plurality of unit spaces in the input signal of the target,
Determining the occurrence of the biological signal in the input signal of the determination target based on the calculated plurality of separation degrees, the biological signal processing method.
JP2017034145A 2017-02-24 2017-02-24 Biological signal processing device, program and method for making judgment based on the degree of separation from a unit space Active JP6695817B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017034145A JP6695817B2 (en) 2017-02-24 2017-02-24 Biological signal processing device, program and method for making judgment based on the degree of separation from a unit space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017034145A JP6695817B2 (en) 2017-02-24 2017-02-24 Biological signal processing device, program and method for making judgment based on the degree of separation from a unit space

Publications (2)

Publication Number Publication Date
JP2018139630A JP2018139630A (en) 2018-09-13
JP6695817B2 true JP6695817B2 (en) 2020-05-20

Family

ID=63526029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017034145A Active JP6695817B2 (en) 2017-02-24 2017-02-24 Biological signal processing device, program and method for making judgment based on the degree of separation from a unit space

Country Status (1)

Country Link
JP (1) JP6695817B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021006975A (en) 2019-06-28 2021-01-21 三菱重工業株式会社 Anomaly detection device, anomaly detection method, and program

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139863A (en) * 1998-11-05 2000-05-23 Nec Corp F wave starting point and finishing point detector and method for detecting starting point and finishing point
JP2000316827A (en) * 1999-05-11 2000-11-21 Nabco Ltd Muscle activity measuring apparatus
US20030233198A1 (en) * 2001-11-13 2003-12-18 Genichi Taguchi Multivariate data analysis method and uses thereof
JP5481108B2 (en) * 2009-06-26 2014-04-23 株式会社東芝 Ultrasonic diagnostic apparatus and automatic diagnosis support apparatus
JP5611546B2 (en) * 2009-06-30 2014-10-22 株式会社東芝 Automatic diagnosis support apparatus, ultrasonic diagnosis apparatus, and automatic diagnosis support program
JP2011129997A (en) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd User information processing program, reproducing program, user information processor, reproducing device, user information processing method, and reproducing method
JP5517973B2 (en) * 2011-03-04 2014-06-11 三菱電機株式会社 Pattern recognition apparatus and pattern recognition method
JP6636735B2 (en) * 2015-07-09 2020-01-29 Kddi株式会社 Pulse measuring device, wearable terminal and pulse measuring method
JP6452248B2 (en) * 2015-07-30 2019-01-16 Kddi株式会社 Device, terminal, and program for identifying facial expression using myoelectric signal

Also Published As

Publication number Publication date
JP2018139630A (en) 2018-09-13

Similar Documents

Publication Publication Date Title
JP5577449B2 (en) Hearing aid suitable for EEG detection and method for adapting such a hearing aid
JP2019025355A (en) Apparatus for detecting seizures
JP6580497B2 (en) Apparatus, device, program and method for identifying facial expression with high accuracy using myoelectric signal
EP3040022B1 (en) Swallowing estimation device, information terminal device, and program
JP2013518607A (en) Method and system for classifying physiological signal quality for portable monitoring
JP2012000228A (en) Muscle-activity diagnosis apparatus, method, and program
US20220007964A1 (en) Apparatus and method for detection of breathing abnormalities
WO2011063092A1 (en) Apparatus and methods for monitoring heart rate and respiration
JP6452248B2 (en) Device, terminal, and program for identifying facial expression using myoelectric signal
JP2013184062A (en) Threshold value control method and device for detecting peak of biological signal, computer-readable recording medium, and biological signal detection device
JP6695817B2 (en) Biological signal processing device, program and method for making judgment based on the degree of separation from a unit space
JP6765352B2 (en) A biological signal acquisition device that elastically connects the main body and electrodes
JP6685891B2 (en) Biosignal processing apparatus, program and method using filter processing and frequency determination processing
JP6810682B2 (en) Biological signal processing device, program and method for determining periodic biosignal generation based on representative values of acceleration components
US20220218941A1 (en) A Wearable System for Behind-The-Ear Sensing and Stimulation
JP6821549B2 (en) Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components
JP7082956B2 (en) Biological signal processing device, program and method for counting biological signals based on reference values according to signal data.
JP2020048917A (en) Apparatus capable of evaluating meal based on amount related to chewing and smile, and program and method
KR20200042076A (en) Digital Breathing Stethoscope Method Using Skin Image
US11494001B2 (en) Gesture detection system for personal head wearable device
Guul et al. Portable prescreening system for sleep apnea
TWI471120B (en) Detecting apparatus for head physiological parameters and method for the same and application equipment for the same
Amon Design and Evaluation of an EMG-based Recording and Detection System
KR101587989B1 (en) Method of evaluating a value for heart regularity by bioacoustic and electronic stethoscope
JP2020073109A (en) Sleep stage determination method, sleep stage determination device and sleep stage determination program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200422

R150 Certificate of patent or registration of utility model

Ref document number: 6695817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150