JPWO2016009644A1 - 入力デバイス、生体センサ、プログラム、コンピュータ読み取り可能な媒体及びモード設定方法 - Google Patents

Abstract

本発明は、被制御対象のモードを設定するか否かの判定の誤りを低減できる入力デバイス、生体センサ、プログラム、コンピュータ読み取り可能な媒体及びモード設定方法を提供することを目的とする。入力デバイス（１００）は、センサ信号を取得するセンサ信号取得部（１０１）と、センサ信号における２つ以上の時間区間の波形同士を照合する波形照合部（１０２）と、波形照合部（１０２）の照合結果に基づいて、被制御対象装置（１１０）のモードを設定するモード設定部（１０３）と、を備える。

Description

本発明は、ユーザに装着されたセンサによってユーザの動作を検知した信号を入力する入力デバイス、生体センサ、プログラム、コンピュータ読み取り可能な媒体及びモード設定方法に関する。

特許文献１には、まばたきにおける目を閉じていた時間の長さと目を開いていた時間の長さとを特徴量とするまばたきのパターンをあらかじめ登録しておき、登録されたまばたきパターンと同じパターンのまばたきをユーザが再現したか否かを検出して切り替えられるモードの種類を増やす方法が開示されている。

特開２０１３−２１４０７３号公報

しかしながら、特許文献１に記載された技術は、まばたきの動作パターンをあらかじめ登録しておくため、ユーザ一人一人にまばたきの動作パターンを登録させるための手間が掛かる。さらに、ユーザは、自ら登録したとのと同じまばたき動作を正確に再現することは容易ではない。一方、全ユーザに共通のまばたき動作パターンをあらかじめ定めてしまう方法では、その動作時間の長さを正確に再現することをユーザに求めることになり容易ではない。

すなわち、上述した従来技術は、あらかじめ登録したまばたき動作パターンの再現が容易でないことから、被制御対象のモードを設定するかどうかの判定を誤らせる可能性が高いという問題を有している。
本発明の目的は、被制御対象のモードを設定するか否かの判定の誤りを低減できる入力デバイス、生体センサ、プログラム、コンピュータ読み取り可能な媒体及びモード設定方法を提供することにある。

上記目的を達成するために、本発明の一態様による入力デバイスは、センサ信号を取得するセンサ信号取得部と、前記センサ信号における２つ以上の時間区間の波形同士を照合する波形照合部と、前記波形照合部の照合結果に基づいて、被制御対象装置のモードを設定するモード設定部と、を備えることを特徴とする。

上記目的を達成するために、本発明の一態様によるプログラムは、コンピュータを、上記本発明の一態様による入力デバイスとして機能させることを特徴とする。
上記目的を達成するために、本発明の一態様によるコンピュータ読み取り可能な媒体は、本発明の一態様によるプログラムを有することを特徴とする。
上記目的を達成するために、本発明の一態様によるモード設定方法は、センサ信号における２つ以上の時間区間の波形同士を照合し、前記波形同士の照合結果に基づいて、被制御対象装置のモードを設定することを特徴とする。

上記目的を達成するために、本発明の一態様による生体センサは、生体に装着して該生体から生体情報を取得する生体センサであって、該生体センサでサンプリングされたセンサ信号を取得するセンサ信号取得部と、該センサ信号における２つ以上の区間において波形同士を照合する波形照合部と、前記波形照合部の照合結果に基づいて、被制御対象装置のモードを設定するモード設定部と、を備えることを特徴とする。

本発明の各態様によれば、被制御対象のモードを設定するか否かの判定の誤りを低減できる。

本発明の第１実施形態による入力デバイスの機能ブロック図である。 本発明の第１実施形態を説明する図であって、リズムとテンポとの組み合わせを示す図である。 発明の第１実施形態を説明する図であって、動作時間と動作回数による９種類のバリエーションを示す図である。 本発明の第１実施形態を説明する図であって、波形照合部１０２における相関係数を用いた波形照合方法の流れの一例を示すフローチャートである。 本発明の第２実施形態による入力デバイスの機能ブロック図である。 本発明の第２実施形態を説明する図であって、符号パターンを示すグラフである。 本発明の第２実施形態を説明する図であって、波形照合部１０２における符号パターンと面積とを用いた波形照合方法の流れの一例を示すフローチャートである。 本発明の第２実施形態を説明する図であって、相関判定処理の流れの一例を示すフローチャートである。 本発明の第３実施形態を説明する図であって、皮膚導電率センサの外観図である。 本発明の第３実施形態を説明する図であって、皮膚導電率センサに備えられたセンサ信号取得部の機能ブロック図である。 本発明の第３実施形態を説明する図であって、皮膚電気抵抗センサの信号の近接差分のグラフである。 本発明の第４実施形態による入力デバイスの機能ブロック図である。 本発明の第５実施形態を説明する図であって、手首に装着した脈波センサにおける検出波形の一例を示す図である。 本発明の第５実施形態を説明する図であって、生体センサ８００の機能ブロック図である。 本発明の第６実施形態を説明する図であって、手を動かしたときの赤外線センサからの信号をグラフ化した図である。

（第１実施形態）
本発明の第１実施形態は、ユーザがある動作をリズミカルに２回以上連続して繰り返すことは容易であることに着目し、サンプリングされた入力信号が連続する２周期の波形とみなされる度合いを評価して被制御対象のモードを切り替える点に特徴を有している。その繰り返し動作は、事前登録が不要であり、ユーザがその場で自由に発想してもよく、随時変更可能である。以下、本実施形態による入力デバイスについて説明する。

図１は、第１実施形態の入力デバイスの機能ブロック図である。
本実施形態の入力デバイス１００は、センサ信号を取得するセンサ信号取得部１０１と、センサ信号における２つ以上の時間区間の波形同士を照合する波形照合部１０２と、波形照合部の照合結果に基づいて、被制御対象装置１１０のモードを設定するモード設定部１０３と、を備えている。このセンサ信号は、生体に装着されるように構成されたセンサでサンプリングされた信号である。また、入力デバイス１００は、センサ信号またはセンサ信号を所定の加工方法で加工したデータである評価データを記憶する評価データ列記憶部１０４を備えている。入力デバイス１００は、モード設定対象の被制御対象装置１１０と接続されている。入力デバイス１００および被制御対象装置１１０とは有線または無線によって、またはネットワークを経由して接続されている。たとえば入力デバイス１００を用いて実行されるモード設定方法では、センサ信号における２つ以上の時間区間の波形同士が波形照合部１０２で照合され、波形同士の照合結果に基づいて、被制御対象装置１１０のモードがモード設定部１０３で設定される。

センサ信号取得部１０１はセンサのハードウェア部分である。センサ信号取得部１０１は、ユーザの動作を検出する加速度センサや角速度センサ（ジャイロ）などのモーションセンサはもちろん、たとえば上下の動作を検出する気圧センサでもよい。更には、センサ信号取得部１０１は、指先に磁石を装着し手首に磁気センサを装着することで手の動作に伴い磁石と磁気センサの位置関係の変化を検出するセンサでもよい。

更には、センサ信号取得部１０１は、手のひらや手首の内側に装着して２つの電極間の皮膚導電率（皮膚電気抵抗の逆数）を測定してユーザの情動の発生を検知する皮膚導電率センサにおけるモーションアーチファクトを利用してもよい。モーションアーチファクトは、ユーザの動作によって皮膚と電極との接触状態が変化して発生する信号である。モーションアーチファクトは、情動由来の信号ではないので通常はすべてノイズとして排除される。同様に発光ダイオード（ＬＥＤ）とフォトダイオード（ＰＤ）を用いた脈波センサでもモーションアーチファクトを利用できる。

本発明に用いるセンサは前述のセンサに限定されない。本発明に用いるセンサは、一定時間間隔でデジタルデータを取得できるセンサであればよい。たとえ通常はノイズとして排除される信号であろうともユーザの動作に応じて波形が変化するセンサは、すべて本発明に用いるセンサの対象となる。
また、皮膚導電率センサと加速度センサとを手首に装着する１つのデバイスに備え、ユーザが静止しているときに手の開閉を行うと皮膚導電率センサのみにユーザが意図したとおりの周期的なモーションアーチファクトの信号が発生し、ユーザが歩いたり走ったりすると皮膚導電率センサと加速度センサの両方のセンサにユーザが意図しない周期的なモーションアーチファクトの信号が発生することを利用して、皮膚導電率センサに発生した周期的なモーションアーチファクトの信号がユーザが意図して発生させたものか意図しないで発生させたものかを区別することができる。加速度センサの代わりに角速度センサを用いてもよい。
波形照合部１０２と、モード設定部１０３と、評価データ列記憶部１０４とは図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）とメモリ装置とを有するマイクロコンピュータによって実現される。

波形照合部１０２は、センサ信号取得部１０１でサンプリングされたセンサ信号を入力とする。波形照合部１０２は、センサ信号をそのまま評価データとしてもよい。また、波形照合部１０２は、入力されたセンサ信号のうち隣接するセンサ信号のＮ回差分（Ｎは１以上）を取って評価データとしてもよい。
評価データ列記憶部１０４は、前述の図示しないメモリ装置に設けられ、波形照合部１０２が生成した前述の評価データを時系列的に保存する。評価データ列記憶部１０４が記憶する評価データは、センサ信号またはセンサ信号を所定の加工方法で加工したデータである。

前述の隣接するセンサ信号の差分を取った隣接差分は、１つ前のセンサ信号との差分に限らず、Ｍ個前のセンサ信号との差分を用いてもよい。Ｍを大きくとることによってセンサが持つ電気的な揺らぎによるノイズの影響を小さくすることができる。このＭはセンサのサンプリング周波数とユーザの動作によって生じる波形の変化の速さに応じて設定するのが好適である。このＭは、たとえばサンプリング周波数が２０Ｈｚのセンサを用いて０．５秒間隔で変化する動作をとらえるときは２〜６に設定される。

前述の皮膚導電率センサや脈波センサでは１回差分を取ることで値が正負にバランスよく按分された評価データを得られる。このため、皮膚導電率センサや脈波センサは、後述の同じ符号のデータが連続するパターンで照合するときに好適である。なお、同じ符号に着目する方法では、センサ信号が長期的に上昇あるいは下降傾向であることを見極めて補正する必要がある。前述の皮膚導電率センサでは装着後に温熱性発汗によって皮膚伝導率が徐々に上昇することが知られている。このときたとえば２周期の最大長が４秒の動作をとらえるには、直近の８秒以上のデータの中間値５０％のデータだけを用いた相加平均（ｔｒｉｍ ｍｅａｎ）を求めて補正するのが好適である。

波形照合部１０２は、２つ以上の時間区間の波形の相関係数から波形同士を照合する。２組の数値からなるデータ列{（ｘｉ，ｙｉ）}（ｉ＝１，２，・・・，ｎ）が与えられたとき、相関係数は、以下の文字式（１）のように求められる。

波形照合部１０２では、このようにして取得した評価データの波形が連続する２周期の波形とみなされる度合いを評価し、照合結果として出力する。照合結果の情報は、ユーザが同じ動作を繰り返したか否かの情報と、ユーザが同じ動作を繰り返したとした場合は１回あたりの動作時間と繰り返した回数の情報とで構成される。
モード設定部１０３は、２つ以上の時間区間の波形が略同一である場合に、被制御対象装置１１０のモードを設定したり、略同一と判定された波形の時間長に応じて被制御対象装置１１０のモードを設定したりするようになっている。たとえば、モード設定部１０３は前述の照合結果を入力とする。ユーザが同じ動作を繰り返した場合は、モード設定部１０３は動作時間や動作回数に応じて被制御対象装置１１０のモードを切り替えて設定する。動作時間のバリエーションを増やすにはリズムとテンポを用いるのが好適である。

図２は、リズムとテンポとの組み合わせを示す図である。図２（ａ）は、動作時間が短い組み合わせを示し、図２（ｂ）は、動作時間が普通の組み合わせを示し、図２（ｃ）は、動作時間が長い組み合わせを示している。「閉じて開いて」を１セットとし、リズムとテンポとの組み合わせでスイッチのバリエーションを増やすことができる。
たとえば図２（ｃ）の上段には１回あたりの手を閉じたり開いたりする時間を長くすることで動作時間が長い組み合わせを実現する例を示しているが、実際はユーザにとっては長い時間をリズミカルに刻むのは難しく、図２（ｃ）の下段に示すように１回あたりの手を閉じたり開いたりする時間を短くするのが望ましい。図２（ｃ）の下段では１つの区間で「閉じて開いて」のセットが２セットあるが前半のセットと後半のセットでは開閉の速さすなわちリズムが異なるので相関はなく、後続する２つ目の区間の２セットと１つ目の区間の２セット同士を比較して初めて相関ありと判定される。
図２（ｂ）の上段や図２（ｃ）の下段に示した開閉要領のように、２つの区間の波形を略同一にする動作でありながら、１つの区間内では略同一の波形とみなされる波形はなく、ユーザがおよそ同じテンポで繰り返すことができる動作を設計できる。

図３は、動作時間と動作回数による９種類のバリエーションを示す図であり、以下の表１に対応する波形図である。図３中の上段は、表１に示す「動作時間」欄の「短い」に対応し、図３中の中段は、表１に示す「動作時間」欄の「普通」に対応し、図３中の下段は、表１に示す「動作時間」欄の「長い」に対応している。たとえば被制御対象装置が音楽プレーヤの場合、動作時間を短い・普通・長いという３種に分類し、動作回数を２〜４回の３種に分類して表１の９種のモードを設定することができる。
ここでは手首に装着する皮膚導電率センサでスマートホンやヘッドホンに実装される音楽プレーヤのモードを設定する例を想定して説明したが、センサと被制御対象装置は別々のデバイスでなくともよく、スマートウォッチに皮膚導電率センサと音楽プレーヤを実装することもできる。

あるいは動作時間を閾値によって分類することなく、動作時間からテンポを計算し、計算したテンポに合致する楽曲を自動で選択してもよい。テンポに基づく楽曲の自動選択は、ジョギング中に自分が走るテンポに合致したＢＧＭを選択するときに有用である。被制御対象装置がゲーム機である場合は動作時間を速度に換算して、ゲーム内の速度に関するプロパティを制御することも可能である。検出された動作時間による制御対象は時間や速度に関するプロパティに限定する必要はなく、音量、明度、色彩、容積、面積、距離、温度、湿度、硬度、角度など連続的になだらかに変化するプロパティのすべてが制御対象になり得る。

波形照合部１０２における２つ以上の時間区間の波形同士を照合する方法について説明する。特に、ユーザがある動作をリズミカルに２回以上繰り返すことは容易であることに着目し、入力信号が連続する２周期の波形とみなされる度合いの評価方法について、前述の皮膚導電率センサにおいてサンプリング周波数が２０Ｈｚのケースを例に説明する。
２つ以上の時間区間は時間軸上で隣接する２つの区間である。このように２つの区間が時間軸上で隣接するケースにおいて相関係数を用いる場合、最新の入力データから遡ってＮ個のデータを１区間とし、Ｎ＋１個前からＮ＋Ｎ個前までのＮ個のデータを比較対象の１区間としてこれら２つの区間の相関係数を求める。

センサ信号が１つ入力される度に、人が実施可能な動作時間のすべてのＮについて相関係数を求める。たとえば１周期が０．５秒から２秒を対象に設計する場合はＮを１０個から４０個まで１つずつずらして３１通りのＮについて相関係数を計算し、あらかじめ設定した閾値を超えたか否かで相関の有無を判定する。文字式（１）に示した相関係数であればたとえば０．９５を閾値とすると好適である。分母の平方根の計算を省くべく分子を自乗して０．９５×０．９５＝０．９と比較することで処理量が削減できることは自明である。

図４は、波形照合部１０２における相関係数を用いた波形照合方法の一例を説明するためのフローチャートである。
ステップＳ３０１では、センサ信号取得部１０１のセンサによって一定時間間隔でセンサ信号が取得される。
ステップＳ３０１の次のステップＳ３０２では、取得したセンサ信号の値から１つ前に取得したセンサ信号の値を差し引いて評価データとする。評価データはカレントの評価データから過去に遡りながら番号を振り、評価データ（Ｎｏ．１）、評価データ（Ｎｏ．２）と表記する。２０Ｈｚサンプリングで評価する１周期の最大が２秒の場合は１区間４０個、３回連続までチェックする場合は３区間で１２０個なので、最大で評価データ（Ｎｏ．１２０）までを前述の評価データ列記憶部１０４に保存する。そして、評価データ（Ｎｏ．１）から評価データ（Ｎｏ．１０）と評価データ（Ｎｏ．１１）から評価データ（Ｎｏ．２０）との組み合わせから相関係数を求めるべく変数Ｎに１０をセットする。

ステップＳ３０２の次のステップＳ３０３では、変数Ｎが４０以下であれば相関係数を求めるステップＳ３０４を繰り返し、４０を超えていればステップＳ３０５に進むための判定処理を行う。
ステップＳ３０４では、評価データ（Ｎｏ．１）から評価データ（Ｎｏ．Ｎ）と評価データ（Ｎｏ．Ｎ＋１）から評価データ（Ｎｏ．Ｎ＋Ｎ）との相関係数を求め、相関係数（Ｎ）として前述の波形照合部１０２の図示しないメモリ装置に保存する。ループ処理のカウンターの役割も担う変数Ｎに１を加算してステップＳ３０３に戻る。

ステップＳ３０５では、相関係数（１０）から相関係数（４０）のうち、最大値の相関係数（Ｍ）を求める。
ステップＳ３０５の次のステップＳ３０６では、最大値の相関係数（Ｍ）が０．９５以上であれば相関ありの処理を行うべくステップＳ３０７に進み、相関係数（Ｍ）が０．９５未満であれば相関なしとしてステップＳ３０８に進むための判定処理を行う。
ステップＳ３０７では、相関ありと判定された場合の所定のモード設定の処理を行う。Ｍは動作時間に相当するので、このＭを判定して前述の音楽プレーヤのモード設定に利用することができる。
ステップＳ３０８では、新たなセンサ信号の取得に備えて、評価データ（Ｎｏ．１１９）を評価データ（Ｎｏ．１２０）に、評価データ（Ｎｏ．１１８）を評価データ（Ｎｏ．１１９）に、・・・、評価データ（Ｎｏ．１）を評価データ（Ｎｏ．２）に一つずつずらしてステップＳ３０１に戻る。

相関係数で評価する場合、相関係数（Ｍ）が０．９５を超えると次のセンサ信号を取得して相関係数を求めるとやはり相関係数（Ｍ）あるいは相関係数（Ｍ＋１）が再び閾値の０．９５を超えることが多い。これでは不要なモード設定を行うことになるので、続いて入力されるＭ個分のセンサ信号に対しては相関の評価を行わないようステップＳ３０１とステップＳ３０２とステップＳ３０８を繰り返す。なお、繰り返し回数２回目の時点でモード設定を行わず３回目以降の繰り返しがあるか否かを待つ場合は、繰り返し回数記憶変数を設けてカウントするとよい。すなわち起動時に繰り返し回数記憶変数をゼロに設定しておき、初めて相関ありと判定された時点で繰り返し回数記憶変数に２を設定する。そしてＭ個分のセンサ信号を読み飛ばし、改めて相関係数（Ｍ）を評価して相関ありと判定されたら繰り返し回数記憶変数に１を加算して３とするのである。

ユーザ毎のリズム感や操作の習熟度の違いによって２つの区間の境目がぴったり隣接しないことも考えられる。あるいはサンプリング周波数が大きい場合も同様である。この場合は２つの区間が重なったり離れたりすることを想定してバッファを設け、たとえば前述のＮ＋１個前からＮ＋Ｎ個前までのＮ個のデータを、「Ｎ＋１＋Ｂ個前からＮ＋Ｎ＋Ｂ個前までのＮ個のデータ、ただしＢは±１」とすればよい。このように、２つ以上の時間区間は、所定時間以内に相当するサンプル数（本例ではＢ個）だけ重なり合うまたは離れていることが許容される。なお、図３に示したようにＭｉｄｄｌｅの動作時間はＳｈｏｒｔの動作時間の５０％増しであるから、この２つを区別するためにＢの範囲はＮの±２５％以内に設定するのが好適である。

前述の相関係数ではそれぞれの時間区間毎に相加平均を用いて正規化している。現実には一方の時間区間が正値に偏り他方の時間区間が負値に偏るノイズがある。しかし、相関係数がそれぞれの時間区間で正規化されると、このノイズに対する相関係数の値が大きくなる場合がある。ユーザが同じ動作を反復した時の波形はこのような時間区間毎に異なる偏りは発生しないことに着目し、２つの時間区間すべての評価データの相加平均を２つの時間区間で共通に用いることでノイズだけを排除する改善ができる。

また、現実には２つの時間区間で振幅は異なるが形が似ている相似形のノイズがあり、やはり相関係数の値が大きくなることがある。ユーザが同じ動作を反復したときの波形は振幅もほぼ同じ大きさになることに着目し、この相似形のノイズを排除すべく、１区間内の信号の絶対値や自乗値を用い、その総和、平均値、最大値などを比較することで前述の相関係数による評価方法を改善することができる。

相関係数は振幅がピークになった時点が合致しただけで値が大きくなる特徴がある。たとえばサンプリング周波数が２０Ｈｚで動作周期が１秒のときは２つのピークが一致すると相関係数が０．９５を超えてしまうこともある。これはユーザの動作途中でモード設定が実施される不具合に繋がる。
この対策として時間的に対応する時点、たとえば１個前とＮ＋１個前、２個前とＮ＋２個前のデータの差分の絶対値の総和を求めて判定する方法も適用できる。
ユーザがまったく動作せずにゼロが並んだデータにおいて相関ありと誤判定しないよう、振幅の絶対値の総和を求めて閾値と比較する。

評価データの符号が正負にバランスよく按分されて長期的には相加平均がゼロとみなせるケースにおいては符号に着目するのが好適である。まずユーザの動作がない状態のゼロに近い微小値はすべてゼロに置き換え、残るデータを符号のみに着目して±１に置き換えてから相関係数を計算する。この場合、平均値はゼロとみなして平均値による補正処理を省き、分母の自乗計算は１か０に集約され、分子の掛け算は符号の組み合わせで±１か０に集約されるので計算量を大幅に削減することができる。振幅だけが異なる相似形の波形の問題に対しては、振幅の絶対値の総和を求めて閾値と比較することで解決できる。

（第２実施形態）
図５に示すように、ハードウェアの構成、機能ブロックの構成は、波形照合部１０２が状態情報列記憶部１０２ａを備えている点を除いて、第１実施形態と同様であるから詳細な説明を省略する。
相似形の波形の問題を解決しかつ処理量を大幅に削減する方法として、同じ符号のデータが継続する時間の長さと面積のパターンに着目するのが好適である。たとえば皮膚導電率センサや脈波センサでは入力データの隣接差分をとることで、ユーザの動きに応じて符号が正負にバランスよく按分されたデータ列を取得できる。詳細は後述するが、波形照合部１０２は、符号が同じ評価データが連続する区間を１つの単位とする小区間として、符号情報と、この小区間に属する評価データの個数を表す区間長と、この小区間に属する評価データの値またはこの小区間に属する評価データの値の絶対値の総和を表す面積とを状態情報として、小区間単位でこの状態情報を時系列的に状態情報列記憶部１０２ａに記憶する。さらに、波形照合部１０２は、隣接する２つの時間区間において時系列的に対応する小区間毎の状態情報から、隣接する２つの時間区間の波形同士を照合するようになっている。

図６は、符号と面積から２つ以上の時間区間の波形同士の照合を行う際の波形例である。
正値のデータが５個連続したらＰ（５）、負値のデータが７個連続したらＭ（７）、ユーザの動作がない状態の振幅がゼロに近い微小値が３個連続したらＺ（３）と表す。Ｐ（ｎ）、Ｍ（ｎ）およびＺ（ｎ）（ｎは任意の整数）は、符号が同じ評価データが連続する区間を１つの単位とする小区間に相当する。Ｐ、ＭおよびＺは、それぞれ符号情報を示し、ｎは小区間に属する評価データの個数を表す区間長を示している。現時点から過去に遡って、たとえば「Ｐ（５）Ｚ（３）Ｍ（７）Ｐ（５）Ｚ（３）Ｍ（７）」と並べば５＋３＋７＝１５個のデータを１周期として相関ありと判定する。なお、「Ｐ（５）Ｚ（３）Ｍ（７）Ｐ（５）Ｚ（３）Ｍ（７）」において、区間長ｎの値は、左から順に５，３，７，５，３，７となる。

「Ｐ（５）Ｚ（３）Ｐ（７）Ｐ（５）Ｚ（３）Ｍ（７）」という並びでは符号のパターンは［Ｐ，Ｚ，Ｐ］および［Ｐ，Ｚ，Ｍ］で一致しないので相関なしと判定する。
「Ｐ（５）Ｚ（３）Ｍ（７）Ｐ（３）Ｚ（３）Ｍ（７）」という並びでは符号のパターンは［Ｐ，Ｚ，Ｍ］および［Ｐ，Ｚ，Ｍ］で一致するが、符号が連続した個数を見ると［５，３，７］［３，３，７］であり、一致しないので相関なしと判定する。
状態変化は上述の３つの組み合わせに限定するものではなく、たとえば「Ｐ（６）Ｍ（６）Ｐ（３）Ｍ（３）Ｐ（６）Ｍ（６）Ｐ（３）Ｍ（３）」の４つの組み合わせでも実施できる。なお、システム設計者が「明らかに人には実施不可能」と判断すれば、処理量の削減を目的として状態変化の個数に制限を設けることもできる。

次に相似形の波形の問題を解決するための面積の利用を説明する。これは連続して入力されるデータの符号が同じである期間、単純にそれらのデータを加算しておけばよい。図６に示すように、たとえば「Ｐ（５）Ｚ（３）Ｍ（７）Ｐ（５）Ｚ（３）Ｍ（７）」の元々のデータ、すなわち各小区間に属する評価データが以下のとおりであるとする。
Ｐ（５）：１００，１５０，５００，３００，１００
Ｚ（３）：１，０，−２
Ｍ（７）：−１００，−２００，−３００，−５００，−４００，−３００，−１００
Ｐ（５）：９０，１６０，４９０，３１０，１１０
Ｚ（３）：２，０，１
Ｍ（７）：−１１０，−２１０，−３２０，−５００，−３８０，−３００，−７０

この場合、例えば上記のとおり、元々のデータが「１００，１５０，５００，３００，１００」である小区間Ｐ（５）に属する評価データの値の総和を表す面積は、「１００＋１５０＋５００＋３００＋１００＝１１５０」となる。他の各小区間も同様にして小区間に属する評価データの値の総和を表す面積を求めることができる。したがって、小区間Ｐ（５），Ｍ（７），Ｚ（３）に属する評価データの値の総和を表す面積は、「Ｐ（１１５０）Ｚ（−１）Ｍ（−１９００）Ｐ（１１６０）Ｚ（３）Ｍ（−１８９０）」と計算される。マイナスの区間であるＭの面積は絶対値を用いてＭ（１９００）、Ｍ（１８９０）と表してもよい。このようにして求められた各面積、符号情報および区間長は、状態情報として小区間単位で時系列的に状態情報列記憶部１０２ａに記憶される。
Ｚは元々微小なので面積は評価しなくてよい。小区間Ｐ（５）と小区間Ｍ（７）について相関する組み合わせの相手との面積比を求め、たとえば１．５倍以内を相関ありと規定すれば好適である。

波形照合部１０２は、隣接する２つの時間区間において時系列的に対応する小区間Ｐ（５）および小区間Ｍ（７）毎の状態情報（算出された面積）を照合する。小区間Ｐ（５）の組は、１１５０×１．５＞１１６０かつ１１５０＜１１６０×１．５であるから相関ありと判定される。小区間Ｍ（７）の組は、その絶対値を使って１９００×１．５＞１８９０かつ１９００＜１８９０×１．５であるから相関ありと判定される。このように、小区間Ｐ（５）の組および小区間Ｍ（７）の組のすべての組において面積が相関ありと判定されたので、全体として相関ありと判定される。なお、センサ信号を１つ取得する度にこの評価を行う必要はない。評価データの符号の変わり目のときだけ評価することで処理量を削減できるとともに、ユーザの動作が完了した時点でタイミング良く判定結果を出すことができる。

図７は、波形照合部１０２における前述の符号パターンと面積とを用いた波形照合方法の一例を説明するためのフローチャートである。
ここで、以下の用語を定義する。
状態配列（Ｎｏ．）（符号フラグ）（連続数）（面積）
Ｎｏ．：カレントは１。過去に遡るほど連番で大きな番号が振られる。
符号フラグ：正値はＰ、負値はＭ、ゼロに近い微小値はＺ。
連続数：同じ符号フラグが連続した評価データの個数。
面積：同じ符号フラグが連続した評価データの値の総和。
初期は動作のない状態が１００秒継続した状態配列（Ｎｏ．１）（フラグＺ）（連続数２０００）（面積０）のみが存在する。ここで、「符号フラグ」は符号情報に相当し、「連続数」は小区間に属する評価データの個数を表す区間長に相当し、「面積」は小区間に属する評価データの値または小区間に属する評価データの値の絶対値の総和を表す面積に相当する。

カレント状態数
現在有効な上記状態配列の数。
初期値は１。

相関状態数
相関を評価する１つの区間の波形の状態配列の数。
たとえば以下のような状態配列の並びでは相関状態数：３で相関ありとなる。
状態配列（Ｎｏ．１）（フラグＰ）（連続数５） （面積２００）
状態配列（Ｎｏ．２）（フラグＺ）（連続数３） （面積０）
状態配列（Ｎｏ．３）（フラグＭ）（連続数７） （面積−３００）
状態配列（Ｎｏ．４）（フラグＰ）（連続数５） （面積２００）
状態配列（Ｎｏ．５）（フラグＺ）（連続数３） （面積０）
状態配列（Ｎｏ．６）（フラグＭ）（連続数７） （面積−３００）

最大判定対象データ数
ユーザが繰り返し可能な動作時間の最大値をデータ数で表したもの。
たとえば１周期５秒、２０Ｈｚサンプリング、繰り返し回数が３回とすると
「５×２０×３＝３００」となる。

ステップＳ４０１では、センサ信号取得部１０１のセンサによって一定時間間隔でセンサ信号が取得される。
ステップＳ４０１の次のステップＳ４０２では、取得したセンサ信号の値から１つ前に取得したセンサ信号の値を差し引いてカレントデータとする。あらかじめ設定した閾値または取得したセンサ信号の大きさに応じて自動調整される閾値を設け、カレントデータの絶対値が該閾値を下回る場合はカレントデータを０に置き換える。
ステップＳ４０２の次のステップＳ４０３では、カレントデータの符号フラグが状態配列（Ｎｏ．１）の符号フラグと同じか否かを判定し、同じであればステップＳ４０４に進み、異なればステップＳ４０５に進む。

ステップＳ４０４では、状態配列（Ｎｏ．１）の連続数に１を加算し、面積にカレントデータの値を加算する。
ステップＳ４０５では、図８を用いて後述する相関判定処理を行う。
ステップＳ４０５の次のステップＳ４０６では、次のステップで新たな状態配列（Ｎｏ．１）を作ることに備えて状態配列（Ｎｏ．１）を空き番号にすべく、すべての状態配列の番号Ｎｏ．に１を加算して、状態配列の番号を１つずつずらす。
ステップＳ４０６の次のステップＳ４０７では、新たに状態配列（Ｎｏ．１）を作り、符号フラグにカレントデータの符号フラグ、連続数に１、面積にカレントデータの値をセットする。状態配列が１つ増えたのでカレント状態数に１を加算する。

ステップＳ４０４またはステップＳ４０７の次のステップＳ４０８では、保存データが上限を超えているか否かを判定すべく、すべての状態配列の連続数の総和を求めて最大判定対象データ数と比較する。求められた総和が最大判定対象データ数よりも大きければステップＳ４０９に進み、求められた総和が最大判定対象データ数と同じか小さければステップＳ４０１に戻る。
ステップＳ４０９では、最も古い状態配列である状態配列（Ｎｏ．カレント状態数）を破棄し、破棄によって状態配列が１つ減ったのでカレント状態数から１を減じる。

続いて図８の相関判定処理ブロックについて説明する。
ステップＳ５０１では、状態配列が何個ずつで相関するかを調べるため、その最少個数である２個を初期値とすべく相関状態数Ｎに２をセットする。状態配列は符号フラグが変わる度に新たな状態配列が作られる。よって隣り合う状態配列は必ず符号フラグが異なる。符号フラグが異なるということは相関していないということであるから状態配列が１個ずつのケースは評価対象にしないので初期値は２個としてよい。
ステップＳ５０１の次のステップＳ５０２では、評価対象の状態配列が尽きたか否かを判定するため、相関状態数Ｎの２倍がカレント状態数以下であればステップＳ５０３に進み、そうでなければリターンしてステップＳ４０６に進む。

ステップＳ５０２の次のステップＳ５０３では、照合する２つの時間区間が符号パターン（符号フラグと連続数）で相関するか否かを判定する。より具体的に、状態配列（Ｎｏ．１）と状態配列（Ｎｏ．１＋Ｎ）、状態配列（Ｎｏ．２）と状態配列（Ｎｏ．２＋Ｎ）、・・・、状態配列（Ｎｏ．Ｎ）と状態配列（Ｎｏ．Ｎ＋Ｎ）のすべての符号フラグと連続数が一致するか否かを判定する。一致していればステップＳ５０４に進み、一致していなければステップＳ５０５に進む。なお、照合する２つの時間区間のそれぞれの連続数の総和が略一致することを条件に、各々の状態配列の連続数は±１個の差異までは許容することで、ユーザ毎のリズム感や習熟度を考慮したりサンプリング周波数が大きいときの反復動作の正確性を緩めたりする工夫が可能である。たとえば「Ｐ（５）Ｚ（３）Ｍ（７）Ｐ（６）Ｚ（４）Ｍ（６）」と並べば連続数の総和は５＋３＋７＝１５と６＋４＋６＝１６で１つ違いなので略一致と認め、各々の対応する状態配列「Ｐ（５）−Ｐ（６），Ｚ（３）−Ｚ（４），Ｍ（７）−Ｍ（６）」の連続数の差異は±１なので総じて相関ありと判定する。ここでは連続数の総和の差異が１つ違いの例を示したが、図３に示したようにＭｉｄｄｌｅの動作時間はＳｈｏｒｔの動作時間の５０％増しであるから、この２つを区別するために連続数の総和の差異は連続数の総和の大きい方の２５％以内に設定するのが好適である。

ステップＳ５０４では、照合する２つの時間区間が面積で相関するか否かを判定すべく、状態配列（Ｎｏ．１）と状態配列（Ｎｏ．１＋Ｎ）、状態配列（Ｎｏ．２）と状態配列（Ｎｏ．２＋Ｎ）、・・・、状態配列（Ｎｏ．Ｎ）と状態配列（Ｎｏ．Ｎ＋Ｎ）のすべての面積比（大きい方を小さい方で割った比率）が１．５倍以内か否かを判定する。１．５倍以内であればステップＳ５０６に進み、そうでなければステップＳ５０５に進む。
ステップＳ５０５では、照合する状態配列を１個増やすべく相関状態数Ｎに１を加算する。
ステップＳ５０６では、相関ありと判定された場合の所定のモード設定の処理を行った後にリターンし、ステップＳ４０６に進む。状態配列（Ｎｏ．１）〜（Ｎｏ．Ｎ）の連続数の総和は動作時間に相当するので、この値を判定して前述の音楽プレーヤのモード設定に利用することができる。

たとえば車を運転中に友人に電話を掛けるべく繰り返し回数２回でアドレス帳検索アプリケーションを呼び出そうとして、動作の途中で何かを思いついてその動作をキャンセルしたい場合に、更に繰り返し動作を１回追加することでキャンセルできると便利である。繰り返し回数３回目を判定するときは前述の相関状態数Ｎを固定し、状態配列（Ｎｏ．１）〜（Ｎｏ．Ｎ）と状態配列（Ｎｏ．Ｎ＋Ｎ＋１）〜（Ｎｏ．Ｎ＋Ｎ＋Ｎ）の符号フラグ、連続数、面積比を評価する。繰り返し動作が３回目であれば直前の２回目の時のモード設定を取り消す処理を実装できる。

以上説明した符号パターンと面積を用いた波形照合方法では、更に、１周期の最後に動作しない状態を設けることで、素早い動きが苦手なユーザに対して動作のバリエーションを増やす方法を提供できる。
たとえば手を「開いて閉じて休む」「開いて閉じて休む」の直後に開く動作を一瞬行うことで符号フラグの変わり目をシステムに検出させるのである。

例えば、図２（ｂ）中の上段に「四分音符、四分音符、八分音符、八分音符、四分音符、四分音符、八分音符、八分音符」で示すように、「タンタンタタ、タンタンタタ」Ｐ（６）Ｍ（６）Ｐ（３）Ｍ（３）Ｐ（６）Ｍ（６）Ｐ（３）Ｍ（３）のリズムのうち、タタＰ（３）Ｍ（３）の素早い動きが苦手なユーザがいる場合がある。この場合、図２（ｂ）中の下段に示すように、「四分音符、四分音符、四分休符、四分音符、四分音符、四分休符」で示すように、「タンタン＿、タンタン＿」Ｐ（６）Ｍ（６）Ｚ（６）Ｐ（６）Ｍ（６）Ｚ（６）を用いて、１周期の最後に動作しない状態を設けることで、同じ長さの周期を実現させることができるという利点を生む。なお、「＿」は、動作しない状態を示している。
１周期の先頭に動作しない状態を設けることも同様に実施できる。

（第３実施形態）
手首に装着する皮膚導電率センサ（生体に装着されるセンサの一例）に本発明を実装する例を説明する。センサ以外のハードウェアの構成、機能ブロックの構成は第１実施形態と同様であるから説明を省略する。本実施形態では、生体に装着されるセンサでサンプリングされた信号がセンサ信号として用いられる。
図９は、生体センサの一つである皮膚導電率センサの外観図を示し、図１０は、皮膚導電率センサに備えられたセンサ信号取得部の機能ブロック図である。図９（ａ）は、皮膚導電率センサ２０１の人の皮膚に触れる側から見た状態を示し、図９（ｂ）は、人に装着する際の状態を示している。

図９（ａ）及び図９（ｂ）に示すように、皮膚導電率センサ２０１は、マイクロコンピュータ及び電池を収納したボックス部２０２と、人の皮膚に密着させる２つの電極２０３，２０４と、装着する際に人の腕に巻きつける装着用ベルト２０５とを有している。図９（ｂ）に示すように、ボックス部２０２の側面には、電源スイッチが設けられている。
図１０に示すように、ボックス部２０２に設けられたセンサ信号取得部２１０は、電流源２１３と、電流源２１３の電流量を制御する電流制御部２１２と、電流制御部２１２に接続された２つの電極２０３，２０４と、２つの電極２０３，２０４間に流れる電流を導電率に変換する導電率変換部２１１とを有している。

皮膚導電率センサ２０１は、２つの電極２０３，２０４を人の皮膚に密着させ、電極２０３，２０４間に微弱な電圧を掛け、電極間を流れる電流を導電率に変換してモニターするセンサである。人の皮膚は発汗によって皮膚の導電率が変化する。皮膚導電率センサ２０１は、交感神経の作用による手のひらや手首の発汗による皮膚導電率の変化をモニターすることで交感神経の興奮を引き起こした情動の発生を検知するのが主たる用途である。しかしながら、皮膚導電率センサ２０１は、２つの電極２０３，２０４と皮膚との接触状態が変化しても反応する。手首に装着した場合は、指を動かしたり、手首を反らしたり、手首を回したりすることで接触状態が変化する。通常、これらの動作に基づく検出信号は、これをノイズとみなして排除されるのであるが、本発明はこれをユーザが同じ動作をリズミカルに繰り返したか否かの検出に利用する。

図１１は、皮膚電気抵抗センサの信号の近接差分「Ｓｋｉｎ Ｃｏｎｄｕｃｔａｎｃｅ Ｒｅｓｐｏｎｓｅ（ＳＣＲ）」のグラフである。図１１（ａ）は、動画を鑑賞中に発動した情動由来のグラフであり、図１１（ｂ）は、指の曲げ伸ばしによるモーションアーチファクトのグラフである。前述の相関係数や符号情報を用いて解析することで、図１１（ｂ）中において同じ動作をリズミカルに繰り返したことを検出できる。

この実装の第１のメリットはポケットに手を入れている、あるいは手袋をしている状態でも片手で行った動作を検出できる点である。人を招きよせる際の動作態様の１つである「おいでおいで」をするときの人差し指から小指までをいっしょに動かす動作であればミトンの手袋をしていても動作可能である。真冬にポータブル音楽プレーヤで音楽を聴いている場面では、イヤホンに装備されたスイッチを操作する既存技術ではポケットから手を出して手袋をはずさなければならないが、手首に装着された本発明の皮膚導電率センサ２０１ではその必要がない。

この実装の第２のメリットは同じ手首に装着した加速度センサでは検出できない細かな動作でも皮膚導電率センサ２０１では検出できる点である。裏を返せば、同じ手首に装着した加速度センサが同様のリズミカルな動作を検出した場合はノイズとして排除できるということである。前述の指を動かす動作はモード設定に用い、ダンスや手を振りながら歩いているときのリズミカルな信号はノイズとして無視することができる。

この実装の第３のメリットは認識対象となるジェスチャーの予備動作による誤認識を削減できることである。たとえば手の開閉動作を繰り返す場合、本発明はあらかじめ動作パターンを登録する必要がない。このため、ユーザは自分が手を開いた状態から動作を始めるのであれば「閉じて開いて・閉じて開いて」を行い、自分が手を閉じた状態から始めるのであれば「開いて閉じて・開いて閉じて」を行えばよい。予備動作そのものがなくなるので予備動作が誤認識を招く不具合を削減できる。自動車のハンドルを握っているケースに適用すると、「開いて閉じて・開いて閉じて」を行えば予備動作が不要で、かつ、動作終了時に再びハンドルを握った状態に戻るので安全面でも優れた方法と言える。

皮膚導電率センサ２０１の実施例において、閾値を設けない利点について説明する。
皮膚導電率センサ２０１は、手の開閉動作によって手首の内側の筋肉が隆起と陥没を繰り返すことで生じる皮膚と電極２０３，２０４との接触状態の変化をとらえることができる。皮下脂肪が少ないユーザは筋肉の陥没によって皮膚と電極２０３，２０４とが離れ、皮膚導電率がほぼゼロになるので閾値を設けてノイズと区別することができる。しかし、皮下脂肪が厚いユーザでは皮膚と電極２０３，２０４とが離れることなく、皮膚導電率はなだらかに変化するのみでゼロにはならない。そこで本発明は皮膚導電率が閾値を超えるか否かでユーザの意識的な動作か否かを判定せず、信号がなだらかに変化する様が周期的に繰り返されるか否かを以てユーザの意識的な動作か否かを判定する。
本発明によれば、皮下脂肪が厚いユーザを救えるだけでなく、手首を甲側にそらせて手首の内側の皮膚を伸ばす動きにも対応でき、更にこぶしを握り締めたり緩めたりするだけの微小動作にも対応できる。

本実施形態では生体情報として、皮膚導電率すなわち皮膚電気抵抗の情報を例にとって説明したが、心拍、脈拍、血圧、血中酸素濃度、体温、呼吸、脳波、まばたきおよび歩数のいずれかの情報を対象とすることもできる。

（第４実施形態）
本発明と音楽再生との関連について説明する。図１２に示すように、本実施形態では、音楽再生機能を備えた音楽再生部１１０ａや音楽情報取得機能が被制御対象装置１１０に実装される他は、入力デバイスにおけるハードウェアの構成や機能ブロックの構成は第１実施形態と同様であるから詳細な説明を省略する。本実施形態におけるモード設定部１０３は、２つ以上の時間区間の波形が略同一の波形と判定された波形の時間長をテンポに換算し、このテンポと音楽再生部１１０ａで再生中の音楽のテンポとを比較して相関ありと判定した場合には、この略同一の波形の判定を破棄するようになっている。
入力信号が連続する２周期の波形とみなされる場合、実際はユーザが音楽に合わせてダンスしているだけであって、ユーザが入力を意識して動作したものではない可能性がある。これを確認するにはモード設定部１０３において、被制御対象装置１１０から音楽再生の情報（音楽再生部１１０ａで再生中の音楽のテンポ）を入手して、入力信号が連続する２周期の波形（２つ以上の時間区間の波形）とみなされる波形の時間の長さ（時間長）をテンポに換算して、換算したテンポと再生中の音楽のテンポとが一致あるいはどちらかが他方の整数倍になっているか否かを判定する。判定の結果が、２つのテンポが一致している、すなわち相関ありの場合は、ユーザのダンスによるものと判定し、連続する２周期の波形とみなされる波形を破棄し、モードの設定は行わない。

この実施形態では、モード設定部１０３における判定要領を説明したが、モード設定部１０３が被制御対象装置１１０に入力信号が連続する２周期の波形とみなされる波形の長さの情報を与えてもよい。被制御対象装置１１０が与えられた波形の長さからテンポを計算し、自らが再生している音楽のテンポと比較する。
あるいは、被制御対象装置１１０は、音楽再生機能の代わりにマイクを備え、入力された音声信号から外部環境音楽のテンポを検出して、検出したテンポと、モード設定部１０３から与えられた波形の長さから計算したテンポとを比較してもよい。この構成によってカラオケルームにおける誤動作を削減できる。

次に、テンポが一致してもあらかじめ登録済みの動作であれば破棄せずにモード設定を行う実装について説明する。ユーザは、同じテンポの音楽が再生されていれば容易に過去の動作を正確に再現できることに着目し、本実施形態は、あらかじめ動作を登録しておく従来の方式に音楽を用いる工夫を施している。
登録時には、音楽を再生しながらユーザ自らが決めた動作を行わせて、その動作パターンと再生した音楽のテンポとモード設定要領とを登録する。モード設定時には、音楽を再生しながらユーザの動作を待ち受け、連続する２周期の波形であることを検出したら、再生中の音楽のテンポに合致するか否かを判定する。再生中の音楽のテンポに合致すれば登録済みの動作パターンの波形と相関するか否かを判定し、相関ありと判定されれば登録済みのモード設定要領にしたがってモード設定を行う。

また、照合される波形における２つ以上の時間区間が時間軸上で隣接しておらず、この２つ以上の時間区間において音楽が再生される環境で入力デバイス１００が使用される場合、波形照合部１０２は、再生される音楽のテンポが２つ以上の時間区間で異なる場合に、照合する２つの時間区間で再生される音楽のテンポの違いに応じて、照合する２つの時間区間の一方の波形長さを他方の区間の波形の長さと略一致するとみなせるように波形の情報を編集して波形同士を照合するようになっている。

例えば、登録時及びモード設定時の２つの時間区間が時間軸上で隣接しておらず、この登録時とこのモード設定時とで再生する音楽が異なる場合、登録時の音楽のテンポとモード設定時の音楽のテンポとの比率に応じて登録された動作の長さを伸縮する。この伸縮は、相関係数を用いる第１実施形態においては、図示しないサンプリングレートコンバータを用いて実現できる。たとえば２０Ｈｚサンプリングの皮膚導電率センサにおいて、登録時に再生されていた音楽のテンポが「四分音符を４０」で、モード設定時の音楽のテンポが「四分音符を８０」であった場合、サンプリングレートコンバータを用いてモード設定時のサンプリングデータを４０Ｈｚサンプリングにアップサンプリングして照合する。また、第２実施形態における相関判定処理ブロックのステップＳ５０３における連続数の数を増減したり、相関判定処理ブロックのステップＳ５０４における面積の比率を増減したりすることで実現できる。
登録済みの動作パターンを２回繰り返す実施例に加えて、モード設定機能を起動するための登録しない動作を２回繰り返した直後にモードを特定するための登録済みの動作パターンを１回行うアプリケーションも本発明の範疇である。

本発明によって、音楽を再生しながら車を運転しているときに手の動作だけで特定の相手に電話を掛けたり、リダイヤルやコールバックの機能を呼び出したりできる。たとえば電話を掛ける機能を呼び出すには以下の手順を行う。登録しない同じ動作を２回繰り返すとアドレス帳検索アプリケーションが起動するものとする。電話を掛ける相手を特定するには覚えやすい動作がよく、たとえば山下さんに電話をかけるときはアルファベットのＹの字、岡本さんに電話を掛けるときはアルファベットのＯの字を空中に書く動作を動作パターンとして事前にユーザが登録する。音楽を再生しながら実際にアルファベットを書く動作をして、動作パターンとテンポと機能とを登録する。ユーザが山下さんに電話を掛ける場合、ユーザは手を２回開閉してから再生中の音楽に合わせて空中にＹを１回書く。システムは、手を２回開閉した部分の評価データを連続する２周期の動作として検出し、アドレス帳検索アプリを起動する動作パターンに合致していると判定する。このシステムは、次に手を２回開閉した部分に続く評価データを逐次取得しながら、再生中の音楽のテンポと登録済みのテンポとから登録済みの動作パターンを伸縮しつつ、登録済みの電話番号の動作パターンとの照合を繰り返す。このシステムは次に、ユーザがＹを書き終えたタイミングで登録済みの山下さんのＹの動作パターンに合致していると判定し、山下さんに電話を掛ける。センサは２つ以上を組み合わせてもよく、この例では手の開閉を皮膚導電率センサで検出し、アルファベットを書く動作を加速度センサで検出するのが好適である。

通常のジェスチャー認識は、ユーザの動作時間が安定しないことを吸収すべく、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）や動的時間伸縮法（Ｄｙｎａｍｉｃ ｔｉｍｅ ｗａｒｐｉｎｇ）が用いられるが、計算量が大きいという問題があった。本発明では音楽を再生することでユーザの動作時間を一定に保ち、計算量の少ないアルゴリズムを適用可能とした。

（第５実施形態）
手首、腕、指、頭、耳、腰、腹、胸など生体の様々な部位に装着する装着型機器が具備する生体センサにおいては、本来の生体反応に由来するセンサ信号の揺らぎの他に、装着者の動作に由来するセンサ信号の揺らぎがある。
本発明の重要な視点の一つは、生体反応に由来するセンサ信号の揺らぎから生体情報を検出する生体センサの本来の機能を阻害することなしに、装着者の動作に由来するセンサ信号の揺らぎの内、装着者の意図的な動作に由来するセンサ信号の揺らぎを検出することができるというものである。

近年、リストバンド型（腕時計型）、眼鏡型、指輪型、その他様々な形の装着型機器が開発されている。このような装着型機器は、携帯電話機器やスマートフォンなどのモバイル情報端末と連携して様々な情報を取得し表示する用途に使われている。特に、装着型機器は、装着者の生体情報を検出し、様々な情報処理や情報管理を行い、装着者がそれらの情報を閲覧し、システムが装着者に様々なアラートを発して、装着者の活動量、健康状態、感情状態を把握し更にはコントロールする用途に利用されている。

生体センサが検出対象とする生体情報は、心拍、心音、脈拍、血圧、血中酸素濃度、体温、呼吸、皮膚導電率、皮膚電位、脳波、まばたき歩数など様々である。その生体センサの多くは、皮膚に直接あるいは間接に接触して皮膚の電気抵抗や静電容量などを測定したり、光や電磁波や超音波を測定対象に照射してその反射や吸収を測定したりしてセンサ信号を取得し解析する。
これらの測定方法においては、生体センサを具備した装着型機器を装着した装着者の生体反応のみならず、装着者の動作によってセンサ信号に揺らぎが発生する。装着部位を直接動かすケースはもちろん、たとえば手首に装着した皮膚導電率センサでは装着者の深呼吸によって間接的にセンサ信号に揺らぎが生じるケースもある。

図１１に示した皮膚導電率センサにおいては、情動に由来する波形には周期性がないことを利用して、装着者が意図的に行った周期的な動作に由来する波形を検出することで、本来の情動検出の機能を保持したまま、新たに意図的な動作を検出する機能の付加を実現している。
図１３は、手首に装着した脈波センサにおける検出波形の一例を示す図である。図１３（ａ）は、指の曲げ伸ばしによる周期的動作の検出波形を示し、図１３（ｂ）は、図１３（ａ）中の期間Ｔの一部の期間を縦軸を６０倍に拡大して示している。

図１３に示した脈波センサにおいては、脈波自体が周期的な波形を呈するものの、装着者が意図的に行った周期的な動作に由来する波形はその最大振幅が脈波のそれの５０倍から１００倍になる。このため、評価データの絶対値に閾値を設け、脈波による振幅をゼロに丸めることで装着者が意図的に行った周期的な動作による波形を検出することができる。逆に、振幅が閾値を超えた時間区間を前後に余裕をもって無視することで残りの時間区間から脈波を検出することができる。

このように、意図的に行った周期的な動作によるセンサ信号はその揺らぎの周期性や振幅の大きさを以て、生体反応に由来するセンサ信号の揺らぎとは区別して取り扱うことができ、その周期性の判定は本発明における方法で実施可能である。
本発明によって、装着型機器が具備する生体センサを、本来の生体情報の検出機能を阻害することなく、ユーザが意図的に行った周期的な動作によるセンサ信号の揺らぎをも検出することで、ユーザの意図したモード設定を行う入力デバイスとしても利用することが可能となる。

図１４は、生体センサ８００の機能ブロック図である。生体センサ８００は、生体に装着されるように構成されたセンサでサンプリングされたセンサ信号を取得する生体信号取得部８０１と、センサ信号またはセンサ信号を所定の加工方法で加工したデータである評価データを記憶する評価データ列記憶部８０３と、評価データから生体情報を検出する生体情報検出部８０４と、本発明にしたがって評価データから周期的な動作を検出する意図的動作検出部８０５と、必要であれば閾値を設けて評価データを加工しつつ検出すべき情報に応じて評価データを生体情報検出部８０４と意図的動作検出部８０５とに分配する評価データ分配部８０２とによって構成される。

これにより、モード設定を意図した動作検出を目的とした専用のセンサを配置することなく、生体センサが取得したセンサ信号に対して適当な信号処理工程を追加するだけで、生体センサの本来の機能である生体情報検出を行いつつ、モード設定を意図した動作を検出し、機器操作や情報入力などを行うための入力デバイスを実現できる。
ここでは皮膚導電率センサと脈波センサの２例で説明したが、他の既存の生体センサ、あるいは今後開発される生体センサにおいても前述の測定方法を用いる生体センサにおいては本発明の方法を用いることで、本来の生体情報の検出機能を阻害することなく、ユーザが意図的に行った周期的な動作によるセンサ信号の揺らぎを検出することが可能になることは明らかである。

生体の体温に由来した赤外線を測定するセンサの用途は、たとえばパーソナルコンピュータの離席検知システムのように、生体に装着しない場合もある。離席前に周期的な動作を行うか否かで、節電モードにおいてロックを掛けるか否かを区別して設定するアプリケーションに応用可能である。また、スマートフォンにおいてユーザの顔が操作面に接触することで発生する誤動作を削減する目的でスピーカ近くに配置された赤外線センサに本発明を適用することも可能である。この場合、この赤外線センサでサンプリングされた信号（サンプリング信号）がセンサ信号として用いられる。たとえば、音楽再生用のドッキングステーションにスマートフォンを設置して音楽を再生しているときに、スマートフォンを手に取ることなく、この赤外線センサに手をかざしてリズミカルに動作することで、表１に記載のモード設定を行わせるアプリケーションに応用可能である。

（第６実施形態）
生体の体温によって反応する赤外線センサに本発明を実装する例を説明する。センサ以外のハードウェアの構成、機能ブロックの構成は第１実施形態と同様であるから説明を省略する。本実施形態では、赤外線センサでサンプリングされた信号（サンプリング信号）がセンサ信号として用いられる。生体である手と赤外線センサとの位置関係の変化を検出するものである。
図１５は赤外線センサに手を近づけたり離したりしたときの信号、及び、手を近づけてから素早く手を振った時の信号をグラフ化したものである。図１５中の信号波形αは、センサにゆっくりと手を近づけたり離したりしたときの波形である。図１５中の信号波形βは、センサに手を近づけてからセンサの前で素早く手を振る動作をしたときの波形である。ユーザが周期的な動作を行うと赤外線センサの入力信号は連続する２周期の波形とみなされることがわかる。
また、ゆっくり動作した時（信号波形α）と素早く動作した時（信号波形β）とは１つの波形の区間長（または信号のピークとピークの間隔の長さ）の違いによって区別できることがわかる。
センサが生体に装着されない点が第１実施形態と異なるだけで、取得される信号は第１実施形態と同様に扱うことができる。

本発明は、コンピュータプログラムとして具体化することができる。例えば、入力デバイス１００やセンサ信号取得部２１０の各部の機能、あるいは図４、図７及び図８に示す各フローチャートをプログラムとして実現することもできる。したがって、本発明の一部または全ては、ハードウェアまたはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード、ステートマシン、ゲートアレイ等を含む）に組み入れることができる。さらに、本発明は、コンピュータによって使用可能な、またはコンピュータ可読の記憶媒体上のコンピュータプログラム製品の形態をとることができ、この媒体には、コンピュータによって使用可能な、またはコンピュータ可読のプログラムコードが組み入れられる。本明細書のコンテキストでは、コンピュータによって使用可能な、またはコンピュータ可読の媒体は、命令実行システム、装置若しくはデバイスによって、またはそれらとともに使用されるプログラムを、収録する、記憶する、通信する、伝搬する、または搬送することのできる、任意の媒体とすることができる。

以上説明したように、本発明によれば、ユーザに装着されたセンサによってサンプリングされた（一定時間間隔で取得された）データを解析して、ユーザが意識的にリズミカルに複数回繰り返した動作を検知し、被制御対象のモードを切り替える信号処理を実現できる。また、本発明によれば、あらかじめ動作パターンを登録することをなくし、あるいはあらかじめ登録した動作パターンの正確な再現を容易にすることで、被制御対象のモードを設定するかどうかの判定を誤ることが少なくなるという効果を奏する。

１００ 入力デバイス
１０１ センサ信号取得部
１０２ 波形照合部
１０２ａ 状態情報記憶部
１０３ モード設定部
１０４，８０３ 評価データ列記憶部
１１０ 被制御対象装置
１１０ａ 音楽再生部
２０１ 皮膚導電率センサ
２０１ 皮膚導電率センサ
２０２ ボックス部
２０３，２０４ 電極
２０５ 装着用ベルト
２１０ センサ信号取得部
２１１ 導電率変換部
２１２ 電流制御部
２１３ 電流源
８００ 生体センサ
８０１ 生体信号取得部
８０２ 評価データ分配部
８０４ 生体情報検出部
８０５ 意図的動作検出部

Claims (32)

1. センサ信号を取得するセンサ信号取得部と、
   前記センサ信号における２つ以上の時間区間の波形同士を照合する波形照合部と、
   前記波形照合部の照合結果に基づいて、被制御対象装置のモードを設定するモード設定部と、
   を備える入力デバイス。
2. 前記センサ信号は、生体に装着されるように構成されたセンサでサンプリングされた信号である請求項１に記載の入力デバイス。
3. 前記センサ信号は、赤外線センサでサンプリングされた信号である請求項１に記載の入力デバイス。
4. 前記２つ以上の時間区間は、
   時間軸上で隣接する２つの区間である請求項１〜３のいずれか１項に記載の入力デバイス。
5. 前記２つ以上の時間区間は、
   所定の時間以内に相当するサンプル数だけ重なり合うまたは離れていることを許容する請求項１〜３のいずれか１項に記載の入力デバイス。
6. 前記モード設定部は、
   前記２つ以上の時間区間の波形が略同一である場合に、前記被制御対象装置のモードを設定する請求項１〜４のいずれか１項に記載の入力デバイス。
7. 前記モード設定部は、
   前記略同一と判定された波形の時間長に応じて前記被制御対象装置のモードを設定する請求項６に記載の入力デバイス。
8. 更に、前記センサ信号または前記センサ信号を所定の加工方法で加工したデータである評価データを記憶する評価データ列記憶部を備える請求項１〜４のいずれか１項に記載の入力デバイス。
9. 前記波形照合部は、
   前記２つ以上の時間区間の波形の相関係数から照合する請求項８に記載の入力デバイス。
10. 前記波形照合部は、
    前記２つ以上の時間区間において時系列的に対応する前記評価データ毎の値の差分、または該差分を所定の加工方法で加工した値から照合する請求項８に記載の入力デバイス。
11. 前記波形照合部は、
    更に、状態情報列記憶部を備え、
    符号が同じ前記評価データが連続する区間を１つの単位とする小区間として、符号情報と、該小区間に属する評価データの個数を表す区間長と、該小区間に属する評価データの値または該値の絶対値の総和を表す面積とを状態情報として、小区間単位で該状態情報を時系列的に前記状態情報列記憶部に記憶し、
    隣接する２つの時間区間において時系列的に対応する前記小区間毎の前記状態情報から照合する請求項８に記載の入力デバイス。
12. 前記符号情報は、
    あらかじめ設定した閾値または入力信号の大きさに応じて自動調整される閾値を設け、前記評価データの絶対値が該閾値を下回る場合は該評価データを０に置き換え、正と負と０の３パターンで符号情報を構成する請求項１１に記載の入力デバイス。
13. 前記モード設定部は、
    隣接する２つの時間区間の波形同士が略同一と判定されたとき、更に該２つの時間区間に対して過去に遡って隣接する区間の波形と該略同一と判定された波形とを照合する照合処理を行い、該照合処理を繰り返して略同一の波形が連続している回数を検出し、該回数に応じたモードを前記被制御対象装置に設定する請求項６に記載の入力デバイス。
14. 前記モード設定部は、
    前記２つ以上の時間区間の波形同士が略同一と判定されたとき、該２つ以上の区間それぞれを構成する評価データの数または該数に近い数の新たな評価データの入力を待ち、該新たに入力された評価データの波形と該略同一と判定された波形とを照合する請求項６に記載の入力デバイス。
15. 前記モード設定部は、
    更に、繰り返し回数記憶部を備え、
    前記２つ以上の時間区間の波形同士が略同一と初めて判定されたときに前記繰り返し回数記憶部に初期値を設定する請求項１４に記載の入力デバイス。
16. 前記モード設定部は、
    前記新たに入力された評価データの波形と前記略同一と判定された波形とが再び略同一と判定されたとき、前記繰り返し回数記憶部に記憶された繰り返し回数に加算する請求項１５に記載の入力デバイス。
17. 前記被制御対象装置は更に音楽再生部を有し、
    前記モード設定部は、
    前記略同一の波形と判定された波形の時間長をテンポに換算し、該テンポと前記音楽再生部で再生中の音楽のテンポとを比較して相関ありと判定した場合には、該略同一の波形の判定を破棄する請求項６に記載の入力デバイス。
18. 前記照合される２つ以上の区間は時間軸上で隣接しておらず、
    該２つ以上の区間において音楽が再生される環境で使用される請求項１に記載の入力デバイス。
19. 前記波形照合部は、
    前記再生される音楽のテンポが前記２つ以上の区間で異なる場合に、前記照合する２つの区間で再生される音楽のテンポの違いに応じて、前記照合する２つの区間の一方の波形長さを他方の区間の波形の長さと略一致するとみなせるように該波形の情報を編集して照合する請求項１８に記載の入力デバイス。
20. 前記被制御対象装置として用いられる請求項１〜１９のいずれか１項に記載の入力デバイス。
21. 前記被制御対象装置は、
    前記入力デバイスと有線または無線によって、またはネットワークを経由して接続されている請求項１〜２０のいずれか１項に記載の入力デバイス。
22. コンピュータを、請求項１〜２１のいずれか１項に記載の入力デバイスとして機能させるプログラム。
23. 請求項２２に記載のプログラムを有するコンピュータ読み取り可能な媒体。
24. センサ信号における２つ以上の時間区間の波形同士を照合し、
    前記波形同士の照合結果に基づいて、被制御対象装置のモードを設定する、
    モード設定方法。
25. 前記センサ信号は、生体に装着されるように構成されたセンサでサンプリングされた信号である請求項２４に記載のモード設定方法。
26. 前記センサ信号は、赤外線センサからのサンプリング信号である請求項２４に記載のモード設定方法。
27. 生体に装着して該生体から生体情報を取得する生体センサであって、
    サンプリングされたセンサ信号を取得するセンサ信号取得部と、
    前記センサ信号における２つ以上の時間区間において波形同士を照合する波形照合部と、
    前記波形照合部の照合結果に基づいて、被制御対象装置のモードを設定するモード設定部と、
    を備える生体センサ。
28. 前記生体情報は、
    心拍、脈拍、血圧、血中酸素濃度、体温、呼吸、皮膚電気抵抗、脳波、まばたき、歩数のいずれかの情報を対象とする請求項２７に記載の生体センサ。
29. 前記波形照合部は、
    前記生体と前記センサ信号取得部との位置関係の変化または接触状態の変化によって生じた波形と、前記生体情報に由来する波形とを区別して扱う請求項２７に記載の生体センサ。
30. 前記波形照合部は、
    前記位置関係の変化または接触状態の変化によって生じた波形と、前記生体情報に由来する波形とを振幅の大きさの違いによって区別する請求項２９に記載の生体センサ。
31. 前記モード設定部は、
    前記２つ以上の時間区間の波形が略同一である場合に、前記被制御対象装置のモードを設定する請求項２７に記載の生体センサ。
32. 更に、前記生体と同じ生体に装着される加速度センサまたは角速度センサを備え、
    略同一と判定された２つ以上の時間区間と略同じタイミングかつ略同じ時間長で、前記加速度センサまたは前記角速度センサにおいて２つ以上の時間区間の波形同士が略同一と判定された場合、該生体センサにおける該略同一の波形の判定を破棄する請求項２７に記載の生体センサ。

Images