JP6767326B2 - センサ信号処理方法、センサ信号処理装置、およびプログラム - Google Patents

Description

本発明は、センサ信号処理方法、センサ信号処理装置、およびプログラムに関し、特に人の動作を示す信号を抽出する技術に関する。

従来から、加速度センサ、角速度センサ、あるいは重力加速度センサを用いて人の動作情報を取得する技術が知られている（例えば、特許文献１参照。）。また、従来から、角速度センサを用いて、基準姿勢角からの変化を相対的に計測する技術が知られており、加速度センサや角速度センサなどのセンサを組み合わせて、より正確に、かつ、ロバストに計測対象の姿勢角を計測する試みがなされている。

例えば、非特許文献１は、加速度センサ、角速度センサ、および磁気センサを携帯端末に搭載し、各センサ間で相補的に他のセンサ出力を補正して高精度な情報を出力し、携帯端末を持っているユーザの、歩いている状態と走っている状態を識別する技術を開示している。

また、非特許文献２は、携帯電話に搭載されている、加速度センサ、マイク、ＧＰＳの３種類のセンサを複合的に用いて、ユーザの移動状態を自動的に推定する技術を開示している。

携帯端末を持ったユーザの動作を取得する技術は、各場面におけるユーザの状況を把握して、各種サービスへのフィードバックを可能にすることから、より柔軟なサービスの構築には欠かせない。例えば、歩行者ナビ、遠隔作業支援における作業員の状況把握、さらには高齢者の見守りなど多くのサービス分野への応用や展開が期待されている。

従来の、携帯電話やスマートフォンなどの携帯端末は、振動体を内部に具備し、小型で軽量なセンサ群（加速度センサ、角速度センサをはじめとした各種センサ）からの信号を処理して、携帯端末を持ったユーザの動作を示すデータを取得する。このため、上記センサ群での計測は、必然的に、各種アーチファクトなどの人工ノイズの他に、携帯端末の内部に具備された振動体に伴う影響も加味しなければならない。

しかし、従来の携帯端末において、ユーザの動作の情報を取得する場合には、携帯端末の内部の振動体は停止している状態が想定されていた。

一方、近年において、エンターテイメント向けとしてのゲーム端末にも、内部に振動体が具備され、加速度センサ、角速度センサなどの各種センサを用いてユーザの動作をモニタすることが求められている。例えば、非特許文献３は、加速度センサ、角速度センサなどの各種センサと、振動体とを有する携帯端末であって、各種センサによりユーザの動作をモニタしながら、触感フィードバックとして、内部の振動体によるバイブレーション機能により体感を提示することでゲームの娯楽性をより高める技術を開示している。

また、従来より、携帯端末を持っているユーザの指先などに非対称振動を与えることで擬似力覚を提示する、非対称振動端末と呼ばれる携帯端末が提案されている（例えば、特許文献２参照。）。例えば、非特許文献４は、ネットワーク機能、ＧＰＳ受信機、加速度センサなどの各種センサを具備した携帯端末が、地図アプリと連動することにより、携帯端末を持っているユーザには、手を引っ張られているかのような感覚を与えながら、目的地へナビゲーションする技術を開示している。

非特許文献４の技術では、携帯端末が非対称振動しながら、同時に携帯端末を持っているユーザの位置情報をはじめとした動作を内蔵のセンサ群によりモニタし、フィードバックすることで、ナビゲーションサービスを実現している。

上述したような、加速度センサなどのセンサと振動体とが同一筐体に実装された携帯端末においては、ゲームや地図ナビゲーションなどのアプリケーション実行時に、携帯端末が有する振動体を振動させながら、ユーザの動作をモニタすることが求められる。このような携帯端末においては、同一筐体に実装された振動体からの振動に伴う信号が強く検出され、一方で、携帯端末を持っているユーザの動作、すなわち手の振りや姿勢変化などに伴う信号は相対的に小さく検出されることになる。

例えば、携帯端末に内蔵された振動体に伴う振動周波数が既知であり、モニタ対象であるユーザの動作に伴う信号の周波数とは明らかに異なっている場合に、従来のバンドパスフィルタなどの周波数フィルタを活用し、分離処理することは一般的に知られている。同様の場合において、従来の数値データ処理として、フーリエ変換などにより、対象となる信号のみを切り出すことも知られている。

しかしながら、上述した従来の携帯端末では、振動体の振動周波数が、モニタ対象となるユーザの動作に伴う信号の周波数と重なっているケースも比較的多く、そのような場合は、従来の周波数フィルタや従来の数値データ処理でユーザの動作に伴う信号のみを抽出することが困難であった。仮に周波数帯域フィルタで分離すると、モニタ対象の波形が歪むなどの影響が生ずる場合があった。そのため、従来の携帯端末では、内部に実装されている振動体が振動している際に、その携帯端末を持ったユーザの動作を示す信号を抽出することが困難であった。

特許第４５５１４４８号公報 特許第３０３８４５２号公報

坂田稔，"ゲーム機・携帯・情報端末用センサ"，電気学会誌，１３４，３，１３２−１３５，２０１４． 小林亜令，岩本健嗣，西山智，"釈迦：携帯電話を用いたユーザ移動状態推定・共有方式"，情報処理学会研究報告モバイルコンピューティングとユビキタス通信 （ＭＢＬ）２００８．４４（２００８−ＭＢＬ−０４５）（２００８）：１１５−１２０． 白鳥貴亮，"３．ゲームのインタフェース技術の最前線"，映像情報メディア学会誌，６７（１），１６−２０，２０１３． 雨宮智浩，高椋慎也，伊藤翔，"指でつまむと引っ張られる感覚を生み出す装置「ぶるなび３」（特集 コミュニケーション科学の新展開）"，ＮＴＴ技術ジャーナル，２６．９（２０１４）：２３−２６．

本発明は、携帯端末の内部に設けられた振動体の振動に伴う信号と、携帯端末を携帯するユーザの動作を示す信号とが重なっている場合に、ユーザの動作を示す信号を抽出することができるセンサ信号処理方法を提供することを目的とする。

上述した課題を解決するために、本発明に係るセンサ信号処理方法は、を振動体と、人の身体動作に関する情報を検出するセンサとを含む携帯端末がユーザに携帯され、かつ、前記振動体が振動した状態で、前記センサから時系列の第１のセンサデータを取得する第１の１次データ処理ステップと、記憶部に記憶されている、固有ベクトルを有する変換行列に基づいて、前記第１のセンサデータを主成分に変換する主成分変換ステップと、前記記憶部に記憶されている、前記主成分の寄与率に関する情報を考慮して、前記変換行列に基づいて前記主成分への変換の逆変換を行って、前記振動体の振動に伴う信号が除去された、前記ユーザの動作を示す信号を抽出する逆変換ステップと、を備え、前記主成分は、前記振動体の振動に伴う前記携帯端末に固有の振動を表す信号から、主成分分析により得られた無相関な合成変数であり、前記変換行列は、前記第１のセンサデータを前記主成分に変換する行列であり、前記寄与率に関する情報は、ある主成分の分散の全分散に占める割合が所定の値の主成分に関する情報であることを特徴とする。

また、本発明に係るセンサ信号処理方法において、前記逆変換ステップは、前記主成分変換ステップで得られた前記主成分のうち、前記寄与率に関する情報に基づいて、第１次から所定の次数までの主成分の値を０にしてもよい。

また、本発明に係るセンサ信号処理方法において、前記携帯端末を静止させ、かつ、前記振動体が振動した状態で前記センサから時系列の第２のセンサデータを取得する第２の１次データ処理ステップと、取得された前記第２のセンサデータを用いて前記主成分分析を行い、前記固有ベクトルを有する前記変換行列を生成する変換行列生成ステップと、前記主成分分析で、前記寄与率に関する情報を取得する寄与率情報取得ステップと、前記変換行列生成ステップで生成した前記変換行列と、前記寄与率情報取得ステップで取得した前記寄与率に関する情報とを前記記憶部に記憶する記憶ステップと、を備えていてもよい。

また、本発明に係るセンサ信号処理方法において、前記第１の１次データ処理ステップおよび前記第２の１次データ処理ステップでそれぞれ取得される前記第１のセンサデータおよび前記第２のセンサデータは、互いに直交する鉛直方向、前後方向、および左右方向の３軸方向の加速度、角速度、および磁場のうち少なくとも１つであってもよい。

また、本発明に係るセンサ信号処理方法において、前記第１の１次データ処理ステップおよび前記第２の１次データ処理ステップのそれぞれは、前記第１のセンサデータおよび前記第２のセンサデータのそれぞれから重力加速度成分を除去し、前記振動体および人の動作に無関係な周波数を除去してもよい。

また、本発明に係るセンサ信号処理装置は、振動体と、人の身体動作に関する情報を検出するセンサとを含む携帯端末がユーザに携帯され、かつ、前記振動体が振動した状態で、前記センサから時系列の第１のセンサデータを取得する第１の１次データ処理部と、記憶部に記憶されている、固有ベクトルを有する変換行列に基づいて、前記第１のセンサデータを主成分に変換する主成分変換部と、前記記憶部に記憶されている、前記主成分の寄与率に関する情報を考慮して、前記変換行列に基づいて前記主成分への変換の逆変換を行って、前記振動体の振動に伴う信号が除去された、前記ユーザの動作を示す信号を抽出する逆変換部と、を備え、前記主成分は、前記振動体の振動に伴う前記携帯端末固有の振動を表す信号から、主成分分析により得られた無相関な合成変数であり、前記変換行列は、前記第１のセンサデータを前記主成分に変換する行列であり、前記寄与率に関する情報は、ある主成分の分散の全分散に占める割合が所定の値の主成分に関する情報であることを特徴とする。

また、本発明に係るセンサ信号処理装置において、前記携帯端末を静止させ、かつ、前記振動体が振動した状態で前記センサから時系列の第２のセンサデータを取得する第２の１次データ処理部と、取得された前記第２のセンサデータを用いて前記主成分分析を行い、前記固有ベクトルを有する前記変換行列を生成する変換行列生成部と、前記主成分分析で、前記寄与率に関する情報を取得する寄与率情報取得部と、を備え、前記記憶部は、前記変換行列生成部によって生成された前記変換行列と、前記寄与率情報取得部によって取得された前記寄与率に関する情報とを前記記憶部に記憶してもよい。

また、本発明に係るセンサ信号処理プログラムは、コンピュータを、上記のセンサ信号処理装置が有する各機能部として機能させるためのセンサ信号処理プログラムである。

本発明によれば、振動体と、人の身体動作に関する情報を検出するセンサとを含む携帯端末がユーザに携帯され、かつ、振動体が振動した状態で取得された時系列のセンサデータを、記憶部に記憶されている、固有ベクトルを有する変換行列に基づいて、主成分に変換し、主成分の寄与率に関する情報を考慮して、変換行列に基づき主成分への変換の逆変換を行うので、振動体の振動に伴う信号を除去し、ユーザの動作を示す信号を抽出することができる。

図１は、本発明の第１の実施の形態に係るセンサ信号処理装置を含む携帯端末の構成を示すブロック図である。 図２は、本発明の第１の実施の形態に係るセンサ信号処理装置を実現するコンピュータの構成を示すブロック図である。 図３は、本発明の第１の実施の形態に係るセンサ信号処理装置の動作を説明するフローチャートである。 図４は、本発明の第１の実施の形態に係る加速度データを説明する図である。 図５は、本発明の第１の実施の形態に係る主成分解析部を示すブロック図である。 図６は、本発明の第１の実施の形態に係る主成分解析部を示すブロック図である 図７は、本発明の第２の実施の形態に係るセンサ信号処理装置を含む携帯端末の構成を示すブロック図である。 図８は、本発明の第２の実施の形態に係るセンサ信号処理装置の動作を説明するフローチャートである。 図９は、本発明の第２の実施の形態に係る変換行列生成処理のフローチャートである。 図１０は、本発明の第２の実施の形態に係る主成分解析部の一部を示すブロック図である。

以下、本発明の好適な実施の形態について、図１から図１０を参照して詳細に説明する。各図について共通する構成要素には、同一の符号が付されている。なお、以下において、「人の身体動作に関する情報を検出するセンサ」として「加速度センサ」と「角速度センサ」とを用いる場合について説明する。

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係るセンサ信号処理装置１を含む携帯端末１Ａの構成を示すブロック図である。図１に示すように、携帯端末１Ａは、センサ信号処理装置１と、加速度センサ２と、角速度センサ３と、振動体４とを備える。携帯端末１Ａは、例えば、ユーザに把持されるスマートフォンやゲーム端末などで実現される。

図１に示すように、センサ信号処理装置１は、携帯端末１Ａが有する加速度センサ２と角速度センサ３のそれぞれから取得する加速度の時系列のセンサデータと、角速度の時系列のセンサデータとに基づいて、携帯端末１Ａを手で持ちながら歩行などを行うユーザの動作情報を取得する。携帯端末１Ａにおけるアプリケーションが実行され、振動体４が振動した状態で取得された、振動体４の振動に伴う信号と、ユーザの動作を示す信号とを含むセンサデータは、ＫＬ変換部１２１によって、固有ベクトルで構成される変換行列に基づいて、主成分に変換される。寄与率フィルタ１２２は、主成分の寄与率に関する情報を用いて、変換された主成分のうち、振動体４の振動を示す、所定の寄与率を有する主成分の値を０にする。そして、逆変換部１２３は、所定の主成分の値を０にした主成分に対して、変換行列を用い、主成分への変換の逆変換を行って、振動体４の振動に伴う信号を除去し、ユーザの動作を示す信号を抽出する。

加速度センサ２は、携帯端末１Ａ内に設けられ、センサ信号処理装置１と接続している。加速度センサ２は、携帯端末１Ａを携帯するユーザの動作に伴う加速度を一定の時間間隔で検出し、センサ信号処理装置１に出力する。本実施の形態では、加速度センサ２は、ユーザが携帯端末１Ａを、例えば、手で持ちながら歩行する振動の状態を検出して、振動の大きさに応じた電圧値を出力する。

加速度センサ２は、互いに直交する３軸方向に応じた加速度ベクトル、即ち、鉛直方向（ｚ軸）、進行方向（ｘ軸）、および横方向（ｙ軸）の３軸にかかる加速度の大きさに比例した電圧値を出力する。なお、加速度センサ２は３軸の構成に限られない。

角速度センサ３は、携帯端末１Ａ内に設けられ、センサ信号処理装置１と接続している。角速度センサ３は、携帯端末１Ａを携帯するユーザの動作に伴う角速度情報を一定の時間間隔で検出し、センサ信号処理装置１に出力する。

本実施の形態では、角速度センサ３は、ユーザが携帯端末１Ａを手で持ちながら歩行する動作に伴って携帯端末１Ａで生ずる、互いに直交する３軸方向の角速度ベクトルを検出する。即ち、角速度センサ３は、鉛直方向（ｙａｗ軸）、進行方向（ｒｏｌｌ軸）、および横方向（ｐｉｔｃｈ軸）の３軸を中心とする回動の角速度の大きさに比例した電圧値を出力する。なお、角速度センサ３は３軸の構成に限られない。

振動体４は、携帯端末１Ａ内に設けられ、センサ信号処理装置１と接続している。振動体４はモータ（図示しない）を有し、モータが回転することにより連続的または断続的な振動を発生させる。振動体４は、振幅または周波数を変化させて振動量を変化させることができる。また、振動体４は、モータの非対称回転による振動を発生させて、携帯端末１Ａを把持するユーザに疑似的な力覚を提示してもよい。本実施の形態では、振動体４は、ユーザに疑似力覚を提示する１種類の振動パターンで振動する場合について説明する。

［センサ信号処理装置の機能ブロック］
次に、センサ信号処理装置１の機能ブロックについて図１を参照して説明する。
センサ信号処理装置１は、１次データ処理部１１と、主成分解析部１２と、メモリ１３と、データ出力部１４とを備える。センサ信号処理装置１は、センサ信号処理装置１の外部に設置された加速度センサ２、角速度センサ３、および振動体４とそれぞれ接続している。

１次データ処理部１１は、センサデータ取得部１１１と、ローパスフィルタ１１２とを有する。１次データ処理部１１は、加速度センサ２および角速度センサ３がそれぞれ検出する加速度と角速度とを取得する。１次データ処理部１１は、取得した加速度と角速度のそれぞれから重力加速度成分を除去した時系列の加速度データと角速度データとを生成する。

センサデータ取得部１１１は、加速度センサ２および角速度センサ３がそれぞれ検出した加速度と角速度とを取得する。また、センサデータ取得部１１１は、加速度センサ２が検出した加速度から、重力加速度成分を求める。

センサデータ取得部１１１は、取得された加速度および角速度のそれぞれから重力加速度成分を除去した加速度の時系列データである加速度データ、および角速度の時系列データである角速度データを取得する。なお、加速度データおよび角速度データを総称して「センサデータ」ということがある。

ローパスフィルタ１１２は、センサデータ取得部１１１によって取得された加速度データおよび角速度データの信号から、携帯端末１Ａに内蔵されている振動体４および人の動作とは無関係な周波数の信号、例えば、２００Ｈｚ以上の高周波成分を除去する。ローパスフィルタ１１２から出力される加速度データおよび角速度データの信号は、後述するデータ格納部１３１に蓄積される。

主成分解析部１２は、ＫＬ変換部１２１と、寄与率フィルタ１２２と、逆変換部１２３とを有する。主成分解析部１２は、後述する主成分変換を行い、１次データ処理部１１により取得されて事前処理されたセンサデータから振動体４の振動に伴う信号を除去して、携帯端末１Ａを把持するユーザの動作を示す信号を抽出する。

ＫＬ変換部１２１は、後述する変換行列格納部１３２に予め格納されている固有ベクトルで構成される変換行列を用いて、振動体４による振動に伴う信号とユーザの動作を示す信号とが重なった信号である、加速度データおよび角速度データのそれぞれを主成分に変換する。

ここで、主成分分析は、相関関係がある多変数のデータである振動体４の振動に伴う信号を含むセンサデータを効率的に記述できる、無相関な合成変数である直交した軸（主成分）を生成する手法である。変換行列は、センサデータを主成分に変換する行列である。変換行列は、例えば、振動体４の振動に伴う、携帯端末１Ａに固有の振動を表すセンサデータの分散共分散行列の固有値と固有ベクトルとを求めて、固有値が大きい順に固有ベクトルを並べた行列である。

寄与率フィルタ１２２は、予め実行された主成分分析により求められた寄与率に関する情報に基づいて、振動体４による振動に伴う信号とユーザの動作を示す信号とが重なった信号であるセンサデータを変換して得られた主成分のうち、所定の主成分の値を０にする。

寄与率とは、特定の主成分の固有値（分散）の全固有値（全分散）に占める割合である。寄与率に関する情報とは、センサデータ全体における特定の主成分が、振動体４の振動に関する情報をどれだけ含むかを示す情報である。

寄与率フィルタ１２２によって値が０にされる主成分は、振動体４の振動に伴う信号の情報をより多く含んでいる、所定の寄与率以上の複数の主成分である。このように、振動体４の振動に伴う信号の情報をより多く含む主成分の値を０とすることで、振動体４の振動に伴う信号を除去の対象とすることができる。

例えば、予め実行される主成分分析により、第１主成分から第ｐ（ｐは正の整数）主成分までの成分が主成分として採用されている場合において、対応する第１次から第ｐ次までの固有値のうち、寄与率が高い第１次から第ｋ次（ｋ＜ｐ）までの固有ベクトルが、主成分の寄与率に関する情報として求められる。なお、変換行列は、固有値の大きい固有ベクトルを順番に並べた行列である。変換行列を用いて得られた主成分は、第１主成分の寄与率が最も高く、主成分の次数があとになるほど寄与率が低い。

逆変換部１２３は、変換行列を用いて、ＫＬ変換部１２１が行ったセンサデータの主成分への変換の逆変換を行う。より詳細には、逆変換部１２３は、寄与率フィルタ１２２で振動体４の振動に伴う信号の情報をより多く含む、第１次から第ｋ次までの寄与率の高い主成分の値を０にした主成分を、変換行列の逆行列を用いて逆変換する。逆変換部１２３は、逆変換を行って、一度離散化したセンサデータを連続化する。逆変換部１２３によって出力される信号は、振動体４の振動に伴う信号が除去された、携帯端末１Ａを持っているユーザの動作のみを示す信号である。

次に、メモリ１３の構成について説明する。メモリ１３は、データ格納部１３１と、変換行列格納部１３２と、寄与率情報格納部１３３とを有する。

データ格納部１３１は、前述した１次データ処理部１１によって取得される時系列の加速度データと角速度データとを蓄積する。

変換行列格納部１３２は、予め実行された主成分分析によって求められた、携帯端末１Ａに固有の変換行列の情報を格納する。なお、変換行列格納部１３２に格納される変換行列は、振動体４の振動パターン毎、また用いられるセンサ毎に変換行列が異なることから、振動体４の振動パターンとセンサデータの組み合わせの数に応じた数の変換行列が格納される。本実施の形態では、１種類の振動パターンを有する振動体４と、３軸の加速度センサ２および３軸の角速度センサ３との組み合わせであるため、変換行列格納部１３２には、対応する６つの変換行列が格納されている。

寄与率情報格納部１３３には、予め実行された主成分分析で求められた、振動体４の振動の情報をより多く含む主成分の寄与率に関する情報が格納されている。より詳細には、寄与率情報格納部１３３は、各変換行列における第１次から第ｋ次までの固有ベクトルの情報を格納する。

データ出力部１４は、逆変換部１２３から出力される、振動体４の振動に伴う信号が除去された、携帯端末１Ａを持っているユーザの動作を示す信号を出力する。

［センサ信号処理装置のコンピュータ構成］
図２は、本実施の形態に係るセンサ信号処理装置１を実現するコンピュータの構成を示すブロック図である。センサ信号処理装置１００は、バス１０１を介して接続される制御部１０２、通信制御装置１０５、および記憶装置１０９を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。センサ信号処理装置１００は、外部に設けられている加速度センサ１０６および角速度センサ１０７からの信号を処理する。また、センサ信号処理装置１００の外部に設けられている振動装置１０８と接続している。

制御部１０２は、ＣＰＵ１０３と主記憶部１０４とを備えている。主記憶部１０４には、ＣＰＵ１０３が各種制御や演算を行うためのプログラムが予め格納されている。制御部１０２によって、図１で示した１次データ処理部１１、および主成分解析部１２などのセンサ信号処理装置１の機能が実現される。

通信制御装置１０５は、センサ信号処理装置１００と加速度センサ１０６、角速度センサ１０７、および振動装置１０８などの各種外部電子機器との間を接続するための制御装置である。

記憶装置１０９は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。記憶装置１０９には、記憶媒体としてフラッシュメモリなどの半導体メモリやハードディスクを使用できる。

記憶装置１０９は、センサデータを蓄積するデータ格納部１０９ａ、変換行列の情報を記憶する変換行列格納部１０９ｂ、寄与率に関する情報を記憶する寄与率情報格納部１０９ｃ、プログラム格納部１０９ｄおよび図示しないその他の格納装置で構成される。例えば、この記憶装置１０９内に格納されているプログラムやデータなどをバックアップするための格納装置などを有することができる。

プログラム格納部１０９ｄには、本実施の形態におけるセンサデータを取得する１次データ処理、センサデータを主成分に変換し、さらに逆変換する処理などのセンサデータの処理に必要な処理を実行するための各種プログラムが格納されている。

［センサ信号処理装置の動作］
上述した構成を有するセンサ信号処理装置１の動作の説明を、図３から図６を参照して説明する。図３は、本実施の形態に係るセンサ信号処理装置１の動作を説明するフローチャートである。

まず、本実施の形態では、前提として、ユーザが携帯端末１Ａを手で持っており、かつ、振動体４が所定の振動パターンで振動している状態において、加速度センサ２および角速度センサ３は、加速度と角速度をそれぞれ検出する。センサデータ取得部１１１は、加速度センサ２および角速度センサ３が検出した加速度と角速度とを取得する（ステップＳ１）。より詳細には、センサデータ取得部１１１は、振動体４の駆動と共に同期して加速度と角速度の取得を開始する。

なお、センサデータ取得部１１１は、加速度センサ２と角速度センサ３のそれぞれから加速度および角速度の時系列データを取得する場合に、予め設定された、ユーザに疑似力覚を発生させる１周期分の加速度および角速度の時系列データを、それぞれ１データセットとして取得する。例えば、図２に示すように、センサデータ取得部１１１は、加速度センサ２が検出する加速度の時系列データの１周期分を１データセットとして取得する。取得された加速度および角速度の時系列データは、一時的にメモリ１３に格納される。

次に、センサデータ取得部１１１は、加速度センサ２から取得した加速度から重力加速度成分を求め、加速度センサ２および角速度センサ３から取得した加速度と角速度のそれぞれから重力加速度成分を除去した加速度データおよび角速度データを取得する（ステップＳ２）。

センサデータ取得部１１１は、重力加速度成分が除去された加速度データと角速度データのそれぞれのデータセットに対して、データセットの端点での不連続性に起因した高周波成分の発生を抑制するため、ハミング窓など特定の振動窓関数で処理してもよい。

また、センサデータ取得部１１１によって取得された、加速度データおよび角速度データは、ローパスフィルタ１１２によって、人の動作に起因する周波数や、振動体４の周波数成分に無関係な高周波成分が除去される。ローパスフィルタ１１２から出力される加速度データおよび角速度データそれぞれのデータセットは、データ格納部１３１に格納される。

次に、ＫＬ変換部１２１は、１次データ処理部１１のセンサデータ取得部１１１とローパスフィルタ１１２とによって処理された加速度データおよび角速度データそれぞれの１データセットに対して、Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ（ＫＬ）変換を行う（ステップＳ３）。

より詳細には、ＫＬ変換部１２１は、変換行列格納部１３２に格納されている各センサデータに対応する変換行列を用いて、加速度データと角速度データのそれぞれの１データセットに対してＫＬ変換を行い、主成分に変換する。ＫＬ変換によって、加速度データおよび角速度データは、寄与率の高い順に並んだ主成分に変換される。

ここで、説明の容易のために、１軸（ｘ軸）の加速度センサ２から取得される加速度データを用いて、ＫＬ変換部１２１による変換処理を説明する。図５に示すように、データ格納部１３１に格納されているｐ個（ｐは正の整数）の時系列の加速度データをｘ＝［ｘ₁，ｘ₂，・・・，ｘ_p］とすると、変換後の主成分ｕ_x＝［ｕ_x1，ｕ_x2，・・・，ｕ_xp］は、変換行列格納部１３２に格納されている変換行列（以下、「変換行列Ｐ’」ということがある。なお、「’」は転置行列であり、詳細は後述する。）を用いて、ｕ_x＝Ｐ’ｘにより算出される。

変換行列格納部１３２に格納されている変換行列Ｐ’は、後述する固有値λ_i（ｉ＝１，２，・・・，ｐ）に対応する固有ベクトル［ａ_1i，ａ_2i，・・・，ａ_pi］’である。ＫＬ変換によって、加速度データは、第１次から第ｐ次の順で、寄与率の高い順の主成分ｕ_x＝［ｕ_x1，ｕ_x2，・・・，ｕ_xp］に変換される。

次に、図３に示すように、逆変換部１２３は、寄与率情報格納部１３３に格納されている、寄与率に関する情報を考慮して、ＫＬ変換部１２１によって主成分に変換された加速度データおよび角速度データそれぞれのデータセットを逆変換する（ステップＳ４）。

より詳細には、図５に示すように、寄与率フィルタ１２２は、寄与率情報格納部１３３に格納されている、高い寄与率を有する第１次から第ｋ次までの主成分の情報を読み出して、ＫＬ変換部１２１から出力される主成分のうち、第１次から第ｋ次までの主成分の値を０にする。これにより、振動体４の振動に伴う信号の成分が除去されることになる。

また、逆変換部１２３は、変換行列Ｐ’の逆行列（Ｐ’）^-1＝Ｐを用いて、第１次から第ｋ次までの主成分の値を０にした主成分を逆変換してセンサデータを算出する。例えば、１軸の加速度センサ２の加速度データにおいては、図５に示すように、逆変換された加速度データＸ＝［Ｘ₁，Ｘ₂，・・・，Ｘ_p］が算出される。

最後に、データ出力部１４は、逆変換処理後のセンサデータを出力する（ステップＳ５）。例えば、図５に示す、データ出力部１４から出力される加速度データＸは、振動体４の振動に伴う信号が除去され、ユーザの動作を示す加速度のみが抽出された加速度信号である。

ここで、例えば、３軸（ｘ軸、ｙ軸、ｚ軸）の加速度センサ２を用いた場合の、主成分解析部１２による処理について、図６を参照して説明する。振動体４の振動パターンが１種類であり、加速度データが３軸の場合には、各軸ごとに予め算出され、変換行列格納部１３２に格納されている３つの変換行列Ｐ_x’、Ｐ_y’、Ｐ_z’が用いられる。なお、ｘ軸の加速度データはｘ＝［ｘ₁，ｘ₂，・・・，ｘ_p］、ｙ軸の加速度データはｙ＝［ｙ₁，ｙ₂，・・・，ｙ_p］、ｚ軸の加速度データはｚ＝［ｚ₁，ｚ₂，・・・，ｚ_p］とする。

ＫＬ変換部１２１、寄与率フィルタ１２２、および逆変換部１２３によるＫＬ変換処理、寄与率に基づく主成分のフィルタリング、および逆変換処理は、前述した１軸の加速度センサ２の加速度データの場合と同様に行われる。

具体的には、ＫＬ変換部１２１が、各軸ごとに主成分ｕ_x、ｕ_y、ｕ_zを算出し（ｕ_x＝Ｐ_x’ｘ、ｕ_y＝Ｐ_x’ｙ、ｕ_z＝Ｐ_z’ｚ）、寄与率フィルタ１２２は、各軸ごとの第１次から第ｋ次までの寄与率の高い主成分の値をそれぞれ０にする。その後、逆変換部１２３は、変換行列Ｐ_x’、Ｐ_x’、Ｐ_z’の逆行列Ｐ_x、Ｐ_y、Ｐ_zを用いて、各軸の加速度データの主成分を逆変換し、振動体４の振動に伴う信号が除去され、ユーザの動作を示す信号のみが抽出された加速度データＸ、Ｙ、Ｚを算出する。

３軸の角速度センサ３の角速度データについても、上記と同様に主成分への変換および逆変換が行われる。このように、センサデータが複数存在する場合には、主成分解析部１２において、各センサデータごとに、対応する変換行列を用いた主成分変換が行われ、それぞれの主成分のうち、寄与率の高い主成分の値が０にされ、変換行列の逆行列を用いてそれぞれのセンサデータに戻される。

以上説明したように、第１の実施の形態によれば、センサ信号処理装置１は、ユーザが携帯端末１Ａを持っており、かつ、振動体４が振動している状態で、加速度と角速度とを取得し、取得された加速度と角速度のそれぞれから重力加速度成分を除去した加速度データと角速度データとを取得する。センサ信号処理装置１は、取得した加速度データと角速度データのそれぞれを、変換行列格納部１３２に格納された、対応する変換行列を用いて、主成分に変換する。さらに、センサ信号処理装置１は、寄与率情報格納部１３３に格納されている、寄与率の高い主成分の情報に基づいて、振動体４の振動に伴う信号を示す主成分の値を０にして除去して逆変換を行い、ユーザの動作を示す信号のみを抽出する。

これにより、振動体４の振動に伴う信号とユーザの動作を示す信号の周波数成分が重なっていても、ユーザの動作を示す信号のみを抽出することができる。また、予め求められ、メモリ１３に記憶されている変換行列や、主成分の寄与率に関する情報を用いてＫＬ変換および逆変換の計算を行うため、演算コストをより少なくして簡易に抽出対象の信号のみを抽出することができる。

なお、本実施の形態において、変換行列格納部１３２および寄与率情報格納部１３３にそれぞれ格納されている変換行列と主成分の寄与率に関する情報は、例えば、携帯端末１Ａの外部に設置されているサーバなど外部機器により、予め主成分分析が実行されて求められてもよい。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上述した第１の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。図７は、第２の実施の形態に係るセンサ信号処理装置１ａを含む携帯端末１Ｂの構成を示すブロック図である。

第１の実施の形態では、センサ信号処理装置１は、予め主成分分析により求められ、メモリ１３に記憶されている変換行列と、主成分の寄与率に関する情報とに基づいて、ＫＬ変換および逆変換を行って、ユーザの動作を示す信号のみを抽出する場合について説明した。これに対し、第２の実施の形態では、主成分解析部１２ａが、変換行列生成部１２４と寄与率情報取得部１２５とをさらに備え、変換行列と、主成分の寄与率に関する情報を算出する。

変換行列生成部１２４は、携帯端末１Ｂに固有の変換行列を求める。変換行列生成部１２４は、携帯端末１Ｂを静止させた状態で、１次データ処理部１１によって取得される加速度データおよび角速度データに基づいて、主成分分析を実行する。変換行列生成部１２４は、主成分分析により、加速度データおよび角速度データの分散共分散行列における固有値が大きい順に、固有値と対応する第１次から第ｐ次の固有ベクトルを並べた変換行列を求める。

寄与率情報取得部１２５は、振動体４の振動を示す情報をより多く含む、寄与率の高い第１次から第ｋ次（１≦ｋ≦ｐ）までの主成分の情報を取得する。より詳細には、寄与率情報取得部１２５は、携帯端末１Ｂに対する主成分分析で求められる寄与率と、逆変換による情報の損失の程度を勘案して、第ｋ次の次数を定める。

［センサ信号処理装置の動作］
次に、本実施の形態のセンサ信号処理装置１ａの動作を、図８のフローチャートを用いて説明する。まず、センサ信号処理装置１ａは、変換行列の生成処理を実行する（ステップＳ２０）。

図９は、変換行列生成処理のフローチャートである。変換行列の生成処理では、前提として、ユーザが携帯端末１Ｂを持たずに、携帯端末１Ｂを静止させ、かつ、振動体４が所定の振動パターンで振動している状態で、加速度センサ２および角速度センサ３が加速度と角速度をそれぞれ検出する。なお、本実施の形態では、振動体４は、例えば、ユーザに疑似力覚を発生させる１種類の振動パターンで振動する場合について説明する。

まず、センサデータ取得部１１１は、加速度センサ２が検出した加速度と、角速度センサ３が検出した角速度とを取得する（ステップＳ２０１）。

次に、センサデータ取得部１１１は、取得した加速度から重力加速度成分を求め、加速度と角速度のそれぞれから重力加速度成分を除去した加速度データと角速度データとを取得する（ステップＳ２０２）。ローパスフィルタ１１２は、加速度データと角速度データのそれぞれから、例えば、２００Ｈｚ以上の、振動体４や人の動作とは無関係な周波数成分を除去する。

なお、センサデータ取得部１１１は、予め定められた、人に疑似力覚を発生させる１周期分のデータを１データセットとして、時系列のセンサデータを取得し、データ格納部１３１に格納する。

次に、変換行列生成部１２４は、ステップＳ２０２で取得されたセンサデータの１データセットに対して、主成分分析を行う（ステップＳ２０３）。なお、以下においては、説明の容易のため、１軸（ｘ軸）の加速度センサ２のセンサデータを用いて説明する。

図１０に示すように、変換行列生成部１２４は、１データセットに対応するｐ個（ｐは正の整数）の時系列のｘ軸における加速度データ［ｘ₁，ｘ₂，・・・，ｘ_p］を、データ格納部１３１から読み出す。変換行列生成部１２４は、相関関係のあるｐ次元の多変量のセンサデータの持つ情報を、例えば、ｐ個の新たな無相関な合成変数である主成分［ｕ_x1，ｕ_x2，・・・，ｕ_xp］に変換するための変換行列Ｐを生成する。

より詳細には、変換行列生成部１２４は、ｘ軸の加速度データ［ｘ₁，ｘ₂，・・・，ｘ_p］における分散共分散行列をＳ（式（１））としたときに、固有値問題の式（２）を解いて固有値λ_i（ｉ＝１，２，・・・，ｐ）を得る。

上式（２）において、ａ_ji（ｉ＝１，２，・・・，ｐ、ｊ＝１，２，・・・，ｐ）は固有ベクトル、λ_i（ｉ＝１，２，・・・，ｐ）は固有値、Ｓは分散共分散行列である。固有値λ_iに対応する固有ベクトルを［ａ_1i，ａ_2i，・・・，ａ_pi］’（「’」はベクトルの転置を示す。）とすると、変換行列生成部１２４は、求めた固有値λ_iの大きさの順に、対応する固有ベクトルを並べて、式（３）の変換行列Ｐを求める。

さらに、式（４）の関係が得られる。

上式（４）において、ｕ_xi（ｉ＝１，２，・・・，ｐ）は、第ｉ次の主成分である。図９および図１０に示すように、変換行列生成部１２４は、上式（４）により求めた変換行列Ｐ’を、変換行列格納部１３２に格納する（ステップＳ２０４）。

次に、寄与率情報取得部１２５は、主成分ｕ_x1からｕ_xk、すなわち第１次から第ｋ次までの、携帯端末１Ｂに含まれる振動体４の振動を示す、寄与率が高い主成分の情報を取得し、寄与率情報格納部１３３に格納する（ステップＳ２０５）。

なお、変換行列生成部１２４は、振動体４の振動パターンとセンサデータの組み合わせの数だけの変換行列の生成処理を行い、寄与率情報取得部１２５は、各変換行列におけける第１次から第ｋ次までの固有ベクトルを、主成分の寄与率に関する情報として取得する。

再び図８に戻り、今度は、ユーザが携帯端末１Ｂを持ち、かつ、振動体４が振動している状態において、センサデータ取得部１１１は、加速度センサ２および角速度センサ３がそれぞれ検出した加速度および角速度を取得する（ステップＳ２１）。

その後、センサデータ取得部１１１は、加速度と角速度のそれぞれから重力加速度成分を除去した加速度データおよび角速度データを取得する（ステップＳ２２）。ここで、ローパスフィルタ１１２は、加速度データおよび角速度データから、振動体４および人の動作に無関係な高周波成分を除去する。ステップＳ２２で取得された加速度データおよび角速度データのデータセットは、データ格納部１３１に格納される。

次に、ＫＬ変換部１２１は、ステップＳ２０３で求められた変換行列Ｐ’を変換行列格納部１３２から読み出す。さらに、ＫＬ変換部１２１は、ステップＳ２２で取得された加速度データおよび角速度データそれぞれの１データセットに対して、ＫＬ変換を行い、寄与率の高い順に第１次から第ｐ次までの主成分に変換する（ステップＳ２３）。

次に、逆変換部１２３は、主成分への変換の逆変換を行う（ステップＳ２４）。より詳細には、まず、寄与率フィルタ１２２が、ステップＳ２０３で求められた、第１次から第ｋ次までの、高い寄与率の主成分に関する情報を、寄与率情報格納部１３３から読み出す。寄与率フィルタ１２２は、ステップＳ２３のＫＬ変換により得られた主成分のうち、第１次から第ｋ次までの主成分の値を０にする。これにより、振動体４の振動に伴う信号が除去されることになる。

そして、第１次から第ｋ次までの主成分の値が０とされた主成分に対して、逆変換部１２３は、ステップＳ２３で用いた変換行列Ｐ’の逆行列Ｐを用いて逆変換を行う。逆変換部１２３が実行する逆変換によって、ユーザの動作を示す信号のみが抽出され、逆変換されたセンサデータが、データ出力部１４から出力される（ステップＳ２５）。

以上説明したように、第２の実施の形態によれば、センサ信号処理装置１ａは、主成分分析を実行して、センサデータを主成分に変換するための、固有ベクトルからなる変換行列を求める。また、振動体４の振動に伴う信号を示す、寄与率が高い第１次から第ｋ次までの主成分の情報を取得する。そして、センサ信号処理装置１ａは、センサデータに対して、変換行列を用いてＫＬ変換を行い、センサデータを主成分に変換する。さらに、センサ信号処理装置１ａは、求めた主成分の第１次から第ｋ次までの主成分の値を０にして逆変換を行い、センサデータに戻す。

したがって、振動体４の振動に伴う信号を除去して、ユーザの動作を示す信号のみを抽出することができる。

本実施の形態では、変換行列生成部１２４および寄与率情報取得部１２５がセンサ信号処理装置１ａ内に設けられ、変換行列の生成処理を行う場合について説明した。しかし、変換行列生成部１２４および寄与率情報取得部１２５を、例えば、インターネットなどのネットワークを介して接続されるサーバなどに設け、変換行列の生成処理を実行してもよい。

この場合、１次データ処理部１１によって取得されるセンサデータは、ネットワークを介してサーバに送信される。サーバによって実行される変換行列の生成処理で求められた変換行列および主成分の寄与率に関する情報は、ネットワークを介してセンサ信号処理装置１ａに送信される。そして、変換行列および主成分の寄与率に関する情報は、変換行列格納部１３２および寄与率情報格納部１３３にそれぞれ格納される。

以上、本発明のセンサ信号処理方法、センサ信号処理装置、およびセンサ信号処理プログラムにおける実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。

例えば、説明した実施の形態では、ユーザが携帯端末を手で持つ場合について説明したが、携帯端末を携帯したユーザの動作を抽出できれば、手で持つ場合に限られない。例えば、ユーザが携帯端末を着用してもよい。

また、説明した実施の形態では、携帯端末が１種類の振動パターンで振動する１つの振動体を有する場合について説明したが、振動体の振動パターンの数および振動体の数はこれに限定されない。

また、説明した実施の形態では、センサとして加速度センサと角速度センサとを用いる場合について説明したが、人の身体動作に関する情報を検出することができれば限定されない。例えば、磁気センサを用いてもよい。

なお、本発明に係る機能を実現するための構成を予め備えたセンサ信号処理装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係るセンサ信号処理装置として機能させることもできる。すなわち、上記実施の形態で例示したセンサ信号処理装置による各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係るセンサ信号処理装置として機能させることができる。

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）−ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Ｂｕｌｌｅｔｉｎ Ｂｏａｒｄ Ｓｙｓｔｅｍ）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。

１、１ａ、１００…センサ信号処理装置、１Ａ、１Ｂ…携帯端末、２…加速度センサ、３…角速度センサ、４…振動体、１１…１次データ処理部、１２…主成分解析部、１３…メモリ、１４…データ出力部、１１１…センサデータ取得部、１１２…ローパスフィルタ、１２１…ＫＬ変換部、１２２…寄与率フィルタ、１２３…逆変換部、１２４…変換行列生成部、１２５…寄与率情報取得部、１３１…データ格納部、１３２…変換行列格納部、１３３…寄与率情報格納部、１０１…バス、１０２…制御部、１０３…ＣＰＵ、１０４…主記憶部、１０５…通信制御装置、１０６…加速度センサ、１０７…角速度センサ、１０８…振動装置、１０９…記憶装置、１０９ａ…データ格納部、１０９ｂ…変換行列格納部、１０９ｃ…寄与率情報格納部、１０９ｄ…プログラム格納部。

Claims (8)

1. 振動体と、人の身体動作に関する情報を検出するセンサとを含む携帯端末がユーザに携帯され、かつ、前記振動体が振動した状態で、前記センサから時系列の第１のセンサデータを取得する第１の１次データ処理ステップと、
   記憶部に記憶されている、固有ベクトルを有する変換行列に基づいて、前記第１のセンサデータを主成分に変換する主成分変換ステップと、
   前記記憶部に記憶されている、前記主成分の寄与率に関する情報を考慮して、前記変換行列に基づいて前記主成分への変換の逆変換を行って、前記振動体の振動に伴う信号が除去された、前記ユーザの動作を示す信号を抽出する逆変換ステップと、
   を備え、
   前記主成分は、前記振動体の振動に伴う前記携帯端末に固有の振動を表す信号から、主成分分析により得られた無相関な合成変数であり、
   前記変換行列は、前記第１のセンサデータを前記主成分に変換する行列であり、
   前記寄与率に関する情報は、ある主成分の分散の全分散に占める割合が所定の値の主成分に関する情報であることを特徴とするセンサ信号処理方法。
2. 前記逆変換ステップは、前記主成分変換ステップで得られた前記主成分のうち、前記寄与率に関する情報に基づいて、第１次から所定の次数までの主成分の値を０にすることを特徴とする請求項１に記載のセンサ信号処理方法。
3. 前記携帯端末を静止させ、かつ、前記振動体が振動した状態で前記センサから時系列の第２のセンサデータを取得する第２の１次データ処理ステップと、
   取得された前記第２のセンサデータを用いて前記主成分分析を行い、前記固有ベクトルを有する前記変換行列を生成する変換行列生成ステップと、
   前記主成分分析で、前記寄与率に関する情報を取得する寄与率情報取得ステップと、
   前記変換行列生成ステップで生成した前記変換行列と、前記寄与率情報取得ステップで取得した前記寄与率に関する情報とを前記記憶部に記憶する記憶ステップと、
   を備えることを特徴とする請求項１または請求項２に記載のセンサ信号処理方法。
4. 前記第１の１次データ処理ステップおよび前記第２の１次データ処理ステップでそれぞれ取得される前記第１のセンサデータおよび前記第２のセンサデータは、互いに直交する鉛直方向、前後方向、および左右方向の３軸方向の加速度、角速度、および磁場のうち少なくとも１つであることを特徴とする請求項３に記載のセンサ信号処理方法。
5. 前記第１の１次データ処理ステップおよび前記第２の１次データ処理ステップのそれぞれは、前記第１のセンサデータおよび前記第２のセンサデータのそれぞれから重力加速度成分を除去し、前記振動体および人の動作に無関係な周波数を除去することを特徴とする請求項３または請求項４に記載のセンサ信号処理方法。
6. 振動体と、人の身体動作に関する情報を検出するセンサとを含む携帯端末がユーザに携帯され、かつ、前記振動体が振動した状態で、前記センサから時系列の第１のセンサデータを取得する第１の１次データ処理部と、
   記憶部に記憶されている、固有ベクトルを有する変換行列に基づいて、前記第１のセンサデータを主成分に変換する主成分変換部と、
   前記記憶部に記憶されている、前記主成分の寄与率に関する情報を考慮して、前記変換行列に基づいて前記主成分への変換の逆変換を行って、前記振動体の振動に伴う信号が除去された、前記ユーザの動作を示す信号を抽出する逆変換部と、
   を備え、
   前記主成分は、前記振動体の振動に伴う前記携帯端末固有の振動を表す信号から、主成分分析により得られた無相関な合成変数であり、
   前記変換行列は、前記第１のセンサデータを前記主成分に変換する行列であり、
   前記寄与率に関する情報は、ある主成分の分散の全分散に占める割合が所定の値の主成分に関する情報であることを特徴とするセンサ信号処理装置。
7. 前記携帯端末を静止させ、かつ、前記振動体が振動した状態で前記センサから時系列の第２のセンサデータを取得する第２の１次データ処理部と、
   取得された前記第２のセンサデータを用いて前記主成分分析を行い、前記固有ベクトルを有する前記変換行列を生成する変換行列生成部と、
   前記主成分分析で、前記寄与率に関する情報を取得する寄与率情報取得部と、
   を備え、
   前記記憶部は、前記変換行列生成部によって生成された前記変換行列と、前記寄与率情報取得部によって取得された前記寄与率に関する情報とを前記記憶部に記憶することを特徴とする請求項６に記載のセンサ信号処理装置。
8. コンピュータを、請求項６または請求項７に記載のセンサ信号処理装置が有する各機能部として機能させるためのセンサ信号処理プログラム。

Images