JP5844224B2 - 認識装置、認識方法及び認識システム - Google Patents

Description

本発明は、認識装置、認識方法及び認識システムに関する。

従来より、キー入力やタッチパネルの操作以外の手段により、端末に対して所定のコマンド入力を与える技術があった。例えば、端末に加速度センサやジャイロセンサといったセンサを設け、ユーザが端末を保持しながら動かすことにより所定の動作状態がセンサにより検出されると、端末に対して所定のコマンド入力が与えられる技術が知られている。また、ユーザの指紋を検出して、予め登録されている指紋に該当する場合に認証を行うといった技術が知られている。この技術は、所定の指紋のパターン検出をもって入力コマンドとするものである。また、携帯電話の筐体の側面に設けられたセンサにより、ユーザによる携帯電話機の掴み方を検出し、検出した保持パターンが予め登録された登録パターンに一致した場合に、決済を実行する認証方法が知られている（例えば、特許文献１参照）。

特開２００９−７７２２１号公報

従来技術では、端末に所望の入力を与えるために、所定のアクションをユーザに強いるものであったので、ユーザがそのようなアクションを実施できない状況にあっては使用できなかった。また、指紋のパターンの入力により端末に入力する技術においても、指紋をセンサに読み取らせるための特定の動作をユーザに強いるものであり、その操作はユーザにとって負担であった。また、特許文献１に記載された技術におけるセンサは、当該センサが操作されたか否かを検出するだけのものであるので、この技術では高精度な判定は不可能であった。

そこで、本発明は、上記問題点に鑑みてなされたものであり、特段の操作をユーザに強いることなく、端末への高精度な入力操作が可能な認識装置、認識方法及び認識システムを提供することを目的とする。

上記課題を解決するために、本発明の一形態に係る認識装置は、ユーザによる端末の把持状態を示し該端末において時系列に検出された複数の把持データを含む把持データ群に基づき、ユーザによる端末の把持状態を認識する認識装置であって、第１の把持状態に基づき取得された把持データ群を第１把持データ群として取得する第１把持データ取得手段と、把持データ群に含まれる各時刻における把持データの時間変動を示す時間変動データの群からなる時間変動把持データであって、第１把持データ取得手段により取得された第１把持データ群に基づく時間変動把持データを第１時間変動把持データとして算出する第１時間変動把持データ算出手段と、第１時間変動把持データ算出手段により算出された第１時間変動把持データに基づき、過去に観測された時間変動の状態から過去の時間変動の状態を推定する事前確率分布を算出する事前確率分布算出手段と、第１時間変動把持データ算出手段により算出された第１時間変動把持データに基づき、過去の時間変動の状態から現在の時間変動の状態を推定する状態遷移確率分布を算出する状態遷移確率分布算出手段と、事前確率分布算出手段により算出された事前確率分布及び状態遷移確率分布算出手段により算出された状態遷移確率分布に基づき、現在に観測された時間変動の状態から現在の時間変動の状態を推定する事後確率分布を算出する事後確率分布算出手段と、事後確率分布算出手段により算出された事後確率分布を含む第１の把持状態情報を、把持状態を認識するための情報として、把持状態情報記憶手段に記憶させる把持状態情報格納手段と、第２の把持状態に基づき取得された把持データ群を第２把持データ群として取得する第２把持データ取得手段と、第２把持データ取得手段により取得された第２把持データ群に基づく時間変動把持データを第２時間変動把持データとして算出する第２時間変動把持データ算出手段と、第２時間変動把持データ算出手段により算出された第２時間変動把持データに基づき、把持状態情報記憶手段に記憶された第１の把持状態情報を用いて、第２時間変動把持データに示される時間変動が、第１の把持状態における時間変動に該当する確率を示す該当確率を算出する該当確率算出手段と、該当確率算出手段により算出された該当確率が所定の閾値以上である場合に、第２の把持状態が第１の把持状態に該当すると判定する判定手段と、を備える。

また、上記課題を解決するために、本発明の一形態に係る認識方法は、ユーザによる端末の把持状態を示し該端末において時系列に検出された複数の把持データを含む把持データ群に基づき、ユーザによる端末の把持状態を認識する認識装置における認識方法であって、第１の把持状態に基づき取得された把持データ群を第１把持データ群として取得する第１把持データ取得ステップと、把持データ群に含まれる各時刻における把持データの時間変動を示す時間変動データの群からなる時間変動把持データであって、第１把持データ取得ステップにおいて取得された第１把持データ群に基づく時間変動把持データを第１時間変動把持データとして算出する第１時間変動把持データ算出ステップと、第１時間変動把持データ算出ステップにおいて算出された第１時間変動把持データに基づき、過去に観測された時間変動の状態から過去の時間変動の状態を推定する事前確率分布を算出する事前確率分布算出ステップと、第１時間変動把持データ算出ステップにおいて算出された第１時間変動把持データに基づき、過去の時間変動の状態から現在の時間変動の状態を推定する状態遷移確率分布を算出する状態遷移確率分布算出ステップと、事前確率分布算出ステップにおいて算出された事前確率分布及び状態遷移確率分布算出ステップにおいて算出された状態遷移確率分布に基づき、現在に観測された時間変動の状態から現在の時間変動の状態を推定する事後確率分布を算出する事後確率分布算出ステップと、事後確率分布算出ステップにおいて算出された事後確率分布を含む第１の把持状態情報を、把持状態を認識するための情報として把持状態情報記憶手段に記憶させる把持状態情報格納ステップと、第２の把持状態に基づき取得された把持データ群を第２把持データ群として取得する第２把持データ取得ステップと、第２把持データ取得ステップにおいて取得された第２把持データ群に基づく時間変動把持データを第２時間変動把持データとして算出する第２時間変動把持データ算出ステップと、第２時間変動把持データ算出ステップにおいて算出された第２時間変動把持データに基づき、把持状態情報記憶手段に記憶された第１の把持状態情報を用いて、第２時間変動把持データに示される時間変動が、第１の把持状態における時間変動に該当する確率を示す該当確率を算出する該当確率算出ステップと、該当確率算出ステップにおいて算出された該当確率が所定の閾値以上である場合に、第２の把持状態が第１の把持状態に該当すると判定する判定ステップと、を有する。

また、上記課題を解決するために、本発明の一形態に係る認識システムは、端末と、ユーザによる端末の把持状態を示し該端末において時系列に検出された複数の把持データを含む把持データ群に基づき、ユーザによる端末の把持状態を認識する認識装置と、を含む認識システムであって、端末は、把持データを検出する検出手段と、検出手段により時系列に検出された複数の把持データを含む把持データ群を認識装置に送信する送信手段と、備え、認識装置は、端末から送信された把持データ群であって第１の把持状態に基づき取得された把持データ群を第１把持データ群として取得する第１把持データ取得手段と、把持データ群に含まれる各時刻における把持データの時間変動を示す時間変動データの群からなる時間変動把持データであって、第１把持データ取得手段により取得された第１把持データ群に基づく時間変動把持データを第１時間変動把持データとして算出する第１時間変動把持データ算出手段と、第１時間変動把持データ算出手段により算出された第１時間変動把持データに基づき、過去に観測された時間変動の状態から過去の時間変動の状態を推定する事前確率分布を算出する事前確率分布算出手段と、第１時間変動把持データ算出手段により算出された第１時間変動把持データに基づき、過去の時間変動の状態から現在の時間変動の状態を推定する状態遷移確率分布を算出する状態遷移確率分布算出手段と、事前確率分布算出手段により算出された事前確率分布及び状態遷移確率分布算出手段により算出された状態遷移確率分布に基づき、現在に観測された時間変動の状態から現在の時間変動の状態を推定する事後確率分布を算出する事後確率分布算出手段と、事後確率分布算出手段により算出された事後確率分布を含む第１の把持状態情報を、把持状態を認識するための情報として、把持状態情報記憶手段に記憶させる把持状態情報格納手段と、端末から送信された把持データ群であって第２の把持状態に基づき取得された把持データ群を第２把持データ群として取得する第２把持データ取得手段と、第２把持データ取得手段により取得された第２把持データ群に基づく時間変動把持データを第２時間変動把持データとして算出する第２時間変動把持データ算出手段と、第２時間変動把持データ算出手段により算出された第２時間変動把持データに基づき、把持状態情報記憶手段に記憶された第１の把持状態情報を用いて、第２時間変動把持データに示される時間変動が、第１の把持状態における時間変動に該当する確率を示す該当確率を算出する該当確率算出手段と、該当確率算出手段により算出された該当確率が所定の閾値以上である場合に、第２の把持状態が第１の把持状態に該当すると判定する判定手段と、を備える。

上記形態によれば、ユーザによる端末の把持状態を示す把持データの認識により端末への入力操作を実現させるので、ユーザに対して特段の操作が強いられない。また、把持データの時間変動データを算出し、さらに、算出された時間変動データから統計的手法により算出した事後確率分布を、把持状態を認識するための把持状態情報として記憶するので、把持データを検出するための検出装置固有の事情に起因するノイズや、その他の突発的なノイズに対してロバストである。そして、種々のノイズに対してロバストな把持状態情報に基づき、把持状態が認識されるので、高精度な認識処理に基づく端末への入力が実現される。

別の形態に係る認識装置では、事後確率分布算出手段は、逐次ベイズ推定を用いて事後確率分布を算出してもよい。

上記形態によれば、逐次ベイズ推定を用いて事後確率分布が算出されるので、把持状態を認識するための情報として適切な事後確率分布が得られる。

さらに別の形態に係る認識装置では、事後確率分布算出手段は、カルマンフィルタを用いて事後確率分布を算出してもよい。

上記形態によれば、把持状態を示す把持データ及び把持データに含まれるノイズがガウス分布に従うものと見なすことができる場合において、好適な事後確率分布が算出される。

さらに別の形態に係る認識装置では、事後確率分布算出手段は、パーティクルフィルタを用いて事後確率分布を算出してもよい。

上記形態によれば、把持状態を示す把持データ及び把持データに含まれるノイズがガウス分布に従わない場合であっても、適切な事後確率分布が算出される。

さらに別の形態に係る認識装置では、第３の把持状態に基づき取得された把持データ群を更新用把持データ群として取得する更新用把持データ取得手段と、更新用把持データ取得手段により取得された更新用把持データ群に基づく時間変動把持データを、更新用時間変動把持データとして算出する更新用時間変動把持データ算出手段と、更新用時間変動把持データ算出手段により算出された更新用時間変動把持データに基づく事前確率分布を、更新用事前確率分布として算出する更新用事前確率分布算出手段と、更新用時間変動把持データ算出手段により算出された更新用時間変動把持データに基づく状態遷移確率分布を、更新用状態遷移確率分布として算出する更新用状態遷移確率分布算出手段と、更新用事前確率分布算出手段により算出された更新用事前確率分布及び更新用状態遷移確率分布算出手段により算出された更新用状態遷移確率分布に基づく事後確率分布を、更新用事後確率分布として算出する更新用事後確率分布算出手段と、第４の把持状態に基づき取得された把持データ群を更新検証用把持データ群として取得する更新検証用把持データ取得手段と、更新検証用把持データ取得手段により取得された更新検証用把持データ群に基づく時間変動把持データを更新検証用時間変動把持データとして算出する更新検証用時間変動把持データ算出手段と、更新検証用時間変動把持データ算出手段により算出された更新検証用時間変動把持データに基づき、把持状態情報記憶手段に記憶された第１の把持状態情報における事後確率分布を用いて、更新検証用時間変動把持データ算出手段により算出された更新検証用時間変動把持データに示される時間変動が、第１の把持状態における時間変動に該当する確率を示す第１の該当確率を算出し、更新用事後確率分布算出手段により算出された更新用事後確率分布を用いて、更新検証用時間変動把持データに示される時間変動が、第３の把持状態における時間変動に該当する確率を示す第２の該当確率を算出する第２該当確率算出手段と、第２該当確率算出手段により算出された第１の該当確率より第２の該当確率の方が大きいか否かを判定する第２判定手段と、第２判定手段により第１の該当確率より第２の該当確率の方が大きいと判定された場合に、把持状態情報記憶手段に記憶された第１の把持状態情報を、更新用事後確率分布を含む第３の把持状態情報に更新する更新手段と、を更に備えることとしてもよい。

さらに別の形態に係る認識方法では、第３の把持状態に基づき取得された把持データ群を更新用把持データ群として取得する更新用把持データ取得ステップと、更新用把持データ取得ステップにおいて取得された更新用把持データ群に基づく時間変動把持データを、更新用時間変動把持データとして算出する更新用時間変動把持データ算出ステップと、更新用時間変動把持データ算出ステップにおいて算出された更新用時間変動把持データに基づく事前確率分布を、更新用事前確率分布として算出する更新用事前確率分布算出ステップと、更新用時間変動把持データ算出ステップにおいて算出された更新用時間変動把持データに基づく状態遷移確率分布を、更新用状態遷移確率分布として算出する更新用状態遷移確率分布算出ステップと、更新用事前確率分布算出ステップにおいて算出された更新用事前確率分布及び更新用状態遷移確率分布算出ステップにおいて算出された更新用状態遷移確率分布に基づく事後確率分布を、更新用事後確率分布として算出する更新用事後確率分布算出ステップと、第４の把持状態に基づき取得された把持データ群を更新検証用把持データ群として取得する更新検証用把持データ取得ステップと、更新検証用把持データ取得ステップにおいて取得された更新検証用把持データ群に基づく時間変動把持データを更新検証用時間変動把持データとして算出する更新検証用時間変動把持データ算出ステップと、更新検証用時間変動把持データ算出ステップにおいて算出された更新検証用時間変動把持データに基づき、把持状態情報記憶手段に記憶された第１の把持状態情報における事後確率分布を用いて、更新検証用時間変動把持データ算出ステップにおいて算出された更新検証用時間変動把持データに示される時間変動が、第１の把持状態における時間変動に該当する確率を示す第１の該当確率を算出し、更新用事後確率分布算出ステップにおいて算出された更新用事後確率分布を用いて、更新検証用時間変動把持データに示される時間変動が、第３の把持状態における時間変動に該当する確率を示す第２の該当確率を算出する第２該当確率算出ステップと、第２該当確率算出ステップにおいて算出された第１の該当確率より第２の該当確率の方が大きいか否かを判定する第２判定ステップと、第２判定ステップにおいて第１の該当確率より第２の該当確率の方が大きいと判定された場合に、把持状態情報記憶手段に記憶された第１の把持状態情報を、更新用事後確率分布を含む第３の把持状態情報に更新する更新ステップと、を更に有することとしてもよい。

上記形態によれば、第４の把持状態に基づく更新検証用把持データから算出された時間変動が、第１の把持状態における時間変動に該当する確率よりも、第３の把持状態における時間変動に該当する確率の方が高い場合に、把持状態を認識するための情報として把持状態情報記憶手段に記憶されていた第１の把持状態情報が、第３の把持状態に基づく更新用把持データ群から算出された更新用事後確率分布を含む第３の把持状態情報に更新される。これにより、把持状態を認識するための情報として適切な把持状態情報が把持状態情報記憶手段に格納される。従って、例えば、第１の把持状態に該当すると判定された第２の把持状態に基づく第２の把持データを第３の把持データとして採用することにより、把持状態の認識のために参照される把持情報を、例えば経年的な変化に応じて、適切な情報に保つことができる。

さらに別の形態に係る認識装置では、把持データ群を時間変動把持データの算出に用いる前に、該把持データ群に含まれる把持データにおける、当該把持データの検出に係る過渡状態に起因するノイズ、パルスノイズ、当該把持データに対するウェーブレットシュリンケージにより除去可能なノイズ、当該把持データの検出に係る直流成分に起因するノイズ及びガウスノイズのうちの少なくとも１つを除去するノイズ除去手段を更に備えることとしてもよい。

上記形態によれば、時間変動把持データの算出の前に、把持データからノイズが除去されるので、時間変動把持データの精度及び時間変動把持データに基づき算出される種々の確率分布の精度が向上される。

さらに別の形態に係る認識装置では、該当確率算出手段は、第１の把持状態情報に含まれる事後確率分布に基づき、第２時間変動把持データに含まれる複数の時間変動データの各々が第１の把持状態に該当する確率を該時間変動データ毎に算出し、判定手段は、第２時間変動把持データに含まれる時間変動データの数に対する、該当確率算出手段により算出された確率が所定の閾値以上となる時間変動データの数の割合に基づき類似尺度を算出し、該類似尺度が所定の閾値以上である場合に、第２の把持状態が第１の把持状態に該当すると判定してもよい。

上記形態によれば、第２時間変動把持データに含まれる全ての時間変動データに対する第１の把持状態に該当する時間変動データの数の割合に基づき算出された類似尺度により判定が行われる。これにより、第２の把持状態が第１の把持状態に該当するか否かの判定が適切に実施される。

さらに別の形態に係る認識システムでは、認識装置は、判定手段による判定の結果に関する認識情報を端末に送信する認識情報送信手段を更に備え、端末は、認証装置から送信された認識情報を受信する認識情報受信手段と、認識情報受信手段により受信された認識情報に応じた所定の処理を実行する実行手段と、を更に備えることとしてもよい。

上記形態によれば、特段の操作をユーザに強いることなく、例えば、端末におけるユーザ認証といった所定の処理を実現できる。

特段の操作をユーザに強いることなく、端末への高精度な入力操作が可能な認識装置、認識方法及び認識システムが提供される。

認識システムの装置構成を示す図である。 端末における圧力センサの配置を示す模式図である。 端末の機能的構成を示すブロック図である。 認識装置の機能的構成を示すブロック図である。 認識装置のハードブロック図である。 認識システムにおける認識方法の処理内容を示すタイミングチャートである。 認識システムにおける認識方法の処理内容を示すタイミングチャートである。 認識システムにおける認識方法の処理内容を示すタイミングチャートである。

本発明に係る認識装置、認識方法及び認識システムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、認識システムの装置構成を示す図である。認識システム１００は、認識装置１及び端末３を含む。認識装置１は、ネットワークＮを介して端末３と通信可能であって、ユーザによる端末３の把持状態を示すデータであって端末３において時系列に検出された複数の把持データを含む把持データ群に基づき、ユーザによる端末３の把持状態を認識する装置である。認識装置１は、例えば、端末３の把持状態に基づき、端末を把持するユーザが予め登録されたユーザに該当するか否かを判定することにより、ユーザの認証を実施する装置であることができる。

端末３は、例えば、携帯電話機に例示されるような移動端末であることができる。端末３は、使用状態においてユーザに把持される。そして、端末３は、ユーザによる把持状態を検出するためのセンサを備える。端末３に備えられるセンサは、例えば圧力センサである。

図２は、端末３における圧力センサｄの配置を示す模式図である。図２に示すように、端末３は、筐体の底面ｐ_Ｂ、側面ｐ_Ｓ１，ｐ_Ｓ２に、計Ｎ個の圧力センサを有する。具体的には、底面ｐ_Ｂにおける端部近傍に、複数のセンサｄ_ｎ１＋１，ｄ_ｎ１＋２，ｄ_ｎ１＋３，・・，ｄ_ｎ２，ｄ_ｎ２＋１，ｄ_ｎ２＋２，ｄ_ｎ２＋３，・・ｄ_ｎ３がアレイ状に設けられている。また、側面ｐ_Ｓ１，ｐ_Ｓ２のそれぞれに、複数のセンサｄ_１，ｄ_２，ｄ_３，・・，ｄ_ｎ１，ｄ_ｎ３＋１，ｄ_ｎ３＋２，ｄ_ｎ３＋３，・・ｄ_Ｎがアレイ状に設けられている。なお、本実施形態では、端末３が備えるセンサは複数の圧力センサであるが、加速度センサ、ジャイロセンサ等であってもよい。

続いて、認識装置１の説明に先立って、端末３の機能について説明する。図３は、端末３の機能的構成を示すブロック図である。端末３は、検出部３１（検出手段）、送信部３２（送信手段）、認識情報受信部３３（認識情報受信手段）及び実行部３４（実行手段）を備える。

検出部３１は、ユーザによる端末３の把持状態を示す把持データを検出する部分である。具体的には、把持データは、図２に示したＮ個のセンサｄ_１〜ｄ_Ｎの各々により時系列に検出される。検出部３１は、時刻ｔにおけるｉ番目のセンサから把持データｆｉ（ｔ）を取得する。そして、時系列に検出された把持データ群ｆ_ｔは、式（１）のように表される。

検出部３１は、取得した把持データ群ｆ_ｔを送信部３２に送出する。

送信部３２は、把持データ群ｆ_ｔを認識装置に送信する部分である。

認識情報受信部３３は、認証装置１から送信された認識情報を受信する部分である。認識情報は、例えば、送信した把持データ群ｆ_ｔにより示される把持状態が、予め認識装置１において記憶されていた所定の把持状態に該当するか否かの判定結果に関する情報、判定結果に基づくユーザ認証の結果に関する情報等を含むことができる。

実行部３４は、認識情報受信部３３により受信された認識情報に応じた所定の処理を実行する部分である。例えば、認識システム１００が、送信した把持データ群ｆ_ｔにより示される把持状態が所定の把持状態に該当することをもって、端末３に対して所定のコマンド入力とするようなシステムである場合には、実行部３４は、当該コマンドに応じた所定処理を実行する。

また、認識システム１００が、送信した把持データ群ｆ_ｔにより示される把持状態が所定の把持状態に該当することをもってユーザ認証を行うようなシステムである場合には、実行部３４は、端末３を当該ユーザによるログイン状態に制御する。

次に、図４を参照して、認識装置１の機能について説明する。図４は、認識装置１の機能的構成を示すブロック図である。認識装置１は、把持データ取得部１１（第１把持データ取得手段、第２把持データ取得手段、更新用把持データ取得手段、更新検証用把持データ取得手段）、ノイズ除去部１２（ノイズ除去手段）、時間変動把持データ算出部１３（第１時間変動把持データ算出手段、第２時間変動把持データ算出手段、更新用時間変動把持データ算出手段、更新検証用時間変動把持データ算出手段）、事前確率分布算出部１４（事前確率分布算出手段、更新用事前確率分布算出手段）、状態遷移確率分布算出部１５（状態遷移確率分布算出手段、更新用状態遷移確率分布算出手段）、事後確率分布算出部１６（事後確率分布算出手段、更新用事後確率分布算出手段）、把持状態情報格納部１７（把持状態情報格納手段）、把持状態情報記憶部１８（把持状態情報記憶手段）、該当確率算出部１９（該当確率算出手段）、判定部２０（判定手段）、認識情報送信部２１（認識情報送信手段）、第２該当確率算出部２２（第２該当確率算出手段）、第２判定部２３（第２判定手段）及び更新部２４（更新手段）を備える。

図５は、認識装置１のハードウエア構成図である。認識装置１は、物理的には、図５に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図４に示した各機能は、図５に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、図３に示した端末３も同様に、コンピュータシステムとして構成される。再び、図４を参照して、認識装置１の各機能部について説明する。

再び、図４を参照して、認識装置１の各機能部について説明する。まず、ユーザによる端末３の把持状態が所定の把持状態に該当するか否かを認識するためのシステムにあって、所定の把持状態を示す把持状態情報を得るための処理における各機能部の機能について説明する。なお、以下の説明において、所定の把持状態を「第１の把持状態」とする。

把持データ取得部１１は、端末３から送信された時系列の把持データを含む把持データ群を取得する部分である。ここでは、把持データ取得部１１は、第１の把持状態に基づき取得された把持データ群を第１把持データ群として取得する。第１の把持状態に基づき取得された第１把持データ群は、いわゆる学習用把持データとして扱われるものであって、式（１）により示される。

ノイズ除去部１２は、把持データ群に含まれる把持データのノイズを除去する部分である。ノイズ除去部１２は、当該把持データの検出に係る過渡状態に起因するノイズ、パルスノイズ、当該把持データに対するウェーブレットシュリンケージにより除去可能なノイズ、当該把持データの検出に係る直流成分に起因するノイズ及びガウスノイズのうちの少なくとも１つを除去できる。本実施形態では、ノイズ除去部１２は、第１把持データ群に含まれる把持データについて、これらのノイズの全てを除去することとする。以下に、ノイズの除去について具体的に説明する。

ノイズ除去部１２は、当該把持データの検出に係る過渡状態に起因するノイズを以下のように除去する。即ち、把持データｆ_ｉ（ｔ）が取得された時間をＴ_Ｓ≦ｔ≦Ｔ_ｅとすると、ノイズ除去部１２は、式（２）に示すように、データの検出における過渡状態にあるデータ取得開始直後及びデータ取得終了直前の時間δｔにおいて取得されたデータを除去する。

次に、ノイズ除去部１２は、パルスノイズを以下のように除去する。即ち、把持データｆ_ｉ（ｔ）が式（３）に示す条件を満たした場合は、把持データがパルスを含むものと判断できるので、ノイズ除去部１２は、式（３）の条件を満たした把持データｆ_ｉ（ｔ）が取得された時刻ｔに取得された全把持データを、処理対象から除外する。

続いて、ノイズ除去部１２は、把持データに対してウェーブレットシュリンケージによるノイズ除去を実施する。以下にウェーブレットシュリンケージによるノイズ除去を説明する。把持データｆ_ｉ（ｔ）をウェーブレット基底関数φ^ｊ _ｋ（ｔ）で展開した時のウェーブレット係数ｄ^ｊ _ｋは、式（４）にように表される。

そして、このウェーブレット係数に基づき推定されるノイズの標準偏差δは、式（５）により表される。

また、ノイズの標準偏差δに基づき閾値λを式（６）のように算出する。

ただし、式（６）におけるＮはウェーブレット係数の総数を表す。そして、この閾値λを用いて式（７）に示すＳｏｆｔ Ｔｈｒｅｓｈｏｌｄ処理を施す。

さらに、ノイズ除去部１２は、式（７）により処理されたウェーブレット係数を逆ウェーブレット変換し、式（８）に示されるような、ノイズ除去された把持データを算出する。

なお、式（８）における左辺を、以下の説明において、ｆ＾_ｉ（ｔ）と記す。

つぎに、ノイズ除去部１２は、当該把持データの検出に係る直流成分に起因するノイズを除去する。即ち、ノイズ除去部１２は、式（９）に示すように、把持データの時間平均を減算して、把持データの交流成分を算出する。

なお、式（９）におけるＴは、時系列の把持データからなる把持データ群が取得された時間を表す。

さらに、ノイズ除去部１２は、ガウスノイズを除去する。即ち、ノイズ除去部１２は、式（１０）に示すように、ガウス関数Ｇａｕｓｓ（ｔ_ｎｅ，σ）とのコンボリューションによりデータを平滑化し、把持データからガウスノイズを除去する。

なお、σはガウス関数のハイパーパラメータを表し、ｔ_ｎｅは時間ｔの近傍を表す。

時間変動把持データ算出部１３は、把持データ群に含まれる各時刻における把持データの時間変動を示す時間変動データの群からなる時間変動把持データを算出する部分である。時間変動データは、一の時刻における把持データと時系列において直前に取得された把持データとの差分データである。ここでは、時間変動把持データ算出部１３は、ノイズ除去部１２によりノイズが除去された第１把持データ群に基づく時間変動把持データを第１時間変動把持データとして算出する。例えば、時間変動把持データ算出部１３は、式（１０）により得られた把持データを用いて、式（１１）に示すように時間変動データｙ_ｉ（ｔ）を算出する。

そして、Ｎ個のセンサ全てにより取得された把持データの時間変動データは、式（１２）により表される。

事前確率分布算出部１４は、時間変動把持データに基づき、過去に観測された時間変動の状態から過去の時間変動の状態を推定する事前確率分布を算出する部分である。ここでは、事前確率分布算出部１４は、時間変動把持データ算出部１３により算出された第１時間変動把持データに基づき、事前確率分布を算出する。

状態遷移確率分布算出部１５は、時間変動把持データに基づき、過去の時間変動の状態から現在の時間変動の状態を推定する状態遷移確率分布を算出する部分である。ここでは、状態遷移確率分布算出部１５は、時間変動把持データ算出部１３により算出された第１時間変動把持データに基づき、状態遷移確率分布を算出する。

事後確率分布算出部１６は、事前確率分布算出部１４により算出された事前確率分布及び状態遷移確率分布算出部１５により算出された状態遷移確率分布に基づき、現在に観測された時間変動の状態から現在の時間変動の状態を推定する事後確率分布を算出する部分である。

事前確率分布算出部１４による事前確率分布の算出、状態遷移確率分布算出部１５による状態遷移確率分布の算出及び事後確率分布算出部１６による事後確率分布の算出を、以下に具体的に説明する。

時間変動把持データ算出部１３により算出された第１時間変動把持データは、式（１３）により表される。

本実施形態では、第１時間変動把持データ及び現在の把持状態における内部状態ｘ_ｔに基づき事後確率分布ｐ（ｘ_ｔ｜ｙ_ｔ）が算出され、算出された事後確率分布が把持状態情報として把持状態情報記憶部１８に記憶される。なお、把持状態における内部状態ｘ_ｔは、ユーザによる端末の把持状態を示す真の状態であって、直接には測定不可能な状態である。現実に測定可能な状態は、内部状態ｘ_ｔに対してノイズや誤差等が加わって観測された把持データである。

本実施形態では、事後確率分布算出部１６は、逐次ベイズ推定を用いて事後確率分布を算出する。ここでは、事後確率分布の推定方法としてカルマンフィルタを利用した例について説明する。カルマンフィルタを利用した逐次ベイズ推定では、把持状態を示す把持データ及び把持データに含まれるノイズがガウス分布に従うものと見なすことができる場合において、好適な事後確率分布が算出される。なお、事後確率分布の推定方法は、特に限定されず、種々の方法を採用可能であって、例えば、パーティクルフィルタを利用した方法であってもよい。パーティクルフィルタを利用した逐次ベイズ推定では、把持状態を示す把持データ及び把持データに含まれるノイズがガウス分布に従わない場合であっても、適切な事後確率分布が算出される。

カルマンフィルタは、直前に観測された状態とその時点で観測された状態に基づいてシステム状態を予測するものである。学習時では、前の状態に基づいて現在の状態を予測する「予測ステップ」と、そこで予測された状態と実際に観測された状態の誤差に基づいて予測を修正する「修正ステップ」を繰り返すことで変動予測分布が求められる。この予測では、ユーザによる端末３の把持状態において、常に中心力が働くものと仮定する。即ち、「中心力が働く状態」とは、ユーザが端末３を握った後は緩めようとし、緩めた後は握ろうとするといったバネのような復元力をもつ状態をいう。

ここで、ある時刻ｔでの把持状態の内部状態をｘ_ｔ、観測状態をｙ_ｔとして、内部状態がマルコフ性を満たして変化すると仮定する。また、状態遷移行列Ｆ_ｔ、観測行列Ｈ_ｔが線形モデルで表現され、システムノイズｗ_ｔと観測ノイズｖ_ｔがガウス分布で表現できれとすれば、ｘ_ｔ＋１，ｙ_ｔ，ｗ_ｔ，ｖ_ｔは、式（１４）〜（１７）のように表される。

ここで、Ｇ_ｔは状態雑音行列を表し、Ｎ（０，Ｒ_ｔ）は、平均０、共分散Ｒ_ｔの正規分布を表す。

このとき、ｘ_ｔ及びｙ_ｔは、条件付き尤度分布ｐ（ｘ_ｔ｜ｘ_ｔ−１）とｐ（ｙ_ｔ｜ｘ_ｔ）といった形で表される。即ち、状態遷移確率分布算出部１５は、式（１８）に示すように、状態遷移確率分布を算出し、事後確率分布算出部１６は、式（１９）に示すように、事後確率分布を算出する。

そして、推定されるべき内部状態は、ｘ_ｔの期待値として、式（２０）のように表される。

なお、式（２０）における左辺を、以下の説明において、ｘ＾_ｔと記す。

さらに、事前確率分布算出部１４により算出される事前確率分布は、式（２１）〜（２２）のように表される。

なお、上記式中のｋ_ｔは、ｘ_ｔに無関係な正規化定数である。

カルマンフィルタを用いた逐次ベイズ推定では、以下に示すように、上記式を用いた予測ステップ及び修正ステップの繰り返しにより、事後確率分布を算出する。以下に具体的に説明する。

まず、初期値として、推定される把持の状態ｘ＾_０／０（文字の次に記される記号＾は、文字の上に位置する。以下の説明において同様）、共分散行列Ｐ_０／０を与える。そして、ｘ＾_{ｔ／ｔ−１}、Ｐ_{ｔ／ｔ−１}を式（２４）、式（２５）に従って、漸化的に算出する（予測ステップ）。なお、各式及び以下の説明において、ｔ／ｔ−１といった表記におけるスラッシュの記号は、時刻ｔ−１の状態に基づき時刻ｔの状態を推定する値であることを意味する。

さらに、式（２６）、式（２７）に基づき得られる予測分布の共分散行列Ｐ_ｔ／ｔに基づき、式（２８）のように、カルマンゲインＫ_ｔを算出する（修正ステップ）。カルマンゲインは、観測誤差と推定誤差の大きさに応じて値を調整するものである。

なお、状態遷移行列Ｆ_ｔ、観測行列Ｈ_ｔは、基本的に把持状態のモデルが規定できれば定式化できる。上述した通り、把持状態が常に中心力（握った後は緩めようし、緩めた後は握ろうとするといったバネのような復元力）が局所近傍で働き、観測ノイズに対しては、ほとんどがランダムノイズの重畳であると仮定するので、式（２９）〜（３２）のように各行列を規定できる。なお、ＥＭアルゴリズムによりこれらの行列の最適パラメータを決定することも可能である。また、状態雑音行列Ｇ_ｔは、式（３３）〜（３４）のように規定できる。

そして、予測ステップ及び修正ステップを、取得された第１時間変動把持データ全て（１≦ｔ≦Ｔ）について繰り返し実施する。

以上の処理が完了すると、把持状態情報格納部１７は、事後確率分布算出部１６により算出された事後確率分布を含む第１の把持状態情報を、把持状態を認識するための情報として、把持状態情報記憶部１８に記憶させる。把持状態情報記憶部１８は、把持状態情報等を記憶するための記憶手段である。具体的には、把持状態情報格納部１７は、式（３５）に示すように、以上説明した逐次ベイズ推定により算出されたデータセット群ＤＳを把持状態識別の際の照合用データ（第１の把持状態情報）として把持状態情報記憶部１８に格納する。

次に、図６を参照して、認識システム１００及び認識装置１における認識方法の処理内容を説明する。

まず、検出部３１は、第１の把持データを検出する（Ｓ１）。第１の把持データは、把持状態の認識の際の照合用データの基となるデータであって、第１の把持状態に基づき取得されたものである。続いて、送信部３２は、時系列の把持データからなる第１の把持データ群を認識装置１に送信する（Ｓ２）。

第１の把持データ群が端末３から送信されると、把持データ取得部１１は、第１の把持状態に基づき取得された第１把持データ群を取得する（Ｓ３）。次に、ノイズ除去部１２は、第１把持データ群に含まれる把持データに含まれる種々のノイズを除去する（Ｓ４）。続いて、時間変動把持データ算出部１３は、ステップＳ４においてノイズ除去部１２によりノイズが除去された第１把持データ群に基づく時間変動把持データを第１時間変動把持データとして算出する（Ｓ５）。

次に、事前確率分布算出部１４は、時間変動把持データ算出部１３により算出された第１時間変動把持データに基づき、事前確率分布を算出する（Ｓ６）。また、状態遷移確率分布算出部１５は、時間変動把持データ算出部１３により算出された第１時間変動把持データに基づき、状態遷移確率分布を算出する（Ｓ７）。さらに、事後確率分布算出部１６は、事前確率分布算出部１４により算出された事前確率分布及び状態遷移確率分布算出部１５により算出された状態遷移確率分布に基づき、事後確率分布を算出する（Ｓ８）。

そして、把持状態情報格納部１７は、事後確率分布算出部１６により算出された事後確率分布を含む第１の把持状態情報を、把持状態を認識するための情報として、把持状態情報記憶部１８に記憶させる（Ｓ９）。

次に、ユーザによる端末３の把持状態が所定の把持状態に該当するか否かを認識するためのシステムにあって、ユーザによる端末３の把持状態が認識装置１に記憶された所定の把持状態に該当するか否かを判定する処理における各機能部の機能について説明する。なお、以下の説明において、判定及び検証の対象となる把持状態を「第２の把持状態」とする。

把持データ取得部１１は、第２の把持状態に基づき取得された把持データ群を第２把持データ群として取得する。即ち、第２把持データ群は、判定及び検証の対象となる検証用把持データである。第２の把持データ群は、第２の把持状態でユーザに把持された端末３において検出部３１により検出され、さらに送信部３２により送信されたデータである。

ノイズ除去部１２は、把持データ取得部１１により取得された第２把持データ群に含まれる把持データに含まれるノイズを、第１の把持データ群と同様に除去する。

時間変動把持データ算出部１３は、ノイズ除去部１２によりノイズが除去された第２把持データ群に基づく時間変動把持データを第２時間変動把持データとして算出する。ここで算出された第２時間変動把持データは、式（３６）により示される。なお、式（３６）及びその他の式において、文字Ｖは、第２の把持状態に基づく検証用のデータに関するものであることを意味する。

該当確率算出部１９は、時間変動把持データ算出部１３により算出された第２時間変動把持データに基づき、把持状態情報記憶部１８に記憶された第１の把持状態情報を用いて、第２時間変動把持データに示される時間変動が、第１の把持状態における時間変動に該当する確率を示す該当確率を算出する。具体的には、該当確率算出部１９は、第１の把持状態情報に含まれる事後確率分布に基づき、第２時間変動把持データに含まれる複数の時間変動データの各々が第１の把持状態に該当する確率を当該時間変動データ毎に算出する。

即ち、該当確率算出部１９は、式（１９）及び式（２０）により算出された事後確率分布に基づき、式（３７）に示すように、時刻ｔにおける確率Ｐｒｏ（ｔ）を算出する。

そして、該当確率算出部１９は、第２時間変動把持データの全て（１≦ｔ≦Ｔ_Ｖ）について、確率を算出する。

判定部２０は、該当確率算出部１９により算出された該当確率が所定の閾値以上である場合に、第２の把持状態が第１の把持状態に該当すると判定する。具体的には、判定部２０は、第２時間変動把持データに含まれる時間変動データの数に対する、該当確率算出部１９により算出された確率が所定の閾値以上となる時間変動データの数の割合に基づき類似尺度を算出し、その類似尺度が所定の閾値以上である場合に、第２の把持状態が第１の把持状態に該当すると判定する。

即ち、判定部２０は、第２時間変動把持データに含まれる時間変動データの数に対する、確率Ｐｒｏ（ｔ）の値が閾値Ｔｈ_{ｐｒｅｄｉｃｔ}以上となる時間変動データの数の割合を、式（３８）及び（３９）に示すように、類似尺度Ｓｉｍ（Ｙ，Ｙ_Ｔ（Ｖ））として算出する。

そして、判定部２０は、式（４０）に示すように、類似尺度Ｓｉｍ（Ｙ，Ｙ_Ｔ（Ｖ））が所定の閾値Ｔｈ_{ｊｕｄｇｅ}以上である場合に、第２の把持状態が第１の把持状態に該当すると判定する。

認識情報送信部２１は、判定部２０による判定の結果に関する認識情報を端末３に送信する。例えば、認識システム１００が端末３のユーザ認証を行うようなシステムである場合には、端末３の正当なユーザの把持状態を第１の把持状態として認識装置に予め登録しておき、ユーザの認証時の把持状態を第２の把持状態として、認識装置１における認識処理が実行される。この場合には、認識情報は、ユーザ認証の結果に関する情報であることができる。

次に、図７を参照して、認識システム１００及び認識装置１における認識方法の処理内容を説明する。

まず、検出部３１は、第２の把持データを検出する（Ｓ１１）。第２の把持データは、把持状態の認識処理における判定及び検証用のデータの基となるデータであって、第２の把持状態に基づき取得されたものである。続いて、送信部３２は、時系列の把持データからなる第２の把持データ群を認識装置１に送信する（Ｓ１２）。

第２の把持データ群が端末３から送信されると、把持データ取得部１１は、第２の把持状態に基づき取得された第２把持データ群を取得する（Ｓ１３）。次に、ノイズ除去部１２は、第２把持データ群に含まれる把持データに含まれる種々のノイズを除去する（Ｓ１４）。続いて、時間変動把持データ算出部１３は、ステップＳ１４においてノイズ除去部１２によりノイズが除去された第２把持データ群に基づく時間変動把持データを第２時間変動把持データとして算出する（Ｓ１５）。

次に、該当確率算出部１９は、時間変動把持データ算出部１３により算出された第２時間変動把持データに基づき、把持状態情報記憶部１８に記憶された第１の把持状態情報を用いて、第２時間変動把持データに示される時間変動が、第１の把持状態における時間変動に該当する確率を示す該当確率を算出する（Ｓ１６）。続いて、判定部２０は、該当確率算出部１９により算出された該当確率が所定の閾値以上である場合に、第２の把持状態が第１の把持状態に該当すると判定する（Ｓ１７）。そして、認識情報送信部２１は、判定部２０による判定の結果に関する認識情報を端末３に送信する（Ｓ１８）。

続いて、認識情報受信部３３は、認証装置１から送信された認識情報を受信する（Ｓ１９）。そして、実行部３４は、認識情報受信部３３により受信された認識情報に応じた所定の処理を実行する（Ｓ２０）。

このように、ユーザによる端末３の把持状態を示す把持データに応じて、端末３において所定の処理を実行させることができるので、ユーザに対して特段の操作を強いることなく、端末３の把持のみにより端末３に対する入力が実現する。

次に、ユーザによる端末３の把持状態が所定の把持状態に該当するか否かを認識するためのシステムにあって、照合用の把持状態情報の更新処理における各機能部の機能について説明する。なお、以下の説明において、更新用の把持状態情報の基となる把持状態を「第３の把持状態」とし、更新用の把持状態情報による更新を実施するか否かを検証するための把持状態を「第４の把持状態」とする。

把持データ取得部１１は、第３の把持状態に基づき取得された把持データ群を更新用把持データ群として取得する。更新用把持データ群は、第３の把持状態でユーザに把持された端末３において検出部３１により検出され、さらに送信部３２により送信されたデータである。

ノイズ除去部１２は、把持データ取得部１１により取得された更新用把持データ群に含まれる把持データに含まれるノイズを、第１の把持データ群と同様に除去する。

時間変動把持データ算出部１３は、ノイズ除去部１２によりノイズが除去された更新用把持データ群に基づく時間変動把持データを更新用時間変動把持データとして算出する。

事前確率分布算出部１４は、第１時間変動把持データに基づく事前確率分布の算出と同様に、時間変動把持データ算出部１３により算出された更新用時間変動把持データに基づき、更新用事前確率分布を算出する。

状態遷移確率分布算出部１５は、第１時間変動把持データに基づく状態遷移確率分布の算出と同様に、時間変動把持データ算出部１３により算出された更新用時間変動把持データに基づき、更新用状態遷移確率分布を算出する。

事後確率分布算出部１６は、事前確率分布算出部１４により算出された更新用事前確率分布及び状態遷移確率分布算出部１５により算出された更新用状態遷移確率分布に基づき、更新用事後確率分布を算出する。

把持状態情報格納部１７は、事後確率分布算出部１６により算出された更新用事後確率分布を含む第３の把持状態情報を、把持状態情報記憶部１８に記憶させる。

なお、第１の把持状態に該当すると判定された第２の把持状態を第３の把持状態と見なすこととして、第２の把持データ群を更新用把持データ群として用いて、以上説明した把持データ取得部１１による更新用把持データ群の取得から、事後確率分布算出部１６による更新用事後確率分布の算出に至る処理を実施することとしてもよい。

また、把持データ取得部１１は、更新用の把持状態情報による更新を実施するか否かを検証するための第４の把持状態に基づき取得された把持データ群を更新検証用把持データ群として取得する。更新検証用把持データ群は、第４の把持状態でユーザに把持された端末３において検出部３１により検出され、さらに送信部３２により送信されたデータである。

ノイズ除去部１２は、把持データ取得部１１により取得された更新検証用把持データ群に含まれる把持データに含まれるノイズを、第１の把持データ群と同様に除去する。

時間変動把持データ算出部１３は、ノイズ除去部１２によりノイズが除去された更新検証用把持データ群に基づく時間変動把持データを更新検証用時間変動把持データとして算出する。

第２該当確率算出部２２は、把持状態情報記憶部１８に記憶された第１の把持状態情報における事後確率分布を用いて、時間変動把持データ算出部１３により算出された更新検証用時間変動把持データに示される時間変動が、第１の把持状態における時間変動に該当する確率を示す第１の該当確率を算出する。

また、第２該当確率算出部２２は、事後確率分布算出部１６により算出された更新用事後確率分布を用いて、更新検証用時間変動把持データに示される時間変動が、第３の把持状態における時間変動に該当する確率を示す第２の該当確率を算出する。

第２該当確率算出部２２による第１及び第２の該当確率の算出は、該当確率算出部１９による第２時間変動把持データに含まれる複数の時間変動データの各々が第１の把持状態に該当する確率の算出と同様に、式（３７）を用いて行われる。

第２判定部２３は、第２該当確率算出部２２により算出された第１の該当確率より第２の該当確率の方が大きいか否かを判定する。具体的には、第２判定部２３は、第１の該当確率に基づき、第４の把持状態と第１の把持状態との類似度合いを示す第１の類似性尺度を算出し、第２の該当確率に基づき、第４の把持状態と第３の把持状態との類似度合いを示す第２の類似性尺度を算出する。第２判定部２３による第１及び第２の類似性尺度の算出は、判定部２０による類似尺度の算出と同様に式（３８）及び式（３９）を用いて行われる。そして、第２判定部２３は、更新用事後確率分布を含む第３の把持状態情報としてのデータセット群をＤＳ_Ｕとすると、式（４１）及び式（４２）に示すように、第１の類似性尺度より第２の類似性尺度の方が大きいか否かを判定する。

なお、式（４１）における左辺は第２の類似性尺度に該当し、右辺は第１の類似性尺度に該当する。

更新部２４は、第２判定部２３により第１の該当確率（第１の類似性尺度）より第２の該当確率（第２の類似性尺度）の方が大きいと判定された場合に、把持状態情報記憶部１８に記憶された第１の把持状態情報を、更新用事後確率分布を含む第３の把持状態情報に更新する。

次に、図８を参照して、照合用の把持状態情報の更新処理における処理内容を説明する。

まず、検出部３１は、更新用把持データを検出する（Ｓ３１）。更新用把持データは、第３の把持状態に基づき取得されたものである。続いて、送信部３２は、時系列の把持データからなる更新用把持データ群を認識装置１に送信する（Ｓ３２）。

更新用把持データ群が端末３から送信されると、把持データ取得部１１は、第３の把持状態に基づき取得された更新用把持データ群を取得する（Ｓ３３）。次に、ノイズ除去部１２は、更新用把持データ群に含まれる把持データに含まれる種々のノイズを除去する（Ｓ３４）。続いて、時間変動把持データ算出部１３は、ステップＳ３４においてノイズ除去部１２によりノイズが除去された把持データ群に基づく時間変動把持データを更新用時間変動把持データとして算出する（Ｓ３５）。

次に、事前確率分布算出部１４は、時間変動把持データ算出部１３により算出された更新用時間変動把持データに基づき、更新用事前確率分布を算出する（Ｓ３６）。また、状態遷移確率分布算出部１５は、時間変動把持データ算出部１３により算出された更新用時間変動把持データに基づき、更新用状態遷移確率分布を算出する（Ｓ３７）。さらに、事後確率分布算出部１６は、事前確率分布算出部１４により算出された更新用事前確率分布及び状態遷移確率分布算出部１５により算出された更新用状態遷移確率分布に基づき、更新用事後確率分布を算出する（Ｓ３８）。そして、把持状態情報格納部１７は、事後確率分布算出部１６により算出された更新用事後確率分布を含む第３の把持状態情報を、把持状態情報記憶部１８に記憶させる（Ｓ３９）。

一方、検出部３１は、更新検証用把持データを検出する（Ｓ４１）。更新検証用把持データは、第４の把持状態に基づき取得されたものである。続いて、送信部３２は、時系列の把持データからなる更新検証用把持データ群を認識装置１に送信する（Ｓ４２）。

更新検証用把持データ群が端末３から送信されると、把持データ取得部１１は、第４の把持状態に基づき取得された更新検証用把持データ群を取得する（Ｓ４３）。次に、ノイズ除去部１２は、更新検証用把持データ群に含まれる把持データに含まれる種々のノイズを除去する（Ｓ４４）。続いて、時間変動把持データ算出部１３は、ステップＳ４４においてノイズ除去部１２によりノイズが除去された把持データ群に基づく時間変動把持データを更新検証用時間変動把持データとして算出する（Ｓ４５）。

次に、第２該当確率算出部２２は、把持状態情報記憶部１８に記憶された第１の把持状態情報における事後確率分布を用いて、更新検証用時間変動把持データに示される時間変動が、第１の把持状態における時間変動に該当する確率を示す第１の該当確率を算出する。また、第２該当確率算出部２２は、更新用事後確率分布を用いて、更新検証用時間変動把持データに示される時間変動が、第３の把持状態における時間変動に該当する確率を示す第２の該当確率を算出する（Ｓ４６）。

続いて、第２判定部２３は、ステップＳ４６において算出された、第１の該当確率より第２の該当確率の方が大きいか否かを判定する（Ｓ４７）。そして、更新部２４は、ステップＳ４７において、第１の該当確率より第２の該当確率の方が大きいと判定された場合に、把持状態情報記憶部１８に記憶された第１の把持状態情報を、更新用事後確率分布を含む第３の把持状態情報に更新する（Ｓ４８）。

以上のように把持状態情報の更新処理が行われることにより、把持状態を認識するための情報として適切な把持状態情報が把持状態情報記憶部１８に格納される。従って、例えば、第１の把持状態に該当すると判定された第２の把持状態に基づく第２の把持データを更新用把持データとして採用することにより、把持状態の認識のために参照される把持状態情報を、例えば経年的な変化に応じて、適切な情報に保つことができる。

本実施形態の認識装置１、認識方法及び認識システムによれば、ユーザによる端末３の把持状態を示す把持データの認識により端末３への入力操作を実現させるので、ユーザに対して特段の操作が強いられない。また、把持データの時間変動データを算出し、さらに、算出された時間変動データから統計的手法により算出した事後確率分布を、把持状態を認識するための把持状態情報として記憶するので、把持データを検出するための検出装置固有の事情に起因するノイズや、その他の突発的なノイズに対してロバストである。そして、種々のノイズに対してロバストな把持状態情報に基づき、把持状態が認識されるので、高精度な認識処理に基づく端末３への入力が実現される。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

１…認識装置、１００…認識システム、３…端末、１１…把持データ取得部、１２…ノイズ除去部、１３…時間変動把持データ算出部、１４…事前確率分布算出部、１５…状態遷移確率分布算出部、１６…事後確率分布算出部、１７…把持状態情報格納部、１８…把持状態情報記憶部、１９…該当確率算出部、２０…判定部、２１…認識情報送信部、２２…第２該当確率算出部、２３…第２判定部、２４…更新部、３１…検出部、３２…送信部、３３…認識情報受信部、３４…実行部。

Claims (11)

1. ユーザによる端末の把持状態を示し該端末において時系列に検出された複数の把持データを含む把持データ群に基づき、ユーザによる端末の把持状態を認識する認識装置であって、
   第１の把持状態に基づき取得された前記把持データ群を第１把持データ群として取得する第１把持データ取得手段と、
   前記把持データ群に含まれる各時刻における前記把持データの時間変動を示す時間変動データの群からなる時間変動把持データであって、前記第１把持データ取得手段により取得された第１把持データ群に基づく前記時間変動把持データを第１時間変動把持データとして算出する第１時間変動把持データ算出手段と、
   前記第１時間変動把持データ算出手段により算出された第１時間変動把持データに基づき、過去に観測された時間変動の状態から過去の時間変動の状態を推定する事前確率分布を算出する事前確率分布算出手段と、
   前記第１時間変動把持データ算出手段により算出された第１時間変動把持データに基づき、過去の時間変動の状態から現在の時間変動の状態を推定する状態遷移確率分布を算出する状態遷移確率分布算出手段と、
   前記事前確率分布算出手段により算出された事前確率分布及び前記状態遷移確率分布算出手段により算出された状態遷移確率分布に基づき、現在に観測された時間変動の状態から現在の時間変動の状態を推定する事後確率分布を算出する事後確率分布算出手段と、
   前記事後確率分布算出手段により算出された事後確率分布を含む第１の把持状態情報を、把持状態を認識するための情報として、把持状態情報記憶手段に記憶させる把持状態情報格納手段と、
   第２の把持状態に基づき取得された前記把持データ群を第２把持データ群として取得する第２把持データ取得手段と、
   前記第２把持データ取得手段により取得された第２把持データ群に基づく前記時間変動把持データを第２時間変動把持データとして算出する第２時間変動把持データ算出手段と、
   前記第２時間変動把持データ算出手段により算出された第２時間変動把持データに基づき、前記把持状態情報記憶手段に記憶された第１の把持状態情報を用いて、第２時間変動把持データに示される時間変動が、前記第１の把持状態における時間変動に該当する確率を示す該当確率を算出する該当確率算出手段と、
   前記該当確率算出手段により算出された該当確率が所定の閾値以上である場合に、前記第２の把持状態が前記第１の把持状態に該当すると判定する判定手段と、
   を備える認識装置。
2. 前記事後確率分布算出手段は、逐次ベイズ推定を用いて前記事後確率分布を算出する、
   請求項１に記載の認識装置。
3. 前記事後確率分布算出手段は、カルマンフィルタを用いて前記事後確率分布を算出する、
   請求項２に記載の認識装置。
4. 前記事後確率分布算出手段は、パーティクルフィルタを用いて前記事後確率分布を算出する、
   請求項２に記載の認識装置。
5. 第３の把持状態に基づき取得された前記把持データ群を更新用把持データ群として取得する更新用把持データ取得手段と、
   前記更新用把持データ取得手段により取得された更新用把持データ群に基づく前記時間変動把持データを、更新用時間変動把持データとして算出する更新用時間変動把持データ算出手段と、
   前記更新用時間変動把持データ算出手段により算出された更新用時間変動把持データに基づく前記事前確率分布を、更新用事前確率分布として算出する更新用事前確率分布算出手段と、
   前記更新用時間変動把持データ算出手段により算出された更新用時間変動把持データに基づく前記状態遷移確率分布を、更新用状態遷移確率分布として算出する更新用状態遷移確率分布算出手段と、
   前記更新用事前確率分布算出手段により算出された更新用事前確率分布及び前記更新用状態遷移確率分布算出手段により算出された更新用状態遷移確率分布に基づく前記事後確率分布を、更新用事後確率分布として算出する更新用事後確率分布算出手段と、
   第４の把持状態に基づき取得された前記把持データ群を更新検証用把持データ群として取得する更新検証用把持データ取得手段と、
   前記更新検証用把持データ取得手段により取得された更新検証用把持データ群に基づく前記時間変動把持データを更新検証用時間変動把持データとして算出する更新検証用時間変動把持データ算出手段と、
   前記更新検証用時間変動把持データ算出手段により算出された更新検証用時間変動把持データに基づき、前記把持状態情報記憶手段に記憶された第１の把持状態情報における事後確率分布を用いて、前記更新検証用時間変動把持データ算出手段により算出された更新検証用時間変動把持データに示される時間変動が、前記第１の把持状態における時間変動に該当する確率を示す第１の該当確率を算出し、前記更新用事後確率分布算出手段により算出された更新用事後確率分布を用いて、前記更新検証用時間変動把持データに示される時間変動が、前記第３の把持状態における時間変動に該当する確率を示す第２の該当確率を算出する第２該当確率算出手段と、
   前記第２該当確率算出手段により算出された前記第１の該当確率より前記第２の該当確率の方が大きいか否かを判定する第２判定手段と、
   前記第２判定手段により前記第１の該当確率より前記第２の該当確率の方が大きいと判定された場合に、前記把持状態情報記憶手段に記憶された第１の把持状態情報を、前記更新用事後確率分布を含む第３の把持状態情報に更新する更新手段と、
   を更に備える請求項１〜４のいずれか１項に記載の認識装置。
6. 前記把持データ群を前記時間変動把持データの算出に用いる前に、該把持データ群に含まれる前記把持データにおける、当該把持データの検出に係る過渡状態に起因するノイズ、パルスノイズ、当該把持データに対するウェーブレットシュリンケージにより除去可能なノイズ、当該把持データの検出に係る直流成分に起因するノイズ及びガウスノイズのうちの少なくとも１つを除去するノイズ除去手段を更に備える、
   請求項１〜５のいずれか１項に記載の認識装置。
7. 前記該当確率算出手段は、
   前記第１の把持状態情報に含まれる前記事後確率分布に基づき、前記第２時間変動把持データに含まれる複数の時間変動データの各々が前記第１の把持状態に該当する確率を該時間変動データ毎に算出し、
   前記判定手段は、
   第２時間変動把持データに含まれる時間変動データの数に対する、前記該当確率算出手段により算出された前記確率が所定の閾値以上となる時間変動データの数の割合に基づき類似尺度を算出し、該類似尺度が所定の閾値以上である場合に、前記第２の把持状態が前記第１の把持状態に該当すると判定する、
   請求項１〜６のいずれか１項に記載の認識装置。
8. ユーザによる端末の把持状態を示し該端末において時系列に検出された複数の把持データを含む把持データ群に基づき、ユーザによる端末の把持状態を認識する認識装置における認識方法であって、
   第１の把持状態に基づき取得された前記把持データ群を第１把持データ群として取得する第１把持データ取得ステップと、
   前記把持データ群に含まれる各時刻における前記把持データの時間変動を示す時間変動データの群からなる時間変動把持データであって、前記第１把持データ取得ステップにおいて取得された第１把持データ群に基づく前記時間変動把持データを第１時間変動把持データとして算出する第１時間変動把持データ算出ステップと、
   前記第１時間変動把持データ算出ステップにおいて算出された第１時間変動把持データに基づき、過去に観測された時間変動の状態から過去の時間変動の状態を推定する事前確率分布を算出する事前確率分布算出ステップと、
   前記第１時間変動把持データ算出ステップにおいて算出された第１時間変動把持データに基づき、過去の時間変動の状態から現在の時間変動の状態を推定する状態遷移確率分布を算出する状態遷移確率分布算出ステップと、
   前記事前確率分布算出ステップにおいて算出された事前確率分布及び前記状態遷移確率分布算出ステップにおいて算出された状態遷移確率分布に基づき、現在に観測された時間変動の状態から現在の時間変動の状態を推定する事後確率分布を算出する事後確率分布算出ステップと、
   前記事後確率分布算出ステップにおいて算出された事後確率分布を含む第１の把持状態情報を、把持状態を認識するための情報として把持状態情報記憶手段に記憶させる把持状態情報格納ステップと、
   第２の把持状態に基づき取得された前記把持データ群を第２把持データ群として取得する第２把持データ取得ステップと、
   前記第２把持データ取得ステップにおいて取得された第２把持データ群に基づく前記時間変動把持データを第２時間変動把持データとして算出する第２時間変動把持データ算出ステップと、
   前記第２時間変動把持データ算出ステップにおいて算出された第２時間変動把持データに基づき、前記把持状態情報記憶手段に記憶された第１の把持状態情報を用いて、第２時間変動把持データに示される時間変動が、前記第１の把持状態における時間変動に該当する確率を示す該当確率を算出する該当確率算出ステップと、
   前記該当確率算出ステップにおいて算出された該当確率が所定の閾値以上である場合に、前記第２の把持状態が前記第１の把持状態に該当すると判定する判定ステップと、
   を有する認識方法。
9. 第３の把持状態に基づき取得された前記把持データ群を更新用把持データ群として取得する更新用把持データ取得ステップと、
   前記更新用把持データ取得ステップにおいて取得された更新用把持データ群に基づく前記時間変動把持データを、更新用時間変動把持データとして算出する更新用時間変動把持データ算出ステップと、
   前記更新用時間変動把持データ算出ステップにおいて算出された更新用時間変動把持データに基づく前記事前確率分布を、更新用事前確率分布として算出する更新用事前確率分布算出ステップと、
   前記更新用時間変動把持データ算出ステップにおいて算出された更新用時間変動把持データに基づく前記状態遷移確率分布を、更新用状態遷移確率分布として算出する更新用状態遷移確率分布算出ステップと、
   前記更新用事前確率分布算出ステップにおいて算出された更新用事前確率分布及び前記更新用状態遷移確率分布算出ステップにおいて算出された更新用状態遷移確率分布に基づく前記事後確率分布を、更新用事後確率分布として算出する更新用事後確率分布算出ステップと、
   第４の把持状態に基づき取得された前記把持データ群を更新検証用把持データ群として取得する更新検証用把持データ取得ステップと、
   前記更新検証用把持データ取得ステップにおいて取得された更新検証用把持データ群に基づく前記時間変動把持データを更新検証用時間変動把持データとして算出する更新検証用時間変動把持データ算出ステップと、
   前記更新検証用時間変動把持データ算出ステップにおいて算出された更新検証用時間変動把持データに基づき、前記把持状態情報記憶手段に記憶された第１の把持状態情報における事後確率分布を用いて、前記更新検証用時間変動把持データ算出ステップにおいて算出された更新検証用時間変動把持データに示される時間変動が、前記第１の把持状態における時間変動に該当する確率を示す第１の該当確率を算出し、前記更新用事後確率分布算出ステップにおいて算出された更新用事後確率分布を用いて、前記更新検証用時間変動把持データに示される時間変動が、前記第３の把持状態における時間変動に該当する確率を示す第２の該当確率を算出する第２該当確率算出ステップと、
   前記第２該当確率算出ステップにおいて算出された前記第１の該当確率より前記第２の該当確率の方が大きいか否かを判定する第２判定ステップと、
   前記第２判定ステップにおいて前記第１の該当確率より前記第２の該当確率の方が大きいと判定された場合に、前記把持状態情報記憶手段に記憶された第１の把持状態情報を、前記更新用事後確率分布を含む第３の把持状態情報に更新する更新ステップと、
   を更に有する請求項８に記載の認識方法。
10. 端末と、ユーザによる前記端末の把持状態を示し該端末において時系列に検出された複数の把持データを含む把持データ群に基づき、ユーザによる端末の把持状態を認識する認識装置と、を含む認識システムであって、
    前記端末は、
    前記把持データを検出する検出手段と、
    前記検出手段により時系列に検出された複数の把持データを含む把持データ群を前記認識装置に送信する送信手段と、
    を備え、
    前記認識装置は、
    前記端末から送信された把持データ群であって第１の把持状態に基づき取得された前記把持データ群を第１把持データ群として取得する第１把持データ取得手段と、
    前記把持データ群に含まれる各時刻における前記把持データの時間変動を示す時間変動データの群からなる時間変動把持データであって、前記第１把持データ取得手段により取得された第１把持データ群に基づく前記時間変動把持データを第１時間変動把持データとして算出する第１時間変動把持データ算出手段と、
    前記第１時間変動把持データ算出手段により算出された第１時間変動把持データに基づき、過去に観測された時間変動の状態から過去の時間変動の状態を推定する事前確率分布を算出する事前確率分布算出手段と、
    前記第１時間変動把持データ算出手段により算出された第１時間変動把持データに基づき、過去の時間変動の状態から現在の時間変動の状態を推定する状態遷移確率分布を算出する状態遷移確率分布算出手段と、
    前記事前確率分布算出手段により算出された事前確率分布及び前記状態遷移確率分布算出手段により算出された状態遷移確率分布に基づき、現在に観測された時間変動の状態から現在の時間変動の状態を推定する事後確率分布を算出する事後確率分布算出手段と、
    前記事後確率分布算出手段により算出された事後確率分布を含む第１の把持状態情報を、把持状態を認識するための情報として、把持状態情報記憶手段に記憶させる把持状態情報格納手段と、
    前記端末から送信された把持データ群であって第２の把持状態に基づき取得された前記把持データ群を第２把持データ群として取得する第２把持データ取得手段と、
    前記第２把持データ取得手段により取得された第２把持データ群に基づく前記時間変動把持データを第２時間変動把持データとして算出する第２時間変動把持データ算出手段と、
    前記第２時間変動把持データ算出手段により算出された第２時間変動把持データに基づき、前記把持状態情報記憶手段に記憶された第１の把持状態情報を用いて、第２時間変動把持データに示される時間変動が、前記第１の把持状態における時間変動に該当する確率を示す該当確率を算出する該当確率算出手段と、
    前記該当確率算出手段により算出された該当確率が所定の閾値以上である場合に、前記第２の把持状態が前記第１の把持状態に該当すると判定する判定手段と、を備える認識システム。
11. 前記認識装置は、
    前記判定手段による判定の結果に関する認識情報を前記端末に送信する認識情報送信手段を更に備え、
    前記端末は、
    前記認識装置から送信された認識情報を受信する認識情報受信手段と、
    前記認識情報受信手段により受信された認識情報に応じた所定の処理を実行する実行手段と、を更に備える、
    請求項１０に記載の認識システム。

Images