以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.機能構成
3.処理
4.変形例
4.1.変形例1:利用形態の一例
4.2.変形例2:システム構成の一例
4.3.変形例3:制限の解除に係る制御例
4.4.変形例4:情報提示の一例
5.ハードウェア構成
6.まとめ
<1.概要>
まず、本開示の実施形態に係る情報処理システムの概要について説明する。例えば、図1は、本実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。
図1に示すように、本実施形態に係る情報処理システムは、情報処理装置10と、ウェアラブル端末30とを含む。情報処理装置10は、例えば、スマートフォン等のような、所謂携帯型の情報処理装置により構成され得る。また、ウェアラブル端末30は、情報処理装置10と、Bluetooth(登録商標)やWi−Fi(登録商標)等の通信規格に基づくネットワークを介して通信可能に構成されている。なお、本説明では、本実施形態に係る情報処理システムの特徴をわかりやすくするために、図1に示すように、ウェアラブル端末30が、所謂腕時計型の情報処理端末として構成されている場合を例に説明する。しかしながら、ウェアラブル端末30の構成は、必ずしも、腕時計型の情報処理端末に限定されない。
本実施形態に係る情報処理システムは、ネットワークを介して接続された情報処理装置10とウェアラブル端末30とを連携させることで、所謂ロック機能により施された所定の制限の解除を可能とする仕組みを提供する。そこで、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、ロック機能による制限を解除するための仕組みの一例について比較例として説明することで、当該情報処理システムの課題について整理する。
まず、図2を参照して、ロック機能による制限を解除するための機能(以降では、「制限解除機能」と記載する場合がある)の一例について、比較例1として説明する。図2は、比較例1に係る制限解除機能の一例について説明するための説明図である。なお、以降では、比較例1に係る情報処理装置10を、本実施形態に係る情報処理装置10と区別する場合には、「情報処理装置10a」と記載する場合がある。
図2に示す例では、情報処理装置10aは、表示面がタッチパネルとして構成された表示部153に、ロック解除のためのスライダv11を表示させ、当該スライダv11に対するユーザ操作に基づき制限を解除する。具体的には、情報処理装置10aは、スワイプ操作等によりスライダv11が所定の方向にスライドされたことを検知した場合に、ロック機能により施された所定の制限を解除する。
即ち、図2に示した比較例1に係る制限解除機能を適用することで、ユーザは、スワイプ操作という比較的簡便な操作に基づき制限を解除できる。一方で、比較例1に係る制限解除機能を適用した場合には、制限の解除に際し認証処理が行われないため、誰でも制限を解除でき、セキュリティが確保されない。
これに対して、図3は、ロック機能による制限を解除する際に、認証処理を介することで、セキュリティを確保した場合の一例について示している。なお、図3に示す例を、以降では、比較例2として説明する。即ち、図3は、比較例2に係る制限解除機能の一例について説明するための説明図である。なお、以降では、比較例2に係る情報処理装置10を、本実施形態に係る情報処理装置10と区別する場合には、「情報処理装置10b」と記載する場合がある。
図3に示す例では、情報処理装置10bは、ユーザにより入力された操作パターンと、事前に登録された操作パターンとを比較し、入力された操作パターンが事前に登録された操作パターンと一致するか否かに応じて制限を解除する。具体的には、情報処理装置10bは、表示面がタッチパネルとして構成された表示部153に、複数の点が提示された操作パターンの入力画面v13を表示させる。そして、情報処理装置10bは、ユーザ操作に基づき、入力画面v13中の任意の複数の点が結ばれるように入力された操作パターンを、事前に登録された操作パターンと比較し、比較結果が一致する場合に制限を解除する。
このような構成により、比較例2に係る制限解除機能を適用することで、例えば、操作パターンなどのように、事前に登録された情報を知り得るユーザのみが制限を解除することが可能となり、セキュリティが確保される。なお、事前に登録された情報を知り得るユーザのみが制限を解除可能とする方法としては、PIN(Personal Identification number)コード等のようなパスワードをユーザ入力として受け付ける方法等もある。
一方で、図3に示した比較例2に係る制限解除機能のように、表示部153に表示された入力画面に対してユーザが入力した情報を認証に利用する方法では、所謂ショルダーハッキングにより、認証のための情報が他者に漏えいする場合がある。即ち、悪意のある他者は、情報処理装置10bのユーザが、入力画面v13に対して入力した認証のための情報(例えば、操作パターン)を盗み見ることで、当該情報処理装置10bの制限を解除するための情報を不正に取得することが可能となる場合がある。
また他の一例として、近年では、ユーザの生体情報を利用することで、よりセキュリティレベルを強化した制限解除機能も提供されている。以下に、比較例3として、ユーザの生体情報を利用した制限解除機能の一例について説明する。なお、以降では、比較例3に係る情報処理装置10を、本実施形態に係る情報処理装置10と区別する場合には、「情報処理装置10c」と記載する場合がある。
比較例3に係る制限解除機能の一例として、顔認証技術を利用したものが挙げられる。この場合には、情報処理装置10cは、撮像部によりユーザの顔画像を撮像し、当該顔画像から目、鼻、ほお骨、あごの形などのように、特徴的な部分を抽出し、抽出した特徴を、事前に登録された顔画像の特徴と比較して、比較結果が一致する場合に制限を解除する。
このように顔認証技術を利用することで、ユーザは、入力画面に認証のための情報を入力する必要がなくなる。そのため、顔認証技術を利用した場合には、ショルダーハッキングによる制限解除のための情報(例えば、認証情報)の漏えいを防止することが可能となる。
一方で、顔認証は、撮像部により撮像されたユーザの顔画像を認証に利用するため、周囲の明るさ等のような顔画像の撮像環境に応じて、認証の精度が低下する場合がある。また、認証の対象となるユーザの静止画像や動画像を不正に利用されることで、悪意のあるユーザが、認証の対象なるユーザになりすますことが可能となる場合もある。
また、比較例3に係る制限解除機能の一例として、指紋認証技術を利用したものも挙げられる。この場合には、情報処理装置10cは、専用のデバイスにより検出されたユーザの指紋から、特徴的な部分を抽出し、抽出した特徴を、事前に登録された指紋の特徴と比較して、比較結果が一致する場合に制限を解除する。
このように指紋認証技術を利用することで、ユーザは、入力画面に認証のための情報を入力する必要がなくなる。そのため、指紋認証技術を利用した場合には、ショルダーハッキングによる人情報の漏えいを防止することが可能となる。
一方で、指紋認証は、濡れた指や乾燥した指等のように、認証に使う指の状態に応じて、認証の精度が低下する場合がある。もちろん、ユーザが手袋等を着用している場合には、手袋越しに指紋を入力することは困難であるため、ユーザは、認証時に手袋等のような手に着用した物を外して認証を行う必要があり、使い勝手が悪い。また、指紋認証を利用する場合には、情報処理装置10cに対して、指紋を検出するための専用のデバイスを設ける必要がある。
以上、比較例3に係る制限解除機能のように、生体情報を利用して制限を解除する場合には、比較的高いセキュリティレベルを確保できるものの、認証時の環境や状態に応じて認証精度が低下する場合があり、使い勝手があまり良くないこともある。また、生体情報を利用して制限を解除する場合には、一部の方法では、専用のデバイスを設ける必要があり、当該デバイスの設置が、生産コストの増大や筐体の大型化の要因となる場合もある。
次に、比較例4として、図4を参照して、近距離無線通信を利用した制限解除機能の一例について説明する。図4は、比較例4に係る制限解除機能の一例について説明するための説明図である。なお、以降では、比較例4に係る情報処理装置10を、本実施形態に係る情報処理装置10と区別する場合には、「情報処理装置10d」と記載する場合がある。
図4に示すように、比較例4に係る情報処理装置10dは、制限解除のための認証の媒体となるトークン80と、例えば、Bluetooth(登録商標)等の通信規格に基づく無線のネットワークn1を介して相互に通信可能に構成されている。また、図4は、情報処理装置10dが、外部装置(例えば、トークン80)と通信が可能なネットワークn1の通信圏内(以降では、「情報処理装置10dの通信圏内」と記載する場合がある)を模式的に示している。即ち、トークン80は、情報処理装置10dの通信圏内に位置する場合に、ネットワークn1を介して当該情報処理装置10dとの間で情報の送受信が行える。
以上のような構成に基づき、比較例4に係る情報処理装置10dは、自身の通信圏内にトークン80が侵入した場合に、当該トークン80との間で所定の通信シーケンスを行うことで、制限解除のための認証処理を実行する。
具体的には、情報処理装置10dは、自身の通信圏内にトークン80が進入した場合に、当該トークン80に認証情報の通知を要求する。この情報処理装置10dからの要求を受けて、トークン80は、自身の記憶部にあらかじめ記憶された認証情報を当該情報処理装置10dに通知する。このようにして、情報処理装置10dは、自身の通信圏内に位置するトークン80から、当該トークン80の記憶部に記憶された認証情報を取得する。
そして、情報処理装置10dは、トークン80から取得した認証情報を、あらかじめ登録された認証情報と比較し、比較結果が一致する場合に制限を解除する。
また、情報処理装置10dは、自身の通信圏内から、トークン80が離脱した場合には、この通信圏内からのトークン80の離脱を検知し、離脱したトークン80からの接続要求を待ち受ける。このとき、情報処理装置10dは、あらかじめ決められた時間内にトークン80から接続要求を受信しなかった場合には、情報処理装置10dの通信圏内へのトークン80の進入に伴い制限が解除された機能の使用を、改めて制限してもよい。
なお、情報処理装置10dの通信圏内に対するトークン80の進入及び離脱は、情報処理装置10d及びトークン80の少なくともいずれか一方が、他方からの応答の有無を確認することにより検知することが可能である。
このような構成により、ユーザは、自身の認証情報が記録されたトークン80を携行し、情報処理装置10dの通信圏内に進入することで、煩雑な操作を伴わずに制限を解除することが可能となる。同様に、ユーザは、当該トークン80を携行し、情報処理装置10dの通信圏内から離脱することで、煩雑な操作を伴わずに、所定の機能の使用を改めて制限することが可能となる。
一方で、図4を参照して説明した比較例4に係る制限解除機能は、情報処理装置10dの通信圏内にトークン80が進入した場合には、ユーザの意志に関係なく自動的に制限が解除される。そのため、比較例4に係る制限解除機能を利用した場合には、ユーザが意図しないタイミングで制限が解除される場合もあり、情報処理装置10dの通信圏内の広さが十分に制限されていない場合には、セキュリティを確保するために必ずしも有効に働くとは限らない。
なお、無線の通信規格の中には、通信時の信号の電波強度等により装置間の距離を測定できるものもあるため、当該機能を利用することで、制限解除機能が動作する情報処理装置10dを基点とした範囲(即ち、情報処理装置10dからの距離)を制限する方法もある。
しかしながら、信号の電波強度等による装置間の距離測定の精度は、必ずしも高いとは言えず、遮蔽物等が存在する場合には当該精度が更に低下する場合もある。そのため、使用環境によっては、制限解除機能が動作する範囲が不安定となり、極端な例では、ユーザが意図しないタイミングで制限が解除される場合や、情報処理装置10dに対してトークン80が近づいたことが検出されず制限解除機能が動作しない場合もある。
そこで、本実施形態に係る情報処理システムとして、セキュリティを確保でき、かつ、ユーザが意図するタイミングで、より簡便な手順により制限を解除することが可能な仕組みを提案する。
例えば、図5は、本実施形態に係る情報処理システムの制限解除機能について説明するための説明図である。図5に示すように、本実施形態に係る情報処理システムでは、ユーザは、制限を解除する際に、自身の所有する情報処理装置10とウェアラブル端末30とを振る等の動作により、当該情報処理装置10及びウェアラブル端末30の双方を振動させる。図5に示す例では、ユーザは、腕時計型のウェアラブル端末30を腕に装着し、当該ウェアラブル端末30が装着された側の手で情報処理装置10を把持した状態で、当該情報処理装置10及びウェアラブル端末30の双方を振動させている。
情報処理装置10は、当該情報処理装置10とウェアラブル端末30とのそれぞれについて、振動に基づく筐体の位置及び向きの少なくともいずれかの時系列に沿った変化を、直接的または間接的に示した特徴量ベクトル(例えば、変位データ)を取得する。そして、情報処理装置10は、当該情報処理装置10とウェアラブル端末30とのそれぞれについて取得した特徴量ベクトルに基づき、ロック機能により施された所定の制限を解除する。具体的には、情報処理装置10は、情報処理装置10及びウェアラブル端末30の各特徴量ベクトルに基づき、情報処理装置10とウェアラブル端末30とのそれぞれが振られているか否かの判定と、それぞれの特徴量ベクトルの類似度の判定との、いずれかまたは双方を実行する。そして、情報処理装置10は、実行した判定の結果に基づき、ロック機能により施された所定の制限を解除する。
例えば、図5に示す例では、情報処理装置10及びウェアラブル端末30の双方は、同じ手(腕)に保持されている。そのため、ユーザが、情報処理装置10及びウェアラブル端末30が保持された手(腕)を振った場合に、当該情報処理装置10及びウェアラブル端末30それぞれの筐体の位置や向きの時系列に沿った変化(即ち、特徴量ベクトル)は類似することとなる。また、それぞれの特徴量ベクトルは、情報処理装置10とウェアラブル端末30とが、ユーザにより意識的に振られている場合には、ユーザにより各装置を意識的に振られていない場合とは異なる特有の特徴(例えば、特有の周波数スペクトル)を持つ波形となる。
また、ウェアラブル端末30は、例えば、Bluetooth(登録商標)規格に基づくペアリング等のような事前の関連付けに基づき、情報処理装置10との間で通信が確立されている。このことから、当該ウェアラブル端末30は、比較例4に示したトークン80と同様に、情報処理装置10に施された制限を解除するためのデバイスとして、信頼性が保証されているものとみなすことができる。
このように、本実施形態に係る情報処理システムでは、情報処理装置10は、あらかじめ関連付けられたウェアラブル端末30に対応する特徴量ベクトル(例えば、変位データ)を取得し、取得した特徴量ベクトルと、自身の特徴量ベクトルとに基づき、ロック機能により施された所定の制限を解除する。このとき、情報処理装置10は、自身の特徴量ベクトルと、ウェアラブル端末30の特徴量ベクトルとを比較し、各特徴量ベクトルが類似している場合に、ロック機能により施された所定の制限を解除してもよい。また、他の一例として、情報処理装置10は、自身の特徴量ベクトルと、ウェアラブル端末30の特徴量ベクトルとの双方が、あらかじめ規定された特徴を有している場合に、ロック機能により施された所定の制限を解除する。
このような構成により、本実施形態に係る情報処理システムでは、取得される特徴量ベクトル(例えば、変位データ)として、制限を解除するたびに異なるデータが生成されることになる。そのため、本実施形態に係る情報処理システムによれば、所謂ショルダーハッキング等の盗み見による制限解除のための情報の漏えいに伴い、悪意のあるユーザにより不正に制限が解除されるといった事態の発生を抑止することが可能となる。
また、本実施形態に係る情報処理システムでは、悪意のあるユーザは、情報処理装置10単体では、当該情報処理装置10の制限を解除することが困難である。即ち、悪意のあるユーザが、情報処理装置10の制限を解除しようとした場合には、情報処理装置10及びウェアラブル端末30の双方を共に取得する必要がある。また、情報処理装置10及びウェアラブル端末30の所有者が、当該情報処理装置10及びウェアラブル端末30の双方を同時に紛失するといった事態は、いずれか一方のみを紛失する事態よりも発生する確率が低いことは言うまでもない。そのため、本実施形態に係る情報処理システムは、運用の観点からも、比較的高いセキュリティを確保することが可能となる。
また、本実施形態に係る情報処理システムでは、ユーザは、制限を解除する場合に、情報処理装置10及びウェアラブル端末30の双方を意識的に振動させる必要がある。そのため、比較例4(図4参照)として前述した例のように、ユーザが意図しないタイミングで制限が解除されるといった事態の発生を防止することが可能となる。
なお、詳細は後述するが、振動に基づく筐体の位置及び向きの少なくともいずれかの時系列に沿った変化を、直接的または間接的に示すことが可能であれば、特徴量ベクトルとして取得されるデータの内容は特に限定されない。なお、本開示における特徴量ベクトルには、一次元のベクトル(換言すると、スカラー値)を示すデータも含み得る。
以上、図5を参照して、本実施形態に係る情報処理システムの概要について説明した。なお、以降では、本実施形態に係る情報処理システムについて、さらに詳しく説明する。
<2.機能構成>
図6を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図6は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
図6に示すように、情報処理装置10は、制御部11と、センサ部13と、UI15と、通信部17とを含む。また、ウェアラブル端末30は、制御部31と、センサ部33と、UI35と、通信部37とを含む。
通信部37は、ウェアラブル端末30と情報処理装置10との間でネットワークn1を介した通信を確立し、当該ウェアラブル端末30内の各構成が当該ネットワークn1を介してデータを送受信するための構成である。通信部37は、例えば、Bluetooth(登録商標)規格のようなIEEE802.15規格に基づく通信や、Wi−Fi(登録商標)のようなIEEE802.11規格に基づく通信等の無線通信を実現するための通信デバイスとして構成され得る。
なお、以降では、ウェアラブル端末30内の各構成が、ネットワークn1を介して情報処理装置10とデータの送受信を行う場合には、特に記載が無い場合においても、通信部37を介してデータの送受信を行うものとする。
センサ部33は、ウェアラブル端末30の筐体の位置及び向きのうち少なくともいずれかの変化を検出し、検出した当該変化を示す情報を制御部31に逐次出力する。センサ部33は、例えば、加速度センサや角速度センサ等の、所定の筐体の位置や向きの変化を検出可能な各種センサにより実現され得る。
なお、センサ部33の動作は、制御部31からの制御に基づき一時的に停止できるようにしてもよいし、停止した動作を、制御部31からの制御に基づき再開できるようにしてもよい。
UI35は、ユーザがウェアラブル端末30を操作するためのユーザインタフェースである。UI35は、例えば、操作部351と、表示部353とを含んでもよい。
操作部351の具体的な一例として、ボタンやタッチパネルなどのように、ユーザがウェアラブル端末30を操作するための入力デバイスが挙げられる。また、表示部353の具体的な一例としては、ディスプレイ等のように、ウェアラブル端末30がユーザに対して情報を提示するための出力デバイスが挙げられる。
制御部31は、センサ部33から出力される、ウェアラブル端末30の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す情報を、変位データとして当該情報処理装置10にネットワークn1を介した送信する。なお、制御部31は、ネットワークn1を介した情報処理装置10からの指示に基づき、変位データを当該情報処理装置10に送信してもよい。また、他の一例として、制御部31は、UI35を介したユーザからの指示に基づき、変位データを情報処理装置10に送信してもよい。
また、制御部31は、UI35を介したユーザからの指示に基づき、センサ部33の動作を制御してもよい。具体的な一例として、制御部31は、UI35を介したユーザからの指示に基づき、センサ部33の動作を一時的に停止してもよい。また、制御部31は、UI35を介したユーザからの指示に基づき、センサ部33の動作を再開させてもよい。
通信部17は、情報処理装置10とウェアラブル端末30との間でネットワークn1を介した通信を確立し、当該情報処理装置10内の各構成が当該ネットワークn1を介してデータを送受信するための構成である。通信部17は、例えば、Bluetooth(登録商標)規格のようなIEEE802.15規格に基づく通信や、Wi−Fi(登録商標)のようなIEEE802.11規格に基づく通信等の無線通信を実現するための通信デバイスとして構成され得る。
なお、以降では、情報処理装置10内の各構成が、ネットワークn1を介してウェアラブル端末30とデータの送受信を行う場合には、特に記載が無い場合においても、通信部17を介してデータの送受信を行うものとする。
センサ部13は、情報処理装置10の筐体の位置及び向きのうち少なくともいずれかの変化を検出し、検出した当該変化を示す情報を制御部11に逐次出力する。センサ部13は、例えば、加速度センサや角速度センサ等の、所定の筐体の位置や向きの変化を検出可能な各種センサにより実現され得る。
なお、センサ部13の動作は、制御部11からの制御に基づき一時的に停止できるようにしてもよいし、停止した動作を、制御部11からの制御に基づき再開できるようにしてもよい。
UI15は、ユーザが情報処理装置10を操作するためのユーザインタフェースである。UI15は、例えば、操作部151と、表示部153とを含んでもよい。
操作部151の具体的な一例として、ボタンやタッチパネルなどのように、ユーザがウェアラブル端末30を操作するための入力デバイスが挙げられる。また、表示部153の具体的な一例としては、ディスプレイ等のように、情報処理装置10がユーザに対して情報を提示するための出力デバイスが挙げられる。
制御部11は、変位データ取得部111と、データ補間部113と、特徴抽出部115と、判定部117とを含む。
(変位データ取得部111)
変位データ取得部111は、UI15(即ち、操作部151)を介したユーザからの指示に基づき、センサ部13から出力される、情報処理装置10の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す情報を、変位データとして取得する。
また、変位データ取得部111は、ウェアラブル端末30の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す変位データを、ネットワークn1を介して当該ウェアラブル端末30から取得する。このとき、変位データ取得部111は、ウェアラブル端末30に対して、変位データの送信を指示してもよい。また、他の一例として、変位データ取得部111は、ウェアラブル端末30からの変位データの送信を受動的に待ち受けてもよい。
また、変位データ取得部111は、所定の処理の実行(もしくは、当該処理の実行に伴い発生するイベント)をトリガとして、変位データの取得を開始してもよい。具体的な一例として、変位データ取得部111は、表示部153に制限解除のための画面が表示された場合に、当該画面の表示に係る処理の実行をトリガとして、変位データの取得を開始してもよい。
また、変位データ取得部111が、変位データの取得を終了するタイミングが明示的に規定されていてもよい。具体的な一例として、変位データ取得部111は、ロック機能により施された所定の制限が解除された場合に、当該制限の解除をトリガとして、変位データの取得を終了してもよい。
また、他の一例として、変位データ取得部111は、ウェアラブル端末30側で変位データの送信のための処理が終了した場合(例えば、アプリケーションが終了した場合)に、当該処理の終了をトリガとして、変位データの取得を終了してもよい。
上記に示すように、変位データ取得部111が、変位データの取得を終了するタイミングが明示的に規定されることで、例えば、変位データの取得や当該変位データの送信に係る処理が常時動作するといった事態を防止し、消費電力を低減することが可能となる。
もちろん、上記に示す例はあくまで一例であり、変位データ取得部111が、変位データの取得を開始するタイミングや、変位データの取得を終了するタイミングを制御できれば、当該制御を実現するための構成や方法は特に限定されない。
以上のようにして、変位データ取得部111は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを取得する。そして、変位データ取得部111は、取得した情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、データ補間部113に出力する。
(データ補間部113)
データ補間部113は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、変位データ取得部111から取得する。データ補間部113は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを相互に比較可能にするために、当該変位データ中に含まれる各検出結果(以降では、「サンプルデータ」と呼ぶ場合がある)に基づき、当該変位データに対して新たなサンプルデータを補間するための構成である。
具体的には、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データは、当該変位データに含まれる各サンプルデータが、必ずしも同期して取得されているとは限らず、サンプルデータの数(以降では、「サンプル数」と呼ぶ場合がある)も等しいとは限らない。換言すると、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データは、必ずしもサンプリングレートが一致しているとは限らない。
具体的な一例として、情報処理装置10のセンサ部13と、ウェアラブル端末30のセンサ部33とは、必ずしも性能が一致しているとは限らない。そのため、例えば、センサ部13及び33のうち、一方のセンサ部が1秒間に取得するサンプル数が、他方のセンサ部が1秒間に取得するサンプル数より少ない場合もある。
また、センサ部13及び33を構成する各種センサは、必ずしも筐体の位置や向きの変化を逐次検出しているとは限らず、例えば、筐体の位置や向きが変化した場合に、当該変化を検出するように構成されている場合もある。そのため、変位データとして、必ずしも一定のタイミングごとにサンプルデータが取得されているとは限らず、0.1秒間に10個のサンプルデータが取得される場合もあれば、1個もサンプルデータが取得されない場合もある。
このような場合には、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを比較することが困難な場合がある。そこで、データ補間部113は、各変位データに含まれるサンプルデータに基づき、当該変位データに対して新たなサンプルデータを補間する。
具体的な一例として、データ補間部113は、サンプリングレートの低い方の変位データに対して、例えば、アップサンプリング処理を施すことで、当該変位データのサンプリングレートを、サンプリングレートの高い方の変位データにあわせてもよい。
なお、既存の変位データに対して、新たなサンプルデータを補間する方法の一例としては、ラグランジュ多項式補間等に代表される、多項式補間を利用する方法が挙げられる。この場合には、例えば、データ補間部113は、変位データ中に含まれる各サンプルデータに基づき、当該サンプルデータが導出される波形(関数)を求め、当該波形に基づき、当該変位データ中に含まれる各サンプルデータ間に、新たなサンプルデータを補間する。
また、他の一例として、データ補間部113は、各変位データをモデル化し、モデル化された変位データに基づき、モデル化される前の変位データに対して他のサンプルデータを補間してもよい。
モデルの具体的な一例としては、多項式基底や三角多項式基底を利用した線形回帰、カーネルモデルを利用した線形回帰、及び、ニューラルネットワークを利用した非線形回帰等を利用した方法が挙げられる。この場合には、例えば、データ補間部113は、変位データ中に含まれる各サンプルデータに基づき近似線を求め、当該近似線に基づき、当該変位データ中に含まれる各サンプルデータ間に、新たなサンプルデータを補間する。
また、データ補間部113は、上記に示した方法に基づき各変位データをモデル化し、モデル化された当該変位データを、新たな変位データ(即ち、サンプルデータが補間された変位データ)として取得してもよい。この場合には、例えば、データ補間部113は、変位データ中に含まれる各サンプルデータに基づき近似線を求め、当該近似線上のデータを、新たなサンプルデータとして取得する。そして、データ補間部113は、取得した新たなサンプルデータに基づき、新たな変位データを定義すればよい。
なお、上記に示す例は、あくまで一例であり、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データのうち、少なくともいずれかの変位データに対して新たなサンプルデータを補間できれば、その方法は必ずしも上記に示す例には限定されない。
以上のようにして、データ補間部113は、取得した各変位データのいずれかまたは双方に対して上述したサンプルデータを補間する処理を施し、処理後の各変位データを特徴抽出部115に出力する。
(特徴抽出部115)
特徴抽出部115は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、データ補間部113から取得する。特徴抽出部115は、取得した各変位データから、当該変位データに含まれるサンプルデータの特徴を示す特徴値を抽出し、抽出した特徴値に基づく特徴量ベクトルを生成するための構成である。
具体的には、取得された情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データは、そのままの形式では、相互に比較することが困難な場合がある。具体的な一例として、センサ部13が、情報処理装置10の位置や向きの変化を検出する座標系と、センサ部33が、ウェアラブル端末30の位置や向きの変化を示す座標系とは、必ずしも一致しているとは限らない。また、絶対座標系においても、情報処理装置10が振動する方向と、ウェアラブル端末30が振動する方向とが必ずしも一致しているとは限らない。また、情報処理装置10と、ウェアラブル端末30とでは、振動時の振れ幅や振動する向きが異なる場合もあり、換言すると、筐体の位置や向きの変化量や変化する方向が互いに異なる場合もある。
また、ユーザが情報処理装置10やウェアラブル端末30を意識してその都度同じように振動させたとしても、必ずしも、各動作が厳密に一致するとは限らず、当該動作に基づき取得される変位データに再現性があるとは限らない。また、ユーザが情報処理装置10やウェアラブル端末30等の装置を振動させる場合に、当該装置を保持する方向が異なれば、当該装置が振動する方向も異なることとなる。また、情報処理装置10やウェアラブル端末30等の装置が保持される状態によっても、当該装置の振動のしかたが変化する場合がある。具体的な一例として、ウェアラブル端末30がユーザの手首にしっかり保持されていない状態では、例えば、ユーザが腕を振ることでウェアラブル端末30を振動させた場合に、当該振動に応じて手首に対するウェアラブル端末30の相対位置(例えば、手首に対してウェアラブル端末30が保持される位置や向き)も変化する場合がある。これにより、ウェアラブル端末30の振動は、腕が振られる方向に向けた振動に対して、手首に対する当該ウェアラブル端末30の相対位置の変化のようなランダム要素が加わり、より複雑化する。
このような場合には、情報処理装置10に対応する変位データと、ウェアラブル端末30に対応する変位データとを単純に比較しても、双方が類似しているか否かを判定することが困難な場合がある。また、機械学習アルゴリズムで生成された識別関数に適用する際にも、変位データを、当該変位データの特徴をよく表現する特徴量ベクトルに変換して適用すると、一般に識別性能が向上すると言われている。そこで、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データから特徴値を抽出することで、取得した変位データを、当該特徴値に基づく特徴量ベクトルに変換してもよい。なお、このとき、特徴抽出部115は、後述する判定部117が扱いやすい形式(換言すると、判定部117の認識精度を向上させることが可能な形式)の特徴量ベクトルに変換してもよい。例えば、特徴抽出部115は、各変位データに含まれる次元ごと(例えば、x方向及びy方向)の変化量の分散に偏りがある場合には、次元ごとの変化量を正規化することで分散の偏りを緩和することで、変位データを、判定部117が扱いやすい形式の特徴量ベクトルに変換してもよい。
より具体的な一例として、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データから極値を特徴値として抽出し、当該極値を時系列に沿って並べた特徴量ベクトルを生成してもよい。このように、抽出された極値に基づき特徴量ベクトルを生成することで、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データ中の各極値が検出されたタイミングが一致するか否かに応じて、当該変位データ間が類似するか否かを判別することが可能となる。
また、他の一例として、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれを振動させた場合の各変位データを波形データとみなし、その波形のスペクトル情報を特徴値として、特徴量ベクトルを生成してもよい。具体的な一例として、特徴抽出部115は、フーリエ変換や三角多項式基底による回帰により、変位データが示す波形からスペクトルを抽出してもよい。例えば、以下に示す(式1)は、フーリエ変換に基づき、時系列に沿った変位データf(t)を、周波数の関数F(w)に変換する(即ち、スペクトル情報に変換する)場合の計算式の一例を示している。
また、他の一例として、特徴抽出部115は、各変位データ中の各サンプルデータが示す変化量を特徴値として抽出してもよい。具体的な一例として、特徴抽出部115は、所謂直交座標系(例えば、x軸、y軸、及びz軸で規定される座標系)の各軸に沿った変化量を特徴値として抽出してもよい。この場合には、特徴抽出部115は、各軸の所定の基準点に対する変化量を特徴値として抽出してもよい。また、他の一例として、特徴抽出部115は、時系列に沿って隣接するサンプルデータ間の変化量を特徴値として抽出してもよい。
また、変化量を特徴値として抽出する場合には、その座標系は必ずしも直交座標系には限定されない。具体的な一例として、特徴抽出部115は、所謂極座標系(例えば、動径rと、偏角θ,φとで規定される球座標系)に基づき、変化量を特徴値として抽出してもよい。
また、他の一例として、特徴抽出部115は、所定の座標系における距離の変化に限らず、例えば、角度の変化を特徴値として抽出してもよい。例えば、特徴抽出部115は、変位データ中に含まれるサンプルデータを基に、所定の座標系におけるベクトルを定義し、当該ベクトルが、当該座標系の各軸との間で成す角度を特徴値として抽出してもよい。
また、特徴抽出部115は、特徴値を抽出するために変位データを変換してもよい。例えば、特徴抽出部115は、変位データに含まれるサンプルデータが、所定の座標系で規定されている場合には、他の座標系のデータに変換してもよい。具体的な一例として、特徴抽出部115は、直交座標系で規定されている各サンプルデータを、極座標変換することで、極座標系のサンプルデータに変換してもよい。もちろん、特徴抽出部115は、極座標系で規定されている各サンプルデータを、直交座標系のサンプルデータに変換してもよい。
また、特徴抽出部115は、主成分分析(PCA:principal component analysis)に基づき、変位データを、当該変位データに含まれる各サンプルデータの主成分に基づく新たな変位データに変換してもよい。このような変換により、特徴抽出部115は、例えば、直交座標系に基づきx軸、y軸、及びz軸(即ち、3軸)それぞれに沿った変化量を示す各サンプルデータを、主成分を示す軸(即ち、1軸)に沿った変化量を示す特徴量ベクトルに変換することができる。これにより、後述する判定部117による、変位データ間の類似度の判定に係る処理の負荷を軽減することが可能となる。
また、他の一例として、特徴抽出部115は、正準相関分析(CCA:canonical correlation analysis)に基づき、情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データを、他の新たな変位データに変換してもよい。この場合には、例えば、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データ間で、当該変位データに含まれる各サンプルデータの変化量の相関関係が高い成分を、当該各変位データそれぞれについて導出する。そして、特徴抽出部115は、各変位データそれぞれを、当該変位データについて導出した成分に基づく特徴量ベクトルに変換すればよい。
このように、主成分分析(PCA)や正準相関分析(CCA)に基づき変位データを変換することで、情報処理装置10とウェアラブル端末30とのそれぞれについて、より変化の大きい方向を軸として、特徴量ベクトルを取得することが可能となる。これにより、例えば、ユーザが、情報処理装置10やウェアラブル端末30を振動させる方向が、その都度異なるような状況下においても、より変化の大きい方向を軸として、情報処理装置10とウェアラブル端末30との間で、振動方向の軸をあわせることが可能となる。即ち、主成分分析(PCA)や正準相関分析(CCA)に基づき変位データを変換することで、情報処理装置10及びウェアラブル端末30の各装置がユーザに保持される向きの違いや、当該装置が振動する方向の違いに対して、ロバスト性を持たせることが可能となる。
また、他の一例として、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれを振動させた場合の各変位データを教師データとして機械学習に基づき蓄積し、当該教師データに基づき特徴値を抽出するための関数を規定してもよい。
具体的な一例として、特徴抽出部115は、教師データとしてあらかじめ蓄積された変位データから、情報処理装置10及びウェアラブル端末30それぞれの振動の傾向を分析し、当該分析結果に基づき、特徴的なデータを抽出する。また、特徴抽出部115は、教師データとして蓄積された各変位データと、抽出した当該特徴的なデータとに基づき、当該各変位データから当該特徴的なデータを抽出するため関数を導出する。
そして、特徴抽出部115は、データ補間部113から取得した情報処理装置10及びウェアラブル端末30それぞれに対応する変位データに対して、教師データに基づき導出した関数を適用することで、特徴量ベクトルに変換してもよい。
なお、上記に示す例は、あくまで一例であり、各変位データから特徴値として抽出されるデータの種別や、当該特徴値を抽出する方法、及び当該変位データを変換する方法は、必ずしも上記に示す例に限定されない。
以上のようにして、特徴抽出部115は、取得した情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データから、当該変位データに含まれるサンプルデータの特徴を示す特徴値を抽出し、抽出した特徴値に基づく特徴量ベクトルを生成する。このように、取得された変位データを特徴量ベクトルに変換することで、例えば、人間の動作の再現性やランダム要素(例えば、装置の保持状態に起因する振動)等により変位データにばらつきが生じるような状況下においても、当該ばらつきに対してロバスト性を持たせることが可能となる。
そして、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルを、判定部117に出力する。
(判定部117)
判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルを特徴抽出部115から取得する。そして、判定部117は、取得した各特徴量ベクトルが振動中に特有の特徴を持っているか否かの判定と、各特徴量ベクトルの類似度の判定との、いずれかまたは双方を実行する。
例えば、判定部117は、情報処理装置10及びウェアラブル端末30それぞれの特徴量ベクトルとして、スペクトル情報を取得した場合には、当該スペクトル情報(即ち、振動の周波数)が、あらかじめ決められた周波数帯域に含まれるか否かを判定してもよい。
具体的な一例として、ユーザは、ウェアラブル端末30が装着された身体の一部(例えば、腕)を意識的に振動させない限り、日常生活において2Hz以上で振動させることは稀である。また、ユーザが、ウェアラブル端末30が装着された身体の一部を3Hz以上で振動させることは困難な場合が多い。そのため、例えば、判定部117は、情報処理装置10及びウェアラブル端末30それぞれのスペクトル情報が、2Hz〜3Hzの帯域内に含まれるか否かを判定してもよい。
また、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル間の類似度を判定できれば、類似度の判定方法は特に限定されない。例えば、判定部117は、特徴量ベクトル間の統計的指標に基づき類似度を判定してもよい。当該統計的指標の一例として、統計的距離、相関係数、相互情報量等が挙げられる。
具体的な一例として、統計的距離を利用する場合には、判定部117は、各特徴量ベクトルそれぞれに含まれる要素を対応する要素ごとに相互に比較し、当該サンプルデータ間の差分を蓄積することで統計的距離を算出する。そして、判定部117は、算出した統計的距離が閾値を超えるか否かに応じて類似度を判定する。この場合には、統計的距離が閾値以下の場合には、双方の変位データは類似している、つまり、情報処理装置10の振動と、ウェアラブル端末30の振動とが類似しているとみなすことができる。もちろん、統計的距離が閾値を超える場合には、双方の変位データは類似していない、つまり、情報処理装置10の振動と、ウェアラブル端末30の振動とは類似していないとみなすことができる。
また、他の一例として、相関係数を利用する場合には、判定部117は、各特徴量ベクトルそれぞれに含まれる要素を対応する要素ごとに相互に比較することで、当該特徴量間の相関関係を示す相関係数を算出する。そして、判定部117は、算出した相関係数が閾値を超えるか否かに応じて類似度を判定すればよい。
また、相互情報量を利用する場合には、判定部117は、各特徴量ベクトルそれぞれに含まれる要素の値に基づき、当該各特徴量ベクトルそれぞれの要素の値の同時分布関数及び周辺確率分布関数を導出する。そして、判定部117は、導出した当該同時分布関数及び周辺確率分布関数に基づき、各特徴量ベクトルそれぞれの要素間における相互依存の尺度を示す相互情報量を算出し、当該相互情報量が閾値を超えるか否かに応じて類似度を判定すればよい。
また、他の一例として、判定部117は、機械学習アルゴリズムにより生成された識別関数を利用することで、変位データ間の類似度判定及び振動中か否かの判定をしてもよい。この場合には、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データ間の類似度の判定と情報処理装置10及びウェアラブル端末30が振られているか否かの判定に使用するデータを教師データとして事前に取得し蓄積しておく。
類似度の判定に使用される識別関数の教師データは、例えば、あらかじめ取得された、情報処理装置10の振動とウェアラブル端末30の振動とが類似している場合の典型例を示す変位データと、類似していない場合の典型例を示す変位データを含む。
具体的には、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データが類似しているか否かの正しい判定結果のラベル(即ち、類似しているか否かを示す情報)とを対応付けることで教師データが生成される。もちろん、情報処理装置10の振動とウェアラブル端末30の振動とが類似している場合を示す変位データ系列の組には、当該変位データ間が類似していることを示すラベルが対応付けられればよい。同様に、情報処理装置10の振動とウェアラブル端末30の振動とが類似していない場合を示す変位データ系列の組には、当該変位データ系列間が類似していないことを示すラベルが対応付けられていればよい。
また、情報処理装置10の振動とウェアラブル端末30のそれぞれを振っているか否かの判定に使用される識別関数の教師データは、例えば、あらかじめ取得された、情報処理装置10及びウェアラブル端末30を振動させている場合の典型例を示す変位データと、振動させていない場合の典型例を示す変位データを含む。
具体的には、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データが振動中のデータか否かの正しい判定結果のラベル(即ち、振動しているか否かを示す情報)とを対応付けることで教師データが生成される。もちろん、情報処理装置10及びウェアラブル端末30が振動している場合を示す変位データ系列には、当該変位データ系列が振動していることを示すラベルが対応付けられればよい。同様に、情報処理装置10ないしウェアラブル端末30が振動していない場合を示す変位データ系列には、当該変位データ間が振動していないことを示すラベルが対応付けられていればよい。
そして、判定部117は、特徴抽出部115から取得した情報処理装置10及びウェアラブル端末30それぞれに対応する変位データ間の類似度の判定と、情報処理装置10及びウェアラブル端末30が振られているか否かの判定を、あらかじめ蓄積された教師データと比較することで実現してもよい。
なお、判定部117が、あらかじめ蓄積された教師データに基づき変位データ間の類似度を判定できれば、その方法は特に限定されない。学習アルゴリズムの具体的な一例として、判定部117は、線形SVM(Support Vector Machine)、カーネルSVM、及びロジスティック回帰等の技術を利用して生成された識別関数によって、あらかじめ蓄積された教師データに基づき変位データ間の類似度を判定と、情報処理装置10及びウェアラブル端末30が振られているか否かの判定を行なってもよい。これらの識別関数を用いた類似度判定の一例としては、情報処理装置10及びウェアラブル端末30のそれぞれから抽出した特徴量ベクトルの連結や差分により1つの特徴量ベクトルを導出し、これを識別関数に入力すればよい。また、2つの変位データ系列を差分や加算により1つの変位データ系列にした上で1つの特徴量ベクトルを抽出し、これを識別関数に適用してもよい。
例えば、判定部117は、線形SVMと呼ばれる技術に基づき、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル間が類似しているか否かをそれぞれ示す各クラスに分類するための境界面(所謂、超平面)を導出する。そして、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルが、導出した境界面のどちら側にあるか判別することで、いずれかのクラスに分類する。そして、判定部117は、一連の当該サンプルデータの組の分類結果に応じて、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データが類似しているか否かを判別すればよい。ここでは特徴量ベクトルが類似しているか否かの判定について説明したが、情報処理装置10及びウェアラブル端末30が振られているか否かの判定についても同様である。
また、カーネルSVMと呼ばれる技術を利用することで、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データから時系列に沿って抽出した特徴量ベクトルを分類するための境界面を、複雑な曲面として導出できる。即ち、カーネルSVMと呼ばれる技術を利用することで、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データから時系列に沿って抽出した特徴量ベクトルを、より高い精度で、前述した各クラスに分類することも可能となる。
また、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データから時系列に沿って抽出した特徴量ベクトルを割り当てるべきクラスの事後確率を、ロジスティック回帰と呼ばれる技術に基づき学習してもよい。この場合には、判定部117は、抽出した特徴量ベクトルを、事後確率が最大となるクラスに分類すればよい。
また、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データは、必ずしも同期して取得されているとは限らず、一方に対して他方が遅延している場合もある。そのため、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうち、いずれか一方を時系列に沿ってシフト(例えば、遅延)させたうえで、当該変位データ間の類似度を判定してもよい。なお、この場合には、類似度の判定対象となる変位データ(即ち、いずれか一方を時系列に沿ってシフトさせた後の各変位データ)が、特徴量ベクトルに相当する。
このように、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうち、少なくとも一方を時系列に沿ってシフトさせる方法として、Dynamic Time Warpingと呼ばれる手法が挙げられる。そこで、図7及び図8を参照して、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうち、少なくとも一方を時系列に沿ってシフトさせる方法の一例として、Dynamic Time Warpingと呼ばれる手法の概要について以下に説明する。図7及び図8は、互いに異なる複数の変位データのうち、少なくとも一方を時系列に沿ってシフトさせる方法の一例について説明するための説明図であり、Dynamic Time Warpingと呼ばれる手法の概要について説明するための図である。なお、図7及び図8は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データ、即ち、各装置の筐体の位置及び向きのうち少なくともいずれかの変化を時系列に沿って並べたデータの一例を示している。
図7及び図8において、横軸は時間を相対値で示しており、縦軸は各装置の筐体の変位(即ち、位置及び向きのうち少なくともいずれかの変化)を相対値で示している。また、図7及び図8において、系列1として示された各サンプルデータは、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうちいずれか一方の変位データに含まれる各サンプルデータの一例を示している。また、系列2として示された各サンプルデータは、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうち、他方の変位データ(系列1とは異なる側の変位データ)に含まれる各サンプルデータの一例を示している。
Dynamic Time Warpingと呼ばれる手法を利用する場合には、判定部117は、図7に示すように、系列1のサンプルデータと系列2のサンプルデータとの差分Diを、時系列に沿って加算することで、系列1と系列2との間の統計的距離を算出する。
次いで、判定部117は、図8に示すように、系列1及び系列2のうち、少なくともいずれかに対応する各サンプルデータを、時系列に沿って所定の時間幅Tjだけシフトさせる。そして、判定部117は、シフト後における系列1と系列2との間の統計的距離を改めて算出する。
以上のようにして、判定部117は、系列1及び系列2のうち、少なくともいずれかに対応する各サンプルデータを時系列に沿ってシフトさせながら、系列1と系列2との間の統計的距離を逐次算出する。そして、判定部117は、算出された統計的距離を相互に比較し、当該統計的距離が最小となる時間幅Tを特定して、当該時間幅Tだけシフトさせた場合における、系列1で示された変位データと系列2で示された変位データ(即ち、特徴量ベクトル)の間で類似度を判定する。
なお、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうち、少なくとも一方を時系列に沿ってシフト(例えば、遅延)させる場合には、当該シフト量(例えば、遅延量)の最大値(換言すると、シフト量の制限)を設けてもよい。具体的な一例として、シフト量の最大値が10秒に設定されている場合には、判定部117は、時間幅が10秒以下となる範囲内で変位データを時系列に沿ってシフトさせることとなる。
なお、上記に説明した、判定部117による特徴量ベクトル間の類似度の判定に係る処理は、あくまで一例であり、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルの類似度が定量的に判定できれば、その方法は特に限定されない。
上記に説明したように、判定部117は、取得した情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル間の類似度を判定する。そして、判定部117は、当該変位データ間が類似していると判定した場合には、所謂ロック機能により施された所定の制限を解除する。
以上のようにして、制御部11は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル(例えば、変位データ)を取得する。そして、制御部11は、取得した各特徴量ベクトル間の類似度の比較結果と、情報処理装置10及びウェアラブル端末30それぞれを振っているかの判定結果とのうち、いずれかまたは双方に基づき、ロック機能により施された所定の制限を解除する。具体的には、制御部11は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データが類似している場合には、ロック機能により施された所定の制限を解除する。もちろん、制御部11は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データが類似していない場合には、当該制限を解除しないことは言うまでもない。
また、変位データ間が類似していないと判定した場合には、制御部11は、再度、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データを取得して、当該変位データ間の類似度を判定し直してもよい。なお、制御部11が、再度変位データを取得し、当該変位データ間の類似度の判定を行うための条件については、運用にあわせて適宜設定すればよいことは言うまでもない。具体的な一例として、制御部11は、変位データ間が類似していないと判定した回数が閾値以下の場合である限りは、再度変位データを取得し、当該変位データ間の類似度の判定を行ってもよい。ここでは特徴量ベクトルが類似しているか否かの判定について説明したが、情報処理装置10及びウェアラブル端末30それぞれが振動中であるか否かの判定についても同様である。
また、データ補間部113と特徴抽出部115との処理順序は、必ずしも上記に示す例には限定されない。具体的な一例として、特徴抽出部115が、変位データに含まれるサンプルデータの特徴を示す特徴値に基づき生成した新たな変位データに対して、データ補間部113が新たなサンプルデータを補間してもよい。
また、データ補間部113及び特徴抽出部115のうち、いずれかもしくは双方を動作させなくてもよい。具体的な一例として、取得された変位データに対して、データ補間部113による新たなサンプルデータの補間のみを施し、特徴抽出部115による特徴値の抽出及び当該特徴値に基づく新たな変位データの生成は行わなくてもよい。同様に、取得された変位データを基にした、特徴抽出部115による特徴値の抽出及び当該特徴値に基づく新たな変位データの生成のみを行い、データ補間部113による、変位データに対する新たなサンプルデータの補間は行わなくてもよい。前述の三角多項式基底を利用した回帰によるスペクトル抽出はこの具体例に当たる。もちろん、データ補間部113及び特徴抽出部115の双方を動作させずに、取得された各変位データを特徴量ベクトルとみなし直接比較することで当該変位データ間の類似度を判定する構成としてもよい。換言すると、変位データは、特徴量ベクトルの一例に相当し得る。
以上、図6を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明した。
なお、図6を参照して説明した情報処理システムの機能構成は、あくまで一例であり、必ずしも図6に示す例には限定されない。
具体的な一例として、上記に説明した例では、情報処理装置10が、ロック機能による制限を解除するための各種処理(即ち、制御部11の各構成に対応する処理)を実行する例について説明したが、当該処理の主体は必ずしも情報処理装置10には限定されない。具体的な一例として、ウェアラブル端末30が、ロック機能による制限を解除するための各種処理を実行してもよい。この場合には、例えば、情報処理装置10の制御部11に相当する構成を、ウェアラブル端末30に設ければ良い。
また、このとき、ロック機能による制限の解除対象についても限定されない。例えば、ウェアラブル端末30が、情報処理装置10及び当該ウェアラブル端末30それぞれの特徴量ベクトルに基づき、情報処理装置10側に施された制限を解除してもよい。同様に、情報処理装置10が、当該情報処理装置10及びウェアラブル端末30それぞれの特徴量ベクトルに基づき、ウェアラブル端末30側に施された制限を解除してもよい。
また、ロック機能による制限の解除の指示を行う主体についても、特に限定されない。具体的な一例として、ウェアラブル端末30からの指示を受けて、情報処理装置10が、ロック機能による制限を解除するための各種処理を実行してもよい。同様に、情報処理装置10からの指示を受けて、ウェアラブル端末30が、ロック機能による制限を解除するための各種処理を実行してもよい。
また、情報処理装置10の制御部11は、ロック機能による制限を解除した場合に、このことをウェアラブル端末30に通知してもよい。この場合には、ウェアラブル端末30は、制御部11からの通知を受けて、ロック機能により情報処理装置10に対して施された制限が解除されたことをユーザに報知してもよい。このような構成により、例えば、第3者により情報処理装置10の制限が不正に解除された場合に、情報処理装置10のユーザ(所有者)は、このことを検知することが可能となる。
なお、制御部11からの通知に基づきウェアラブル端末30が情報を報知する方法は特に限定されない。例えば、ウェアラブル端末30は、自身に設けられたアクチュエータを振動させることで、ユーザに情報を報知してもよい。また、他の一例として、ウェアラブル端末30は、自身に設けられたLEDを所定の態様(例えば、発光パターンや発光色)で発光させることで情報を報知してもよい。もちろん、ウェアラブル端末30は、UI35(具体的には、表示部353)を介して情報を報知してもよい。
また、上記に説明した、制御部11による、情報処理装置10及びウェアラブル端末30それぞれの特徴量ベクトルに基づく制限解除の動作(以降は、「特徴量ベクトルに基づく制限解除の動作」と記載する場合がある)は、一時的に停止できるようにしてもよいし、停止した動作を再開できるようにしてもよい。
具体的な一例として、情報処理装置10のUI15、または、ウェアラブル端末30のUI35を介したユーザの指示に基づき、制御部11は、特徴量ベクトルに基づく制限解除の動作を一時的に停止してもよい。もちろん、制御部11は、情報処理装置10のUI15、または、ウェアラブル端末30のUI35を介したユーザの指示に基づき、停止した動作を再開してもよい。
また、他の一例として、制御部11は、情報処理装置10及びウェアラブル端末30のいずれかまたは双方の振動の変化量が閾値以下の場合の状態が、所定の時間以上継続した場合(例えば、各装置が放置されている場合)に、特徴量ベクトルに基づく制限解除の動作を一時的に停止してもよい。この場合には、例えば、制御部11は、対象となる装置の特徴量ベクトル(例えば、変位データ)の所定の時間内における変化量の平均値が、あらかじめ設定された閾値以下の場合に、特徴量ベクトルに基づく制限解除の動作を一時的に停止してもよい。
また、他の一例として、制御部11は、ロック機能により制限が施されてから所定の時間が経過するまでの間は、特徴量ベクトルに基づく制限解除を行い、当該所定の時間の経過後は、特徴量ベクトルに基づく制限解除の動作を一時的に停止してもよい。このような構成により、ユーザが情報処理装置10を使用している際に、例えば、省電力のための設定によりロック機能が自動で動作し情報処理装置10に対して制限が施されたとしても、当該ユーザは、簡便な手順で再度制限を解除することが可能となる。
<3.処理>
次に、図9を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10の処理に着目して説明する。図9は、本実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。
(ステップS101)
まず、情報処理装置10の通信部17は、ウェアラブル端末30との間でネットワークn1を介した通信が確立されていない場合には、当該ウェアラブル端末30との間で所定の通信シーケンスを実行することで、当該ネットワークn1を介した通信を確立する。
なお、このとき通信部17は、当該ウェアラブル端末30が通信の相手として登録されていない場合には、例えば、鍵交換等の所定の手続きをウェアラブル端末30との間で実行することで、当該ウェアラブル端末30を通信の相手として登録してもよい。
通信部17が、ウェアラブル端末30を通信の相手として登録するための手続きとしては、例えば、Bluetooth(登録商標)規格に基づくペアリングや、Wi−Fi(登録商標)規格に基づくWPS(Wi-Fi Protected Setup)等が挙げられる。また、通信部17は、AES(Advanced Encryption Standard)等の共通鍵を利用した認証方式や、RSA、MQ等の公開鍵を利用した認証方式により、ウェアラブル端末30との間で相互に認証することで、当該ウェアラブル端末30を通信の相手として登録してもよい。もちろん、通信部17が、ウェアラブル端末30を通信の相手として登録するための手続きは、必ずしもネットワークn1を介して行われなくてもよい。具体的な一例として、通信部17は、インターネット等のようなネットワークn1とは異なる他のネットワークを介して、ウェアラブル端末30を通信の相手として登録するための手続きを実行してもよい。
(ステップS103、S105)
UI15を介したユーザからの指示を受けると(ステップS103)、変位データ取得部111は、センサ部13から出力される、情報処理装置10の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す情報を、変位データとして取得する(ステップS105)。
また、変位データ取得部111は、ウェアラブル端末30の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す変位データを、ネットワークn1を介して当該ウェアラブル端末30から取得する(ステップS105)。このとき、変位データ取得部111は、ウェアラブル端末30に対して、変位データの送信を指示してもよい。また、他の一例として、変位データ取得部111は、ウェアラブル端末30からの変位データの送信を受動的に待ち受けてもよい。
以上のようにして、変位データ取得部111は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを取得する。そして、変位データ取得部111は、取得した情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、データ補間部113に出力する。
(ステップS107)
データ補間部113は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、変位データ取得部111から取得する。データ補間部113は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを相互に比較可能にするために、当該変位データ中に含まれるサンプルデータに基づき、当該変位データに対して新たなサンプルデータを補間する。なお、変位データに対して新たなサンプルデータを補間する方法については、前述した通りのため、ここでは詳細な説明は省略する。
そして、データ補間部113は、サンプルデータを補間する処理を施した、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、特徴抽出部115に出力する。
特徴抽出部115は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、データ補間部113から取得する。特徴抽出部115は、取得した各変位データから、当該変位データに含まれるサンプルデータの特徴を示す特徴値を抽出し、抽出した特徴値に基づく特徴量ベクトルを生成する。なお、変位データに含まれるサンプルデータの特徴を示す特徴値に基づき特徴量ベクトルを生成する方法については、前述した通りのため、ここでは詳細な説明は省略する。
そして、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルを、判定部117に出力する。
(ステップS109)
判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルを特徴抽出部115から取得し、取得した各特徴量ベクトルを相互に比較することで類似度を判定する。また、判定部117は、取得した各特徴量ベクトルに基づき、情報処理装置10及びウェアラブル端末30の双方が振られているか否かを判定してもよい。もちろん、判定部117は、取得した各特徴量ベクトル間の類似度の判定と、情報処理装置10及びウェアラブル端末30が振られているか否かの判定との双方を実行してもよい。なお、各特徴量ベクトル間の類似度の判定方法と、情報処理装置10及びウェアラブル端末30が振られているか否かの判定方法とについては、前述した通りのため、ここでは詳細な説明は省略する。
(ステップS113)
判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル間の類似度の比較結果に基づき、当該変位データ間が類似していると判定した場合には(ステップS111、YES)、所謂ロック機能により施された所定の制限を解除する。同様に、判定部117は、情報処理装置10及びウェアラブル端末30の双方が振られていると判定した場合には(ステップS111、YES)、所謂ロック機能により施された所定の制限を解除する。このように、判定部117は、実行した判定の結果が真の場合には、ロック機能により施された所定の制限を解除する。
(ステップS115)
もちろん、制御部11は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルが類似していない場合には(ステップS111、NO)、当該制限を解除しないことは言うまでもない。同様に、情報処理装置10及びウェアラブル端末30の双方が振られていないと判定した場合には(ステップS111、NO)、制御部11は、当該制限を解除しない。このように、判定部117は、実行した判定の結果が偽の場合には、ロック機能により施された所定の制限を解除しない。
なお、あらかじめ決められた再判定の条件を満たす場合には(ステップS115、YES)、制御部11は、再度、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データを取得して、当該変位データ間の類似度を判定し直してもよい。このことは、情報処理装置10及びウェアラブル端末30が振られているか否かの判定についても同様である。もちろん、当該再判定の条件を満たしてない場合には(ステップS115、NO)、制御部11は、制限の解除に係る一連の処理を終了すればよい。
以上、図9を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10の処理に着目して説明した。
<4.変形例>
次に、本実施形態に係る情報処理システムの変形例について説明する。
[4.1.変形例1:利用形態の一例]
まず、変形例1として、前述した実施形態に係る情報処理システムの利用形態の一例について説明する。前述した実施形態では、ユーザが、ウェアラブル端末30が装着された側の手で情報処理装置10を把持した状態で、情報処理装置10及びウェアラブル端末30の双方を振動させることで、当該情報処理装置10に施された所定の制限を解除する場合について説明した。
一方で、情報処理装置10に施された制限を解除する際に、情報処理装置10とウェアラブル端末30とを互いに異なるユーザがそれぞれ保持し、当該ユーザそれぞれが、互いに自身が保持する装置を振動させることで、当該制限を解除できるようにしてもよい。
例えば、図10は、変形例1に係る情報処理システムの概要について説明するための説明図である。図10に示す例では、ユーザUaが情報処理装置10を保持し、ユーザUbがウェアラブル端末30を保持している。このとき、ユーザUaは、ユーザUbがウェアラブル端末30を振動させる動作にあわせて、自身が保持する情報処理装置10を振動させることで、当該情報処理装置10に施された所定の制限を解除することが可能である。
一方で、図10に示す例では、情報処理装置10とウェアラブル端末30とが、互いに異なるユーザにより振動させられるため、図5を参照して前述した実施形態のように、それぞれの振動が厳密には一致せず、一方の振動に対して他方の振動が遅延する場合もある。このような影響は、一人のユーザが、情報処理装置10とウェアラブル端末30とを、互いに異なる手で振動させた場合にも表れ得るが、図10に示すように、各装置をそれぞれ異なるユーザが振動させた場合には、より顕著に顕在化する傾向にある。
そのため、変形例1に係る情報処理システムでは、情報処理装置10は、当該情報処理装置10及びウェアラブル端末30それぞれに対応する変位データ間の類似度を判定する際に、前述した実施形態(図5に示す例)に比べて閾値をより低く設定するとよい。このような構成により、情報処理装置10は、当該情報処理装置10とウェアラブル端末30とを互いに異なるユーザが振動させた場合に生じる当該振動間の誤差を許容し、所定の制限を解除することが可能となる。
このように、変位データ間の類似度の判定に用いる閾値を低く設定することで、変位データ間の誤差(即ち、情報処理装置10及びウェアラブル端末30それぞれの振動間の誤差)に対するロバスト性が向上する。
一方で、当該閾値を低く設定した場合には、変位データ間の誤差がより許容されるようになるため、当該閾値が低く設定されるほど、ユーザが意図しないタイミングで制限が解除される確率も高くなる。そのため、変位データ間の類似度の判定に用いる閾値は、想定される使用形態に応じて、事前の実験の結果等に基づき適宜設定されるとよい。
同様に、変形例1に係る情報処理システムでは、変位データ間の類似度の判定に際して少なくとも一方の変位データを時系列に沿ってシフトさせる場合に、前述した実施形態(図5に示す例)に比べてシフト量の最大値をより大きく設定するとよい。このような構成により、情報処理装置10とウェアラブル端末30とを互いに異なるユーザが振動させることで、一方の装置の振動に対して他方の装置の振動が遅延したとしても、情報処理装置10は、当該遅延を許容し、所定の制限を解除することが可能となる。
このように、変位データを時系列に沿ってシフトさせる場合のシフト量の最大値をより大きく設定することで、一方の装置の振動に対する他方の装置の振動の遅延に伴い生じる、変位データ間の誤差に対するロバスト性が向上する。そのため、例えば、当該シフト量の最大値がより大きく設定されることで、情報処理装置10とウェアラブル端末30との間の通信時に遅延が生じるような状況下でも、情報処理装置10は、通信に伴う遅延を許容して制限を解除することも可能となる。
一方で、当該シフト量の最大値を大きく設定した場合には、変位データ間の誤差がより許容されるようになるため、当該シフト量の最大値が大きく設定されるほど、ユーザが意図しないタイミングで制限が解除される確率も高くなる。そのため、変位データを時系列に沿ってシフトさせる場合のシフト量の最大値は、想定される使用形態に応じて、事前の実験の結果等に基づき適宜設定されるとよい。
このように、変位データ間の類似度を判定するための閾値や、変位データを時系列に沿ってシフトさせる場合のシフト量を、情報処理システムの使用形態にあわせて適宜調整してもよい。これにより、例えば、図10に示す例のように、ユーザUaは、ユーザUbがウェアラブル端末30を振動させる動作にあわせて、自身が保持する情報処理装置10を振動させることで、当該情報処理装置10の制限を解除することが可能となる。
[4.2.変形例2:システム構成の一例]
次に、変形例2として、本実施形態に係る情報処理システムのシステム構成の一例について、図11を参照して説明する。図11は、変形例2に係る情報処理システムの概要について説明するための説明図である。
前述した実施形態では、情報処理装置10が、当該情報処理装置10の振動に基づく変位データと、ウェアラブル端末30の振動に基づく変位データとを、1対1で比較することで、当該変位データ間の類似度を判定し、判定結果に応じて所定の制限を解除していた。これに対して変形例2では、制限を解除する際に振動させる装置の数を、2よりも大きい数に拡張させた場合の例について説明する。
図11に示すように、変形例2に係る情報処理システムは、サーバ90と、情報処理端末30a〜30dとを含む。なお、図11に示す例では、情報処理端末30a〜30dは、それぞれ異なるユーザUa〜Udに保持されている。また、図11に示す例では、サーバ90が、所定の制限を解除する主体として設定されており、当該サーバ90は、セキュリティゲート91の制限解除(即ち、ロックの解除)を制御する。
具体的には、ユーザUa〜Udそれぞれが、自身が保持する情報処理端末30a〜30dを振動させた場合に、当該情報処理端末30a〜30dのそれぞれは、筐体の位置及び向きのうち少なくともいずれかを逐次検知する。そして、当該情報処理端末30a〜30dのそれぞれは、筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す情報を、変位データとしてサーバ90に送信する。
サーバ90は、情報処理端末30a〜30dのそれぞれから変位データを取得すると、取得した各変位データ(換言すると、特徴量ベクトル)を相互に比較することによる当該変位データ間の類似度判定と、取得した各変位データが振動していることを示す特徴を持つか否かの判定とのうち、いずれかまたは双方を実行する。なお、このときサーバ90は、前述した実施形態に係る情報処理装置10と同様に、取得した変位データに対して新たなサンプルデータを補間してもよい。また、サーバ90は、前述した実施形態に係る情報処理装置10と同様に、取得した変位データに含まれる各サンプルデータの特徴を示す特徴値を抽出し、抽出した特徴値に基づく新たな変位データを生成してもよい。
そして、サーバ90は、情報処理端末30a〜30dのそれぞれから取得した変位データが類似していると判定した場合には、セキュリティゲート91の制限(例えば、ロック)を解除する。
以上、図11に示す情報処理端末30a〜30dのように、所定の制限を解除する際にユーザが振動させる装置(即ち、筐体の振動を検知し変位データを出力する装置)の数は、2以上であれば特に限定されない。
なお、ユーザが振動させる装置(例えば、情報処理端末30a〜30d)の数が増加するほど、各装置の振動が厳密に一致する確率は低くなり、当該各装置の振動間の誤差が大きくなる傾向にある。そのため、例えば、サーバ90が各装置に対応する特徴量ベクトル(例えば、変位データ)間の類似度を判定するための閾値は、ユーザが振動させる装置の数に応じて、事前の実験の結果等に基づき適宜設定されるとよい。
また、サーバ90は、ユーザが振動させる装置の数に応じて、各装置に対応する特徴量ベクトル間の類似度を判定するための閾値を動的に変更してもよい。この場合には、サーバ90は、例えば、ユーザが振動させる装置の数が増加するほど、よりロバスト性が向上するように(例えば、閾値がより低くなるように)、当該閾値を変更すればよい。
同様に、ユーザが振動させる装置の数が増加するほど、各装置の振動が厳密に同期する確率は低くなる。そのため、サーバ90が変位データを時系列に沿ってシフトさせる場合のシフト量の最大値は、ユーザが振動させる装置の数に応じて、事前の実験の結果等に基づき適宜設定されるとよい。
また、サーバ90は、ユーザが振動させる装置の数に応じて、変位データを時系列に沿ってシフトさせる場合のシフト量の最大値を動的に変更してもよい。この場合には、サーバ90は、例えば、ユーザが振動させる装置の数が増加するほど、よりロバスト性が向上するように(例えば、シフト量の最大値がより大きくなるように)、当該最大値を変更すればよい。
また、図11に示すサーバ90と情報処理端末30a〜30dとの関係のように、複数の特徴量ベクトル間の類似度を判定して制限を解除する装置と、ユーザが振動させる装置(即ち、筐体の振動を検知し変位データとして出力する装置)とは、互い異なる装置として構成されていてもよい。もちろん、前述した実施形態に係る情報処理システム(例えば、図5及び図6)のように、ユーザが振動させる装置のいずれかが、複数の特徴量ベクトル間の類似度を判定して制限を解除するように構成されていてもよい。
なお、図11に示す例の場合には、サーバ90と、情報処理端末30a〜30dのそれぞれとが、ネットワーク介して接続されていればよく、情報処理端末30a〜30d中の各装置間は、必ずしもネットワークを介して接続されていなくてもよい。なお、この場合には、情報処理端末30a〜30dのそれぞれが、サーバ90の通信の相手として登録されることになる。即ち、サーバ90が、情報処理端末30a〜30dそれぞれを通信の相手として認識することで、当該情報処理端末30a〜30dが間接的に関連付けられることとなる。
また、図11に示すサーバ90とセキュリティゲート91との関係のように、所定の制限を解除する主体と、当該制限解除の対象となる客体とは、互い異なる装置として構成されていてもよい。もちろん、前述した実施形態に係る情報処理システム(例えば、図5及び図6)のように、所定の制限を解除する主体と、当該制限解除の対象となる客体とが、同じ装置内に設けられていてもよい。
以上、変形例2として、図11を参照して、本実施形態に係る情報処理システムのシステム構成の一例として、制限を解除する際に振動させる装置の数を、2より大きい数に拡張させた場合の例について説明した。
[4.3.変形例3:制限の解除に係る制御例]
次に、変形例3として、本実施形態に係る情報処理システムによる、制限の解除に係る制御の一例について説明する。
前述した実施形態に係る情報処理システムでは、例えば、情報処理装置10及びウェアラブル端末30それぞれを振動させた場合の各変位データを波形データとみなし、その波形のスペクトル情報を特徴値として、特徴量ベクトルを生成していた。具体的には、前述した実施形態に係る情報処理システムでは、例えば、フーリエ変換や三角多項式基底による回帰により、情報処理装置10及びウェアラブル端末30それぞれで検出された変位データが示す波形からスペクトルを抽出していた。このように、前述した実施形態に係る情報処理システムでは、情報処理装置10及びウェアラブル端末30それぞれで検出された、ユーザの周期的な動作(換言すると、周波数の時間変化が小さい動作)の検出結果を対象として、制限の解除に係る判定を行っていた。
これに対して、変形例3では、ユーザの瞬間的な動作(換言すると、周波数の時間変化が大きい動作)の検出結果を対象として、制限の解除に係る判定を行う場合の、本実施形態に係る情報処理システムによる、当該制限の解除に係る制御の一例について説明する。なお、本説明では、前述した実施形態に係る情報処理システムと異なる部分として、特に、特徴抽出部115及び判別部117の動作に着目して説明し、その他の構成については、詳細な説明は省略する。
(特徴抽出部115)
変形例3に係る情報処理システムでは、特徴抽出部115は、取得された情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データから、所定の時間内に検出された瞬間的な位置や向きの大きな変化(以降では、「瞬間的な動作」と称する場合がある)を検出する。なお、このとき情報処理装置10及びウェアラブル端末30のうち、一部からのみ瞬間的な動作が検出された場合(即ち、他の一部から瞬間的な動作が検出されなかった場合)には、以降の処理は行われず、制限の解除は行われない。
特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データから瞬間的な動作が検出された場合には、対応する変位データから当該動作が検出されたタイミングを含む所定の時間幅分のデータを抽出する。具体的な一例として、特徴抽出部115は、瞬間的な動作が検出されたタイミングの前後所定秒分のデータを、対応する変位データから抽出する。
次いで、特徴抽出部115は、変位データから抽出した所定の時間幅分のデータに対してウェーブレット解析を施す(即ち、当該データをウェーブレット変換する)ことで、当該ウェーブレット解析の結果として当該所定の時間幅分のデータから特徴量を抽出する。なお、以降では、ウェーブレット解析に基づき抽出される特徴量を、「ウェーブレット特徴」と記載する場合がある。
ここで、ウェーブレット解析の概略について説明する。ウェーブレット解析とは、時系列に沿った変位データ(即ち、抽出された所定幅分のデータ)f(t)から、マザーウェーブレットψ(t)を、時間bだけシフトさせ、時間方向にaだけひきのばした成分を、各(a,b)ごとにウェーブレット特徴W(a,b)として抽出する処理に相当する。具体的な一例として、ウェーブレット特徴W(a,b)は、以下に示す(式2)に基づき算出される。
なお、マザーウェーブレットψ(t)として使用されるデータは特に限定されない。例えば、図13及び図14は、マザーウェーブレットψ(t)の一例を示した図である。図13は、「Shannonウェーブレット」と呼ばれる、マザーウェーブレットψ(t)の一例である。また、図14は、「Mexican Hat」と呼ばれる、マザーウェーブレットψ(t)の一例である。また、マザーウェーブレットψ(t)の他の一例としては、「Daubechiesウェーブレット」、「Meyerウェーブレット」、及び「Gaborウェーブレット」等が挙げられる。
以上のようにして、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれの変位データからウェーブレット特徴W(a,b)を抽出し、抽出した各ウェーブレット特徴W(a,b)を特徴値として特徴量ベクトルを生成する。そして、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれについて生成された特徴量ベクトルを、判定部117に出力する。
なお、上記に示す例では、情報処理装置10の特徴抽出部115が、情報処理装置10及びウェアラブル端末30それぞれの変位データからウェーブレット特徴W(a,b)を抽出し、特徴量ベクトルを生成する例について説明したが、必ずしも同構成には限定されない。具体的な一例として、情報処理装置10及びウェアラブル端末30それぞれで、変位データからウェーブレット特徴W(a,b)を抽出してもよい。この場合には、ウェアラブル端末30は、変位データからウェーブレット特徴W(a,b)を抽出した場合(即ち、瞬間的な動作が検出された場合)に、抽出したウェーブレット特徴W(a,b)に基づき特徴量ベクトルを生成し、当該特量ベクトルを情報処理装置10に送信してもよい。
(判定部117)
判定部117は、特徴抽出部115から、情報処理装置10及びウェアラブル端末30それぞれについて生成された特徴量ベクトル(即ち、ウェーブレット特徴W(a,b)を特徴値として生成された特徴量ベクトル)を取得する。そして、判定部117は、情報処理装置10及びウェアラブル端末30それぞれについて取得した特徴量ベクトルに基づき、所謂ロック機能により施された所定の制限を解除するか否かを判定する。
このとき、判定部117は、前述した実施形態に係る情報処理システムの場合と同様に、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル間の類似度に基づき、所定の制限を解除するか否かを判定してもよい。
また、他の一例として、判定部117は、情報処理装置10及びウェアラブル端末30の特徴量ベクトルそれぞれに対して、個別に所定の認識処理を実行し、当該認識処理の結果を比較することで、所定の制限を解除するか否かを判定してもよい。
例えば、図15は、変形例3に係る情報処理システムにおける、制限の解除に係る概略的な制御の一例について説明するための説明図である。
図15に示す例では、判定部117は、情報処理装置10に対応する変位データDaに基づき生成された特徴量ベクトル(xa1,xa2・・・,xan)を、認識器Aに入力する。認識器Aは、SVM、boosting、及びロジスティック回帰等の技術を利用して生成された識別関数fa(xa1,xa2・・・,xan)に基づき、入力された特徴量ベクトルが、所定の動作の特徴を示す特徴量ベクトルか否かを認識し、認識結果Raを出力する。なお、所定の動作の具体的な一例としては、ユーザが情報処理装置10を保持した手をひねったときの、当該情報処理装置10の動作が挙げられる。もちろん、当該動作は、あくまで一例であり、必ずしも当該動作に限定されないことは言うまでもない。
同様に、判定部117は、ウェアラブル端末30に対応する変位データDbに基づき生成された特徴量ベクトル(xb1,xb2・・・,xbm)を、認識器Bに入力する。認識器Bは、SVM、boosting、及びロジスティック回帰等の技術を利用して生成された識別関数fb(xb1,xb2・・・,xbm)に基づき、入力された特徴量ベクトルが、所定の動作の特徴を示す特徴量ベクトルか否かを認識し、認識結果Rbを出力する。
ここで、入力された特徴量ベクトルが、所定の動作の特徴を示す特徴量ベクトルか否かを認識するための識別関数の一例として、線形識別関数、カーネル識別関数、及び非線形識別関数それぞれの一例について以下に示す。例えば、以下に示す(式3)は、線形識別関数の一例を示している。なお、以降では、式中において変数xをベクトルとして示した値(即ち、xのベクトル値)は、特徴量ベクトルを示している。
なお、上記に示す(式3)の右辺におけるシグマ内の第2項に示された関数は、基底関数に相当する。当該基底関数の一例として、以下に(式4)〜(式6)として示された基底関数が挙げられる。例えば、以下に示す(式4)は、多項式基底に基づく基底関数の一例を示している。
また、以下に示す(式5)は、ガウス基底に基づく基底関数の一例を示している。
同様に、以下に示す(式6)は、三角多項式基底に基づく基底関数の一例を示している。
また、以下に示す(式7)は、カーネル識別関数の一例を示している。
なお、上記に示す(式7)の右辺におけるシグマ内の第2項に示された関数は、基底関数に相当する。なお、当該基底関数内においてxiのベクトル値として示された変数は、何らかの特徴量ベクトルを示している。例えば、以下に示す(式8)は、ガウスカーネルに基づく基底関数の一例を示している。
また、以下に示す(式9)は、非線形識別関数の一例を示している。
なお、上記に示す(式9)の右辺におけるシグマ内の第2項に示された関数は、基底関数に相当する。当該基底関数の一例として、以下に(式10)及び(式11)として示された基底関数が挙げられる。例えば、以下に示す(式10)は、シグモイド関数として規定された基底関数の一例を示している。
また、以下に示す(式11)は、ガウス関数として規定された基底関数の一例を示している。
なお、上記に示した(式2)〜(式11)それぞれにおける各係数(例えば、θi、αi、及びβiのベクトル値)は、例えば、認識対象となる特徴量ベクトルが所定の動作の特徴を示すデータである場合と、所定の動作とは異なる動作を示すデータの場合とで、認識結果がより乖離するように設定されることが望ましい。具体的な一例として、認識対象となる特徴量ベクトルが、所定の動作を示すデータか否かが、可能な限り誤りが少なく識別されるように、多くの標本データ(換言すると、機械学習に基づき蓄積された教師データ)を利用して、各係数が決定されることがより望ましい。
このような構成により、判別部117は、例えば、特徴量ベクトルに対する認識処理の結果が、あらかじめ決められた閾値以上か否かに応じて、当該特徴量ベクトルが、所定の動作の特徴を示すデータか否かを認識することが可能となる。
以上のようにして、判定部117は、情報処理装置10及びウェアラブル端末30の特徴量ベクトルそれぞれに対して、個別に所定の認識処理を実行し、それぞれの認識結果Ra及びRbを取得する。そして、判定部117は、情報処理装置10及びウェアラブル端末30のそれぞれについて取得した認識結果(即ち、認識結果Ra及びRb)に基づき、所定の制限を解除するか否かを判別する。
具体的な一例として、判定部117は、取得した認識結果Ra及びRbを比較し、当該比較結果に基づき、認識結果Ra及びRbが類似していると判断した場合には、所定の制限を解除してもよい。
また、他の一例として、判定部117は、取得した認識結果Ra及びRbの双方が、対応する特徴量ベクトル(即ち、情報処理装置10及びウェアラブル端末30に対応する特徴量ベクトル)が、所定の動作の特徴を示すデータであることを示している場合には、所定の制限を解除してもよい。
なお、上記に示した、情報処理装置10及びウェアラブル端末30の特徴量ベクトルそれぞれに対して実行される各認識処理(即ち、図15に示す関数fa及びfb)は、当該特徴量ベクトルが所定の動作(換言すると、情報処理装置10及びウェアラブル端末30間で共通の動作)の特徴を示すデータか否かを認識できれば、必ずしも同一の認識処理である必要はない。
また、上記に示す例では、情報処理装置10の判定部117により、情報処理装置10及びウェアラブル端末30の特徴量ベクトルそれぞれに対する認識処理(即ち、図15に示す関数fa及びfb)を実行する例について説明したが、必ずしも同構成には限定されない。具体的な一例として、情報処理装置10及びウェアラブル端末30それぞれが、自身に対応する特徴量ベクトルに対する認識処理を実行してもよい。この場合には、例えば、ウェアラブル端末30は、自身に対応する特徴量ベクトルに対して認識処理(即ち、図15に示す関数fb)を実行し、当該認識処理の結果(即ち、図15に示す認識結果Rb)を情報処理装置10に送信してもよい。
また、図15を参照しながら説明した判定部117の動作は、変形例3に係る情報処理システムに限らず、例えば、前述した実施形態に係る情報処理システムにおける判定部117の動作として適用してもよい。
以上、図13〜図15を参照して、変形例3に係る情報処理システムによる、制限の解除に係る制御の一例について説明した。
なお、上記に説明したように、変形例3に係る特徴抽出部115は、瞬間的な動作(即ち、瞬間的な位置や向きの大きな変化)を検出した場合に、検出された変位データから、当該動作が検出されたタイミングを基点として処理対象となるデータを抽出する。そのため、変形例3に係る情報処理システムによれば、ボタンやタッチパネルなどに対するユーザの操作(即ち、制限を解除するための所定の動作以外のデータ取得のための操作)を伴わずに、所定の制限の解除に係る判定のためのデータを取得することが可能となる。
また、上記に説明したように、変形例3に係る情報処理システムは、瞬間的な動作が検出されたたタイミングを基点として処理対象となるデータが抽出されるため、情報処理装置10とウェアラブル端末30との間で、必ずしも時刻が同期していなくてもよい。特に、ウェアラブル端末30のように、消費電力がより低減されるように動作が制御される端末では、時刻に関する情報の精度が低下している(即ち、時刻に誤差が生じている)場合がある。このような状況下においても、変形例3に係る情報処理システムに依れば、瞬間的な動作が検出されたタイミングに基づき、情報処理装置10及びウェアラブル端末30それぞれのデータ間(例えば、変位データ間)で時刻の同期を行うことが可能となる。
特に、変形例3に係る情報処理システムによれば、ユーザの瞬間的な動作(換言すると、情報処理装置10及びウェアラブル端末30の瞬間的な動作)の検出結果を対象として、制限の解除に係る判定を実行する。このような構成により、変形例3に係る情報処理システムは、ユーザが意識的に行った、情報処理装置10及びウェアラブル端末30の各装置に対する動作と、無意識に行った動作とをより明確に識別することが可能となる。即ち、変形例3に係る情報処理システムに依れば、ユーザが無意識に行った動作の認識に伴い、制限が解除されるといった事態の発生を防止することが可能となる。
[4.4.変形例4:情報提示の一例]
次に、変形例4として、本実施形態に係る情報処理システムにおいて、所定の制限を解除する際にユーザに対する情報提示の一例について説明する。
上記に説明したように、本実施形態に係る情報処理システムでは、ユーザは、情報処理装置10及びウェアラブル端末30の双方を動作させる(例えば、振動させる)ことで、所定の制限を解除することが可能である。特に、前述した変形例3に係る情報処理システムでは、ユーザは、所定の制限を解除するために、所望のタイミングで情報処理装置10及びウェアラブル端末30の双方を瞬間的に動作させればよい。そのため、当該情報処理システムでは、当該瞬間的な動作以外の、情報処理装置10またはウェアラブル端末30に対する明示的な操作を、必ずしも必要としない。このような構成のため、本実施形態に係る情報処理システムでは、所定の制限を解除する際に、ユーザに対して必ずしも当該制限を解除するための専用の操作画面を提示する必要はない。
そのため、変形例4に係る情報処理システムは、操作画面として、既存の制限解除機能に基づく操作画面を情報処理装置10またはウェアラブル端末30の表示部に提示してもよい。なお、既存の制限解除機能としては、例えば、図2を参照して説明した比較例1に係る制限解除機能(即ち、スライダ操作に伴う制限解除機能)や、図3を参照して説明した比較例2に係る制限解除機能(即ち、操作パターンの入力に伴う制限解除機能)等が挙げられる。
このような場合には、変形例4に係る情報処理システムは、提示した操作画面に対してユーザが制限解除に係る操作を行った場合には、既存の制限解除機能に基づき、所定の制限を解除するか否かを判定してもよい。
このような構成により、ユーザは、所定の制限を解除する場合に、情報処理システムに対して、前述した実施形態及び各変形例に係る制限解除のための機能と、既存の制限解除機能とのいずれかを、選択的に実行させることが可能となる。
また、他の一例として、変形例4に係る情報処理システムは、前述した実施形態及び各変形例に係る制限解除のための機能を実行した場合に、当該機能の実行結果に基づく情報を、ユーザに対して提示してもよい。
例えば、変形例4に係る情報処理システムは、情報処理装置10及びウェアラブル端末30の双方の動作に基づき、所定の制限を解除しなかった場合に、「制限を解除しない」と判定した要因をユーザに対して提示してもよい。
具体的な一例として、情報処理システムは、ウェアラブル端末30から変位データを取得できなった場合に、当該変位データの取得に失敗したことをユーザに対して提示してもよい。また、このとき、情報処理システムは、ウェアラブル端末30からの変位データの取得に失敗した要因をユーザに提示してもよい。ウェアラブル端末30からの変位データの取得に失敗する要因としては、例えば、情報処理装置10とウェアラブル端末30との間の通信に失敗した場合や、ウェアラブル端末30側の電源がオフの場合等が挙げられる。
また、情報処理システムは、前述した実施形態及び各変形例に係る制限解除のための機能のオン及びオフが、ユーザ操作により切り替え可能に構成されていてもよい。このような構成のもと、変形例4に係る情報処理システムは、当該制限解除のための機能がオフになっている場合に、ユーザが当該機能による制限解除のための動作を行った場合に、当該機能がオフとなっていることをユーザに提示してもよい。
また、他の一例として、変形例4に係る情報処理システムは、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルに基づく判定結果を、ユーザに提示してもよい。具体的な一例として、情報処理システムは、情報処理装置10及びウェアラブル端末30それぞれの特徴量ベクトル間における類似度の判定結果を数値化し、当該数値をユーザに対して提示してもよい。これにより、ユーザは、所定の動作(例えば、情報処理装置10及びウェアラブル端末30の各装置を振動させる動作や、当該装置を保持した手をひねるような動作)に基づき制限が解除されなかった場合に、情報処理装置10及びウェアラブル端末30のそれぞれの動作が、どのくらい異なっていたかを視覚的に認識することが可能となる。
以上のように、変形例4に係る情報処理システムは、前述した実施形態及び各変形例に係る制限解除のための機能の実行結果に基づく情報を提示することで、ユーザが次にとるべき行動を、当該ユーザに対して直接的または間接的に示してもよい。
<5.ハードウェア構成>
次に、図12を参照して、本開示の各実施形態に係る情報処理装置10のハードウェア構成の一例について説明する。図12は、本開示の実施形態に係る情報処理装置10のハードウェア構成の一例を示した図である。
図12に示すように、本実施形態に係る情報処理装置10は、プロセッサ901と、メモリ903と、ストレージ905と、操作デバイス907と、表示デバイス909と、通信デバイス911と、検出デバイス913と、バス915とを含む。
プロセッサ901は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)又はSoC(System on Chip)であってよく、情報処理装置10の様々な処理を実行する。プロセッサ901は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した制御部11の各構成は、プロセッサ901により実現され得る。
メモリ903は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ905は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。
操作デバイス907は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス907は、例えば、タッチパネルとして構成され得る。また、他の一例として、操作デバイス907は、例えばボタン及びスイッチなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ901に供給する入力制御回路などから構成されてよい。なお、前述した操作部151は、操作デバイス907により実現され得る。
表示デバイス909は、出力デバイスの一例であり、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイなどのデバイスであってよい。この場合には、表示デバイス909は、画面を表示することにより、ユーザに対して所定の情報を提示することができる。なお、前述した表示部153は、表示デバイス909により実現され得る。
通信デバイス911は、情報処理装置10が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス911は、有線または無線用の通信インタフェースである。通信デバイス911を、無線通信インタフェースとして構成する場合には、当該通信デバイス911は、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサなどを含んでもよい。
通信デバイス911は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ901に供給することが可能である。なお、前述した通信部17は、通信デバイス911により実現され得る。
検出デバイス913は、情報処理装置10の筐体の位置や向きの変化を検出するためのデバイスである。検出デバイス913は、例えば、加速度センサや角速度センサ等の各種センサにより構成され得る。なお、前述したセンサ部13は、検出デバイス913により実現され得る。
バス915は、プロセッサ901、メモリ903、ストレージ905、操作デバイス907、表示デバイス909、通信デバイス911、及び検出デバイス913を相互に接続する。バス915は、複数の種類のバスを含んでもよい。
また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置10が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
<6.まとめ>
以上説明したように、本実施形態に係る情報処理システムでは、情報処理装置10は、当該情報処理装置10とウェアラブル端末30とのそれぞれについて、振動に基づく筐体の位置及び向きの少なくともいずれかの時系列に沿った変化を、直接的または間接的に示した特徴量ベクトル(例えば、変位データ)を取得する。そして、情報処理装置10は、当該情報処理装置10とウェアラブル端末30とのそれぞれについて取得した特徴量ベクトルに基づき、ロック機能により施された所定の制限を解除する。具体的には、情報処理装置10は、情報処理装置10及びウェアラブル端末30の各特徴量ベクトルに基づき、情報処理装置10とウェアラブル端末30とのそれぞれが振られているか否かの判定と、それぞれの特徴量ベクトルの類似度の判定との、いずれかまたは双方を実行する。そして、情報処理装置10は、実行した判定の結果に基づき、ロック機能により施された所定の制限を解除する。
このような構成により、本実施形態に係る情報処理システムでは、取得される特徴量ベクトルとして、制限を解除するたびに異なるデータが生成されることになる。そのため、本実施形態に係る情報処理システムによれば、所謂ショルダーハッキング等の盗み見による制限解除のための情報の漏えいに伴い、悪意のあるユーザにより不正に制限が解除されるといった事態の発生を抑止することが可能となる。
また、本実施形態に係る情報処理システムでは、悪意のあるユーザは、情報処理装置10単体では、当該情報処理装置10の制限を解除することが困難である。即ち、悪意のあるユーザが、情報処理装置10の制限を解除しようとした場合には、情報処理装置10及びウェアラブル端末30の双方を共に取得する必要がある。また、情報処理装置10及びウェアラブル端末30の所有者が、当該情報処理装置10及びウェアラブル端末30の双方を同時に紛失するといった事態は、いずれか一方のみを紛失する事態よりも発生する確率が低いことは言うまでもない。そのため、本実施形態に係る情報処理システムは、運用の観点からも、比較的高いセキュリティを確保することが可能となる。
また、本実施形態に係る情報処理システムでは、ユーザは、制限を解除する場合に、情報処理装置10及びウェアラブル端末30の双方を意識的に振動させる必要がある。そのため、比較例4(図4参照)として前述した例のように、ユーザが意図しないタイミングで制限が解除されるといった事態の発生を防止することが可能となる。
また、本実施形態に係る情報処理システムでは、ユーザは、制限を解除する場合に、情報処理装置10及びウェアラブル端末30の双方を振動させればよく、当該制限の解除のために複雑な手順を要しない。
また、本実施形態に係る情報処理システムは、情報処理装置10及びウェアラブル端末30が、相互にデータを送受信するための通信デバイスや、筐体の振動を検出するためのセンサ(例えば、加速度センサ)を備えていれば実現することが可能である。これらのデバイスは、所謂スマートフォン等のような携帯型の情報処理装置には、近年では一般的に設けられているデバイスである。そのため、情報処理装置10及びウェアラブル端末30に対して特殊なデバイスを設けることなく、既存のデバイスを利用することで、上述した本実施形態に係る情報処理システムを実現することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
あらかじめ関連付けられた互いに異なる複数の装置それぞれの筐体の、位置及び向きのうち少なくともいずれかの時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを取得する取得部と、
取得された前記複数の装置それぞれに対応する前記特徴量ベクトルに基づき、あらかじめ施された所定の制限を解除する制御部と、
を備える情報処理装置。
(2)
前記取得部は、前記複数の装置うちの一の装置の前記筐体内に設けられ、当該一の装置にネットワークを介して接続された他の装置から、当該他の装置に対応する前記特徴量ベクトルを取得する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき当該特徴量ベクトル間の類似度を判定し、当該判定結果に基づき前記所定の制限を解除する、前記(1)に記載の情報処理装置。
(4)
前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の統計的距離に基づき、前記類似度を判定する、前記(3)に記載の情報処理装置。
(5)
前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の時系列に沿った相関関係に基づき、前記類似度を判定する、前記(3)に記載の情報処理装置。
(6)
前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の相互情報量に基づき、前記類似度を判定する、前記(3)に記載の情報処理装置。
(7)
前記制御部は、機械学習に基づきあらかじめ蓄積された、前記複数の装置それぞれに対応する前記特徴量ベクトルと、抽出された当該特徴量ベクトル間の類似度の判定結果とを対応付けた教師データに基づき、取得された前記複数の装置それぞれに対応する前記特徴量ベクトル間の類似度を判定する、前記(3)に記載の情報処理装置。
(8)
前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトルのうち、少なくともいずれかを時系列に沿ってシフトさせ、当該シフト後の当該特徴量ベクトルに基づき、前記類似度を判定する、前記(3)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の統計的距離がより小さくなるように、当該特徴量ベクトルのうち、少なくともいずれかを時系列に沿ってシフトさせる、前記(8)に記載の情報処理装置。
(10)
前記制御部は、あらかじめ決められた時間幅を超えない範囲内で、前記複数の装置それぞれに対応する前記特徴量ベクトルのうち、少なくともいずれかを時系列に沿ってシフトさせる、前記(8)または(9)に記載の情報処理装置。
(11)
前記制御部は、
前記複数の装置それぞれに対応する前記特徴量ベクトルそれぞれに対して、当該特徴量ベクトルが、対応する当該装置の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った所定の変化の特徴を示すか否かを認識するための認識処理を実行し、
当該特徴量ベクトルそれぞれに対する当該認識処理の結果に基づき、あらかじめ施された所定の制限を解除する、前記(1)に記載の情報処理装置。
(12)
前記複数の装置それぞれに対応する前記特徴量ベクトルから、当該特徴量ベクトル中のサンプルデータの特徴を示す特徴値を抽出し、抽出した特徴値に基づく新たな特徴量ベクトルを生成する特徴抽出部を備え、
前記制御部は、前記複数の装置それぞれに対応する前記新たな特徴量ベクトル間の比較に基づき、前記制限を解除する、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記特徴抽出部は、前記特徴量ベクトルに対する主成分分析に基づき、当該特徴量ベクトル中に含まれる各サンプルデータの時系列に沿った主成分方向の変位を前記特徴値として抽出する、前記(12)に記載の情報処理装置。
(14)
前記特徴抽出部は、前記複数の装置それぞれに対応する前記特徴量ベクトルに対する正準相関分析に基づき、当該特徴量ベクトル間で時系列に沿った変位の相関関係の高い方向をそれぞれ特定し、当該特徴量ベクトルそれぞれに含まれる各サンプルデータの時系列に沿った、特定された当該方向の変位を前記特徴値として抽出する、前記(12)に記載の情報処理装置。
(15)
前記特徴量ベクトルに含まれる、前記時系列に沿った変化それぞれを示すサンプルデータに基づき、当該特徴量ベクトルに対して、新たなサンプルデータを補間するデータ補間部を備え、
前記制御部は、前記新たなサンプルデータが補間された、前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき、前記制限を解除する、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記データ補間部は、多項式補間に基づき、前記特徴量ベクトルに対して、前記新たなサンプルデータを補間する、前記(15)に記載の情報処理装置。
(17)
前記データ補間部は、線型回帰に基づき、前記特徴量ベクトルに含まれる前記サンプルデータを示すモデルを構成し、当該モデルに基づき、前記新たなサンプルデータを補間する、前記(15)に記載の情報処理装置。
(18)
前記複数の装置のうち、少なくともいずれかの装置は、人体に装着されて使用され得るウェアラブルデバイスである、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
あらかじめ関連付けられた互いに異なる複数の装置それぞれの筐体の、位置及び向きのうち少なくともいずれかの時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを取得することと、
プロセッサが、取得された前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき、あらかじめ施された所定の制限を解除することと、
を含む情報処理方法。
(20)
筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を検出する検出部を含む複数の装置と、
検出された前記時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを、前記複数の装置それぞれについて取得する取得部と、
取得された前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき、あらかじめ施された所定の制限を解除する制御部と、
を備える情報処理システム。