JP6839053B2 - 判定装置、判定方法、および、判定プログラム - Google Patents

Description

本発明は、判定装置、判定方法、および、判定プログラムに関する。

通常、デバイスもしくはシステム利用者の本人性の確認には、ID/PASSWORD認証や生体認証等の本人認証技術が用いられる。しかし、上記認証技術で本人性を確認できるのは、認証の瞬間のみであり、認証後にデバイスを利用している人が、認証を受けた人かどうかまでは保証できない。

認証の瞬間だけでなく、継続的な本人性確認が可能な技術として、リストバンド型のウェアラブルデバイスを用いた認証技術がある（非特許文献１参照）。この技術は、まず、事前に被認証機（ウェアラブルデバイス）と正規ユーザの心電図とを登録しておく。そして、ウェアラブルデバイスの装着時にユーザの心電図による生体認証を行い、認証ＯＫだった場合、当該ウェアラブルデバイスからの無線通信の圏内にある認証端末（例えば、データ入力デバイス）のロックを解除する。また、ウェアラブルデバイスの脱着に伴い、生体信号の入力が失われた場合には、認証状態を解除し、データ入力デバイスを再度ロックすることで、データ入力デバイスが不正に第三者に操作されることを防止する。

Nymi、［平成29年8月5日検索］、インターネット＜URL：https://nymi.com/＞

上記のようなウェアラブルデバイスを用いた認証において、データ入力デバイスのロックが解除された後、データ入力デバイスに別の人物が操作を行うおそれもある。そこで、データ入力デバイスのロックが解除された後における、当該データ入力デバイスへのキー入力のログと、ウェアラブルデバイスの動きを示すセンサデータとを照合することで、データ入力デバイスへの操作者と、ウェアラブルデバイスの装着者とが同一人物であるか否かを判定する（同一人物性の判定を行う）ことも考えられる。

ここで、データ入力デバイスがタブレット端末やスマートフォン等の場合、上記のようなキー入力のみならず、画面上でのスワイプ、タップ等による操作が行われることも多いが、データ入力デバイスの画面上でのスワイプ、タップ等のキー入力以外による操作に対しても、データ入力デバイスの操作者と、ウェアラブルデバイスの装着者とが同一人物であるか否かを判定する技術は検討されていなかった。

そこで、本発明は、データ入力デバイスの画面上でのスワイプ、タップ等のキー入力以外による操作に対しても、データ入力デバイスの操作者と、ウェアラブルデバイスの装着者とが同一人物であるか否かを判定することを課題とする。

前記した課題を解決するため、本発明は、各時刻におけるウェアラブルデバイスの装着者の手または腕の動きを示すセンサデータを取得するセンサデータ取得部と、データ入力デバイスの画面上での操作が行われた時刻と、前記時刻における操作の内容とを取得するデータ入力デバイスデータ取得部と、前記取得されたデータ入力デバイスの画面上での操作の内容と、前記操作が行われた時刻と同じ時刻における前記センサデータの示す操作の内容とが一致する場合、前記データ入力デバイスの操作者は前記ウェアラブルデバイスの装着者と同一人物であると判定する判定部とを備えることを特徴とする。

本発明によれば、データ入力デバイスの画面上でのスワイプ、タップ等のキー入力以外による操作に対しても、データ入力デバイスの操作者と、ウェアラブルデバイスの装着者とが同一人物であるか否かを判定することができる。

図１は、基本の実施形態の概要を説明するための図である。 図２は、基本の実施形態の判定システムの構成例を示す図である。 図３は、第１の実施形態の判定システムの概要を説明するための図である。 図４は、第１の実施形態の判定システムの構成例を示す図である。 図５は、図４の判定システムの処理手順の例を示すフローチャートである。 図６は、第２の実施形態の判定システムの概要を説明するための図である。 図７は、第２の実施形態の判定システムの構成例を示す図である。 図８は、図７の判定システムの処理手順の例を示すフローチャートである。 図９は、判定プログラムを実行するコンピュータを示す図である。

以下、図面を参照しながら、本発明の実施形態を第１の実施形態と第２の実施形態とに分けて説明する。本発明は各実施形態に限定されない。ここではまず各実施形態の基本となる実施形態に説明する。

［基本の実施形態］
まず、図１を用いて、各実施形態の基本となる実施形態の概要を説明する。本実施形態の判定システムにおいて、データ入力デバイス２０の正規ユーザは、加速度センサ等のセンサを備えるウェアラブルデバイス１０を装着するものとする。つまり、判定システムは、ユーザにより装着されるウェアラブルデバイス１０と、ユーザによる各種操作を受け付けるデータ入力デバイス２０とを備える。なお、このウェアラブルデバイス１０が、正規ユーザにより装着されていることは運用面で確認されるものとする。

判定システムは、各時刻におけるウェアラブルデバイス１０の装着者（ユーザ）の手または腕の動きを示すセンサデータ（例えば、加速度データ）を取得する。また、判定システムは、データ入力デバイス２０から、データ入力デバイスデータを取得する。このデータ入力デバイスデータは、例えば、各時刻におけるユーザの画面上での操作の種類（例えば、タップ、ダブルタップ、左スワイプ、右スワイプ、上スクロール、下スクロール等）、画面上での入力座標（例えば、タッチイベントの始点から終点までの入力座標）等のデータ入力デバイス２０の画面上での操作の内容を示すデータである。

そして、判定システムは、データ入力デバイス２０の画面上での操作の内容と、当該操作が行われた時刻と同じ時刻におけるウェアラブルデバイス１０のセンサデータの示す操作内容とを照合することにより、データ入力デバイス２０の操作者と、ウェアラブルデバイス１０の装着者とが同一人物か否かを判定する（同一人物性判定を行う）。

つまり、判定システムは、データ入力デバイス２０の画面上での操作の内容と、当該操作が行われた時刻と同じ時刻におけるウェアラブルデバイス１０のセンサデータの示す操作内容とが同じであれば、データ入力デバイス２０の操作者は、ウェアラブルデバイス１０の装着者と同一人物と判定する。一方、判定システムは、データ入力デバイス２０の画面上での操作の内容と、当該操作が行われた時刻と同じ時刻におけるウェアラブルデバイス１０のセンサデータの示す操作内容とが同じでなければ、データ入力デバイス２０の操作者は、ウェアラブルデバイス１０の装着者と同一人物ではないと判定する。

次に、判定システムの構成例を説明する。図２に示すように、例えば、判定システムは、ウェアラブルデバイス１０と、データ入力デバイス２０と、判定サーバ（判定装置）３０とを備える。各デバイス、サーバの台数は図２に示す台数に限定されない。

ウェアラブルデバイス１０は、センサデータ取得部１１を備える。このセンサデータ取得部１１は、当該ウェアラブルデバイス１０の動きを示すセンサデータ（例えば、加速度データ、角速度データ、地磁気データ等）を取得し、タイムスタンプ等の時刻情報を付して、無線通信等によりデータ入力デバイス２０へ送信する。このウェアラブルデバイス１０は、例えば、データ入力デバイス２０の画面上での操作を行う側の腕（例えば、画面上でのタッチ操作やスタイラスペンを握る側の腕）等に装着される。これにより、ウェアラブルデバイス１０は当該ウェアラブルデバイス１０の装着者の画面上での操作時における手または腕の動きを示すセンサデータを取得することができる。

データ入力デバイス２０は、マウス、スタイラスペン、指を用いた画面上でのタッチ操作等により入力操作を受け付ける。このデータ入力デバイス２０は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等により実現される。このデータ入力デバイス２０は、操作内容取得部２１と、データ送信部２２とを備える。

操作内容取得部２１は、データ入力デバイス２０の画面上での操作の内容と、当該操作が行われた時刻とを取得する。また、データ送信部２２は、ウェアラブルデバイス１０から送信された各時刻におけるセンサデータと、操作内容取得部２１により取得された操作の内容および当該操作が行われた時刻（データ入力デバイスデータ）とを判定サーバ３０へ送信する。

判定サーバ３０は、データ入力デバイス２０の操作者とウェアラブルデバイス１０の装着者とが同一人物であるか否かを判定する。この判定サーバ３０は、センサデータ取得部３１と、データ入力デバイスデータ取得部３２と、判定部３３とを備える。

センサデータ取得部３１は、データ入力デバイス２０から送信された、各時刻におけるウェアラブルデバイス１０のセンサデータを取得する。データ入力デバイスデータ取得部３２は、データ入力デバイス２０から送信されたデータ入力デバイスデータを取得する。

判定部３３は、取得されたデータ入力デバイス２０の画面上での操作の内容と、当該操作が行われた時刻と同じ時刻におけるセンサデータの示すウェアラブルデバイス１０の装着者による操作の内容とが一致するか否かを判定する。そして、これらの操作の内容が一致する場合、判定部３３は、データ入力デバイス２０の操作者はウェアラブルデバイス１０の装着者と同一人物であると判定する。一方、これらの操作の内容が一致しない場合、判定部３３は、データ入力デバイス２０の操作者はウェアラブルデバイス１０の装着者と同一人物ではないと判定する。

このようにすることで、判定システムは、データ入力デバイスの画面上でのスワイプ、タップ等のキー入力以外による操作に対しても、データ入力デバイスの操作者と、ウェアラブルデバイスの装着者とが同一人物であるか否かを判定することができる。

［第１の実施形態］
次に、本発明の第１の実施形態を説明する。前記した基本の実施形態と同じ構成については同じ符号を付して説明を省略する。なお、以下、データ入力デバイス２０ａが取得する操作内容は、データ入力デバイス２０ａの画面上へのタッチイベントである場合を例に説明する。

まず、図３を用いて、第１の実施形態の判定システムの概要を説明する。第１の実施形態の判定システムは、データ入力デバイス２０ａの画面上へのタッチイベントを取得する。タッチイベントは、例えば、「down（タッチの開始）」、「move（タッチしたまま動かす）」、「up（タッチの終了）」等である。一連のタッチイベントの示す操作の種類は、例えば、タップ、ダブルタップ、左スワイプ、右スワイプ、上スクロール、下スクロール等である。

例えば、データ入力デバイス２０ａは、始点から終点までの一連のタッチイベントの内容から、データ入力デバイス２０ａの画面上への操作の種類（例えば、右スワイプ）を判定する。また、判定システムは、データ入力デバイス２０ａのタッチイベントの始点から終点までの間（例えば、図３の「down」から「up」まで時間＝タッチイベント区間）におけるセンサデータを取得する。そして、判定システムは、タッチイベント区間のセンサデータの特徴量から、当該タッチイベント区間に行われた操作の種類を特定する。

例えば、判定システムは、事前に操作の種類ごとのセンサデータの特徴量を学習しておく。そして、判定システムは、タッチイベント区間におけるセンサデータの特徴量と、上記の学習結果とを用いることで、タッチイベント区間に行われた操作の種類を特定する。つまり、判定システムは、データ入力デバイス２０ａでの操作が発生した時刻（タッチイベント区間）におけるウェアラブルデバイス１０のセンサデータの特徴量から、ウェアラブルデバイス１０の装着者によりどのような操作が行われたかを特定する。そして、判定システムは、センサデータの特徴量から特定された操作の種類とデータ入力デバイス２０ａにおける操作の種類（例えば、右スワイプ）とが同じであれば、データ入力デバイス２０ａの操作者はウェアラブルデバイス１０の装着者と同一人物であると判定する。

次に、図４を用いて第１の実施形態の判定システムの構成例を説明する。図４に示すように、例えば、第１の実施形態の判定システムは、ウェアラブルデバイス１０と、データ入力デバイス２０ａと、判定サーバ３０ａとを備える。

データ入力デバイス２０ａは、入力イベント取得部２１ａを備える。この入力イベント取得部２１ａは、図２の操作内容取得部２１に相当する。入力イベント取得部２１ａは、データ入力デバイス２０ａで発生した入力イベントを取得する。具体的には、入力イベント取得部２１ａは、データ入力デバイス２０ａの画面上への「down」、「move」、「up」等のタッチイベント、タッチイベントが行われた時刻、一連のタッチイベントから判断された操作の種類（例えば、タップ、ダブルタップ、左スワイプ、右スワイプ、上スクロール、下スクロール等）等とを取得する。

データ送信部２２ａは、ウェアラブルデバイス１０から受信した各時刻のセンサデータと、データ入力デバイス２０ａの入力イベントデータとを判定サーバ３０ａへ送信する。この入力イベントデータは、入力イベント取得部２１ａで取得したタッチイベントの始点から終点までの時刻と、当該始点から終点までの一連のタッチイベントから判断された操作の種類とを示したデータである。

判定サーバ３０ａは、センサデータ抽出部３１ａと、データ入力デバイスデータ取得部３２と、判定部３３ａとを備える。

センサデータ抽出部３１ａは、図２のセンサデータ取得部３１に相当する。センサデータ抽出部３１ａは、データ入力デバイス２０ａから受信したウェアラブルデバイス１０の各時刻のセンサデータの中から、タッチイベントの始点から終点までの間（タッチイベント区間）におけるセンサデータを抽出する。タッチイベント区間がどの時刻からどの時刻までかは、データ入力デバイスデータ取得部３２で受信した入力イベントデータから特定可能である。

なお、センサデータ抽出部３１ａは、タッチイベント区間に相当する時間帯を、タッチイベントの始点から終点までの時間帯と同じ時間帯としてもよいし、タッチイベントの始点から終点までの時間帯を前後にずらした時間帯、または、タッチイベントの始点から終点までの時間帯を拡大した時間帯でもよい。このようにすることで、例えば、ウェアラブルデバイス１０とデータ入力デバイス２０ａとの間で時間のずれがあった場合でも、判定部３３ａにおける同一人物性の判定処理に与える影響を低減することができる。

判定部３３ａは、データ入力デバイス２０ａの画面上での操作と、当該操作が行われた時刻と同じ時刻におけるウェアラブルデバイス１０のセンサデータの示す操作とが一致するか否かを判定する。

具体的には、判定部３３ａは、センサデータ抽出部３１ａにより抽出されたセンサデータ（つまり、データ入力デバイス２０ａで操作が行われた時刻と同じ時刻におけるセンサデータ）の特徴量を求める。次に、判定部３３は、事前に機械学習等により得られたデータ入力デバイス２０ａの操作の種類ごとのセンサデータの特徴量と、ウェアラブルデバイス１０で測定されたセンサデータの特徴量とを用いて、ウェアラブルデバイス１０の装着者により行われた操作の種類を特定する。

そして、判定部３３ａは、特定したウェアラブルデバイス１０の装着者により行われた操作の種類と、データ入力デバイス２０ａで行われた操作の種類とが一致する場合、データ入力デバイス２０ａの操作者はウェアラブルデバイス１０の装着者と同一人物であると判定する。一方、判定部３３ａは、特定したウェアラブルデバイス１０の装着者により行われた操作の種類と、データ入力デバイス２０ａで行われた操作の種類とが一致しない場合、データ入力デバイス２０ａの操作者はウェアラブルデバイス１０の装着者と同一人物ではないと判定する。

なお、判定部３３ａは、上記の同一人物性の判定処理をデータ入力デバイス２０ａで取得された操作（入力イベント）ごとに行ってもよいし、複数の操作についてまとめて行ってもよい。例えば、データ入力デバイス２０ａで、右スワイプ→タップ→上スクロールという操作が行われた場合、判定部３３ａは、これらの一連の操作が行われた時刻（時間帯）におけるセンサデータを用いて、データ入力デバイス２０ａの操作者がウェアラブルデバイス１０の装着者と同一人物か否かを判定してもよい。

次に、図５を用いて、判定システムの処理手順の例を説明する。判定システムのデータ入力デバイス２０ａは、各時刻におけるウェアラブルデバイス１０のセンサデータを取得する（Ｓ１１：センサデータを取得）。次に、データ入力デバイス２０ａのデータ送信部２２は、Ｓ１１で取得したセンサデータと、データ入力デバイス２０ａの入力イベントデータとを判定サーバ３０ａへ送信する（Ｓ１２）。

Ｓ１２の後、判定サーバ３０ａのデータ入力デバイスデータ取得部３２は、データ入力デバイス２０ａから送信された入力イベントデータを受信する（Ｓ１３）。また、センサデータ抽出部３１ａは、データ入力デバイス２０ａから送信された各時刻のセンサデータを受信する。そして、センサデータ抽出部３１ａは各時刻のセンサデータの中から、入力イベントデータに示されるタッチイベントの始点から終点までの時間（タッチイベント区間）におけるセンサデータを抽出する。つまり、センサデータ抽出部３１ａは、データ入力デバイス２０ａの画面上での操作が行われた時刻と同じ時刻におけるセンサデータを抽出する（Ｓ１４）。

Ｓ１４の後、判定部３３ａは、Ｓ１４で抽出されたデータ入力デバイス２０ａの画面上での操作が行われた時刻と同じ時刻におけるセンサデータの特徴量から操作の種類を特定する（Ｓ１５）。次に、判定部３３ａは、Ｓ１５で特定した操作の種類と、データ入力デバイス２０ａの画面上での操作の種類とが一致している場合（Ｓ１６でＹｅｓ）、データ入力デバイス２０ａの操作者はウェアラブルデバイス１０の装着者と同一人物であると判定する（Ｓ１７）。一方、判定部３３ａは、Ｓ１３で特定した操作の種類と、データ入力デバイス２０ａの画面上での操作の種類とが一致していない場合（Ｓ１６でＮｏ）、データ入力デバイス２０ａの操作者はウェアラブルデバイス１０の装着者と同一人物ではないと判定する（Ｓ１８）。

このような判定システムによれば、データ入力デバイス２０ａの画面上でのスワイプ、タップ等のキー入力以外の操作に対しても、データ入力デバイス２０ａの操作者と、ウェアラブルデバイス１０を装着者とが同一人物であるか否かを判定することができる。

［第２の実施形態］
次に、本発明の第２の実施形態を説明する。前記した基本の実施形態と同じ構成については同じ符号を付して説明を省略する。なお、以下、データ入力デバイス２０ｂが取得する操作内容は、スタイラスペン、指、マウス等による当該データ入力デバイス２０ａの画面上への入力座標である場合を例に説明する。また、ウェアラブルデバイス１０が取得するセンサデータは加速度である場合を例に説明する。

まず、図６を用いて、第２の実施形態の概要を説明する。第２の実施形態の判定システムは、データ入力デバイス２０ｂの重力加速度方向を鉛直成分とする座標系からデータ入力デバイス２０ｂの傾きを取得する。また、判定システムは、データ入力デバイス２０ｂの画面上へのタッチイベント中（例えば、画面に触れてから離すまでの間）の（Ｘ，Ｙ）座標での変位（入力軌跡）を算出する。

さらに、判定システムは、各時刻におけるウェアラブルデバイス１０の座標系（Ｘ´，Ｙ´，Ｚ´）の加速度を、データ入力デバイス２０ｂの傾きと合致する座標系（Ｘ，Ｙ，Ｚ）に変換する。そして、判定システムは、変換した座標系（Ｘ，Ｙ，Ｚ）における各時刻のデータ入力デバイス２０ｂの加速度から、データ入力デバイス２０ｂのタッチイベント区間に対応する加速度を抽出し、抽出した加速度から、（Ｘ，Ｙ）平面（変換した（Ｘ，Ｙ，Ｚ）の座標系における（Ｘ，Ｙ）平面）での変位を算出する。

そして、判定システムは、データ入力デバイス２０ｂの画面上における（Ｘ，Ｙ）座標での変位（入力軌跡）と、ウェアラブルデバイス１０の（Ｘ，Ｙ）平面での変位とが一致しているか否かを判定する。ここで、変位が一致していれば、判定システムは、データ入力デバイス２０ｂの操作者とウェアラブルデバイス１０の装着者とは同一人物と判定し、変位が一致していなければ、データ入力デバイス２０ｂの操作者とウェアラブルデバイス１０の装着者とは同一人物ではないと判定する。

次に、図７を用いて第２の実施形態の判定システムの構成例を説明する。図７に示すように、例えば、第２の実施形態の判定システムは、ウェアラブルデバイス１０と、データ入力デバイス２０ｂと、判定サーバ３０ｂとを備える。

データ入力デバイス２０ｂは、操作内容取得部２１（図２参照）として、入力座標取得部２１１と、入力座標変位取得部２１２と、傾き取得部２１３とを備える。また、データ入力デバイス２０ｂは、データ送信部２２ｂを備える。

入力座標取得部２１１は各時刻におけるデータ入力デバイス２０ｂの画面上での入力座標を取得する。例えば、入力座標取得部２１１は、データ入力デバイス２０ｂの画面上でのタッチイベント「down」から「up」まで（タッチイベント区間）のタッチイベントの発生座標（Ｘ，Ｙ）と、タッチイベントの時刻とを取得する。

入力座標変位取得部２１２は、入力座標取得部２１１による取得された入力座標の始点から終点までの変位（入力座標変位データ）を算出する。なお、ここでの変位は、総変位量であってもよいし、時系列変化でもよい。また、変位は、（Ｘ，Ｙ）の合成変位であってもよいし、（Ｘ，Ｙ）それぞれの変位であってもよい。

傾き取得部２１３は、データ入力デバイス２０ｂの傾きを取得する。例えば、傾き取得部２１３は、データ入力デバイス２０ｂの加速度、角速度、地磁気等を収集し、重力加速度方向を鉛直成分とする世界座標系からの傾きを取得する。

データ送信部２２ｂは、ウェアラブルデバイス１０から受信した各時刻のセンサデータと、データ入力デバイス２０ｂの入力座標変位データおよびデータ入力デバイス２０ｂの傾きとをデータ入力デバイスデータとして、判定サーバ３０ｂへ送信する。

判定サーバ３０ｂは、センサデータ抽出部３１ａと、データ入力デバイスデータ取得部３２と、座標変換部３４と、ウェアラブル変位算出部３５と、判定部３３ｂとを備える。

座標変換部３４は、ウェアラブルデバイス１０の画面上でのタッチイベントの始点から終点までの時間におけるセンサデータ（ここでは加速度データ）の示す動きを、データ入力デバイス２０ｂの画面の座標系での動きに変換する。変換には、データ入力デバイス２０ｂの画面の傾きとウェアラブルデバイス１０の傾きとを用いる。なお、このウェアラブルデバイス１０の傾きは、例えば、ウェアラブルデバイス１０の重力加速度方向を鉛直方向とする世界座標系からの傾きを用いる。このウェアラブルデバイス１０の重力加速度方向を鉛直方向とする世界座標系からの傾きは、ウェアラブルデバイス１０のセンサデータに含まれる加速度、角速度、地磁気等から算出可能である。

なお、座標変換部３４による座標系の変換は、例えば、以下の文献１，２に示す方法により行うことができる。

文献１：加速度センサーを元に端末の位置を推定する、http://usi3.com/Position_estimation_by_using_acceleration_sensor.html、文献２：Androidで世界座標系の加速度と方位を取得する、http://qiita.com/ryskiwt/items/f6d98c0a82ba7e31c9b3

ウェアラブル変位算出部３５は、座標変換部３４により座標変換されたウェアラブルデバイス１０の動きから、当該ウェアラブルデバイス１０の変位を算出する。例えば、ウェアラブル変位算出部３５は、タッチイベントの始点から終点までの時間（タッチイベント区間）におけるウェアラブルデバイス１０のセンサデータに含まれる加速度データを２階積分することにより、ウェアラブルデバイス１０の（Ｘ，Ｙ）平面での変位を算出する。なお、ウェアラブル変位算出部３５が算出する変位は、入力座標変位取得部２１２で算出する変位と形式がそろっていれば、総変位量であってもよいし、時系列変化でもよい。また、変位は、（Ｘ，Ｙ）の合成変位であってもよいし、（Ｘ，Ｙ）それぞれの変位であってもよい。

判定部３３ｂは、ウェアラブル変位算出部３５により算出されたタッチイベント区間におけるウェアラブルデバイス１０の変位と、データ入力デバイスデータ取得部３２により取得された上記のタッチイベント区間におけるデータ入力デバイス２０ｂの変位とが一致するか否かを判定する。そして、判定部３３ｂは、変位が一致する場合、データ入力デバイス２０ｂの操作者がウェアラブルデバイス１０の装着者と同一人物と判定する。一方、判定部３３ｂは、変位が一致しない場合、データ入力デバイス２０ｂの操作者はウェアラブルデバイス１０の装着者と同一人物ではないと判定する。

つまり、判定部３３ｂは、データ入力デバイス２０ｂの変位とウェアラブルデバイス１０の変位とが一致する場合、データ入力デバイス２０ｂの画面上での操作の内容と、ウェアラブルデバイス１０の装着者による操作の内容とが一致するとみなし、データ入力デバイス２０ｂの操作者はウェアラブルデバイス１０の装着者と同一人物と判定する。一方、判定部３３ｂは、データ入力デバイス２０ｂの変位とウェアラブルデバイス１０の変位とが一致しない場合、データ入力デバイス２０ｂの画面上での操作の内容と、ウェアラブルデバイス１０の装着者による操作の内容とが一致しないとみなし、データ入力デバイス２０ｂの操作者はウェアラブルデバイス１０の装着者と同一人物ではないと判定する。

次に、図８を用いて、判定システムの処理手順の例を説明する。判定システムのデータ入力デバイス２０ｂは、各時刻におけるウェアラブルデバイス１０のセンサデータを取得する（Ｓ２１：センサデータを取得）。次に、データ入力デバイス２０ｂの入力座標取得部２１１は、各時刻におけるデータ入力デバイス２０ｂの画面上での入力座標を取得する（Ｓ２２）。そして、入力座標変位取得部２１２は、Ｓ２２で取得された各時刻における入力座標を用いて、当該入力座標の始点から終点までの変位（入力座標変位データ）を算出する（Ｓ２３）。また、傾き取得部２１３は、データ入力デバイス２０ｂの傾きを取得する（Ｓ２４）。

データ送信部２２ｂは、Ｓ２１で取得したセンサデータと、データ入力デバイス２０ｂの入力座標変位データおよびデータ入力デバイス２０ｂの傾きとを判定サーバ３０ｂへ送信する（Ｓ２５）。

Ｓ２５の後、判定サーバ３０ｂのデータ入力デバイスデータ取得部３２は、データ入力デバイス２０ｂから送信された入力座標変位データおよびデータ入力デバイス２０ｂの傾きを受信する（Ｓ２６）。また、センサデータ抽出部３１ａは、データ入力デバイス２０ｂから送信された各時刻のセンサデータを受信する。そして、センサデータ抽出部３１ａは、受信したセンサデータの中から、入力座標変位データに示されるタッチイベントの始点から終点までの時間（タッチイベント区間）におけるセンサデータを抽出する。つまり、センサデータ抽出部３１ａは、データ入力デバイス２０ｂの画面上での操作が行われた時刻と同じ時刻におけるセンサデータを抽出する（Ｓ２７）。

Ｓ２７の後、座標変換部３４は、データ入力デバイス２０ｂの画面上でのタッチイベントの始点から終点までの時間におけるセンサデータ（例えば、加速度データ）の示す動きを、データ入力デバイス２０ｂの画面の座標系での動きに変換する（Ｓ２８）。

Ｓ２８の後、ウェアラブル変位算出部３５は、Ｓ２８で変換されたウェアラブルデバイス１０の動きから、当該ウェアラブルデバイス１０の変位を算出する（Ｓ２９）。

Ｓ２９の後、判定部３３ｂは、Ｓ２９で算出されたタッチイベント区間におけるウェアラブルデバイス１０の変位と、Ｓ２９でデータ入力デバイスデータ取得部３２により取得された上記のタッチイベント区間におけるデータ入力デバイス２０ｂの変位とが一致するか否かを判定する（Ｓ３０）。ここで、判定部３３ｂは、変位が一致していると判定した場合（Ｓ３０でＹｅｓ）、データ入力デバイス２０ｂの操作者はウェアラブルデバイス１０の装着者と同一人物であると判定する（Ｓ３１）。一方、判定部３３ｂは、変位が一致していないと判定した場合（Ｓ３０でＮｏ）、データ入力デバイス２０ｂの操作者はウェアラブルデバイス１０の装着者と同一人物ではないと判定する（Ｓ３２）。

このような判定システムによれば、データ入力デバイス２０ｂの画面上での指、スタイラスペン等による操作に対しても、データ入力デバイス２０ｂの操作者と、ウェアラブルデバイス１０の装着者とが同一人物であるか否かを精度よく判定することができる。

［その他の実施形態］
なお、上記の各実施形態で述べた判定サーバ３０，３０ａ，３０ｂの機能はそれぞれ、データ入力デバイス２０，２０ａ，２０ｂに装備されてもよい。つまり、データ入力デバイス２０，２０ａ，２０ｂにおいて、データ入力デバイス２０，２０ａ，２０ｂの操作者が、ウェアラブルデバイス１０の装着者と同一人物であるか否かを判定してもよい。

［プログラム］
また、上記の実施形態で述べたデータ入力デバイス２０，２０ａ，２０ｂおよび判定サーバ３０，３０ａ，３０ｂの機能を実現するプログラムを所望の情報処理装置（コンピュータ）にインストールすることによって実装できる。例えば、パッケージソフトウェアやオンラインソフトウェアとして提供される上記のプログラムを情報処理装置に実行させることにより、情報処理装置をデータ入力デバイス２０，２０ａ，２０ｂおよび判定サーバ３０，３０ａ，３０ｂとして機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）等がその範疇に含まれる。また、データ入力デバイス２０，２０ａ，２０ｂおよび判定サーバ３０，３０ａ，３０ｂを、クラウドサーバに実装してもよい。

図９を用いて、上記のプログラム（判定プログラム）を実行するコンピュータの一例を説明する。図９に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図９に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。前記した各実施形態で説明した各種データや情報は、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。

そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、上記の判定プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、上記のプログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０ ウェアラブルデバイス
１１，３１ センサデータ取得部
２０，２０ａ，２０ｂ データ入力デバイス
２１ 操作内容取得部
２１ａ 入力イベント取得部
２２，２２ａ，２２ｂ データ送信部
３０，３０ａ，３０ｂ 判定サーバ
３１ａ センサデータ抽出部
３２ データ入力デバイスデータ取得部
３３，３３ａ，３３ｂ 判定部
３４ 座標変換部
３５ ウェアラブル変位算出部
２１１ 入力座標取得部
２１２ 入力座標変位取得部
２１３ 傾き取得部

Claims (5)

1. 各時刻におけるウェアラブルデバイスの装着者の手または腕の動きを示すセンサデータを取得するセンサデータ取得部と、
   データ入力デバイスの画面上でのタッチイベントの始点から終点までの時間における、前記タッチイベントの画面上での動きと前記データ入力デバイスの画面の傾きとを取得するデータ入力デバイスデータ取得部と、
   前記データ入力デバイスの画面上でのタッチイベントの始点から終点までの時間における、前記ウェアラブルデバイスのセンサデータの示す動きを、前記時間における前記データ入力デバイスの画面の傾きを用いて、前記データ入力デバイスの画面の座標系での動きに変換する座標変換部と、
   前記データ入力デバイスの画面上でのタッチイベントの始点から終点までの時間における、変換された前記ウェアラブルデバイスの動きと、前記画面上での入力座標の始点から終点まで画面上での動きとが一致する場合、前記取得されたデータ入力デバイスの画面上での操作の内容と、前記操作が行われた時刻と同じ時刻における前記センサデータの示す操作の内容とが一致すると判定し、前記データ入力デバイスの操作者は前記ウェアラブルデバイスの装着者と同一人物であると判定する判定部と、
   を備えることを特徴とする判定装置。
2. 前記判定部は、
   事前学習された前記操作の種類ごとの前記センサデータの特徴量を用いて、前記データ入力デバイスの画面上での操作が行われた時刻と同じ時刻における前記センサデータの特徴量から、前記センサデータの示す操作の種類を特定し、前記特定したセンサデータの示す操作の種類と、前記データ入力デバイスの画面上での操作の種類とが一致する場合、前記データ入力デバイスの操作者は前記ウェアラブルデバイスの装着者と同一人物であると判定する
   ことを特徴とする請求項１に記載の判定装置。
3. 前記操作の種類は、
   前記データ入力デバイスの画面上の、タップ、ダブルタップ、右スワイプ、左スワイプ、上スクロール、および、下スクロールのいずれかである
   ことを特徴とする請求項２に記載の判定装置。
4. 判定装置が、
   各時刻におけるウェアラブルデバイスの装着者の手または腕の動きを示すセンサデータを取得するステップと、
   データ入力デバイスの画面上でのタッチイベントの始点から終点までの時間における、前記タッチイベントの画面上での動きと前記データ入力デバイスの画面の傾きとを取得するステップと、
   前記データ入力デバイスの画面上でのタッチイベントの始点から終点までの時間における、前記ウェアラブルデバイスのセンサデータの示す動きを、前記時間における前記データ入力デバイスの画面の傾きを用いて、前記データ入力デバイスの画面の座標系での動きに変換するステップと、
   前記データ入力デバイスの画面上でのタッチイベントの始点から終点までの時間における、変換された前記ウェアラブルデバイスの動きと、前記画面上での入力座標の始点から終点まで画面上での動きとが一致する場合、前記取得されたデータ入力デバイスの画面上での操作の内容と、前記操作が行われた時刻と同じ時刻における前記センサデータの示す操作の内容とが一致すると判定し、前記データ入力デバイスの操作者は前記ウェアラブルデバイスの装着者と同一人物であると判定するステップと、
   を含んだことを特徴とする判定方法。
5. 各時刻におけるウェアラブルデバイスの装着者の手または腕の動きを示すセンサデータを取得するステップと、
   データ入力デバイスの画面上でのタッチイベントの始点から終点までの時間における、前記タッチイベントの画面上での動きと前記データ入力デバイスの画面の傾きとを取得するステップと、
   前記データ入力デバイスの画面上でのタッチイベントの始点から終点までの時間における、前記ウェアラブルデバイスのセンサデータの示す動きを、前記時間における前記データ入力デバイスの画面の傾きを用いて、前記データ入力デバイスの画面の座標系での動きに変換するステップと、
   前記データ入力デバイスの画面上でのタッチイベントの始点から終点までの時間における、変換された前記ウェアラブルデバイスの動きと、前記画面上での入力座標の始点から終点まで画面上での動きとが一致する場合、前記取得されたデータ入力デバイスの画面上での操作の内容と、前記操作が行われた時刻と同じ時刻における前記センサデータの示す操作の内容とが一致すると判定し、前記データ入力デバイスの操作者は前記ウェアラブルデバイスの装着者と同一人物であると判定するステップと、
   をコンピュータに実行させることを特徴とする判定プログラム。

Images