JP6237769B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本技術は、タッチセンサを有する情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。

従来から、情報処理装置において、タッチパネルやタッチパッドを用いて、ユーザが画面上にスタイラス等の筆記具により入力操作を行うこと（以下、ペン入力）が可能な情報処理装置が実用化されている（例えば、特許文献１参照）。このペン入力は、ペンの位置を検出し、その検出データを元に表示装置に画像を表示することで実現される。

特開２０１２−１６８９９３号公報

上記のような従来のペン入力技術は、もっぱらリアルタイムに文字や線画の入力結果を表示することに特化している。しかし、情報処理装置が画面上のペンの位置のみならず、ペンによる押圧力を高い精度で安定的に検出することができれば、筆跡のみならず筆圧や筆使いといった各ユーザのペン入力時のより詳細な特徴を記録することが可能となる。そして、それらの特徴データは、多彩なアプリケーションに利用可能となる。

以上のような事情に鑑み、本技術の目的は、筆記具による入力時の詳細な特徴をユーザ毎に記録し活用することが可能な情報処理装置、当該情報処理装置における情報処理方法及びプログラムを提供することにある。

上述の課題を解決するため、本技術の一形態に係る情報処理装置は、センサと、記憶部と、制御部とを有する。上記センサは、筆記具によるユーザの入力操作を受け付ける入力面を有し、上記入力操作があった位置の座標及び上記位置に加わる荷重量を検出可能である。上記制御部は、検出された上記座標を示す座標データ及び上記荷重量を示す荷重量データを所定の時間間隔で上記記憶部に上記ユーザの識別情報と関連付けて記憶させ、記憶された上記座標データ及び上記荷重量データを上記記憶部から上記識別情報と関連付けて読み出すことが可能である。

この構成によれば、情報処理装置は、筆記具によるセンサへの入力操作時の座標データのみならず荷重量データも検出することができるため、筆記具による入力操作時の詳細な特徴をユーザ毎に記録し、それを活用することができる。ここで筆記具には、例えばスタイラス、ペン、筆等、形状やインクの有無を問わず、筆記操作が可能なあらゆる用具を指す。

上記制御部は、上記所定の時間間隔で記憶された上記座標データから、上記座標の移動速度を示す移動速度データを算出可能であってもよい。

これにより情報処理装置は、座標データ及び荷重量データに加え移動速度データも算出することで、入力操作時の特徴をより詳細に記録し活用することができる。

上記制御部は、上記所定の時間間隔で記憶された上記荷重量データから、上記荷重量の時間的変化を示す荷重量変化データを算出可能であってもよい。

これにより情報処理装置は、座標データ及び荷重量データに加え荷重量変化データも算出することで、入力操作時の特徴をより詳細に記録し活用することができる。

上記制御部は、上記座標データ及び上記荷重量データの記憶後の上記筆記具による入力操作から検出された上記座標及び上記荷重量と、上記記憶された座標データ及び荷重量データとを比較し、差異の有無を判別可能であってもよい。

これにより情報処理装置は、座標データ及び荷重量データを基に、異なるユーザによる入力操作の特徴の差異を判別することができる。

上記制御部は、上記判別された差異の有無を元に上記ユーザを認証し、認証結果を出力可能であってもよい。

これにより情報処理装置は、座標データ及び荷重量データの差異を基に個人認証を行うことができる。

上記情報処理装置は、表示部をさらに具備してもよい。この場合上記制御部は、上記入力操作に応じて、上記座標データ及び上記荷重量データのうち、座標データのみを用いて上記入力操作の開始から終了までの軌跡を示す画像を表示するように上記表示部を制御可能であってもよい。

これにより情報処理装置は、認証処理においては座標データと荷重量データの双方を用いる一方、ユーザの入力操作の結果としての画像には荷重量データを反映させないことで、模倣者が他のユーザの入力操作を荷重量を含めて模倣するのを困難にすることができる。

上記情報処理装置は、出力部をさらに具備してもよい。この場合上記制御部は、上記判別された差異を示す情報を出力するように上記出力部を制御可能であってもよい。

これにより情報処理装置は、座標データ及び荷重量データの差異を基に、操作入力の差異をユーザに知らしめることができる。

上記情報処理装置は、表示部をさらに具備してもよい。この場合上記制御部は、上記記憶された座標データ及び荷重量データを基に、上記ユーザの入力操作の開始から終了までの軌跡を示す第１の画像を表示するように上記表示部を制御可能であってもよい。

これにより、座標データ及び荷重量データの記憶後に操作入力を行った他のユーザは、記憶例えば座標データ及び荷重量データが記憶されたユーザの操作入力の軌跡を、自らの手本として参照することができる。

上記センサは、上記画像の表示後、他のユーザの上記筆記具による入力操作から座標データ及び荷重量データを検出可能であってもよい。この場合制御部は、上記検出された座標データ及び荷重量データを基に、上記他のユーザの入力操作の開始から終了までの軌跡を示す第２の画像を、上記第１の画像に重畳させて表示するように上記表示部を制御してもよい。さらに制御部は、上記記憶された座標データ及び荷重量データと上記他のユーザの入力操作から検出された座標データ及び荷重量データとを比較し、上記第１の画像と上記第２の画像との差異を示す情報を表示するように上記表示部を制御してもよい。

これにより情報処理装置は、記憶された座標データ及び荷重量データを基に第１の画像を表示するとともに、当該第１の画像と、他のユーザが描画した第２の画像との差異を他のユーザに知らしめることで、例えばペン字、習字、絵画等の技術の上達を援助することができる。

上記制御部は、上記記憶された荷重量データ及び上記他のユーザの入力操作から検出された荷重量データに応じて、上記第１の画像及び上記第２の画像における線幅または濃淡を変化させてもよい。

これにより情報処理装置は、第１の画像及び第２の画像において、各ユーザの筆圧等の詳細な特徴を線幅または濃淡として表現し、両画像の差異をより詳細に知らしめることができる。

上記センサは、上記筆記具によるユーザの入力操作時に上記入力面へ上記ユーザの手が接触した場合に当該接触位置の座標及び当該接触位置に加わる荷重量を検出可能であってもよい。この場合上記制御部は、検出された上記接触位置の座標を示す座標データ及び上記接触位置に加わる荷重量を示す荷重量データを、上記入力操作から検出された座標データ及び荷重量データ並びに上記識別情報と関連付けて上記記憶部に記憶させてもよい。

これにより情報処理装置は、筆記具によるユーザの入力操作のユーザの特徴のみならず、入力操作時のユーザの手の置き方に関する特徴も記録することで、ユーザの特徴をより詳細に記録することができる。

上記情報処理装置は、通信部をさらに具備してもよい。この場合上記制御部は、上記記憶された座標データ及び荷重量データを他の情報処理装置へ送信するように上記通信部を制御してもよい。上記他の情報処理装置は、上記送信された座標データ及び荷重量データを基に、上記ユーザの入力操作の開始から終了までの軌跡を示す画像を表示してもよい。

これにより情報処理装置は、筆記具によるユーザの入力操作を他の情報処理装置で再現することができる。

本技術の他の形態に係る情報処理方法は、筆記具によるユーザの入力操作を受け付ける入力面を有するセンサにより、上記入力操作があった位置の座標及び上記位置に加わる荷重量を検出し、検出された上記座標を示す座標データ及び上記荷重量を示す荷重量データを所定の時間間隔で上記ユーザの識別情報と関連付けて記憶部に記憶し、記憶された上記座標データ及び上記荷重量データを上記記憶部から上記識別情報と関連付けて読み出すことを含む。

本技術のまた別の形態に係るプログラムは、情報処理装置に、検出ステップと、記憶ステップと、読み出しステップとを実行させる。上記検出ステップでは、筆記具によるユーザの入力操作を受け付ける入力面を有するセンサにより、上記入力操作があった位置の座標及び上記位置に加わる荷重量が検出される。上記記憶ステップでは、検出された上記座標を示す座標データ及び上記荷重量を示す荷重量データが所定の時間間隔で上記ユーザの識別情報と関連付けられて記憶部に記憶される。上記読み出しステップでは、記憶された上記座標データ及び上記荷重量データが上記記憶部から上記識別情報と関連付けて読み出される。

以上のように、本技術によれば、筆記具による入力時の詳細な特徴をユーザ毎に記録し活用することができる。

本技術の第１の実施形態に係るタブレットコンピュータの外観を示した図である。 上記タブレットコンピュータの構成を示したブロック図である。 上記タブレットコンピュータが有する入力装置の概略断面図である。 上記タブレットコンピュータによる座標データ、荷重量データ、移動速度データ、荷重量の時間的変化データの算出処理を説明するための図である。 上記タブレットコンピュータによる個人認証処理の流れを示したフローチャートである。 本技術の第１の実施形態において、異なるユーザのペン操作の例と、両者の比較処理について説明するための図である。 本技術の第１の実施形態において、あるユーザのペン操作の模倣者を判別する処理について説明するための図である。 本技術の第２の実施形態における、あるユーザの絵の描画操作と、その描画操作の記録データからの再生処理を示した図である。 本技術の第２の実施形態における、各種記録データを用いた描画操作の再生例を示した図である。 本技術の第２の実施形態における、絵画または習字の学習アプリケーションの実行時のタブレットコンピュータの動作の流れを示した図である。 上記絵画または習字の学習アプリケーションの処理の流れを示した図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
まず、本技術の第１の実施形態について説明する。本実施形態では、本技術がタブレットコンピュータに適用される。当該タブレットコンピュータは、例えば店舗並びにウェブ上での決済や、銀行での各種手続等において、署名により本人を認証することが必要なシステムに用いられる。当該タブレットコンピュータは、ユーザ個人が所有するものであっても、店舗等が所有するものであっても構わない。

［タブレットコンピュータの構成］
図１は、本実施形態に係るタブレットコンピュータ１００（以下、単にタブレット１００と称する）の外観を示した図である。また図２は、上記タブレット１００の構成を示したブロック図である。

図１に示すように、タブレット１００は、スタイラスＳ等の筆記具による入力操作（以下、ペン操作ともいう）を受け付ける入力装置１５０を有する。

入力装置１５０は、後述するセンサ１と、ペン操作に応じて文字や画像を表示するディスプレイ６とが一体化されて構成されている。ディスプレイ６の入力面に対してペン操作があると、スタイラスＳの先端位置の軌跡Ｔに沿って、ディスプレイ６上に画像Ｉが表示される。

図２に示すように、タブレット１００は、センサ１、センサＩＣ２、ＣＰＵ（Central Processing Unit）３、メモリ４、グラフィックドライバ５及びディスプレイ６を有する。上述のとおり、センサ１とディスプレイ６とが入力装置１５０を構成する。入力装置１５０の具体的な構成については後述する。

センサＩＣ２は、所定の時間間隔でセンサ１が検出したセンサデータを受け取り、それを基に、スタイラスＳの座標データ、荷重量データを算出する。またセンサＩＣは、当該所定時間間隔の座標データから、スタイラスＳの座標の移動速度を示すデータを算出し、所定時間間隔の荷重量データから、荷重量の時間的変化を示すデータ（以下、荷重変化データとも称する）を算出する。算出された各データは、ＣＰＵ３に出力される。

ＣＰＵ３は、上記センサＩＣ２から出力された各センシングデータをメモリ４に書き込み、また当該書き込まれた各データをメモリ４から適宜読み出す。この際、各データは、上記ペン操作を行ったユーザと関連付けて記録される。そしてＣＰＵ３は、センサＩＣ２から出力された、またはメモリ４から読み出された上記各センシングデータを基に、ディスプレイ６におけるデータの表示方法を決定し、グラフィックドライバ５へ表示を指示する。

メモリ４は、上記各センシングデータをユーザ毎の入力操作データとして記憶する。またメモリ４は、ペン操作の受け付けやペン操作データの再生等に必要なプログラム等、その他のデータも記憶する。

グラフィックドライバ５は、ＣＰＵ３からの表示指令を基に、ペン操作に応じた画像（スタイラスＳの軌跡を示す画像等）を生成し、ディスプレイ６へ出力して表示させる。

図示しないが、タブレット１００は、他の情報処理装置と無線または有線を介して通信する通信部を有していてもよい。

［入力装置の構成］
次に、入力装置１５０の構成について説明する。図３は、上記入力装置１５０の概略断面図である。同図に示すように、入力装置１５０は、ペン操作を受け付けるディスプレイ６と、ユーザの操作を検出するセンサ１とを有する。入力装置１５０は、例えばフレキシブルなタッチパネルディスプレイとして構成され、上記タブレット１００に組み込まれる。センサ１及びディスプレイ６は、Ｚ軸に垂直な方向に延びる平板状に形成される。

ディスプレイ６は、第１の面１１０と、第１の面１１０の反対側の第２の面１２０とを有する。ディスプレイ６は、入力装置１５０における入力操作部としての機能と、表示部としての機能とを兼ね備える。すなわちディスプレイ６は、第１の面１１０を入力操作面及び表示面として機能させ、第１の面１１０からユーザによる操作に応じた画像をＺ軸方向上方に向けて表示する。第１の面１１０には、スタイラスＳによってユーザが筆記した文字や描画した画像、その他、例えばキーボードに対応する画像や、ＧＵＩ（Graphical User Interface）等が表示される。

ディスプレイ６の具体的な構成は特に限定されない。例えば、ディスプレイ６として、いわゆる電子ペーパー、有機ＥＬ（Electro Luminescence）パネル、無機ＥＬパネル、液晶パネル等を採用することができる。またディスプレイ６の厚みも特に限定されず、例えば０．１ｍｍ〜１ｍｍ程度である。

センサ１は、金属膜（第１の導体層）１２と、導体層（第２の導体層）５０と、電極基板２０と、第１の支持体３０と、第２の支持体４０を有する。センサ１は、ディスプレイ６の第２の面１２０側に配置されている。

金属膜１２は、変形可能なシート状に構成される。導体層５０は、金属膜１２に対向して配置される。電極基板２０は、 複数の第１の電極線２１０と、複数の第１の電極線２１０に対向して配置され複数の第１の電極線２１０と交差する複数の第２の電極線２２０とを有し、金属膜１２と導体層５０との間に変形可能に配置され、金属膜１２及び導体層５０各々との距離の変化を静電的に検出することが可能である。第１の支持体３０は、金属膜１２と電極基板２０との間を接続する複数の第１の構造体３１０と、複数の第１の構造体３１０の間に形成された第１の空間部３３０とを有する。第２の支持体４０は、隣り合う複数の第１の構造体３１０間にそれぞれ配置され導体層５０と電極基板２０との間を接続する複数の第２の構造体４１０と、複数の第２の構造体４１０の間に形成された第２の空間部４３０とを有する。

本実施形態に係るセンサ１（入力装置１５０）は、ディスプレイ６の第１の面１１０上での入力操作による金属膜１２及び電極基板２０と、導体層５０及び電極基板２０との間の距離の変化を静電的に検出することで、当該入力操作があった位置の座標及びその位置に加わる荷重量を検出する。具体的な検出原理は以下の通りである。

すなわち、スタイラスＳによる第１の面１１０に対する入力操作時の押圧力によって、金属膜１２が撓む。それに伴い、第１の空間部３３０に隣接する第１の構造体３１０が力を受け、Ｚ軸方向へ弾性変形して厚みが僅かに減少する。さらに、上記力により電極基板２０にも力が加えられ、下方に撓む。これにより、２つの第１の構造体３１０の間に配置された第２の構造体４１０も力を受け、Ｚ軸方向に弾性変形して厚みが僅かに減少する。

このように、第１及び第２の構造体３１０，４１０により厚み方向に力を伝達することができ、電極基板２０を容易に変形させることができる。また、金属膜１２及び電極基板２０が撓み、面内方向（Ｘ軸方向及びＹ軸方向に平行な方向）に押圧力の影響が及ぶことにより、スタイラスＳの直下の領域のみならず、その近傍の第１及び第２の構造体３１０，４１０にも力を及ぼすことができる。

また第１及び第２の空間部３３０，４３０により金属膜１２及び電極基板２０を容易に変形させることができる。さらに柱体等で構成された第１及び第２の構造体３１０，４１０により、スタイラスＳの押圧力に対して電極基板２０へ高い圧力を及ぼすことができ、電極基板２０を効率的に撓ませることができる。

さらに、第１及び第２の構造体３１０，４１０がＺ軸方向から見て重複して配置されていないため、第１の構造体３１０がその下の第２の空間部４３０を介して電極基板２０を容易に撓ませることができる。

電極基板２０は、第１の構造体３１０の弾性変形及び金属膜１２の撓みにより、金属膜１２と電極基板２０との距離及び導体層５０と電極基板２０との距離が変化するのを検出することで、静電容量の変化量を得ることができる。

そして電極基板２０は、複数の第１の電極線２１０及び複数の第２の電極線２２０の各位置における静電容量の変化量の比率に基づいて、ペン操作位置（スタイラスＳの先端の位置）のＸＹ座標を算出することができる。また電極基板２０は、上記静電容量の変化量に基づいて、上記入力操作位置における荷重量（押圧力）も算出することができる。

［タブレットの動作］
次に、以上のように構成されたタブレット１００の動作について説明する。本実施形態及び他の実施形態において、タブレット１００の動作は、ＣＰＵ３と、その制御下において実行されるソフトウェアとで協働して行われる。

（データ取得・算出処理）
まず、上記座標データ、荷重量データ、移動速度データ、荷重変化データの取得・算出処理について説明する。図４は、当該各データの算出処理を説明するための図である。

同図（Ａ）は、上記座標データ及び荷重量データの算出処理を示す。センサ１は、ユーザによるペン操作の間、所定の時間間隔でスタイラスＳの接触位置の座標データ（(Xt1, Yt1)，(Xt2, Yt2)，...，(Xtn, Ytn)，）及び加重量データ（Ft1，Ft2，...，Ftn）を出力し、ＣＰＵ３はそれらのデータを随時メモリ４に書き込む。

同図（Ｂ）は、上記移動速度データ及び荷重変化データの算出処理を示す。センサＩＣ２は、単位時間Δtあたりの座標データの差分（(Xt2-Xt1)/Δt，(Yt2-Yt1)/Δt）から上記移動速度データを算出し、また単位時間Δtあたりの荷重量データの差分（(Ft2-Ft1)/Δt）から上記荷重変化データを算出する。ＣＰＵ３はそれらのデータも随時メモリ４に書き込む。

（記録データに基づく個人認証動作）
次に、上記記録されたデータに基づく個人認証処理について説明する。図５は、当該個人認証処理の流れを示したフローチャートである。以下の説明では、ＣＰＵ３を動作主体として説明するが、この動作はセンサ１、センサＩＣ２、メモリ４等のその他のハードウェア及びそれに関連するソフトウェアと協働して実行される。

同図に示すように、タブレット１００のＣＰＵ３は、ユーザＡのスタイラスＳによるペン操作を受け付ける（ステップ５１）。このペン操作は、例えばクレジットカード決済時や、コンピュータまたはネットワークへのログイン時等において署名を行う操作である。署名とは、正確な名前のみならず、個人を識別する目的で書かれた何らかの文字や図形等を含む。

続いてＣＰＵ３は、上記ペン操作があった位置の座標及び当該位置に加わる荷重量を検出する（ステップ５２）。この際、ＣＰＵ３は、図１に示すようにペン操作の軌跡をディスプレイ６に表示させる。しかし、この表示処理は省略されても構わない。

続いてＣＰＵ３は、上記座標データと荷重量データとを、操作主体であるユーザＡと関連付けてメモリ４に記録する（ステップ５３）。

続いてＣＰＵ３は、上記座標データから座標の移動速度データを算出し、荷重量データから荷重変化データを算出し（ステップ５４）、それらデータをユーザＡと関連付けてメモリ４に記録する（ステップ５５）。ここまでの処理がユーザＡのスタイラスＳによる入力操作データの記録処理となる。

続いてＣＰＵ３は、上記記録した入力操作を活用した認証処理に移る。ＣＰＵ３は、ユーザＢ（ユーザＡと異なる人物か否かは問わない）のスタイラスＳによるペン操作を受け付ける。

続いてＣＰＵ３は、上記ユーザＢによる入力操作位置の座標及び荷重量を検出する（ステップ５７）。

続いてＣＰＵ３は、上記座標データ及び荷重量データから、座標の移動速度データ及び荷重変化データを算出する（ステップ５８）。

続いてＣＰＵ３は、上記記録されたユーザＡの入力操作データをメモリ４から読み出し、そのデータと、ユーザＢの入力操作データとを比較し、両者間の差異を判別する（ステップ５９）。

そして、上記比較の結果、差異があった場合（ステップ６０のＹｅｓ）、ＣＰＵ３は、認証の失敗を通知する情報をディスプレイ６に表示させる（ステップ６１）。

一方、差異がなかった場合、または微差であった場合（ステップ６０のＮｏ）、ＣＰＵ３は、認証成功を通知する情報をディスプレイ６に表示させる（ステップ６２）。

図６は、上記ユーザＡとユーザＢのペン操作の例と、両者の比較処理について説明するための図である。

同図に示すように、ユーザＡのペン操作時の力（荷重）の入れ方の癖に関して、例えば、ペン操作結果の表示画像に線幅を変更する等の処理を行わない場合、表示画像からはユーザの癖を判別することはできない（同図上部参照）。

しかしながら、本実施形態におけるペン操作の記録データには、ユーザの力の入れ具合の癖が荷重量データとして記録されているため、当該記録データとユーザＢの力の入れ具合とを比較することで、個人認証率を高めることが可能となる（同図下部参照）。また一方で、表示画像を等幅な線により表現して力の入れ具合を反映させないことで、仮にユーザＢがユーザＡのペン操作の画像（署名）を見たとしても、力の入れ具合を含むユーザＡのペン操作を模倣することは困難となる。

図７は、ユーザＡのペン操作の模倣者を判別する処理について説明するための図である。

同図に示すように、ユーザＡのペン操作時におけるスタイラスＳの移動速度の癖に関して、移動速度の違いはペン操作結果の表示画像には表れないので、模倣者は表示画像からはユーザＡの癖を知ることはできない。一方、ペン操作の記録データにはユーザＡの速度の癖が移動速度データとして記録されているため、当該移動速度データを比較することで、個人認証率を高めることが可能となる。また、表示画像には速度を反映させないことで、模倣者が、速度を含むユーザＡのペン操作を模倣することは困難となる。

このように、本実施形態では、タブレット１００は、座標データ及び荷重量データを検出可能なセンサ１により、ユーザのペン操作を座標データ、荷重量データ、移動速度データ及び荷重変化データとして記録することで、その記録内容により個人認証処理を実行することができる。

＜第２の実施形態＞
次に、本技術の第２の実施形態について説明する。本実施形態においては、上記第１の実施形態と共通する点については説明を簡略化または省略し、異なる点を中心に説明する。

上記第１の実施形態では、タブレット１００が、記録されたペン操作データを基に個人認証処理を実行する例が説明された。本実施形態においてタブレット１００は、記録されたペン操作データを基に、字の書き方や絵の描き方の学習が可能なアプリケーションを実行する。

上記第１の実施形態では、入力操作にスタイラスＳが用いられたが、本実施形態では、スタイラスに加えて、例えば習字用や絵画用の筆等の他の筆記具が用いられてもよい。

図８は、あるユーザの絵の描画操作と、その描画操作の記録データからの再生処理を示した図である。

同図に示すように、あるユーザが描画操作を入力すると、その描画結果がディスプレイ６に表示されると共に、その操作時の座標データ、荷重量データ、移動速度データ及び荷重変化データがメモリ４に記録される（同図上部、中部参照）。上記描画結果の表示処理においては、荷重量データに応じて線幅が変更される。

続いて、上記記録された描画操作データを用いて、描画操作が再生される（同図下部参照）。この再生処理は、上記描画操作データを用いている点において、従来の録画データに基づく再生処理とは根本的に異なる（再描画処理）。

この際、同図に示すように、タブレット１００は、再生処理における速度を記録時の速度から変更しても構わない。

図９は、上記描画操作データを用いた再生処理の他の例を示した図である。

同図上部に示すように、タブレット１００は、描画操作データのうち座標データのみ用いて描画操作を再生してもよい。また同図下部に示すように、タブレット１００は、座標データに加えて、荷重量データを濃淡として表現して描画操作を再生しても構わない。

さらにタブレット１００は、描画時の線幅や色を変更してもよいし、また複数の記録データを順番に再生しても構わない。

上記描画操作の記録時の装置（タブレット）と、再生時の装置（タブレット）とは異なる装置であってもよい。すなわち、ある装置で記録された描画操作データが、他の装置に送信されて再生されてもよい。

典型的には、ある著名な画家や書道家等の描画データが事前に記録され、それが例えばインターネット上のサーバ経由またはプリインストールの形態でタブレット１００に記憶され、ユーザが当該描画データを手本に絵画や書道を学ぶといったソリューションが考えられる。

また、ユーザが自ら書いた字や描いた絵を上記描画履歴データとしてタブレット１００に記録させ、それを後から見直して学習するといったソリューションも可能となる。

さらに本実施形態では、タブレット１００は、あるユーザＡの描画操作を記録データを用いて再生しながら、他のユーザＢがそれを真似た描画操作をリアルタイムで記録し、ユーザＡの記録データをユーザＢの記録データと比較するような学習（教育）アプリケーションも実行可能である。

図１０は、上記学習アプリケーションの実行時のタブレットコンピュータの動作の流れを示した図である。また図１１は、上記学習アプリケーションの処理の流れを図式化したものである。

図１０に示すように、タブレット１００のＣＰＵ３はまず、ユーザＡの描画操作入力を受け付ける（ステップ１０１）。

続いてＣＰＵ３は、描画操作の入力位置の座標及び当該入力位置に加わる荷重量を検出し（ステップ１０２）、座標データ及び荷重量データをユーザＡと関連付けて記録する（ステップ１０３）。この際、ユーザＡの描画操作の開始から終了までの軌跡を示す画像がディスプレイ６に表示される（図１１の上部参照）。

続いてＣＰＵ３は、上記座標データ及び荷重量データから、上記移動速度データ及び荷重変化データを算出し（ステップ１０４）、それらデータをユーザＡと関連付けてメモリ４に記録する（ステップ１０５）。

続いてＣＰＵ３は、上記ユーザＡの描画操作の再生指示があったか否かを判断する（ステップ１０６）。

再生指示があった場合（Ｙｅｓ）、ＣＰＵ３は、上記記録データを基に、ユーザＡの描画操作をディスプレイ６上に再生する（ステップ１０７）。それと共にＣＰＵ３は、ユーザＢが、再生されたまたは再生中のユーザＡの描画操作をなぞるユーザＢの描画操作を受け付ける（ステップ１０８）（図１１の中部参照）。

続いてＣＰＵ３は、上記ユーザＢの描画操作について、座標及び荷重量を検出し（ステップ１０９）、座標データ及び荷重量データをユーザＢと関連付けてメモリ４に記録する（ステップ１１０）。

続いてＣＰＵ３は、上記座標データ及び荷重量データから、移動速度データ及び荷重変化データを算出して（ステップ１１１）、それらのデータをユーザＢと関連付けてメモリ４に記録する（ステップ１１２）。

続いてＣＰＵ３は、上記記録したユーザＡの描画操作データとユーザＢの描画操作データを比較し、両者間の差異を判別する（ステップ１１３）。

そしてＣＰＵ３は、上記差異を示す情報を生成して、当該情報を、上記再生されたユーザＡの描画操作データに重畳させてディスプレイ６に表示する（ステップ１１４）。

例えば、図１１の下部に示すように、ある位置におけるユーザＡの荷重量データよりもユーザＢの荷重量データが小さい場合、すなわちユーザＢの力加減が足りない場合には、その位置を指して「強く」といったメッセージが表示されてもよい。また、ユーザＡの座標データとユーザＢの座標データとにずれがある場合には、その箇所を指して「正確に」といったメッセージが表示されてもよい。このほか、ユーザＢの描画速度が遅い場合や荷重量にムラがある場合等にもその旨のメッセージが表示されてもよい。

このように、本実施形態によれば、タブレット１００は、ユーザＡの描画操作とユーザＢの描画操作との差異をユーザＢに知らしめることができる。これにより、ユーザＢは例えば毛筆描画での筆使いや筆の力加減の差等も知ることが出来る。つまり、ユーザＢは、見本としているユーザＡの描画能力を得る為の訓練をすることができる。このようなアプリケーションは、個人のユーザにも利用され得るし、学校等の教育機関でも利用され得る。

［変形例］
本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更され得る。

上述の各実施形態では、センサ１は筆記具による入力操作のみを検出していたが、センサ１は例えばユーザの指等による操作ももちろん検出可能である。さらにセンサ１は、筆記具による入力操作時にディスプレイ６の第１の面１１０に接触するユーザの手の座標及び荷重量も検出可能である。これによりタブレット１００は、例えばペン操作時のユーザの手の置き方も含めてユーザの特徴として記録することで、個人認証処理における認証率を高めることができ、また上記学習アプリケーションにおいてはより詳細な手本を提供することができる。

上述の各実施形態では、入力操作の記録データを認証処理や学習アプリケーションに活用した例が示されたが、記録データは他にも様々なソリューションに活用することが可能である。

例えば、あるユーザのピアノ演奏時やドラム演奏時における鍵盤上またはドラム上の座標データや荷重量データが記録されれば、それを演奏学習アプリケーションに活用することができる。

また、画家等の芸術家が新たに作品を制作する際に、描画操作データを併せて記録しておくことで、後にその作品の贋作が出てきた場合に、その贋作の描画操作データも存在していれば、当該描画操作データを比較することで、贋作を見破ることが可能となる。

上述の第２の実施形態では、描画操作データが学習アプリケーションに用いられたが、描画操作データそのものに価値を生み出すことも可能である。例えば、芸術家の描画データが、ユーザの要求に応じてインターネット等を介してダウンロードされてもよい。これにより、単なる描画結果としてのデータではなく、芸術家の微妙な筆使い等も含んだデータであり、様々な応用が可能となるため、商品としての高い価値を付加することができる。

上述の各実施形態では、座標データ及び荷重量データに加えて移動速度データ及び荷重変化データも各種処理に用いられていたが、座標データ、荷重量データ、移動速度データ及び荷重変化データの少なくとも１つが必要に応じて適宜認証処理や再生処理に選択的に用いられてもよい。

上述の実施形態では、本技術がタブレットコンピュータに適用された例が示された。しかし、本技術は、ノート型ＰＣ、スマートフォン、ＰＤＡ（Personal Digital Assistant）、電子書籍リーダー、ポータブルプレイヤー、カーナビゲーションシステム等、タッチセンサを搭載可能なあらゆる情報処理装置に適用可能である。

［その他］
本技術は以下のような構成も採ることができる。
（１）
筆記具によるユーザの入力操作を受け付ける入力面を有し、前記入力操作があった位置の座標及び前記位置に加わる荷重量を検出可能なセンサと、
記憶部と、
検出された前記座標を示す座標データ及び前記荷重量を示す荷重量データを所定の時間間隔で前記記憶部に前記ユーザの識別情報と関連付けて記憶させ、記憶された前記座標データ及び前記荷重量データを前記記憶部から前記識別情報と関連付けて読み出すことが可能な制御部と
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記制御部は、前記所定の時間間隔で記憶された前記座標データから、前記座標の移動速度を示す移動速度データを算出可能である
情報処理装置。
（３）
上記（１）または（２）に記載の情報処理装置であって、
前記制御部は、前記所定の時間間隔で記憶された前記荷重量データから、前記荷重量の時間的変化を示す荷重量変化データを算出可能である
情報処理装置。
（４）
上記（１）〜（３）のいずれかに記載の情報処理装置であって、
前記制御部は、前記座標データ及び前記荷重量データの記憶後の前記筆記具による入力操作から検出された前記座標及び前記荷重量と、前記記憶された座標データ及び荷重量データとを比較し、差異の有無を判別可能である
情報処理装置。
（５）
上記（４）に記載の情報処理装置であって、
前記制御部は、前記判別された差異の有無を元に前記ユーザを認証し、認証結果を出力可能である
情報処理装置。
（６）
上記（５）に記載の情報処理装置であって、
表示部をさらに具備し、
前記制御部は、前記入力操作に応じて、前記座標データ及び前記荷重量データのうち、座標データのみを用いて前記入力操作の開始から終了までの軌跡を示す画像を表示するように前記表示部を制御可能である
情報処理装置。
（７）
上記（１）〜（６）のいずれかに記載の情報処理装置であって、
出力部をさらに具備し、
前記制御部は、前記判別された差異を示す情報を出力するように前記出力部を制御可能である
情報処理装置。
（８）
上記（１）〜（７）のいずれかに記載の情報処理装置であって、
表示部をさらに具備し、
前記制御部は、前記記憶された座標データ及び荷重量データを基に、前記ユーザの入力操作の開始から終了までの軌跡を示す第１の画像を表示するように前記表示部を制御可能である
情報処理装置。
（９）
上記（８）に記載の情報処理装置であって、
前記センサは、前記画像の表示後、他のユーザの前記筆記具による入力操作から座標データ及び荷重量データを検出可能であり、
前記制御部は、
前記検出された座標データ及び荷重量データを基に、前記他のユーザの入力操作の開始から終了までの軌跡を示す第２の画像を、前記第１の画像に重畳させて表示するように前記表示部を制御し、
前記記憶された座標データ及び荷重量データと前記他のユーザの入力操作から検出された座標データ及び荷重量データとを比較し、
前記第１の画像と前記第２の画像との差異を示す情報を表示するように前記表示部を制御することが可能である
情報処理装置。
（１０）
上記（９）に記載の情報処理装置であって、
前記制御部は、前記記憶された荷重量データ及び前記他のユーザの入力操作から検出された荷重量データに応じて、前記第１の画像及び前記第２の画像における線幅または濃淡を変化させる
情報処理装置。
（１１）
上記（１）〜（１０）のいずれかに記載の情報処理装置であって、
前記センサは、前記筆記具によるユーザの入力操作時に前記入力面へ前記ユーザの手が接触した場合に当該接触位置の座標及び当該接触位置に加わる荷重量を検出可能であり、
前記制御部は、検出された前記接触位置の座標を示す座標データ及び前記接触位置に加わる荷重量を示す荷重量データを、前記入力操作から検出された座標データ及び荷重量データ並びに前記識別情報と関連付けて前記記憶部に記憶させる
情報処理装置。
（１２）
上記（１）〜（１１）のいずれかに記載の情報処理装置であって、
通信部をさらに具備し、
前記制御部は、前記記憶された座標データ及び荷重量データを他の情報処理装置へ送信するように前記通信部を制御し、
前記他の情報処理装置は、前記送信された座標データ及び荷重量データを基に、前記ユーザの入力操作の開始から終了までの軌跡を示す画像を表示する
情報処理装置。

１…センサ
２…センサＩＣ
３…ＣＰＵ
４…メモリ
５…グラフィックドライバ
６…ディスプレイ
１００…タブレットコンピュータ
１１０…第１の面
１５０…入力装置

Claims (13)

1. 筆記具によるユーザの入力操作を受け付ける入力面を有し、前記入力操作があった位置の座標及び前記位置に加わる荷重量を検出可能なセンサと、
   記憶部と、
   検出された前記座標を示す座標データ及び前記荷重量を示す荷重量データを所定の時間間隔で前記記憶部に前記ユーザの識別情報と関連付けて記憶させ、記憶された前記座標データ及び前記荷重量データを前記記憶部から前記識別情報と関連付けて読み出すことが可能な制御部と
   を具備し、
   前記センサは、前記筆記具によるユーザの入力操作時に前記入力面へ前記ユーザの手が接触した場合に当該接触位置の座標及び当該接触位置に加わる荷重量を検出可能であり、
   前記制御部は、検出された前記接触位置の座標を示す座標データ及び前記接触位置に加わる荷重量を示す荷重量データを、前記入力操作から検出された座標データ及び荷重量データ並びに前記識別情報と関連付けて前記記憶部に記憶させる
   情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記所定の時間間隔で記憶された前記座標データから、前記座標の移動速度を示す移動速度データを算出可能である
   情報処理装置。
3. 請求項１または２に記載の情報処理装置であって、
   前記制御部は、前記所定の時間間隔で記憶された前記荷重量データから、前記荷重量の時間的変化を示す荷重量変化データを算出可能である
   情報処理装置。
4. 請求項１〜３のいずれかに記載の情報処理装置であって、
   前記制御部は、前記座標データ及び前記荷重量データの記憶後の前記筆記具による入力操作から検出された前記座標及び前記荷重量と、前記記憶された座標データ及び荷重量データとを比較し、差異の有無を判別可能である
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記制御部は、前記判別された差異の有無を元に前記ユーザを認証し、認証結果を出力可能である
   情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   表示部をさらに具備し、
   前記制御部は、前記入力操作に応じて、前記座標データ及び前記荷重量データのうち、座標データのみを用いて前記入力操作の開始から終了までの軌跡を示す画像を表示するように前記表示部を制御可能である
   情報処理装置。
7. 請求項４〜６のいずれかに記載の情報処理装置であって、
   出力部をさらに具備し、
   前記制御部は、前記判別された差異を示す情報を出力するように前記出力部を制御可能である
   情報処理装置。
8. 請求項１〜７のいずれかに記載の情報処理装置であって、
   表示部をさらに具備し、
   前記制御部は、前記記憶された座標データ及び荷重量データを基に、前記ユーザの入力操作の開始から終了までの軌跡を示す第１の画像を表示するように前記表示部を制御可能である
   情報処理装置。
9. 請求項８に記載の情報処理装置であって、
   前記センサは、前記画像の表示後、他のユーザの前記筆記具による入力操作から座標データ及び荷重量データを検出可能であり、
   前記制御部は、
   前記検出された座標データ及び荷重量データを基に、前記他のユーザの入力操作の開始から終了までの軌跡を示す第２の画像を、前記第１の画像に重畳させて表示するように前記表示部を制御し、
   前記記憶された座標データ及び荷重量データと前記他のユーザの入力操作から検出された座標データ及び荷重量データとを比較し、
   前記第１の画像と前記第２の画像との差異を示す情報を表示するように前記表示部を制御することが可能である
   情報処理装置。
10. 請求項９に記載の情報処理装置であって、
    前記制御部は、前記記憶された荷重量データ及び前記他のユーザの入力操作から検出された荷重量データに応じて、前記第１の画像及び前記第２の画像における線幅または濃淡を変化させる
    情報処理装置。
11. 請求項１〜１０のいずれかに記載の情報処理装置であって、
    通信部をさらに具備し、
    前記制御部は、前記記憶された座標データ及び荷重量データを他の情報処理装置へ送信するように前記通信部を制御し、
    前記他の情報処理装置は、前記送信された座標データ及び荷重量データを基に、前記ユーザの入力操作の開始から終了までの軌跡を示す画像を表示する
    情報処理装置。
12. 筆記具によるユーザの入力操作を受け付ける入力面を有するセンサにより、前記入力操作があった位置の座標及び前記位置に加わる荷重量を検出し、
    検出された前記座標を示す座標データ及び前記荷重量を示す荷重量データを所定の時間間隔で前記ユーザの識別情報と関連付けて記憶部に記憶し、
    記憶された前記座標データ及び前記荷重量データを前記記憶部から前記識別情報と関連付けて読み出し、
    前記センサにより、前記筆記具によるユーザの入力操作時に前記入力面へ前記ユーザの手が接触した場合に当該接触位置の座標及び当該接触位置に加わる荷重量を検出し、
    検出された前記接触位置の座標を示す座標データ及び前記接触位置に加わる荷重量を示す荷重量データを、前記入力操作から検出された座標データ及び荷重量データ並びに前記識別情報と関連付けて前記記憶部に記憶させる
    情報処理方法。
13. 情報処理装置に、
    筆記具によるユーザの入力操作を受け付ける入力面を有するセンサにより、前記入力操作があった位置の座標及び前記位置に加わる荷重量を検出するステップと、
    検出された前記座標を示す座標データ及び前記荷重量を示す荷重量データを所定の時間間隔で前記ユーザの識別情報と関連付けて記憶部に記憶するステップと、
    記憶された前記座標データ及び前記荷重量データを前記記憶部から前記識別情報と関連付けて読み出すステップと、
    前記センサにより、前記筆記具によるユーザの入力操作時に前記入力面へ前記ユーザの手が接触した場合に当該接触位置の座標及び当該接触位置に加わる荷重量を検出するステップと、
    検出された前記接触位置の座標を示す座標データ及び前記接触位置に加わる荷重量を示す荷重量データを、前記入力操作から検出された座標データ及び荷重量データ並びに前記識別情報と関連付けて前記記憶部に記憶させるステップと
    を実行させるプログラム。