JP6136967B2 - 情報処理システム、情報処理方法、及びプログラム - Google Patents

Description

本開示は、情報処理システム、情報処理方法、及びプログラム関する。

特許文献１には、ユーザが行った手書操作の軌跡を表示する情報処理装置が開示されている。

特開２００３−２４８５４８号公報

しかし、特許文献１に開示された技術では、手書操作軌跡に何らメタ情報を付与していなかった。このため、手書操作軌跡の応用に限界があった。

そこで、手書操作軌跡情報にメタ情報を付与することが可能な技術が求められていた。

本開示によれば、ユーザの手書操作軌跡を示す手書操作軌跡情報と、ユーザの手書操作が行われた実環境から検出可能なメタ情報とを関連付ける第１制御部を備える、情報処理システムが提供される。

本開示によれば、ユーザの手書操作軌跡を示す手書操作軌跡情報と、ユーザの手書操作が行われた実環境から検出可能なメタ情報とを関連付けることを含む、情報処理方法が提供される。

本開示によれば、コンピュータに、ユーザの手書操作軌跡を示す手書操作軌跡情報と、ユーザの手書操作が行われた実環境から検出可能なメタ情報とを関連付ける第１制御機能を実現させる、プログラムが提供される。

本開示によれば、手書操作軌跡情報にメタ情報を付与することができる。

以上説明したように本開示によれば、手書操作軌跡情報にメタ情報を付与することができる。本開示に係る技術は、本明細書中に記載されたいずれかの効果、または他の効果を有するものであってもよい。

本開示の実施形態に係る情報処理システムの全体構成を示すブロック図である。 同実施形態に係る手書操作軌跡取得システムの一例を示す説明図である。 手書操作軌跡取得システムの一例を示す説明図である。 手書操作軌跡取得システムの一例を示す説明図である。 手書操作軌跡取得システムの一例を示すブロック図である。 手書操作軌跡取得システムの一例を示すハードウェア構成図である。 手書操作軌跡取得システムの一例を示すブロック図である。 手書操作軌跡取得システムの一例を示すハードウェア構成図である。 手書操作軌跡取得システムの一例を示すブロック図である。 手書操作軌跡取得システムの一例を示すハードウェア構成図である。 手書操作軌跡情報の一例を示す説明図である。 単位軌跡情報の一例を示す説明図である。 手書操作軌跡管理装置の一例を示すブロック図である。 手書操作軌跡管理装置の一例を示すハードウェア構成図である。 手書操作軌跡管理システムの一例を示す説明図である。 第１及び第２ストレージの一例を示すブロック図である。 第１及び第２ストレージの一例を示すハードウェア構成図である。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。 情報処理システムが表示する画面の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．情報処理システムの構成
１−１．全体構成
１−２．手書操作軌跡取得システムの構成
１−２−１．第１の例
１−２−２．第２の例
１−２−３．第３の例
１−３．手書操作軌跡管理システムの構成
１−３−１．第１の例
１−３−２．第２の例
２．情報処理システムによる処理
２−１．基本処理
２−２．検索処理
２−２−１．時刻情報に基づく検索処理
２−２−２．地理情報に基づく検索処理
２−２−３．テキスト情報（文字認識情報）に基づく検索処理
２−３．単位軌跡の順次再生処理
２−４．手書操作軌跡情報の修正処理
２−５．コマンド対応付け処理
２−６．コマンド実行処理
２−７．ＩＤ付与処理
２−８．ＩＤ照合処理

＜１．情報処理システムの構成＞
（１−１．全体構成）
まず、図１に基づいて、本実施形態に係る情報処理システム１の全体構成について説明する。情報処理システム１は、手書操作軌跡取得システム２と、手書操作軌跡管理システム３とを備える。手書操作軌跡取得システム２は、ユーザの手書操作軌跡を示す手書操作軌跡情報と、ユーザの手書操作が行われた実環境から検出可能なメタ情報とを関連付けるシステムである。

ここで、手書操作軌跡とは、ユーザの手書操作によって描かれる軌跡である。手書操作は、筆記具を用いて行われてもよいし、筆記具を用いずに行われてもよい。筆記具は、それ自体が手書操作軌跡（文字、記号、絵画等）を描くことができるものであってもよいが、それ自体に手書操作軌跡を描く機能が無くてもよい。前者の例としては、鉛筆、シャープペンシル、ボールペン、万年筆、毛筆、マーカー等が挙げられる。後者の例としては、タッチペン等が挙げられる。筆記具を用いずに行われる手書操作としては、各種のジェスチャ操作（例えば、指先を動かす操作）等が挙げられる。手書操作軌跡管理システム３は、メタ情報に基づいて手書操作軌跡情報に対する各種処理を行うシステムである。

（１−２．手書操作軌跡取得システムの構成）
手書操作軌跡取得システム２は、手書操作軌跡情報（より具体的には、手書操作軌跡情報を構成する個々のストローク情報）とメタ情報とを関連付けるシステムであるが、その例はいくつか挙げられる。以下、手書操作軌跡取得システム２の例を順次説明する。

（１−２−１．第１の例）
まず、第１の例を図２、図５、図６に基づいて説明する。第１の例に係る手書操作軌跡取得システム２は、情報処理装置２０を備える。

情報処理装置２０は、いわゆる電子ディスプレイであり、図５に示すように、記憶部２０ａ、入力部２０ｂ、表示部２０ｃ、通信部２０ｄ、及び制御部２０ｅ（第１の制御部）を備える。記憶部２０ａは、情報処理装置２０が行う処理に必要なプログラムの他、各種メタ情報を記憶する。また、記憶部２０ａは、手書操作軌跡情報とメタ情報とを関連付けて記憶する。メタ情報の詳細については後述する。なお、手書操作軌跡情報とメタ情報とを記憶する装置は、情報処理装置２０に対して着脱可能なものであってもよい。

入力部２０ｂは、ユーザによる手書操作を受け付けるものであり、例えばタッチパネルである。入力部２０ｂは、ユーザの手書操作によって描かれた手書操作軌跡（例えば図２に示す手書操作軌跡１００）を検出し、手書操作軌跡に関する手書操作軌跡情報を制御部２０ｅに出力する。第１の例では、ユーザは、筆記具２５（具体的にはタッチペン）を入力部２０ｂに押し当てて動かすことで、手書操作を行う。

手書操作軌跡情報は、例えば、手書操作軌跡を構成する各点（以下、「ストローク構成点」とも称する）のｘｙ座標を示す情報である。第１の例のｘｙ座標は、タッチパネル２０ｈに予め設定されたｘｙ座標であればよい。手書操作軌跡の例を図１１に示す。図１１には、手書操作軌跡の例として、手書操作軌跡１０００〜１０３０を示す。図１１に示すように、手書操作軌跡としては、例えば各種文字（アルファベット等）、記号、絵画等が挙げられる。表示部２０ｃは、各種情報、例えばユーザの手書操作軌跡を表示する。通信部２０ｄは、各種情報、例えば手書操作軌跡情報（より詳細には、後述するストローク情報）と当該手書操作軌跡情報に関連付けられたメタ情報とを手書操作軌跡管理システム３に送信する。

制御部２０ｅは、情報処理装置２０が備える各種構成要素を制御する他、以下の処理を行う。制御部２０ｅは、手書操作軌跡を、一又は複数の単位軌跡（以下、「ストローク」とも称する）に分割する。例えば、制御部２０ｅは、筆記具２５が対象物に接触してから離れるまでの間に描かれた軌跡を１つのストロークとする。ここで、対象物は、手書操作の対象物、すなわち文字などの手書操作軌跡が描かれる基材である。ユーザが空間内でジェスチャを行う場合、例えばユーザの指先が動く平面を対象物とすればよい。また、ユーザの指先の延長線と交差する平面（例えばディスプレイ面）を対象物としてもよい。この場合、ユーザの指先の延長線と平面との交点の軌跡が手書操作軌跡となる。ジェスチャによる手書操作軌跡は、例えば後述する第２の例によって検出されてもよい。制御部２０ｅは、ジャイロセンサ等を用いてユーザの状態（立っている、座っている、電車等に乗っている等）を検出し、ユーザの状態に基づいて手書操作軌跡を補正してもよい。図１２を用いて手書操作軌跡とストロークとの関係について説明する。

図１２では、アルファベットの「Ａ」を描く手書操作軌跡１００が示されている。ストローク１００ａは、手書操作軌跡１００を構成する個々の軌跡である。例えば、手書操作軌跡１００がアルファベットの「Ａ」となる場合、手書操作軌跡１００は、３つのストローク１００ａ（１００ａ−１〜１００ａ−３）に分割される。

そして、制御部２０ｅは、各ストロークを示すストローク情報にメタ情報を付与する。ここで、メタ情報は、ユーザの手書操作が行われた実環境から検出可能な情報である。メタ情報の具体例としては、時刻情報、テキスト情報（文字認識情報）、ユーザの生体情報、地理情報、筆圧情報、筆圧具の種類情報、対象物情報等が挙げられる。

時刻情報は、手書操作が行われた時刻に関する情報である。より具体的には、時刻情報は、ストロークが開始された開始時刻と、ストロークが終了した終了時刻とを含む。例えば、ストローク１００ａ−１が描かれる場合、点１１０が描かれる時刻が開始時刻となり、点１１１が描かれる時刻が終了時刻となる。テキスト情報は、例えば、手書操作軌跡が文字をコード化したものである。制御部２０ｅは、例えば、手書操作軌跡に対して文字認識を行うことで、テキスト情報を取得する。なお、各ストロークには、そのストロークで構成される文字のテキスト情報がメタ情報として付与されればよい。例えば、手書操作軌跡がアルファベット「Ａ」を示す場合、各ストローク情報には、アルファベット「Ａ」を示すテキスト情報が付与されればよい。

ユーザの生体情報は、ユーザの身体から取得できる情報、例えば指紋、静脈、ユーザの移動速度、加速度、姿勢等である。本実施形態では、ユーザの生体情報には、ユーザを識別できるあらゆる情報が含まれていてもよい。例えば、ユーザの生体情報は、ユーザの氏名、ユーザを一意に識別できるＩＤ等であってもよい。

地理情報は、ユーザの手書操作が行われた場所、すなわち記載場所を示す情報である。地理情報としては、ＧＰＳ情報、無線通信のロケーション情報等の他、記載場所の気圧、気温、湿度、明るさ、風速、写真、動画、環境音等が挙げられる。制御部２０ｅは、地理情報を検知可能なセンサを用いて、地理情報を取得すればよい。

筆圧情報は、ユーザの筆圧（ここでは、筆記具２５を入力部２０ｂに押し付ける圧力）を示す。筆記具の種類情報は、筆記具の種類を示す情報である。筆記具の種類は、実際の筆記具を示す情報であっても良いが、ユーザが指定した種類であってもよい。例えば、第１の例では、実際の筆記具はタッチペンとなるが、ユーザは、筆記具の種類を任意に指定してもよい。筆記具の種類としては、例えば、鉛筆、シャープペンシル、ボールペン、万年筆、毛筆、マーカー等が挙げられる。

対象物情報は、手書操作の対象物、すなわち文字などの手書操作軌跡が描かれる対象物（基材）の種類を示す。対象物としては、本例のような電子ディスプレイ（より具体的にはタッチパネル）の他、紙、机、ホワイトボード、黒板等が挙げられる。対象物情報は、対象物の種類だけでなく、対象物の形状、色、大きさ等に関する情報が含まれていてもよい。

メタ情報は、上記のものに限られないのはもちろんである。他のメタ情報としては、手書操作軌跡の色を示す色情報、手書操作軌跡の線種を示す線種情報等が挙げられる。色情報は、実際に描かれた手書操作軌跡の色だけでなく、ユーザが指定した色であってもよい。第１の例では、筆記具はタッチペンとなるので、それ自体は手書操作軌跡を描くことができない。そこで、ユーザは、手書操作軌跡の色を任意に指定してもよい。表示部２０ｃには、ユーザが指定した色で手書操作軌跡が描かれる。色情報としては、例えば、ＲＧＢ／ＣＭＹの区分、明度、彩度等が挙げられる。

線種情報は、実際に描かれた手書操作軌跡の線種だけでなく、ユーザが指定した線種であってもよい。第１の例では、筆記具はタッチペンとなるので、それ自体は手書操作軌跡を描くことができない。そこで、ユーザは、手書操作軌跡の線種を任意に指定してもよい。表示部２０ｃには、ユーザが指定した線種で手書操作軌跡が描かれる。線種情報としては、例えば、各種点線、直線、円弧、波線などが挙げられる。

また、制御部２０ｅは、ストローク情報をグルーピングすることで手書操作軌跡グループを作成する。ここで、制御部２０ｅは、１つの手書操作軌跡グループを１ページ分のストローク情報としてもよい。ページの設定方法は特に制限されない。例えば、電子ディスプレイに予め設定されているページを本実施形態のページとしてもよい。そして、制御部２０ｅは、手書操作軌跡グループ自体にもメタ情報を付与してもよい。メタ情報の種類は上述したとおりである。ただし、手書操作軌跡グループに付与される時刻情報は、例えば、手書操作軌跡グループの作成開始時刻と作成終了時刻とを示す。作成開始時刻は、手書操作軌跡グループを構成するストローク情報のうち、最初に描かれたストロークの開始時刻を示す。作成終了時刻は、手書操作軌跡グループをストローク情報のうち、最後に描かれたストロークの終了時刻を示す。また、手書操作軌跡グループに付与されるテキスト情報は、手書操作軌跡グループを構成する文字をすべて示す。各ストローク情報に付与されるテキスト情報は、手書操作軌跡グループを構成する文字をすべて示すものであってもよい。

また、制御部２０ｅは、各ストローク情報と手書操作軌跡グループとに異なるメタ情報（異なる種類のメタ情報）を付与してもよい。例えば、制御部２０ｅは、各ストローク情報に時刻情報だけ付与し、時刻情報を含む複数種類のメタ情報を手書操作軌跡グループに付与してもよい。なお、時刻情報は手書操作軌跡管理システム３によって使用される頻度が高いことから、各ストローク情報には、少なくとも時刻情報を付与することが好ましい。

制御部２０ｅは、ストローク情報とストローク情報に付与されたメタ情報を通信部２０ｄに出力する。また、制御部２０ｅは、手書操作軌跡グループ及び当該グループに付与された情報も通信部２０ｄに出力する。通信部２０ｄは、これらの情報を手書操作軌跡管理システム３に送信する。手書操作軌跡管理システム３は、これらの情報を、例えば１つのストレージ、すなわち手書操作軌跡管理装置３０に記憶する。ただし、制御部２０ｅは、ストローク情報とメタ情報とに統合用ＩＤを付与し、一方の情報（例えばメタ情報）を記憶部２０ａに記憶させたままとし、他方の情報（例えばストローク情報）を手書操作軌跡管理装置３０に記憶させてもよい。また、制御部２０ｅは、手書操作軌跡管理システム３が複数のストレージ３１、３２（図１５参照）を有する場合、これらの情報を別々のストレージに記憶させるようにしてもよい。制御部２０ｅは、手書操作軌跡グループに関しても同様の処理を行ってもよい。これにより、情報の秘匿性が向上する。

図６に示すように、情報処理装置２０は、ハードウェア構成として、ＣＰＵ２０ｆ、記憶装置２０ｇ、タッチパネル２０ｈ、ディスプレイ２０ｉ、通信装置２０ｊを備える。情報処理装置２０は、これらのハードウェア構成により、上述した記憶部２０ａ、入力部２０ｂ、表示部２０ｃ、通信部２０ｄ、及び制御部２０ｅを実現する。これらのハードウェア構成は、電子回路等によって実現される。

ＣＰＵ２０ｆは、記憶装置２０ｇに記憶されたプログラムを読みだして実行する。記憶装置２０ｇは、ＲＯＭ、ＲＡＭ、不揮発性メモリ等で構成される。記憶装置２０ｇは、情報処理装置２０に記憶部２０ａ、入力部２０ｂ、表示部２０ｃ、通信部２０ｄ、及び制御部２０ｅを実現させるためのプログラムを記憶する。記憶装置２０ｇは、ストローク情報とメタ情報とを関連付けて記憶する。記憶装置２０ｇは、手書操作軌跡グループとメタ情報とを関連付けて記憶する。記憶装置２０ｇは、ＣＰＵ２０ｆによる作業領域としても使用される。タッチパネル２０ｈは、手書操作軌跡を検出する。ディスプレイ２０ｉは手書操作軌跡等を表示する。通信装置２０ｊは、手書操作軌跡管理システム３との間で通信を行う。

（１−２−２．第２の例）
次に、図３、図７、及び図８に基づいて、第２の例について説明する。第２の例に係る手書操作軌跡取得システム２は、手書操作軌跡検出装置２１を備える。

手書操作軌跡検出装置２１は、筆記具２７の先端２７ａの動きを検出することで、手書操作軌跡を検出するものである。ここで、筆記具２７は、手書操作軌跡を描くことができるものであっても、手書操作軌跡を描くことができないものであってもよい。図３に示す例では、ユーザは、筆記具２７を用いて紙（対象物）２６に手書操作軌跡１００を描いている。

手書操作軌跡検出装置２１は、図７に示すように、記憶部２１ａ、撮像部２１ｂ、通信部２１ｃ、及び制御部２１ｄ（第１の制御部）を備える。記憶部２１ａは、手書操作軌跡検出装置２１が行う処理に必要なプログラムの他、各種メタ情報を記憶する。また、記憶部２１ａは、手書操作軌跡情報とメタ情報とを関連付けて記憶する。メタ情報の内容は上述したとおりである。

撮像部２１ｂは、互いに異なる位置に２つ以上設けられており、筆記具２７の先端２７ａを撮像する。そして、撮像部２１ｂは、撮像により得られた撮像画像情報を制御部２１ｄに出力する。

通信部２１ｃは、手書操作軌跡管理システム３との間で通信を行う。制御部２１ｄは、制御部２０ｅと同様の処理を行う。ただし、制御部２１ｄは、撮像画像情報に基づいて手書操作軌跡情報を生成する。すなわち、制御部２１ｄは、紙２６上にｘｙ平面を定義する。そして、制御部２１ｄは、撮像画像情報と、三角測量の原理とに基づいて、先端２７ａのｘｙ座標、すなわちストローク構成点のｘｙ座標を特定する。もちろん、手書操作軌跡情報の生成方法はこれに限られない。例えば、対象物の表面に特定のドットパターンが描かれている場合、制御部２１ｄは、手書操作軌跡を構成する各点とドットパターンとの位置関係に基づいて、各点のｘｙ座標を特定してもよい。また、制御部２１ｄは、紙面２６を１または複数のページに分割し、各ページに描かれたストローク情報を１つの手書操作軌跡グループに含めてもよい。

図８に示すように、手書操作軌跡検出装置２１は、ハードウェア構成として、ＣＰＵ２１ｅ、記憶装置２１ｆ、撮像装置２１ｇ、通信装置２１ｈを備える。手書操作軌跡検出装置２１は、これらのハードウェア構成により、上述した記憶部２１ａ、撮像部２１ｂ、通信部２１ｃ、及び制御部２１ｄを実現する。これらのハードウェア構成は、電子回路等によって実現される。

ＣＰＵ２１ｅは、記憶装置２１ｆに記憶されたプログラムを読みだして実行する。記憶装置２１ｆは、ＲＯＭ、ＲＡＭ、不揮発性メモリ等で構成される。記憶装置２１ｆは、手書操作軌跡検出装置２１に記憶部２１ａ、撮像部２１ｂ、通信部２１ｃ、及び制御部２１ｄを実現させるためのプログラムを記憶する。記憶装置２１ｆは、ストローク情報とメタ情報とを関連付けて記憶する。記憶装置２１ｆは、手書操作軌跡グループとメタ情報とを関連付けて記憶する。記憶装置２１ｆは、ＣＰＵ２１ｅによる作業領域としても使用される。撮像装置２１ｇは、互いに異なる位置に２つ以上設けられており、筆記具２７によって描かれた手書操作軌跡を撮像する。通信装置２１ｈは、手書操作軌跡管理システム３との間で通信を行う。

（１−２−３．第３の例）
次に、図４、図９、及び図１０に基づいて、第３の例について説明する。第３の例に係る手書操作軌跡取得システム２は、情報処理装置２２を備える。

情報処理装置２２は、筆記具型のコンピュータである。情報処理装置２２は、その先端部２２ｋの動きを検出することで、手書操作軌跡を検出する。ここで、情報処理装置２２は、手書操作軌跡を描くことができるものであっても、できないものであってもよい。図４に示す例では、ユーザは、情報処理装置２２を用いて紙（対象物）２６に手書操作軌跡１００を描いている。

情報処理装置２２は、図９に示すように、記憶部２２ａ、撮像部２２ｂ、通信部２２ｃ、操作検出部２２ｄ、及び制御部２２ｅ（第１の制御部）を備える。記憶部２２ａは、情報処理装置２２が行う処理に必要なプログラムの他、各種メタ情報を記憶する。また、記憶部２２ａは、手書操作軌跡情報とメタ情報とを関連付けて記憶する。メタ情報の内容は上述したとおりである。

撮像部２２ｂは、先端部２２ｋを撮像する。そして、撮像部２１ｂは、撮像により得られた撮像画像情報を制御部２１ｄに出力する。通信部２２ｃは、手書操作軌跡管理システム３との間で通信を行う。操作検出部２２ｄは、ユーザによる情報処理装置２２の利用を検出する。具体的には、操作検出部２２ｄは、情報処理装置２２に与えられた圧力、情報処理装置２２の温度変化、情報処理装置２２に接触した指の指紋、情報処理装置２２の動き等を検出することで、ユーザが情報処理装置２２を利用しているか否かを検出する。そして、操作検出部２２ｄは、検出結果に関する検出結果情報を制御部２２ｅに出力する。なお、操作検出部２２ｄは、他の方法により情報処理装置２２の利用を検出してもよい。例えば、操作検出部２２ｄは、機械的なスイッチであってもよい。ユーザは、情報処理装置２２を利用する場合には、このスイッチを押下する。

制御部２２ｅは、制御部２０ｅと同様の処理を行う。ただし、制御部２２ｅは、撮像画像情報に基づいて手書操作軌跡情報を生成する。すなわち、制御部２２ｅは、撮像画像に基づいて、先端部２２ｋの位置を特定する。そして、制御部２２ｅは、前回のストロークの終了点を基準（原点）として、先端部２２ｋのｘｙ座標を特定する。そして、制御部２２ｅは、先端部２２ｋのｘｙ座標を、ストローク構成点のｘｙ座標とする。このように、制御部２２ｅは、前回のストロークを基準とした相対的なｘｙ座標を特定する。もちろん、制御部２２ｅは、他の方法によりストローク構成点のｘｙ座標を特定してもよい。たとえば、撮像部２２ｂの代わりにジャイロセンサを情報処理装置２２に備えさせてもよい。この場合、制御部２２ｅは、ジャイロセンサから与えられた情報、すなわち情報処理装置２２の動作に関する情報に基づいて、ストローク構成点のｘｙ座標を特定してもよい。また、制御部２２ｅは、対象物の表面に特定のドットパターンが描かれている場合、手書操作軌跡を構成する各点とドットパターンとの位置関係に基づいて、各点のｘｙ座標を特定してもよい。

また、制御部２２ｅは、操作検出部２２ｄから与えられた検出結果情報に基づいて、ユーザが情報処理装置２２を利用した時間を検出する。そして、制御部２２ｅは、この時間内に描かれたストロークを１ページ分のストロークとしてグルーピングする。これにより、制御部２２ｅは、手書操作軌跡グループを生成する。

ここで、制御部２２ｅは、行単位でストローク情報をグルーピングしてもよい。具体的には、制御部２２ｅは、ある一のストロークの終了点と他のストロークの開始点とが所定距離内に存在する場合、これらのストロークが同じ行に属すると判定する。制御部２２ｅは、このような距離判定に加え、時間的な判定を補助的に行ってもよい。すなわち、制御部２２ｅは、一のストロークの終了点と他のストロークの開始点とが所定距離内に存在し、かつ、一のストロークの終了時刻と他のストロークの開始時刻との間が所定時間内となる場合に、これらのストロークが同じ行に属すると判定してもよい。

図１０に示すように、情報処理装置２２は、ハードウェア構成として、ＣＰＵ２２ｆ、記憶装置２２ｇ、撮像装置２２ｈ、通信装置２２ｉ、センサ２２ｊを備える。情報処理装置２２は、これらのハードウェア構成により、上述した記憶部２２ａ、撮像部２２ｂ、通信部２２ｃ、操作検出部２２ｄ、及び制御部２２ｅを実現する。これらのハードウェア構成は、電子回路等によって実現される。

ＣＰＵ２２ｆは、記憶装置２２ｇに記憶されたプログラムを読みだして実行する。記憶装置２２ｇは、ＲＯＭ、ＲＡＭ、不揮発性メモリ等で構成される。記憶装置２２ｇは、情報処理装置２２に記憶部２２ａ、撮像部２２ｂ、通信部２２ｃ、操作検出部２２ｄ、及び制御部２２ｅを実現させるためのプログラムを記憶する。記憶装置２２ｇは、ストローク情報とメタ情報とを関連付けて記憶する。記憶装置２２ｇは、手書操作軌跡グループとメタ情報とを関連付けて記憶する。記憶装置２２ｇは、ＣＰＵ２２ｆによる作業領域としても使用される。撮像装置２２ｈは、情報処理装置２２の先端部２２ｋを撮像する。通信装置２２ｉは、手書操作軌跡管理システム３との間で通信を行う。センサ２２ｊは、情報処理装置２２に与えられた圧力、情報処理装置２２の温度変化、情報処理装置２２に接触した指の指紋、情報処理装置２２の動き等を検出する。

いずれの例においても、手書操作軌跡取得システム２は、ストローク情報を生成し、このストローク情報にメタ情報を関連付ける。さらに、手書操作軌跡取得システム２は、ストローク情報をページまたは行ごとにグルーピングすることで手書操作軌跡グループを生成し、手書操作軌跡グループにもメタ情報を付与する。そして、手書操作軌跡取得システム２は、これらの情報を手書操作軌跡管理システム３に送信する。なお、第１〜第３の例は任意に組み合わされてもよい。例えば、第２の例と第３の例とを組み合わせてもよい。この場合、例えば、情報処理装置２２が検出した情報をメインに使用し、情報処理装置２２の検出精度が落ちた場合に、手書操作軌跡検出装置２１が検出した情報を使用するようにしてもよい。

（１−３．手書操作軌跡管理システムの構成）
手書操作軌跡管理システム３は、ストローク情報及びメタ情報を管理するシステムであるが、その例はいくつか挙げられる。以下、手書操作軌跡管理システム３の例を順次説明する。

（１−３−１．第１の例）
まず、第１の例を図１、図１３に基づいて説明する。第１の例に係る手書操作軌跡管理システム３は、手書操作軌跡管理装置３０を備える。

手書操作軌跡管理装置３０は、図１３に示すように、記憶部３０ａ、入力部３０ｂ、表示部３０ｃ、通信部３０ｄ、及び制御部３０ｅ（第２の制御部）を備える。記憶部３０ａは、手書操作軌跡管理装置３０が行う処理に必要なプログラムを記憶する他、手書操作軌跡取得システム２から与えられた情報を記憶する。入力部３０ｂは、ユーザによる各種入力操作（手書操作を含む）を受け付けるものである。入力部３０ｂは、例えばタッチパネル、キーボード、マウス、タッチペン等である。入力部３０ｂは、ユーザにより入力された情報、すなわち入力操作情報を制御部３０ｅに出力する。

表示部３０ｃは、各種情報を表示する。例えば、表示部３０ｃは、ストローク情報をグループ単位（ページまたは行単位）で表示する。通信部３０ｄは、手書操作軌跡取得システム２から各種情報（例えばストローク情報及びメタ情報）を取得し、制御部３０ｅに出力する。

制御部３０ｅは、手書操作軌跡管理装置３０が備える各種構成要素を制御する他、以下の処理を行う。すなわち、制御部３０ｅは、手書操作軌跡取得システム２から与えられた情報を記憶部３０ａに記憶させる。また、制御部３０ｅは、メタ情報等に基づいて、ストローク情報に対する各種処理を行う。このような処理としては、ストローク情報の検索、再生、修正（美修正）、ストローク情報へのコマンドの対応付け、及びコマンドの実行等が挙げられる。具体的には後述する。

図１４に示すように、手書操作軌跡管理装置３０は、ハードウェア構成として、ＣＰＵ３０ｆ、記憶装置３０ｇ、入力装置３０ｈ、ディスプレイ３０ｉ、及び通信装置３０ｊを備える。手書操作軌跡管理装置３０は、これらのハードウェア構成により、上述した記憶部３０ａ、入力部３０ｂ、表示部３０ｃ、通信部３０ｄ、及び制御部３０ｅを実現する。これらのハードウェア構成は、電子回路等によって実現される。

ＣＰＵ３０ｆは、記憶装置３０ｇに記憶されたプログラムを読みだして実行する。記憶装置３０ｇは、ＲＯＭ、ＲＡＭ、不揮発性メモリ、ハードディスク等で構成される。記憶装置３０ｇは、手書操作軌跡管理装置３０に記憶部３０ａ、入力部３０ｂ、表示部３０ｃ、通信部３０ｄ、及び制御部３０ｅを実現させるためのプログラムを記憶する。記憶装置３０ｇは、手書操作軌跡取得システム２から与えられた情報を記憶する。記憶装置３０ｇは、ＣＰＵ３０ｆによる作業領域としても使用される。通信装置３０ｊは、手書操作軌跡取得システム２との間で通信を行う。なお、手書操作軌跡取得システム２が情報処理装置２０（第１の例）で構成される場合、情報処理装置２０が手書操作軌跡管理装置３０の機能を有していてもよい。

（１−３−２．第２の例）
次に、図１、図１５、図１６、及び図１７に基づいて、手書操作軌跡管理システム３の第２の例について説明する。第２の例に係る手書操作軌跡管理システム３は、手書操作軌跡管理装置３０の他、第１及び第２のストレージ３１、３２、及びネットワーク３３を備える。

第１ストレージ３１は、図１６に示すように、記憶部３１ａ、通信部３１ｂ、及び制御部３１ｃを備える。記憶部３１ａは、第１ストレージ３１が行う処理に必要なプログラムを記憶する他、ストローク情報及び手書操作軌跡グループを記憶する。なお、各ストローク情報には上述した統合用ＩＤが付与されている。通信部３１ｂは、ネットワーク３３を介して手書操作軌跡取得システム２、手書操作軌跡管理装置３０、及び第２ストレージ３２との間で通信を行う。制御部３１ｃは、第１ストレージ３１が備える各種構成要素を制御する。

図１７に示すように、第１ストレージ３１は、ハードウェア構成として、ＣＰＵ３１ｄ、記憶装置３１ｅ、及び通信装置３１ｆを備える。第１ストレージ３１は、これらのハードウェア構成により、上述した記憶部３１ａ、通信部３１ｂ、及び制御部３１ｃを実現する。これらのハードウェア構成は、電子回路等によって実現される。

ＣＰＵ３１ｄは、記憶装置３１ｅに記憶されたプログラムを読みだして実行する。記憶装置３１ｅは、ＲＯＭ、ＲＡＭ、不揮発性メモリ、ハードディスク等で構成される。記憶装置３１ｅは、第１ストレージ３１に記憶部３１ａ、通信部３１ｂ、及び制御部３１ｃを実現させるためのプログラムを記憶する他、ストローク情報及び手書操作軌跡グループを記憶する。記憶装置３１ｅは、ＣＰＵ３１ｄによる作業領域としても使用される。通信装置３１ｆは、ネットワーク３３を介して手書操作軌跡取得システム２、手書操作軌跡管理装置３０、及び第２ストレージ３２との間で通信を行う。

第２ストレージ３２は、図１６に示すように、記憶部３２ａ、通信部３２ｂ、及び制御部３２ｃを備える。記憶部３２ａは、第２ストレージ３２が行う処理に必要なプログラムを記憶する他、メタ情報を記憶する。なお、各メタ情報には上述した統合用ＩＤが付与されている。通信部３２ｂは、ネットワーク３３を介して手書操作軌跡取得システム２、手書操作軌跡管理装置３０、及び第１ストレージ３１との間で通信を行う。制御部３２ｃは、第２ストレージ３２が備える各種構成要素を制御する。

図１７に示すように、第２ストレージ３２は、ハードウェア構成として、ＣＰＵ３２ｄ、記憶装置３２ｅ、及び通信装置３２ｆを備える。第２ストレージ３２は、これらのハードウェア構成により、上述した記憶部３２ａ、通信部３２ｂ、及び制御部３２ｃを実現する。これらのハードウェア構成は、電子回路等によって実現される。

ＣＰＵ３２ｄは、記憶装置３２ｅに記憶されたプログラムを読みだして実行する。記憶装置３２ｅは、ＲＯＭ、ＲＡＭ、不揮発性メモリ、ハードディスク等で構成される。記憶装置３２ｅは、第２ストレージ３２に記憶部３２ａ、通信部３２ｂ、及び制御部３２ｃを実現させるためのプログラムを記憶する他、メタ情報を記憶する。記憶装置３２ｅは、ＣＰＵ３２ｄによる作業領域としても使用される。通信装置３２ｆは、ネットワーク３３を介して手書操作軌跡取得システム２、手書操作軌跡管理装置３０、及び第１ストレージ３１との間で通信を行う。

ネットワーク３３は、手書操作軌跡取得システム２、手書操作軌跡管理装置３０、第１ストレージ３１、及び第２ストレージ３２が互いに通信を行うためのネットワークである。

このように、第２の例に係る手書操作軌跡管理システム３は、メタ情報とストローク情報及び手書操作軌跡グループとを別々のストレージに記憶させる。これにより、情報の秘匿性が向上する。すなわち、第２の例に係る手書操作軌跡管理システム３は、複数の機能がそれぞれ別々の構成要素で実現されるシステム、すなわちクラウドコンピューティングシステムとなっている。

なお、ストレージの数は１つであってもよい。この場合、例えばストレージがメタ情報を記憶し、手書操作軌跡管理装置３０がストローク情報等を記憶してもよい。もちろん、この逆であってもよい。また、手書操作軌跡管理システム３の構成はさらに細分化されてもよい。

＜ ２．情報処理システムによる処理＞
次に、情報処理システム１による処理の手順について説明する。なお、以下の説明では、特に示さない限り、手書操作軌跡取得システム２及び手書操作軌跡管理システム３がいずれも第１の例で構成されているものとする。

（２−１．基本処理）
まず、基本処理の手順について、図１８に示すフローチャートにそって説明する。ステップＳ１０において、ユーザは、筆記具２５を用いて手書操作を行う。入力部２０ｂは、ユーザの手書操作によって描かれた手書操作軌跡を検出し、手書操作軌跡に関する手書操作軌跡情報を制御部２０ｅに出力する。

ステップＳ２０において、制御部２０ｅは、手書操作軌跡を一又は複数のストロークに分割する。そして、制御部２０ｅは、各ストロークを示すストローク情報にメタ情報を付与する。さらに、制御部２０ｅは、ストローク情報をグルーピングすることで手書操作軌跡グループを作成する。ここで、制御部２０ｅは、１つの手書操作軌跡グループを１ページ分のストローク情報としてもよい。制御部２０ｅは、手書操作軌跡グループにもメタ情報を付与する。

ステップＳ３０において、制御部２０ｅは、ストローク情報、手書操作軌跡グループ、及びこれらに付与されるメタ情報を記憶部２０ａに記憶する。さらに、制御部２０ｅは、ストローク情報、手書操作軌跡グループ、及びこれらに付与されるメタ情報を通信部２０ｄに出力する。通信部２０ｄは、これらの情報を手書操作軌跡管理装置３０に送信する。手書操作軌跡管理装置３０の通信部３０ｄは、これらの情報を受信し、制御部３０ｅに出力する。制御部３０ｅは、これらの情報を記憶部３０ａに記憶する。

ステップＳ４０において、ユーザは、処理対象とするストローク情報を特定するための検索情報を入力する。ここで、検索情報は、上述したメタ情報のいずれかを特定するものである。制御部３０ｅは、検索情報に合致するストローク情報を検索する。

ステップＳ５０において、制御部３０ｅは、検索情報に合致するストローク情報を手書操作軌跡グループ単位（すなわち、ページまたは行単位）で記憶部３０ａから読み出す。なお、制御部３０ｅは、事前にユーザの生体情報をユーザに入力してもらい、この生体情報に合致するストローク情報のみを検索の対象としてもよい。

ステップＳ６０において、ユーザは、ストローク情報を表示する形式を選択する。ここで、ストローク情報の表示形式は特に制限されない。ストローク情報の表示形式としては、例えばストローク情報を時系列で表示する時系列表示形式、ストローク情報を地理情報に基づいて表示する地理的表示形式等が挙げられる。これらの表示形式の具体的な例は後述する。

ステップＳ７０において、制御部３０ｅは、選択された表示形式でストローク情報を表示する。ここで、制御部３０ｅは、ストローク情報を手書操作軌跡グループ単位で表示する。

ステップＳ８０において、制御部３０ｅは、表示されたストローク情報に対して各種の処理（アプリケーション）を実行する。具体的な処理内容については後述する。

（２−２．検索処理）
つぎに、検索処理（ステップＳ４０以降の処理）について詳細に説明する。検索処理は、検索情報に基づいてストローク情報を検索する処理である。検索情報は、メタ情報のいずれであってもよい。ここでは、検索情報が時刻情報、地理情報、及びテキスト情報である場合を一例として検索処理を説明する。

（２−２−１．時刻情報に基づく検索処理）
まず、図１９に基づいて、時刻情報に基づく検索処理について説明する。ステップＳ９０において、ユーザは、検索情報として時刻情報を入力する。ここで、時刻情報の入力例を図２８〜図３０に基づいて説明する。

まず、制御部３０ｅは、年号を示す年号情報２００を一覧表示する。さらに、制御部３０ｅは、検索実行ボタン２５０と、詳細検索情報入力ボタン２６０とを表示する。ユーザは、年号情報２００のうち、所望の年号情報を選択する。例えば、ユーザは、所望の年号情報２００にタップする。制御部３０ｅは、ユーザが選択した年号情報２００に枠画像２１０を重畳する。なお、制御部３０ｅは、ユーザが選択した年号情報に合致し、かつ、クリティカルなストローク情報（例えば、下線が引かれたストローク情報）が存在する場合には、当該ストローク情報の存在をユーザに通知してもよい。例えば、「重要な情報があります」といった文字情報や音声情報を出力してもよい。

そして、ユーザは、検索実行ボタン２５０及び詳細検索情報入力ボタン２６０のいずれかを選択する。ユーザは、年号情報を検索情報としたい場合には、検索実行ボタン２５０を選択する（例えばタップする）。ユーザは、年号情報よりも詳細な検索情報を入力したい場合には、詳細検索情報入力ボタン２６０を選択する（例えばタップする）。

制御部３０ｅは、検索実行ボタン２５０が選択された場合には、年号情報を検索情報として決定し、ステップＳ１００に進む。一方、制御部３０ｅは、詳細検索情報が選択された場合には、図２９に示すように、１月〜１２月を示す月情報２２０を一覧表示する。制御部３０ｅは、検索実行ボタン２５０と、詳細検索情報入力ボタン２６０とを表示する。ユーザは、月情報２２０のうち、所望の月情報２２０を選択する。制御部３０ｅは、ユーザが選択した月情報２２０に枠画像２１０を重畳する。そして、ユーザは、検索実行ボタン２５０及び詳細検索情報入力ボタン２６０のいずれかを選択する。ユーザは、年号及び月情報を検索情報としたい場合には、検索実行ボタン２５０を選択する。ユーザは、月情報よりも詳細な検索情報を入力したい場合には、詳細検索情報入力ボタン２６０を選択する。

制御部３０ｅは、検索実行ボタン２５０が選択された場合には、年号及び月情報を検索情報として決定し、ステップＳ１００に進む。一方、制御部３０ｅは、詳細検索情報が選択された場合には、図３０に示すように、ユーザが選択した月情報内の日付を示す日付情報２４０を一覧表示する。ユーザは、日付情報２４０のうち、所望の日付情報２４０を選択する。制御部３０ｅは、ユーザが選択した日付情報２４０に枠画像２１０を重畳する。そして、制御部３０ｅは、ユーザが入力した年号、月、及び日付情報を検索情報とする。

ステップＳ１００において、検索情報に合致するストローク情報を検索する。ここで、検索情報に合致するストローク情報は、検索情報（時刻情報）が示す期間内に記録されたストローク情報、より詳細には、メタ情報中の時刻情報が検索情報内の時刻を示すストローク情報である。上述したように、ユーザは、年号、月、日付をドリルダウン形式で指定することができる。したがって、制御部３０ｅは、検索をドリルダウン形式で行うことができる。

なお、制御部３０ｅは、ユーザに時、分等のより詳細な検索情報をユーザに入力させてもよい。例えば、制御部３０ｅは、例えば時計画像、時刻を示す目盛等を表示することで、ユーザに所望の時、分等を入力させてもよい。また、制御部３０ｅは、ユーザに時刻情報を直接入力させてもよい。また、制御部３０ｅは、ユーザに異なる時刻情報を２つ入力させ、これらの時刻情報の間の期間を検索情報としてもよい。

ステップＳ１１０において、ユーザは、ストローク情報を表示する形式を選択する。ここで、ストローク情報の表示形式は特に制限されない。ストローク情報の表示形式としては、例えば上述した時系列表示形式、地理的表示形式等が挙げられる。

ステップＳ１２０において、制御部３０ｅは、選択された表示形式でストローク情報を表示する。ここで、制御部３０ｅは、ストローク情報を手書操作軌跡グループ単位で表示する。図３１に時系列表示形式の例を示す。制御部３０ｅは、時刻情報表示欄３００とグループ表示欄３１０との組をリスト表示する。このリストは、表示部３０ｃ（ディスプレイ３０ｉ）の画面サイズに合わせて表示されることが好ましい。

時刻情報表示欄３００には、手書操作軌跡グループに付与された時刻情報が表示される。グループ表示欄３１０には、手書操作軌跡グループに属するストローク情報が表示される。リストには、他のメタ情報、例えば対象物情報等を含めてもよい。例えば、グループ表示欄３１０の背景を対象物情報が示す色（対象物の色）等で表示してもよい。そして、制御部３０ｅは、ユーザの選択操作（例えば上下フリック操作）に基づいてリストを上下動させる。制御部３０ｅは、ユーザがいずれかのグループ表示欄３１０を選択した（例えばタップした）場合、ユーザが選択した手書操作軌跡グループを拡大表示してもよい。

ここで、制御部３０ｅは、検索情報に合致する手書操作軌跡グループをハイライト表示し、検索情報に合致しない手書操作軌跡グループ（例えば、検索情報に合致しないが、検索情報に近い（隣接した）時刻情報を有する手書操作軌跡グループ）をぼかして表示してもよい。

図３２に地理的表示形式の例を示す。制御部３０ｅは、地理情報表示欄３２０とグループ表示欄３３０との組をリスト表示する。地理情報表示欄３２０には、手書操作軌跡グループに付与された地理情報が表示される。グループ表示欄３３０には、手書操作軌跡グループに属するストローク情報が表示される。リストには、他のメタ情報、例えば対象物情報等を含めてもよい。そして、制御部３０ｅは、ユーザの選択操作（例えば上下フリック操作）に基づいてリストを上下動させる。制御部３０ｅは、ユーザがいずれかのグループ表示欄を選択した場合、ユーザが選択した手書操作軌跡グループを拡大表示する。

ここで、制御部３０ｅは、検索情報に合致する手書操作軌跡グループをハイライト表示し、検索情報に合致しない手書操作軌跡グループ（例えば、検索情報に合致しないが、検索情報に近い（隣接した）地理情報を有する手書操作軌跡グループ）をぼかして表示してもよい。

ステップＳ１３０において、制御部３０ｅは、表示されたストローク情報に対して追加検索を実行する。すなわち、制御部３０ｅは、検索情報を再度ユーザに入力させる。そして、表示されたストローク情報のうち、追加検索情報に合致するストローク情報を検索する。追加検索の具体的な方法は、検索処理と同様である。追加検索は、時刻情報に基づく追加検索、地理情報に基づく追加検索、テキスト情報に基づく追加検索等が挙げられる。制御部３０ｅは、追加検索されたストローク情報を表示する。表示形式などは上述したものと同様である。なお、制御部３０ｅは、追加検索されたストローク情報を非選択状態としてもよい。

ステップＳ１４０において、制御部３０ｅは、表示されたストローク情報に対して各種の処理（アプリケーション）を実行する。具体的な処理内容については後述する。ここで、制御部３０ｅは、拡大表示された手書操作軌跡グループに対して各種の処理を行ってもよい。さらに、ユーザは、拡大表示されたストローク情報から直接所望のストローク情報を選択してもよい。例えば、ユーザは、所望のストローク情報を指でドラッグしてもよい。この場合、制御部３０ｅは、ユーザが選択したストローク情報を他のストローク情報と識別可能な態様（例えば、反転、変色、点滅など）で表示する。そして、制御部３０ｅは、ユーザが選択したストローク情報に対して各種の処理を行ってもよい。

（２−２−２．地理情報に基づく検索処理）
まず、図２０に基づいて、地理情報に基づく検索処理について説明する。ステップＳ１５０において、ユーザは、検索情報として地理情報を入力する。ここで、地理情報の入力例を図３３に基づいて説明する。

まず、制御部３０ｅは、地図画像４００を表示する。制御部３０ｅは、地図画像４００上に手書操作軌跡グループの概要を表示してもよい。例えば、制御部３０ｅは、地図画像４００のうち、手書操作軌跡グループに付与された地理情報が示す位置をハイライト表示してもよい。重要なストローク情報を含む手書操作軌跡グループは、他の手書操作軌跡グループと異なる表示態様でハイライト表示されてもよい。ユーザは、地図画像４００のうち、所望の位置を選択する。例えば、ユーザは、所望の位置をタップする。制御部３０ｅは、ユーザが選択した位置に枠画像４１０を重畳する。そして、制御部３０ｅは、ユーザが選択した位置を検索情報として決定する。なお、制御部３０ｅは、ユーザに地図情報をドリルダウン形式で選択させてもよい。具体的には、制御部３０ｅは、ユーザが地図画像４００内のいずれかの位置を選択した場合には、選択された位置を拡大表示する。そして、制御部３０ｅは、拡大表示された地図画像のうち、所望の位置をユーザに選択させる。また、制御部３０ｅは、ユーザに地理情報（例えば、緯度経度、住所等）を直接入力させてもよい。

ステップＳ１６０において、検索情報に合致するストローク情報を検索する。ここで、検索情報に合致するストローク情報は、検索情報（地理情報）が示す範囲内で記録されたストローク情報、より詳細には、メタ情報中の地理情報が検索情報内の位置を示すストローク情報である。

ステップＳ１７０において、ユーザは、ストローク情報を表示する形式を選択する。ここで、ストローク情報の表示形式は特に制限されない。ストローク情報の表示形式としては、例えば上述した時系列表示形式、地理的表示形式等が挙げられる。

ステップＳ１８０において、制御部３０ｅは、選択された表示形式でストローク情報を表示する。具体的な表示例は上述したとおりである。

ステップＳ１９０において、制御部３０ｅは、表示されたストローク情報に対して追加検索を実行する。すなわち、制御部３０ｅは、検索情報を再度ユーザに入力させる。そして、表示されたストローク情報のうち、追加検索情報に合致するストローク情報を検索する。

ステップＳ２００において、制御部３０ｅは、表示されたストローク情報に対して各種の処理（アプリケーション）を実行する。具体的な処理内容については後述する。

（２−２−３．テキスト情報に基づく検索処理）
まず、図２１に基づいて、テキスト情報に基づく検索処理について説明する。ステップＳ２１０において、ユーザは、検索情報としてテキスト情報（文字情報）を入力する。

ステップＳ２２０において、制御部３０ｅは、ユーザが入力したテキスト情報を検索情報とし、検索情報に合致するストローク情報を検索する。ここで、検索情報に合致するストローク情報は、メタ情報中のテキスト情報が検索情報を含むストローク情報である。

ステップＳ２３０において、ユーザは、ストローク情報を表示する形式を選択する。ここで、ストローク情報の表示形式は特に制限されない。ストローク情報の表示形式としては、例えば上述した時系列表示形式、地理的表示形式等が挙げられる。

ステップＳ２４０において、制御部３０ｅは、選択された表示形式でストローク情報を表示する。具体的な表示例は上述したとおりである。

ステップＳ２５０において、制御部３０ｅは、表示されたストローク情報に対して追加検索を実行する。すなわち、制御部３０ｅは、検索情報を再度ユーザに入力させる。そして、表示されたストローク情報のうち、追加検索情報に合致するストローク情報を検索する。ここで、ユーザは、一度目の検索で表示された手書操作軌跡グループの中に所望のテキスト情報を示すストローク情報が存在する場合には、当該ストローク情報を選択してもよい。例えば、ユーザは、当該ストローク情報をタップしてもよい。制御部３０ｅは、ユーザが選択したストローク情報に対応するテキスト情報を取得し、当該テキスト情報を検索情報とする。

ステップＳ２６０において、制御部３０ｅは、表示されたストローク情報に対して各種の処理（アプリケーション）を実行する。具体的な処理内容については後述する。検索情報は、上述した時刻情報、地理情報、テキスト情報以外のメタ情報であってもよい。例えば、制御部３０ｅは、ユーザの生体情報、筆圧情報、筆圧具の種類情報、対象物情報等を検索情報としてもよい。これらの検索情報は、ユーザによって直接入力させても良いし、検索情報の候補をリスト表示し、ユーザにリスト表示された候補からいずれかを選択させてもよい。

（２−３．単位軌跡の順次再生処理）
次に、アプリケーションの具体例の一つである単位軌跡（ストローク）の順次再生処理を、図２２に示すフローチャートに沿って説明する。

ステップＳ２７０において、制御部３０ｅは、表示されたストローク情報を手書操作軌跡グループ単位で時間軸上に並び替える。

ステップＳ２８０において、制御部３０ｅは、表示されたストローク情報のすべてを非表示とする。ここで、非表示とは、単純に表示画面から消去するか、ストローク情報の表示形態を背景色と同程度の表示形態（例えば、背景色と同程度の色、明度、及び彩度）に変更することを意味する。ついで、制御部３０ｅは、手書操作軌跡グループ単位で以下のステップＳ３００〜Ｓ３１０の処理を行う。

ステップＳ３００において、制御部３０ｅは、非表示（または背景色と同程度の表示形態とされた）ストローク情報のうち、記録時間（メタ情報中の開始時刻）が最も早いストローク情報から順次再生する。具体的には、制御部３０ｅは、ストローク構成点をストローク情報の開始点から順次表示することで、ストローク情報を再生する。ここで、表示とは、単純に表示画面に表示するか、あるいは、表示形態を背景色と識別可能な表示形態に変更することを意味する。制御部３０ｅは、手書操作軌跡グループに属するすべてのストローク情報を再生する。

ステップＳ３１０において、制御部３０ｅは、手書操作軌跡グループに属するすべてのストローク情報を再生した後、次の手書操作軌跡グループに対してステップＳ３００と同様の処理を行う。制御部３０ｅは、すべての手書操作軌跡グループの再生が終了したら、ステップＳ３２０に進む。ステップＳ３２０において、制御部３０ｅは、本処理を終了する。

ここで、図３４〜図３７に基づいて、単位軌跡の順次再生処理の具体例について説明する。この例では、「ＡＢＣＤ」という文字が描かれた手書操作軌跡グループを再生する。図３４に示すように、制御部３０ｅは、ストローク１００ａ−１〜１００ａ−３（アルファベット「Ａ」を構成するストローク）をこの順で再生する。そして、制御部３０ｅは、ストローク１００ａ−４（アルファベット「Ｂ」の一部を構成するストローク）を再生する。ついで、制御部３０ｅは、図３５に示すように、ストローク１００ａ−５（アルファベット「Ｂ」の一部を構成するストローク）を再生する。

そして、制御部３０ｅは、図３６に示すように、ストローク１００ａ−６（アルファベット「Ｃ」を構成するストローク）を再生する。ついで、制御部３０ｅは、図３７に示すように、ストローク１００ａ−７（アルファベット「Ｄ」の一部を構成するストローク）を再生する。その後、制御部３０ｅは、同様の処理を繰り返すことで、手書操作軌跡グループを再生する。

（２−４．手書操作軌跡情報の修正処理）
次に、アプリケーションの具体例の一つである手書操作軌跡情報の修正処理を、図２３に示すフローチャートに沿って説明する。

ステップＳ３３０において、制御部３０ｅは、表示されたストローク情報を手書操作軌跡グループ単位で時間軸上に並び替える。そして、制御部３０ｅは、記録時間（メタ情報中の開始時刻）の早い手書操作軌跡グループから順次ステップＳ３４０以降の処理を行う。

ステップＳ３４０において、制御部３０ｅは、ディスプレイ３０ｉのサイズに応じた１列（縦書）または１行（横書）の距離を検出する。１列の距離は、ディスプレイ３０ｉの縦幅に相当し、１行の距離は、ディスプレイ３０ｉの横幅に相当する。

ステップＳ３５０において、制御部３０ｅは、１列または１行の距離に適した範囲のストローク情報を表示する。

ステップＳ３６０において、制御部３０ｅは、表示されたストローク情報に対応するテキスト情報（文字認識情報）をストローク情報と並べて表示する。ユーザにとっては、テキスト情報は見本となる。

ステップＳ３７０において、制御部３０ｅは、ユーザによるストローク情報の追記を受け付ける。ユーザは、テキスト情報（見本）を見ながら、手書操作を行う。すなわち、ストローク情報を追記する。ここでは、ユーザは、例えばタッチペン等を用いて、ディスプレイ３０ｉ上に手書操作軌跡を描く。例えば、ユーザは、手書操作軌跡の長さ、角度、ハネ、トメ等を修正する。制御部３０ｅは、追記されたストローク情報とメタ情報とを関連付けて記憶部３０ａに記憶する。なお、ストローク情報に付与されるメタ情報のうち、時刻情報は、ストローク修正の開始時刻、終了時刻となってもよい。

ステップＳ３８０において、制御部３０ｅは、未処理のストローク情報を、１列（または１行）分だけ表示し、ステップＳ３５０以降の処理を繰り返す。

ステップＳ３９０において、制御部３０ｅは、ステップＳ３３０で表示したすべてのストローク情報に対して、ステップＳ３５０以降の処理を行う。

ステップＳ４００において、制御部３０ｅは、未処理の手書操作軌跡グループのうち、記録時間が最も早い手書操作軌跡グループに対して、ステップＳ３５０以降の処理を行う。

ステップＳ４１０において、制御部３０ｅは、ステップＳ３３０で表示されたすべての手書操作軌跡グループに対して、ステップＳ３５０以降の処理を行う。その後、制御部３０ｅは、本処理を終了する。

ここで、図３８に基づいて、手書操作軌跡情報の修正処理の具体例について説明する。この例では、「ＡＢＣＤＥ」という文字が描かれた手書操作軌跡グループを修正する。図３８に示すように、制御部３０ｅは、「ＡＢＣＤＥ」が描かれた手書操作軌跡グループ（手書操作軌跡１００）と、手書操作軌跡グループに対応するテキスト情報１５０とを並べて表示する。

ついで、制御部３０ｅは、ユーザによるストローク情報の追記を受け付ける。ユーザは、テキスト情報（見本）を見ながら、「ＡＢＣＤＥ」を手書操作で入力する。すなわち、ストローク情報を追記する。ここでは、ユーザは、例えばタッチペン等を用いて、ディスプレイ３０ｉ上に「ＡＢＣＤＥ」を描く。制御部３０ｅは、追記されたストローク情報とメタ情報とを関連付けて記憶部３０ａに記憶する。

（２−５．コマンド対応付け処理）
次に、アプリケーションの具体例の一つであるコマンド対応付け処理を、図２４に示すフローチャートに沿って説明する。

ステップＳ４２０において、制御部３０ｅは、表示されたストローク情報を手書操作軌跡グループ単位で時間軸上に並び替える。そして、制御部３０ｅは、記録時間（メタ情報中の開始時刻）の早い手書操作軌跡グループを拡大表示し、この手書操作軌跡グループから順次ステップＳ４３０以降の処理を行う。

ステップＳ４３０において、ユーザは、拡大表示されたストローク情報から直接所望のストローク情報を選択する。例えば、ユーザは、所望のストローク情報を指でドラッグする。ここで、ユーザは、２つ以上のストローク情報の組み合わせを選択する。制御部３０ｅは、ユーザが選択したストローク情報を他のストローク情報と識別可能な態様（例えば、反転、変色、点滅など）で表示する。

ステップＳ４４０において、制御部３０ｅは、ユーザが選択したストローク情報に対応付け可能なコマンドの一覧表を表示する。例えば、制御部３０ｅは、アイコン化されたコマンドを一覧表示する。

ステップＳ４５０において、ユーザは、一覧表示されたコマンドから所望のコマンドを選択する。例えば、ユーザは、所望のコマンドに対応するアイコンをタップする。

ステップＳ４６０において、制御部３０ｅは、ユーザが選択したコマンドをストローク情報に対応づける。制御部３０ｅは、ユーザが他のストローク情報を選択した場合には、ステップＳ４３０以降の処理を繰り返して行う。その後、ユーザは、グループ切り替え操作（例えばフリック操作）を行う。これに応じて、制御部３０ｅは、他の手書操作軌跡グループを拡大表示し、ステップＳ４３０以降の処理を行う。その後、制御部３０ｅは、本処理を終了する。

ここで、図３９に基づいて、コマンド対応付け処理の具体例について説明する。図３９に示すように、制御部３０ｅは、手書操作軌跡グループ（手書操作軌跡１００）を拡大表示する。そして、ユーザは、手書操作軌跡グループのうち、ストローク情報（の組み合わせ）５００を選択する。これに応じて、制御部３０ｅは、ストローク情報５００を他のストローク情報と識別可能な態様（例えば、反転、変色、点滅など）で表示する。そして、制御部３０ｅは、ストローク情報に対応付け可能なコマンドの一覧表６００を表示する。一覧表６００には、コマンドのアイコン６１０が一覧表示されている。また、各アイコン６１０には、そのアイコン６１０に対応するコマンドの名称が表示されている。もちろん、一覧表の例はこれに限られない。そして、制御部３０ｅは、ユーザが選択したコマンドをストローク情報５００に対応づける。

ここで、ユーザは、手書操作時にコマンドを予め選択することもできる。その例を図４０に基づいて説明する。図２及び図４０に示すように、ユーザは、筆記具２５を用いて手書操作軌跡１００（手書操作軌跡グループ）を入力する。さらに、ユーザは、「メール送信」のコマンドを手書操作軌跡１００に対応付けたい場合、手書操作軌跡６００を描く。この手書操作軌跡６００は、メールの封書を示している。ユーザは、手書操作軌跡６００の近傍に、「メール送信」に必要な諸情報（例えば送信先のメールアドレス等）を手書操作により入力してもよい。

そして、制御部３０ｅは、ステップＳ４４０の処理において、手書操作軌跡６００を認識し、手書操作軌跡６００に対応するコマンドを特定する。この際、制御部３０ｅは、手書操作軌跡６００に対応するコマンドを特定できたことをユーザにフィードバックしてもよい。フィードバックの方法としては、アラームを表示する、手書操作軌跡６００をアイコン６１０に変換する等が挙げられる。そして、制御部３０ｅは、当該特定されたコマンドを手書操作軌跡１００に対応づける。これにより、ユーザは、自己が所望するコマンドを容易に手書操作軌跡１００に対応づけることができる。手書操作軌跡６００は、ストローク情報の一種として認識されても良いし、されなくてもよい。

なお、手書操作軌跡管理装置３０が本処理を行う場合、手書操作軌跡管理装置３０はヘッドマウントディスプレイあるいは投影型ディスプレイを有する情報処理装置であってもよい。手書操作軌跡管理装置３０がヘッドマウントディスプレイを有する場合、ユーザは、ヘッドマウントディスプレイを装着して手書操作を行う。そして、制御部３０ｅは、手書操作軌跡６００を認識し、ヘッドマウントディスプレイ上でフィードバックを行う。例えば、手書操作軌跡６００をアイコン６１０に変換する。これにより、ユーザは、当該手書操作軌跡６００が認識されたことを確認できる。

一方、手書操作軌跡管理装置３０が投影型ディスプレイとなる場合、手書操作軌跡管理装置３０は、手書操作を行うユーザの近傍に表示画像を投影してもよい。制御部３０ｅは、ユーザが入力した手書操作軌跡１００を投影画面上に表示する。したがって、ユーザは、手書操作をしながら、その結果を投影画面で認識することができる。さらに、制御部３０ｅは、手書操作軌跡６００を認識し、その結果を投影画面上でフィードバックすることができる。例えば、制御部３０ｅは、手書操作軌跡６００を投影画面上でアイコン６１０に変換することができる。したがって、ユーザは、手書操作軌跡６００が認識されたことを容易に確認できる。

（２−６．コマンド実行処理）
次に、アプリケーションの具体例の一つであるコマンド実行処理を、図２５に示すフローチャートに沿って説明する。

ステップＳ４７０において、制御部３０ｅは、表示されたストローク情報を手書操作軌跡グループ単位で時間軸上に並び替える。そして、制御部３０ｅは、記録時間（メタ情報中の開始時刻）の早い手書操作軌跡グループを拡大表示する。そして、制御部３０ｅは、コマンドが対応付けられたストローク情報を他のストローク情報と識別可能な表示態様で表示する。また、制御部３０ｅは、ストローク情報に対応付けられたコマンドを当該ストローク情報の近傍にアイコン等で表示する。表示態様は、コマンドごとに異なっていてもよい。そして、制御部３０ｅは、拡大表示された手書操作軌跡グループから順次ステップＳ４８０以降の処理を行う。

ステップＳ４８０において、ユーザは、拡大表示されたストローク情報から直接所望のストローク情報を選択する。例えば、ユーザは、所望のストローク情報を指でドラッグする。ここで、ユーザは、２つ以上のストローク情報の組み合わせを選択する。制御部３０ｅは、ユーザが選択したストローク情報を他のストローク情報と識別可能な態様で表示する。

ステップＳ４９０において、制御部３０ｅは、ユーザが選択したストローク情報に対応するコマンドを特定し、特定されたコマンドを実行するために必要な各種ＵＩ（例えば、コマンドの種類を示すアイコン、コマンドの実行に必要な情報をユーザに入力してもらうための入力ボックス等）を表示する。そして、制御部３０ｅは、ユーザから入力された情報等に基づいて、コマンドを実行する。制御部３０ｅは、ユーザが他のストローク情報を選択した場合には、ステップＳ４８０以降の処理を繰り返して行う。その後、ユーザは、グループ切り替え操作（例えばフリック操作）を行う。これに応じて、制御部３０ｅは、他の手書操作軌跡グループを拡大表示し、ステップＳ４８０以降の処理を行う。その後、制御部３０ｅは、本処理を終了する。

ここで、図４１に基づいて、コマンド実行処理の具体例について説明する。図４１に示すように、制御部３０ｅは、手書操作軌跡グループ（手書操作軌跡１００）を拡大表示する。また、ストローク情報（の組み合わせ）５００には予め「メール送信」コマンドが対応付けられており、制御部３０ｅは、ストローク情報５００を他のストローク情報と識別可能な表示態様で表示する。

そして、ユーザは、手書操作軌跡グループのうち、ストローク情報５００を選択する。これに応じて、制御部３０ｅは、「メール送信」コマンドを実行するために必要なＵＩ、すなわちメールボックス７００を表示する。メールボックス７００には、「メール送信」コマンドを示すアイコン７１０、アドレス入力欄等が表示される。アイコン７１０は、実行ボタンを兼ねている。ユーザは、アドレス入力欄にメール送信先のアドレスを入力し、実行ボタンであるアイコン７１０をタップする。これに応じて、制御部３０ｅは、「メール送信」コマンドを実行する。具体的には、制御部３０ｅは、ストローク情報５００に対応するテキスト情報をメール本文としたメールをメール送信先に送信する。

（２−７．ＩＤ付与処理）
次に、ＩＤ付与処理を、図２６に示すフローチャートに沿って説明する。ステップＳ５００において、ユーザは、筆記具２５を用いて手書操作を行う。入力部２０ｂは、ユーザの手書操作によって描かれた手書操作軌跡を検出し、手書操作軌跡に関する手書操作軌跡情報を制御部２０ｅに出力する。

ステップＳ５１０において、制御部２０ｅは、手書操作軌跡を一又は複数のストロークに分割する。そして、制御部２０ｅは、各ストロークを示すストローク情報にメタ情報を付与する。さらに、制御部２０ｅは、ストローク情報をグルーピングすることで手書操作軌跡グループを作成する。ここで、制御部２０ｅは、１つの手書操作軌跡グループを１ページ分のストローク情報としてもよい。制御部２０ｅは、手書操作軌跡グループにもメタ情報を付与する。

さらに、制御部２０ｅは、ストローク情報ごとに統合用ＩＤを生成する。統合用ＩＤは、ストローク情報ごとに異なっている。したがって、統合用ＩＤは、ストローク情報を一意に特定する。また、制御部２０ｅは、手書操作軌跡グループに対しても統合用ＩＤを生成する。

ステップＳ５２０において、制御部２０ｅは、ストローク情報及び当該ストローク情報に関連付けられたメタ情報に同じ統合用ＩＤを付与する。同様に、制御部２０ｅは、手書操作軌跡グループ及び当該手書操作軌跡グループに関連付けられたメタ情報に同じ統合用ＩＤを付与する。そして、制御部２０ｅは、メタ情報及び統合用ＩＤを記憶部２０ａに記憶する。さらに、制御部２０ｅは、ストローク情報、手書操作軌跡グループ、及びこれらに付与される統合用ＩＤを通信部２０ｄに出力する。通信部２０ｄは、これらの情報を手書操作軌跡管理装置３０に送信する。

ステップＳ５３０において、手書操作軌跡管理装置３０の通信部３０ｄは、これらの情報を受信し、制御部３０ｅに出力する。制御部３０ｅは、これらの情報を記憶部３０ａに記憶する。すなわち、制御部３０ｅは、ストローク情報及び手書操作軌跡グループと、これらに付与された統合用ＩＤとを関連付けて記憶する。これにより、情報処理システム１は、手書操作軌跡情報（ストローク情報、手書操作軌跡グループ）とメタ情報とを別々のストレージに記憶するので、情報の秘匿性を向上することができる。

なお、制御部２０ｅは、ストローク情報、手書操作軌跡グループ、及びこれらに付与された統合用ＩＤを、第１及び第２ストレージ３１、３２のいずれかに記憶してもよい。また、制御部２０ｅは、メタ情報及び統合用ＩＤを第１ストレージ３１に記憶し、ストローク情報、手書操作軌跡グループ、及びこれらに付与された統合用ＩＤを第２ストレージ３２に記憶してもよい。情報の秘匿性の観点からは、メタ情報は、情報処理装置２０内に留めておくことが好ましい。

（２−８．ＩＤ照合（統合）処理）
次に、ＩＤ照合処理を、図２７に示すフローチャートに沿って説明する。ステップＳ５４０において、制御部２０ｅは、メタ情報及びメタ情報に付与された統合用ＩＤを通信部２０ｄに出力する。通信部２０ｄは、メタ情報及び統合用ＩＤを手書操作軌跡管理装置３０に送信する。手書操作軌跡管理装置３０の通信部３０ｄは、これらの情報を受信し、制御部３０ｅに出力する。制御部３０ｅは、記憶部３０ａからストローク情報及び手書操作軌跡グループと、これらに付与された統合用ＩＤとを読みだす。

ステップＳ５５０において、制御部３０ｅは、ストローク情報及び手書操作軌跡グループと、メタ情報とを統合用ＩＤに基づいて統合する。その後、制御部３０ｅは、上述した各種処理を実行する。

本実施形態は、例えば、ノート/メモ、スケッチブック、原稿用紙、手紙/はがき、アルバム、書籍（コミック/雑誌等）、新聞、ポスター/広告チラシ、折り紙/紙工作、帳簿（特殊作業向け用紙／定型用紙等）に適用されてもよい。例えば、これらの対象物にユーザが手書操作軌跡を描いた場合に、上記の各種処理を実行してもよい。

以上により、本実施形態によれば、手書操作軌跡情報にメタ情報を付与することができる。これにより、情報処理システム１は、手書操作軌跡をさまざまな処理に応用することができる。例えば、情報処理システム１は、メタ情報に基づく手書操作軌跡情報の検索、再生、修正、コマンド対応付け等の各種処理を行うことができる。

特に、本実施形態では、メタ情報は、ユーザの手書操作が行われた実環境から検出可能な情報であるので、このような実環境を反映した処理を行うことができる。例えば、ユーザは、手書操作を行った時の実環境を思い出し、その実環境を検索情報とすることで、所望の手書操作軌跡情報を容易に検索することができる。

また、情報処理システム１は、手書操作軌跡情報を構成する各ストローク報にメタ情報を関連付けるので、メタ情報に基づく処理をより詳細に行うことができる。例えば、情報処理システム１は、ストローク情報ごとの再生を行うことができる。

また、情報処理システム１は、複数のストローク情報をグルーピングすることで手書操作軌跡グループを作成し、手書操作軌跡グループにメタ情報を関連付ける。したがって、情報処理システム１は、ストローク情報に対する処理をグループごとに一括して行うことができる。

さらに、情報処理システム１は、ストローク情報と手書操作軌跡グループとに異なるメタ情報を関連付ける。例えば、ストローク情報は手書操作軌跡グループに含まれるので、ほとんどのメタ情報を手書操作軌跡グループに付与し、ストローク情報には簡便なメタ情報（時刻情報等）だけを付与してもよい。これにより、情報処理システム１は、手書操作軌跡グループとストローク情報とに異なる処理を行うことができる。例えば、情報処理システム１は、手書操作軌跡グループに付与されたメタ情報に基づいて、手書操作軌跡グループを検索し、手書操作軌跡グループ内のストローク情報の再生等を行うことができる。また、データの軽減等を行うことができる。

情報処理システム１は、手書操作が行われた時刻に関する時刻情報をメタ情報に含めるので、時刻情報に基づく処理（例えば、検索、再生等）を行うことができる。

情報処理システム１は、手書操作軌跡が文字を示す場合、当該文字のテキスト情報をメタ情報に含めるので、テキスト情報に基づく処理（例えば、検索、修正等）を行うことができる。

情報処理システム１は、ユーザの生体情報をメタ情報に含めるので、ユーザの生体情報に基づく処理（検索等）を行うことができる。

情報処理システム１は、手書操作が行われた場所に関する地理情報をメタ情報に含めるので、地理情報に基づく処理（検索等）を行うことができる。

情報処理システム１は、ユーザが筆記具を用いて手書操作を行った場合、筆記具の筆圧情報をメタ情報に含めるので、筆圧情報に基づく処理（検索等）を行うことができる。

情報処理システム１は、ユーザが筆記具を用いて手書操作を行った場合、筆記具の種類情報をメタ情報に含めるので、筆記具の種類情報に基づく処理（検索等）を行うことができる。

情報処理システム１は、手書操作の対象物を示す対象物情報をメタ情報に含めるので、対象物情報に基づく処理（検索等）を行うことができる。

情報処理システム１は、手書操作軌跡情報とメタ情報とを関連付けるための統合用ＩＤ（識別情報）を前記手書操作軌跡情報とメタ情報とに付与し、かつ、手書操作軌跡情報とメタ情報とを別々の記憶装置に記憶させる。したがって、情報処理システム１は、手書操作軌跡情報及びメタ情報、特にメタ情報の秘匿性を向上することができる。

情報処理システム１は、メタ情報に時刻情報が含まれる場合、時刻情報に基づいて、手書操作軌跡情報を再生するので、ユーザは、自分が書いた手書操作軌跡を容易に確認することができる。

情報処理システム１は、手書操作軌跡情報の修正操作を受け付けるので、ユーザは、自分が書いた手書操作軌跡を容易に修正することができる。この際、情報処理システム１は、見本情報（手書操作軌跡情報に対応するテキスト情報）を表示するので、ユーザは、見本情報を参照して手書操作軌跡情報を修正することができる。

情報処理システム１は、手書操作軌跡情報に対する処理内容を示すコマンド情報が手書操作軌跡情報に含まれる場合、コマンド情報に基づいて、手書操作軌跡情報の処理を行う。したがって、ユーザは、情報処理システム１に所望のコマンドを容易に実行させることができる。なお、上記効果はあくまで例示であって、本実施形態は、本明細書中に記載されたいずれかの効果、または他の効果を有するものであってもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの手書操作軌跡を示す手書操作軌跡情報と、ユーザの手書操作が行われた実環境から検出可能なメタ情報とを関連付ける第１制御部を備える、情報処理システム。
（２）
前記第１制御部は、前記手書操作軌跡情報を構成する各単位軌跡情報に前記メタ情報を関連付ける、前記（１）記載の情報処理システム。
（３）
前記第１制御部は、複数の単位軌跡情報をグルーピングすることで手書操作軌跡グループを作成し、前記手書操作軌跡グループに前記メタ情報を関連付ける、前記（２）記載の情報処理システム。
（４）
前記第１制御部は、前記単位軌跡情報と前記手書操作軌跡グループとに異なるメタ情報を関連付ける、前記（３）記載の情報処理システム。
（５）
前記第１制御部は、前記手書操作が行われた時刻に関する時刻情報を前記メタ情報に含める、前記（１）〜（４）のいずれか１項に記載の情報処理システム。
（６）
前記第１制御部は、前記手書操作軌跡が文字を示す場合、当該文字のテキスト情報を前記メタ情報に含める、前記（１）〜（５）のいずれか１項に記載の情報処理システム。
（７）
前記第１制御部は、ユーザの生体情報を前記メタ情報に含める、前記（１）〜（６）のいずれか１項に記載の情報処理システム。
（８）
前記第１制御部は、前記手書操作が行われた場所に関する地理情報を前記メタ情報に含める、前記（１）〜（７）のいずれか１項に記載の情報処理システム。
（９）
前記第１制御部は、ユーザが筆記具を用いて前記手書操作を行った場合、前記筆記具の筆圧情報を前記メタ情報に含める、前記（１）〜（８）のいずれか１項に記載の情報処理システム。
（１０）
前記第１制御部は、ユーザが筆記具を用いて前記手書操作を行った場合、前記筆記具の種類情報を前記メタ情報に含める、前記（１）〜（９）のいずれか１項に記載の情報処理システム。
（１１）
前記第１制御部は、前記手書操作の対象物を示す対象物情報を前記メタ情報に含める、前記（１）〜（１０）のいずれか１項に記載の情報処理システム。
（１２）
前記第１制御部は、前記手書操作軌跡情報と前記メタ情報とを関連付けるための識別情報を前記手書操作軌跡情報と前記メタ情報とに付与し、かつ、前記手書操作軌跡情報と前記メタ情報とを別々の記憶装置に記憶させる、前記（１）〜（１１）のいずれか１項に記載の情報処理システム。
（１３）
前記メタ情報に基づいて、前記手書操作軌跡情報に対する処理を行う第２制御部を備える、前記（１）〜（１２）のいずれか１項に記載の情報処理システム。
（１４）
前記第２制御部は、前記メタ情報に前記手書操作が行われた時刻に関する時刻情報が含まれる場合、前記時刻情報に基づいて、前記手書操作軌跡情報を再生する、前記（１３）記載の情報処理システム。
（１５）
前記第２制御部は、前記メタ情報に基づいて、前記手書操作軌跡情報を表示し、かつ、表示された手書操作軌跡情報に対する修正操作を受け付ける、前記（１３）または（１４）に記載の情報処理システム。
（１６）
前記第２制御部は、前記手書操作軌跡情報の見本となる見本情報を提示する、前記（１５）記載の情報処理システム。
（１７）
前記第２制御部は、前記手書操作軌跡情報に対する処理内容を示すコマンド情報が前記手書操作軌跡情報に含まれる場合、前記コマンド情報に基づいて、前記手書操作軌跡情報の処理を行う、前記（１３）〜（１６）のいずれか１項に記載の情報処理システム。
（１８）
ユーザの手書操作軌跡を示す手書操作軌跡情報と、ユーザの手書操作が行われた実環境から検出可能なメタ情報とを関連付けることを含む、情報処理方法。
（１９）
コンピュータに、
ユーザの手書操作軌跡を示す手書操作軌跡情報と、ユーザの手書操作が行われた実環境から検出可能なメタ情報とを関連付ける第１制御機能を実現させる、プログラム。

１ 情報処理システム
２ 手書操作軌跡取得システム
３ 手書操作軌跡管理システム
２０ 情報処理装置
２１ 手書操作軌跡検出装置
２２ 情報処理装置
２０ｅ、２１ｄ、２１ｅ 制御部（第１の制御部）
３０ 手書操作軌跡管理装置
３０ｅ 制御部（第２の制御部）

Claims (16)

1. ユーザの手書操作軌跡を示す手書操作軌跡情報と、ユーザの手書操作が行われた実環境から検出可能なメタ情報とを関連付ける第１制御部と、
   前記メタ情報に基づいて、前記手書操作軌跡情報に対する処理を行う第２制御部と、を備え、
   前記第２制御部は、前記メタ情報に基づいて、前記手書操作軌跡情報を表示し、表示された手書操作軌跡情報に対する修正操作を受け付け、前記手書操作軌跡情報の見本となる見本情報を提示する、情報処理システム。
2. 前記第１制御部は、前記手書操作軌跡情報を構成する各単位軌跡情報に前記メタ情報を関連付ける、請求項１記載の情報処理システム。
3. 前記第１制御部は、複数の単位軌跡情報をグルーピングすることで手書操作軌跡グループを作成し、前記手書操作軌跡グループに前記メタ情報を関連付ける、請求項２記載の情報処理システム。
4. 前記第１制御部は、前記単位軌跡情報と前記手書操作軌跡グループとに異なるメタ情報を関連付ける、請求項３記載の情報処理システム。
5. 前記第１制御部は、前記手書操作が行われた時刻に関する時刻情報を前記メタ情報に含める、請求項１〜４のいずれか１項に記載の情報処理システム。
6. 前記第１制御部は、前記手書操作軌跡が文字を示す場合、当該文字のテキスト情報を前記メタ情報に含める、請求項１〜５のいずれか１項に記載の情報処理システム。
7. 前記第１制御部は、ユーザの生体情報を前記メタ情報に含める、請求項１〜６のいずれか１項に記載の情報処理システム。
8. 前記第１制御部は、前記手書操作が行われた場所に関する地理情報を前記メタ情報に含める、請求項１〜７のいずれか１項に記載の情報処理システム。
9. 前記第１制御部は、ユーザが筆記具を用いて前記手書操作を行った場合、前記筆記具の筆圧情報を前記メタ情報に含める、請求項１〜８のいずれか１項に記載の情報処理システム。
10. 前記第１制御部は、ユーザが筆記具を用いて前記手書操作を行った場合、前記筆記具の種類情報を前記メタ情報に含める、請求項１〜９のいずれか１項に記載の情報処理システム。
11. 前記第１制御部は、前記手書操作の対象物を示す対象物情報を前記メタ情報に含める、請求項１〜１０のいずれか１項に記載の情報処理システム。
12. 前記第１制御部は、前記手書操作軌跡情報と前記メタ情報とを関連付けるための識別情報を前記手書操作軌跡情報と前記メタ情報とに付与し、かつ、前記手書操作軌跡情報と前記メタ情報とを別々の記憶装置に記憶させる、請求項１〜１１のいずれか１項に記載の情報処理システム。
13. 前記第２制御部は、前記メタ情報に前記手書操作が行われた時刻に関する時刻情報が含まれる場合、前記時刻情報に基づいて、前記手書操作軌跡情報を再生する、請求項１〜１２の何れか１項に記載の情報処理システム。
14. 前記第２制御部は、前記手書操作軌跡情報に対する処理内容を示すコマンド情報が前記手書操作軌跡情報に含まれる場合、前記コマンド情報に基づいて、前記手書操作軌跡情報の処理を行う、請求項１〜１３のいずれか１項に記載の情報処理システム。
15. ユーザの手書操作軌跡を示す手書操作軌跡情報と、ユーザの手書操作が行われた実環境から検出可能なメタ情報とを関連付け、
    前記メタ情報に基づいて、前記手書操作軌跡情報に対する処理を行い、
    前記メタ情報に基づいて、前記手書操作軌跡情報を表示し、表示された手書操作軌跡情報に対する修正操作を受け付け、前記手書操作軌跡情報の見本となる見本情報を提示することを含む、情報処理方法。
16. コンピュータに、
    ユーザの手書操作軌跡を示す手書操作軌跡情報と、ユーザの手書操作が行われた実環境から検出可能なメタ情報とを関連付ける第１制御機能と、
    前記メタ情報に基づいて、前記手書操作軌跡情報に対する処理を行う第２制御機能と、を実現させ、
    前記第２制御機能は、前記メタ情報に基づいて、前記手書操作軌跡情報を表示し、表示された手書操作軌跡情報に対する修正操作を受け付け、前記手書操作軌跡情報の見本となる見本情報を提示する、プログラム。

Images