JP5377708B2 - データ処理システム、データ処理方法およびプログラム - Google Patents

Description

本発明の実施形態は、手書き入力機能を備えたデータ処理システムにおけるデータ処理技術に関する。

近年、タブレット端末、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。

また、最近では、この種の電子機器を持参して会議に出席し、タッチスクリーンディスプレイ上で手書き入力を行うことで、メモを取ることなども行われ始めている。例えば会議を支援するためのシステム等、ビジネスシーンを想定したユーザ支援に関しては、これまでにも種々の提案がなされている。

特開２００６−９２３７０号公報

ところで、この種の電子機器において、タッチスクリーンディスプレイ上で手書き入力が行われた際に取得されるデータは、閲覧用に蓄積したり、ＯＣＲソフトウェアでテキストデータに変換したりするためのイメージデータに止まっている。つまり、手書き入力という行動をデータとして取得して、ユーザ支援に活用するといったことは行われていなかった。

本発明は、手書き入力という行動をユーザ支援に活用することを実現したデータ処理システム、データ処理方法およびプログラムを提供することを目的とする。

実施形態によれば、データ処理システムは、タッチスクリーンディスプレイと、ストロークデータ記録手段と、データ処理手段と、を具備する。前記ストロークデータ記録手段は、前記タッチスクリーンディスプレイ上で手書きされた軌跡であって、前記タッチスクリーンディスプレイ上への接触が検出されている間の接触位置の軌跡に関する情報と、その軌跡が手書きされた時刻に関する情報とを各々が含む複数のストロークデータを、その軌跡が手書きされた際に前記タッチスクリーンディスプレイに表示されていたデータに対応づけて記録する。前記データ処理手段は、第１文書ファイルに対して手書きされた軌跡に対応する第１ストロークデータで示される第１時刻と第２文書ファイルに対して手書きされた軌跡に対応する第２ストロークデータで示される第２時刻とから前記第１文書ファイルと前記第２文書ファイルとの関連度を算出するデータ処理を実行する。

実施形態のデータ処理システムに適用される電子機器（タブレットコンピュータ）の外観を示す斜視図。 実施形態のデータ処理システム内における電子機器と外部装置（パーソナルコンピュータ，サーバ）との連携動作を示す図。 実施形態のデータ処理システムに適用される電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図。 実施形態のデータ処理システムにおいて取得される、図３の手書き文書に対応する時系列情報を説明するための図。 実施形態のデータ処理システムに適用される電子機器のシステム構成を示すブロック図。 実施形態のデータ処理システムの機能構成を示すブロック図。 実施形態のデータ処理システムのユースケースを示す概念図。 実施形態のデータ処理システムが実現するライフログを活用した関連情報提示を説明するための図。 実施形態のデータ処理システムが実現するライフログを活用した発想支援を説明するための図。 実施形態のデータ処理システムが実現するライフログを活用した情報共有を説明するための第１の図。 実施形態のデータ処理システムが実現するライフログを活用した情報共有を説明するための第２の図。 実施形態のデータ処理システムの動作手順を示すフローチャート。

以下、実施の形態について図面を参照して説明する。

図１は、本実施形態のデータ処理システムに適用される電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。外部オブジェクト（ペン１００又は指）の軌跡、つまり手書き入力操作によって手書きされる各ストロークの軌跡（筆跡）は、画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの軌跡が１ストロークに相当する。手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡（筆跡）の集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に保存される。この時系列情報の詳細は図４を参照して後述するが、この時系列情報は、概して、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの時系列座標を示す。これらストロークデータの並びの順序は、手書きされた文字または図形の筆順に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲指定ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークの軌跡を消去または移動することができる。さらに、この編集機能は、幾つかの手書き操作の履歴を取り消すことなどを可能にする。

本実施形態では、時系列情報（手書き文書）は、１つのまたは複数のページとして管理されうる。この場合、時系列情報（手書き文書）を１つの画面に収まる面積単位で区切り、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

図２は、本実施形態のデータ処理システム内におけるタブレットコンピュータ１０と外部装置（パーソナルコンピュータ，サーバ）との連携動作の例を示している。タブレットコンピュータ１０は、パーソナルコンピュータ１やクラウドと連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、パーソナルコンピュータ１との無線通信を実行することができる。さらに、タブレットコンピュータ１０は、インターネット上のサーバ２との通信を実行することもできる。サーバ２はオンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。

パーソナルコンピュータ１はハードディスクドライブ（ＨＤＤ）のようなストレージデバイスを備えている。タブレットコンピュータ１０は、時系列情報（手書き文書）をネットワーク越しにパーソナルコンピュータ１に送信して、パーソナルコンピュータ１のＨＤＤに記録することができる（アップロード）。タブレットコンピュータ１０とパーソナルコンピュータ１との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ１がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤなどを自動的にタブレットコンピュータ１０からパーソナルコンピュータ１に送信してもよい。

これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の時系列情報（手書き文書）あるいは大容量の時系列情報（手書き文書）を扱うことが可能となる。

さらに、タブレットコンピュータ１０は、パーソナルコンピュータ１のＨＤＤに記録されている任意の１以上の時系列情報を読み出し（ダウンロード）、その読み出した時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。この場合、複数の時系列情報（手書き文書）それぞれのページを縮小することによって得られるサムネイルの一覧を表示してもよいし、これらサムネイルから選ばれた１ページをディスプレイ１７に通常サイズで表示してもよい。

さらに、タブレットコンピュータ１０が通信する先はパーソナルコンピュータ１ではなく、上述したように、ストレージサービスなどを提供するクラウド上のサーバ２であってよい。タブレットコンピュータ１０は、時系列情報（手書き文書）をネットワーク越しにサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。さらに、タブレットコンピュータ１０は、サーバ２のストレージデバイス２Ａに記録されている任意の時系列情報を読み出して（ダウンロード）、その時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。

このように、本実施形態では、時系列情報が格納される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。

次に、図３および図４を参照して、ユーザによって手書きされたストローク（文字、マーク、図形、表など）と時系列情報との関係について説明する。図３は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。

手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図３においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きされた場合が想定されている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが生成される。同様に、次に手書きされる「−」形状のペン１００の軌跡もサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２１、…ＳＤ２ｎが生成される。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図４は、図３の手書き文書に対応する時系列情報２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、一つのストロークに対応する時系列座標、つまり一つのストロークに対応する複数の座標を示す。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの時系列座標、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状の時系列座標、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを示す。なお、座標データの数はストロークデータ毎に異なっていてもよい。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点に対応するＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点に対応するＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

また、各座標データは、タイムスタンプ情報Ｔを含んでいる。タイムスタンプ情報Ｔは、対応する点が手書きされた時間を示す。手書きされた時間は絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）を付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

図４で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、文字又は図形が手書きされた筆順も表すことができる。したがって、この時系列情報２００を使用することにより、図３に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。

いま、図３に破線の四角で示されているように、ユーザによって画面上のある範囲が指定された場合を想定する。破線の四角によって示される指定範囲には、手書き文字「Ａ」の２つのストロークと、手書き「矢印」の先端部に対応する１つのストロークが含まれている。通常であれば、手書き文字「Ａ」の２つのストロークのみならず、手書き「矢印」の先端部に対応する１つのストロークも、処理対象の時系列情報部分として選択されてしまう可能性がある。

しかし、本実施形態では、時系列情報２００を使用することにより、手書き「矢印」の先端部を処理対象の時系列情報部分から除外することができる。すなわち、本実施形態では、時系列情報２００が解析され、これによって手書き文字「Ａ」の２つのストローク（ストロークデータＳＤ１、ＳＤ２）については連続的に手書きされたものと判定され、さらに、手書き「矢印」の先端部（ストロークデータＳＤ７）の手書きタイミングは、手書き文字「Ａ」の２つのストロークの手書きタイミングと不連続であることが判定される。したがって、手書き「矢印」の先端部（ストロークデータＳＤ７）を処理対象の時系列情報部分から除外することができる。

さらに、本実施形態の時系列情報２００においては、上述したように、ストロークデータＳＤ１、ＳＤ２、…、ＳＤ７の並びは手書き文字の筆順を示す。例えば、ストロークデータＳＤ１およびＳＤ２の並びは、最初に「∧」形状のストロークが手書きされ、次に「−」形状のストロークが手書きされたことを表す。したがって、たとえ２つの手書き文字の筆跡同士が互いに類似していても、それら２つの手書き文字の筆順が互いに異なる場合には、それら２つの手書き文字を異なる文字として区別することができる。

さらに、本実施形態では、上述したように、手書き文書は、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

図５は、タブレットコンピュータ１０のシステム構成を示す図である。

タブレットコンピュータ１０は、図５に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０５、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム２０２が含まれている。このデジタルノートブックアプリケーションプログラム２０２は、上述の手書き文書を作成および表示する機能、手書き文書を編集する機能、筆跡検索機能、および文字・図表認識機能等を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オン／電源オフする機能を有している。

図６は、本実施形態のデータ処理システムの機能構成を示すブロック図である。

図２を参照しながら説明したように、タブレットコンピュータ１０は、パーソナルコンピュータ１やサーバ２と連携して動作することができる。本実施形態のデータ処理システムは、タブレットコンピュータ１０とサーバ２との連携動作によって実現されるシステムであって、タブレットコンピュータ１０に設けられる（デジタルノートブックアプリケーションプログラム２０２が備える）手書き信号入力部３０１、生活行動検出部３０２、生活行動記録部３０３、通信制御部３０４および表示処理部３０５と、サーバ２に設けられるライフログ管理部４０１、文書管理部４０２および表示内容決定部４０３とによって構成される。なお、ここでは、ライフログ管理部４０１、文書管理部４０２および表示内容決定部４０３をサーバ２に設ける構成例を示すが、ライフログ管理部４０１、文書管理部４０２および表示内容決定部４０３をタブレットコンピュータ１０に設けること、つまりデータ処理システムをスタンドアロンな環境下のタブレットコンピュータ１０上に構築することも可能である。

前述したように、タッチスクリーンディスプレイ１７は、画面に対するタッチ操作をタッチパネル１７Ｂまたはデジタイザ１７Ｃで検出する。手書き信号入力部３０１は、このタッチパネル１７Ｂまたはデジタイザ１７Ｃから出力される検出信号を入力する。手書き信号入力部３０１によって入力された検出信号は、表示処理部３０５に供給される。表示処理部３０５は、この検出信号に基づき、手書きされた各ストロークの軌跡（筆跡）をタッチスクリーンディスプレイ１７のＬＣＤ１７Ａに即時的に表示する。

手書き信号入力部３０１によって入力された検出信号は、生活行動検出部３０２にも供給される。生活行動検出部３０２は、この検出信号に基づき、ユーザの手書き入力という行動を検出してデータ化する。生活行動検出部３０２は、手書き信号入力部３０１からの信号を使ったユーザの手書き入力という行動の検出以外にも、例えば、（図５には示されない）加速度センサやＧＰＳなどからの信号を使って、ユーザの様々な生活行動を検出してデータ化する。生活行動検出部３０２によって検出されてデータ化された手書き入力を含むユーザの様々な生活行動に関する情報を、ここではライフログと称する。

生活行動検出部３０２によって生成されたライフログは、生活行動記録部３０３に供給される。生活行動記録部３０３は、このライフログを通信制御部３０４経由で無線通信デバイス１０７によってサーバ２に送信する。通信制御部３０４は、外部装置（パーソナルコンピュータ１，サーバ２）との間でデータを送受信するために無線通信デバイス１０７を駆動制御するモジュールである。手書き行動の場合は、前述した時系列のストロークデータとして、どの文書に対する手書き行動なのか等の複数の属性が付与され、サーバ２に設けられたライフログ管理部４０１によって、ユーザの他の生活行動と対応づけられて管理される。

サーバ２に設けられる文書管理部４０２は、１人または複数のユーザのビジネス資料などの複数形式の文書を管理する。文書管理部４０２は、関連度算出部４０２Ａを有している。関連度算出部４０２Ａは、既存の手法を適用して文書間の関連度を算出するモジュールであって、関連度を算出する際に、ライフログ管理部４０１が管理するライフログを利用することができる。

例えば、生活行動検出部３０２がユーザの情報閲覧行動を検出した場合、その旨を表示処理部３０５に通知する。表示処理部３０５は、この情報閲覧行動を、通信制御部３０４を介してサーバ２の表示内容決定部４０３に送信する。表示内容決定部４０３は、通知された情報閲覧行動に基づき、ユーザの閲覧行動と閲覧環境・条件に適した関連情報を取得すべく文書管理部４０２に問い合わせを行い、文書管理部４０２から返送された文書をタブレットコンピュータ１０に送信する。そして、（タブレットコンピュータ１０によって実行されるデジタルノートブックアプリケーションプログラム２０２の）表示処理部３０５は、この文書をタッチスクリーンディスプレイ１７のＬＣＤ１７Ａに表示する。

図７は、ライフログを活用する本実施形態のデータ処理システムのユースケースを示す概念図である。

ユーザがタブレットコンピュータ１０を使って手書き文書を作成すると、ユーザの手書き入力という行動がタブレットコンピュータ１０によって検出される。タブレットコンピュータ１０は、ユーザによって作成された手書き文書をサーバ２に送信し、かつ、手書き入力を含むユーザの様々な行動を示すライフログをサーバ２に送信する。手書き文書に限らず、例えばある資料（文書）を表示した状態で、ユーザが、この資料上に手書き入力を行った場合も、このユーザの手書き入力という行動がタブレットコンピュータ１０によって検出され、ライフログがサーバ２に送信される。このような手書き文書を含む各種文書とライフログとをサーバ２上で対応づけることにより、本実施形態のデータ処理システムは、ライフログを活用した関連情報提示や情報共有を実現する。また、図７には示されていないが、本実施形態のデータ処理システムは、ライフログを活用した発想支援も実現する。

（ライフログを活用した関連情報提示）
まず、図８を参照して、ライフログを活用した関連情報提示について説明する。

ユーザが、検索キーを入力して、文書検索を行うことを想定する。検索キーは、キーワード、日時、場所等、様々なデータを利用可能である。ここでは、「キーワードＡ」が入力されたものとする（図８のａ１）。

この行動がタブレットコンピュータ１０からサーバ２に通知され、例えば「キーワードＡ」を含む文書（図８のａ２，ａ３，…）がサーバ２によって検索される。これらの検索文書はタブレットコンピュータ１０によってユーザに提示される。

次に、ユーザが、提示された文書の中から１つの文書（図８のａ３）を選択して、関連文書を検索する操作を行ったと想定する。また、この文書は、タブレットコンピュータ１０上で表示されている際、手書き入力が行われたために、ストロークデータがライフログとして対応づけられているものとする。さらに、この文書に対して書き込みを行った時刻と比較的近い時刻に、他の文書（図８のａ４，ａ５）に対して書き込みが行われていたものとする。よって、これら他の文書にも、ストロークデータがライフログとしてそれぞれ対応づけられている。

ある程度の期間内に書き込みが行われている文書群は、例えば同一の作業で利用されたものである等、何らかの関連性を有する可能性が高い。そこで、関連文書検索という行動をタブレットコンピュータ１０から通知されたサーバ２は、ストロークデータで示される時刻を基に、文書ａ３から文書ａ４，ａ５を検出する。通常の検索では、文書ａ３から文書ａ４，ａ５に辿り着くことは難しい。

なお、「キーワードＡ」によって文書ａ３が検索された時に、文書ａ３に関連づけられたストロークデータを基に文書ａ４，ａ５を更に検出し、文書ａ３と共に、文書ａ４，ａ５を検索結果として提示してもよい。

このように、本実施形態のデータ処理システムは、ライフログを活用した関連情報提示を実現する。

（ライフログを活用した発想支援）
次に、図９を参照して、ライフログを活用した発想支援について説明する。

あるテーマに従って、ＷｅｂなどのＤＢ検索で調査を行い、情報を収集している時、ユーザは、随時情報を整理して、調査結果を理解し発想につなげる作業を行っている。本実施形態のデータ処理システムは、この情報整理とそれによる発想を支援する。

図９の（Ａ）には、調査した情報の中のキーワードを書き出し、各キーワードを丸で囲った状態が示されている。丸で囲むという手書き入力の行動が検出されると、表示処理部３０５または表示内容決定部４０３は、丸で囲まれた単位で（丸で囲まれた範囲内の）筆跡を１つのオブジェクトとして扱う。そして、例えばマインドマップに変換する操作（行動）が検出されると、表示処理部３０５または表示内容決定部４０３は、このオブジェクト毎に、筆跡の認識処理を行い、その配置を変えることにより、図９の（Ｂ）に示すマインドマップ等の異なる形式の表示に変換する。オブジェクトの配置を変換する手法は、既存のいずれの手法も適用可能である。本実施形態のデータ処理システムでは、各オブジェクトの配置を決定する際、ストロークデータで示される時刻が近いオブジェクト同士は関連度が高いとする判定基準を追加することができる。

同じ内容を複数の形式で随時閲覧可能とすることで、気づきや発想を誘発するという効果を奏すると考えられる。このように、本実施形態のデータ処理システムは、ライフログを活用した発想支援を実現する。

（ライフログを活用した情報共有）
次に、図１０および図１１を参照して、ライフログを活用した情報共有について説明する。

ビジネスにおいて創造的作業でのグループワークでは、作業分担とそのマージ、レビュー、レビューを受けての推敲といった作業が発生する。このグループワークを支援するために、本実施形態のデータ処理システムは、レビュー会議とその時のフィードバックを次の推敲に利用するための作業を効率化する（データマージ機能を備えた）情報共有機能を提供する。

図１０は、レビュー会議において、発表者の資料（文書）を会議参加者が全員その場で共有し、各自の資料への書き込みを即時的に反映し、会議終了後、会議中に発生した参加者からのフィードバックをマージして発表者の推敲作業をすぐに始めることを可能とする本データ処理システムの運用イメージである。発表者であるユーザＡと、ユーザＡの発表を遠隔地で聴いているユーザＢ，Ｃとが、資料αに対して書き込みを行っている。文書への書き込みは、タブレットコンピュータ１０に表示させた状態で行うほか、図１０に示すように、会議に供されるディスプレイ装置への表示中に、各々のタブレットコンピュータ１０上で行うことも可能である。

タブレットコンピュータ１０上で、文書に対する書き込みを行うと、ストロークデータがライフログとして当該文書に対応づけられる。１つの文書に対して複数のユーザが書き込みを行った場合、サーバ２は、これらのストロークデータをユーザ毎に管理する。

いま、Ａ，Ｂ，Ｃの３人のユーザが、資料αに対して、図１１に示すように書き込みを行ったものと想定する。資料αには、Ａ，Ｂ，Ｃのストロークデータがユーザ毎に対応づけられているので、ユーザを選択して、当該選択したユーザによる書き込みのみを重ね合わせて資料αを閲覧したり、当該選択したユーザによる書き込みのみを時系列に重ね合わせていきながら資料αを閲覧したり、といった推敲作業を行うことが可能となる。このように、本実施形態のデータ処理システムは、ライフログを活用した情報共有を実現する。

図１２は、本実施形態のデータ処理システムの動作手順を示すフローチャートである。

手書き入力操作が行われると（ブロックＡ１）、手書き信号入力部３０１に検出信号が入力され、生活行動検出部３０２によって、ペンの動きの軌跡が検出される（ブロックＡ２のＹＥＳ）。生活行動検出部３０２は、この検出信号に基づいてストロークデータを生成し、生活行動記録部３０３によって、当該生成されたストロークデータがライフログとしてライフログ管理部４０１に記録される（ブロックＡ３）。

そして、表示処理部３０５、文書管理部４０２または表示内容決定部４０３は、このストロークデータを用いたデータ処理を実行する（ブロックＡ４）。

本実施形態の動作制御処理は、ソフトウェア（プログラム）によって実現することができるので、このソフトウェアを格納したコンピュータ読み取り可能な記憶媒体を通じてこのソフトウェアを通常のコンピュータにインストールして実行することにより、各実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］タッチスクリーンディスプレイと、
前記タッチスクリーンディスプレイ上で手書きされた軌跡および時刻を示す複数のストロークデータを記録するストロークデータ記録手段と、
前記複数のストロークデータで示される軌跡および時刻のうち、第１のデータに対応づけられた第１ストロークデータで示される第１時刻と、第２のデータに対応づけられた第２ストロークデータで示される第２時刻とを用いて、データ処理を実行するデータ処理手段と、を具備するデータ処理システム。
［２］前記ストロークデータ記録手段は、前記タッチスクリーンディスプレイ上で手書きが行われた際に前記タッチスクリーンディスプレイに表示されていたデータに対応づけて前記複数のストロークデータを記録し、
前記データ処理手段は、前記第１時刻と前記第２時刻とから前記第１のデータと前記第２のデータとの関連度を算出する関連度算出手段を含み、前記関連度算出手段により算出される関連度に基づき、関連データの検索処理を実行する［１］のデータ処理システム。
［３］前記データ処理手段は、
前記複数のストロークデータで示される軌跡を前記タッチスクリーンディスプレイ上に表示する第１の表示手段と、
前記複数のストロークデータで示される軌跡が表す文字または図形を認識する認識手段と、
前記認識手段による認識結果と前記ストロークデータで示される時刻とに基づき、前記複数のストロークデータで示される軌跡を前記第１の表示手段とは異なる形式で前記タッチスクリーンディスプレイ上に表示する第２の表示手段と、を含む［１］のデータ処理システム。
［４］前記第２の表示手段は、前記タッチスクリーンディスプレイ上の領域の一部を範囲指定するための図形が前記認識手段により認識された場合、この図形によって範囲指定される領域内に手書きされた軌跡について前記認識手段により認識された文字列を１つのオブジェクトとして扱い、前記複数のストロークデータで示される軌跡の配置を前記オブジェクト単位で移動させる［３］のデータ処理システム。
［５］前記ストロークデータ記録手段は、前記複数のストロークデータをユーザ毎に記録し、
前記データ処理手段は、前記複数のストロークデータで示される時刻を用いて、ユーザ毎に記録された前記複数のストロークデータで示される軌跡を重ね合わせるマージ手段を含む［１］のデータ処理システム。
［６］前記ストロークデータ記録手段は、前記タッチスクリーンディスプレイ上で手書きが行われた際に前記タッチスクリーンディスプレイに表示されていたデータに対応づけて前記複数のストロークデータを記録し、
前記データ処理手段は、前記マージ手段により重ね合わせられた前記複数のストロークデータで示される軌跡を前記複数のストロークデータが対応づけられたデータと合成して前記タッチスクリーンディスプレイに表示する［５］のデータ処理システム。
［７］前記マージ手段は、前記複数のストロークデータで示される軌跡の重ね合わせを時系列に行っていく［５］のデータ処理システム。
［８］前記マージ手段は、ユーザの指定を受け付け、指定されたユーザの軌跡を重ね合わせる［５］のデータ処理システム。
［９］タッチスクリーンディスプレイを備えるデータ処理システムにおけるデータ処理方法であって、
前記タッチスクリーンディスプレイ上で手書きされた軌跡および時刻を示す複数のストロークデータを記録し、
前記記録した複数のストロークデータで示される軌跡および時刻のうち、第１のデータに対応づけられた第１ストロークデータで示される第１時刻と、第２のデータに対応づけられた第２ストロークデータで示される第２時刻とを用いて、データ処理を実行する、データ処理方法。
［１０］タッチスクリーンディスプレイを備えるコンピュータを、
前記タッチスクリーンディスプレイ上で手書きされた軌跡および時刻を示す複数のストロークデータを記録するストロークデータ記録手段、
前記複数のストロークデータで示される軌跡および時刻のうち、第１のデータに対応づけられた第１ストロークデータで示される第１時刻と、第２のデータに対応づけられた第２ストロークデータで示される第２時刻とを用いて、データ処理を実行するデータ処理手段、として機能させるためのプログラム。

２…サーバ、１０…タブレットコンピュータ、３０１…手書き信号入力部、３０２…生活行動検出部、３０３…生活行動記録部、３０４…通信制御部、３０５…表示処理部、４０１…ライフログ管理部、４０２…文書管理部、４０２Ａ…関連度算出部、４０３…表示内容決定部。

Claims (9)

1. タッチスクリーンディスプレイと、
   前記タッチスクリーンディスプレイ上で手書きされた軌跡であって、前記タッチスクリーンディスプレイ上への接触が検出されている間の接触位置の軌跡に関する情報と、その軌跡が手書きされた時刻に関する情報とを各々が含む複数のストロークデータを、その軌跡が手書きされた際に前記タッチスクリーンディスプレイに表示されていたデータに対応づけて記録するストロークデータ記録手段と、
   第１文書ファイルに対して手書きされた軌跡に対応する第１ストロークデータで示される第１時刻と第２文書ファイルに対して手書きされた軌跡に対応する第２ストロークデータで示される第２時刻とから前記第１文書ファイルと前記第２文書ファイルとの関連度を算出するデータ処理を実行するデータ処理手段と、
   を具備するデータ処理システム。
2. 前記データ処理手段は、
   前記複数のストロークデータで示される軌跡を前記タッチスクリーンディスプレイ上に表示する第１の表示手段と、
   前記複数のストロークデータで示される軌跡が表す文字または図形を認識する認識手段と、
   前記認識手段による認識結果と前記ストロークデータで示される時刻とに基づき、前記複数のストロークデータで示される軌跡を前記第１の表示手段とは異なる形式で前記タッチスクリーンディスプレイ上に表示する第２の表示手段と、
   を含む請求項１に記載のデータ処理システム。
3. 前記第２の表示手段は、前記タッチスクリーンディスプレイ上の領域の一部を範囲指定するための図形が前記認識手段により認識された場合、この図形によって範囲指定される領域内に手書きされた軌跡について前記認識手段により認識された文字列を１つのオブジェクトとして扱い、前記複数のストロークデータで示される軌跡の配置を前記オブジェクト単位で移動させる請求項２に記載のデータ処理システム。
4. 前記ストロークデータ記録手段は、前記複数のストロークデータをユーザ毎に記録し、
   前記データ処理手段は、前記複数のストロークデータで示される時刻を用いて、ユーザ毎に記録された前記複数のストロークデータで示される軌跡を重ね合わせるマージ手段を含む、
   請求項１に記載のデータ処理システム。
5. 前記ストロークデータ記録手段は、前記タッチスクリーンディスプレイ上で手書きが行われた際に前記タッチスクリーンディスプレイに表示されていたデータに対応づけて前記複数のストロークデータを記録し、
   前記データ処理手段は、前記マージ手段により重ね合わせられた前記複数のストロークデータで示される軌跡を前記複数のストロークデータが対応づけられたデータと合成して前記タッチスクリーンディスプレイに表示する、
   請求項４に記載のデータ処理システム。
6. 前記マージ手段は、前記複数のストロークデータで示される軌跡の重ね合わせを時系列に行っていく請求項４に記載のデータ処理システム。
7. 前記マージ手段は、ユーザの指定を受け付け、指定されたユーザの軌跡を重ね合わせる請求項４に記載のデータ処理システム。
8. データ処理システムにおけるデータ処理方法であって、
   タッチスクリーンディスプレイ上で手書きされた軌跡であって、前記タッチスクリーンディスプレイ上への接触が検出されている間の接触位置の軌跡に関する情報と、その軌跡が手書きされた時刻に関する情報とを各々が含む複数のストロークデータを、その軌跡が手書きされた際に前記タッチスクリーンディスプレイに表示されていたデータに対応づけて記録し、
   第１文書ファイルに対して手書きされた軌跡に対応する第１ストロークデータで示される第１時刻と第２文書ファイルに対して手書きされた軌跡に対応する第２ストロークデータで示される第２時刻とから前記第１文書ファイルと前記第２文書ファイルとの関連度を算出するデータ処理を実行する、
   データ処理方法。
9. コンピュータを、
   タッチスクリーンディスプレイ上で手書きされた軌跡であって、前記タッチスクリーンディスプレイ上への接触が検出されている間の接触位置の軌跡に関する情報と、その軌跡が手書きされた時刻に関する情報とを各々が含む複数のストロークデータを、記録するストロークデータ記録手段、
   第１文書ファイルに対して手書きされた軌跡に対応する第１ストロークデータで示される第１時刻と第２文書ファイルに対して手書きされた軌跡に対応する第２ストロークデータで示される第２時刻とから前記第１文書ファイルと前記第２文書ファイルとの関連度を算出するデータ処理を実行するデータ処理手段、
   として機能させるためのプログラム。

Images