JP5284524B1 - 電子機器および手書き文書処理方法 - Google Patents

Abstract

【課題】複数のレイヤを有する手書き文書を容易に扱うことができる電子機器を実現する。
【解決手段】実施形態によれば、電子機器は、レイヤ作成手段と保存手段と表示処理手段とを具備する。レイヤ作成手段は、第１レイヤを含む手書き文書が画面に表示されるとき、レイヤ作成操作によって指定された領域に基づいて第２レイヤを作成可能である。保存手段は、前記第１レイヤに対応する第１領域内に第１ストロークが手書きされる場合、前記第１領域を示す第１レイヤ情報と前記第１ストロークに対応する第１ストロークデータとを記憶媒体に保存し、前記第２レイヤに対応する第２領域内に第２ストロークが手書きされる場合、前記第２領域を示す第２レイヤ情報と前記第２ストロークに対応する第２ストロークデータとを前記記憶媒体に保存する。表示処理手段は、前記第１ストロークを前記第１領域上に表示し、前記第２ストロークを前記第２領域上に表示する。
【選択図】図５

Description

本発明の実施形態は、手書き文書を処理することが可能な電子機器および同電子機器で用いられる手書き文書処理方法に関する。

近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。

しかし、タッチスクリーンディスプレイを備える既存の電子機器の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などのビジネスシーンにおける利用については必ずしも適していない場合がある。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。

このような紙の手帳では、紙のページに、追加の情報を記載するための付箋を貼り付けるといった利用方法も一般的である。ユーザは、付箋を用いることによって、紙のページに記載された内容自体を変更することなく、そのページに関する注釈等を付け加えることができる。

特開２００３−２９６３１３号公報

電子機器で処理される手書き文書データにおいても、紙の手帳と同様に、付箋のような手書きデータを付加することが期待される場合がある。例えば、ある手書きページに関連する情報を、そのページ自体や別のページに書き込むのではなく、付箋のような付加的なレイヤに書き込める機能が期待される。

本発明の一形態は、複数のレイヤを有する手書き文書を容易に扱うことができる電子機器および手書き文書処理方法を提供することを目的とする。

実施形態によれば、電子機器は、レイヤ作成手段と表示処理手段とを具備する。表示処理手段は、第１レイヤと第２レイヤとを含む手書き文書が画面に表示されるときに、前記第１レイヤに対応する第１領域内に第１ストロークが手書きされる場合、前記第１ストロークを前記第１領域上に表示し、前記第２レイヤに対応する第２領域内に第２ストロークが手書きされる場合、前記第２ストロークを前記第２領域上に表示する。レイヤ作成手段は、前記第２レイヤに対応する第２領域内の座標から前記第１レイヤに対応する第１領域内の座標に至る場合、前記入力されるストロークを包含する領域へ、前記第２領域を変更する。

実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図。 同実施形態の電子機器によって記憶媒体に保存される、図２の手書き文書に対応する時系列情報を説明するための図。 同実施形態の電子機器のシステム構成を示すブロック図。 同実施形態の電子機器によって実行されるデジタルノートブックアプリケーションプログラムの機能構成を示すブロック図。 同実施形態の電子機器によって表示される手書き文書にレイヤが作成される例を示す図。 同実施形態の電子機器によって表示される、複数のレイヤを含む手書き文書の例を示す図。 図７の重ね合わせられたレイヤを説明するための図。 同実施形態の電子機器によって用いられるレイヤ情報の一構成例を示す図。 図６の手書き文書に設定されたレイヤの領域が変更される例を示す図。 同実施形態の電子機器によって表示される、複数のレイヤを含む手書き文書の別の例を示す図。 図１１の手書き文書において、レイヤを色分けして表示する例を示す図。 図１１の手書き文書において、レイヤを色分けして表示する別の例を示す図。 同実施形態の電子機器によって実行される入力操作処理の手順を示すフローチャート。 同実施形態の電子機器と外部装置との連係動作を示す図。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

デジタイザおよびタッチパネルの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。

ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡（筆跡）がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡（筆跡）の集合が手書き文書を構成する。

この手書き文書は１以上のレイヤを含む。レイヤとは、手書き入力される１以上のストロークを表示可能な領域であって、他のレイヤと重複可能なものである。より具体的には、手書き文書には、当該手書き文書のベースとなるベース文書レイヤが含まれ、ユーザによるレイヤ作成操作に応じて、ベース文書レイヤの上に、新たなレイヤが重ね合わせて作成される。この新たなレイヤは、例えば、レイヤ作成操作中において、タッチスクリーンディスプレイ１７上での外部オブジェクトの動きの軌跡によって指定された任意の領域に作成される。したがって、上述の手書き入力操作では、手書き文書に含まれる１以上のレイヤの内の１つのレイヤに、ストロークの軌跡が描画され、これによってストロークの軌跡が画面上に表示される。

また、ユーザは、表示中の手書き文書内に任意のレイヤを作成することを指示するためのレイヤ作成操作だけではなく、表示中の手書き文書に含まれる任意のレイヤの位置、サイズ、重ね合わせ順序等を変更すること、表示中の手書き文書に含まれる任意のレイヤを削除すること、等を指示するためのレイヤ変更操作を行うこともできる。このレイヤ変更操作では、各レイヤに描画されたストロークを、レイヤ単位で画面上に表示／非表示することも指示できる。

なお、タッチスクリーンディスプレイ１７上で手書き入力操作とレイヤ作成（変更）操作のいずれが行われているかは、例えば、設定されているモードによって判別される。例えば、手書きモードにおけるタッチスクリーンディスプレイ１７上での操作は手書き入力操作として検出され、操作モードにおけるタッチスクリーンディスプレイ１７上での操作はレイヤ作成操作として検出される。これらモードは、例えば、ペン１００に設けられたボタンの操作、タッチスクリーンディスプレイ１７の画面に表示されたモード切替ボタンの操作、タッチスクリーンディスプレイ１７上での所定の操作（例えば、スライドされない所定時間以上のタッチ操作）等に応じて切り替えられる。

本実施形態では、この手書き文書は、イメージデータではなく、１以上のレイヤの各々を示すレイヤ情報と、各レイヤに描画された、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報とを含む手書き文書データとして記憶媒体に保存される。この時系列情報の詳細は図３を参照して後述するが、この時系列情報は、概して、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。また、レイヤ情報は、各レイヤが配置された手書き文書上の領域を示す情報や、１以上のレイヤが重ね合わせられた順序を示す情報等を含む。

タブレットコンピュータ１０は、記憶媒体から既存の任意の手書き文書データを読み出し、この手書き文書データに対応する手書き文書、つまりレイヤ情報によって示される重ね合わせられた１以上のレイヤそれぞれに、時系列情報によって示される複数のストロークそれぞれに対応する軌跡が描画された手書き文書を、画面上に表示することができる。

次いで、図２および図３を参照して、ユーザによって手書きされたストローク（文字、マーク、図形、表など）と時系列情報との関係について説明する。図２は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。

手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図２においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きされた場合が想定されている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡もサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２１、…ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図３は、図２の手書き文書に対応する時系列情報２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べられている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き矢印を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいて、複数の座標は、ストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。
さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

図４は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図４に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム２０２が含まれている。このデジタルノートブックアプリケーションプログラム２０２は、上述の手書き文書を作成および表示する機能、手書き文書内にレイヤを設定する機能等を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

次に、図５を参照して、デジタルノートブックアプリケーションプログラム２０２の機能構成について説明する。デジタルノートブックアプリケーションプログラム２０２は、上述のように、デジタルノートブックアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いた手書き入力操作によって入力されるストロークデータを使用することによって、手書き文書の作成、表示、編集等を行う。また、デジタルノートブックアプリケーションプログラム２０２で処理される手書き文書は１以上のレイヤを含む。手書き文書には、例えば、当該手書き文書のベースとなるベース文書レイヤ（第１レイヤ）が含まれ、ユーザによるタッチスクリーンディスプレイ１７を用いたレイヤ作成操作に応じて、レイヤをさらに作成することができる。ユーザは、タッチスクリーンディスプレイ１７を用いた手書き入力操作によって、手書き文書に含まれる１以上のレイヤのそれぞれに、手書きのストローク（文字や図形等）を書き込むことができる。つまり、デジタルノートブックアプリケーションプログラム２０２は、１以上のレイヤのそれぞれに書き込まれた複数のストロークを含む手書き文書を作成、表示、編集するための処理を行う。

タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

デジタルノートブックアプリケーションプログラム２０２は、例えば、軌跡表示処理部３０１、時系列情報生成部３０２、レイヤ表示処理部３０３、レイヤ情報生成部３０４、ページ保存処理部３０５、ページ取得処理部３０６、手書き文書表示処理部３０７を備える。

以下ではまず、手書き文書にレイヤが作成される際の処理について説明する。
レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、処理対象の手書き文書（手書きページ）にレイヤを作成するための処理を実行する。すなわち、レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、タッチスクリーンディスプレイ１７上でユーザによって行われるレイヤ作成操作に応じて、手書き文書にレイヤを作成するための処理を実行する。

レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、新たな手書き文書が作成されるとき、その手書き文書のベースとなるベース文書レイヤ（第１レイヤ）を作成する。すなわち、新たな手書き文書が作成されるとき、レイヤ情報生成部３０４はベース文書レイヤを示すレイヤ情報を生成し、レイヤ表示処理部３０３は、ベース文書レイヤを表す画像を画面上の手書き文書内に表示する。ベース文書レイヤは、例えば、手書き文書全体を覆うレイヤである。つまり、ベース文書レイヤは、手書き文書と同じサイズを有する。ベース文書レイヤは、手書き文書に含まれる１以上のレイヤの内の最下層（最背面）に配置される。そのため、ベース文書レイヤを、レイヤとしてではなく、手書き文書（手書きページ）自体として扱うこともできる。

レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、ベース文書レイヤを含む手書き文書がタッチスクリーンディスプレイ１７の画面に表示されているとき、レイヤ作成操作によって指定された領域に基づいて、ベース文書レイヤ上に新たなレイヤ（第２レイヤ）を作成する。この第２レイヤは、例えば、最大で手書き文書と同じサイズを有し、手書き文書内の任意の位置に配置される。また、第２レイヤは、下層のレイヤに手書きされたストロークが見える透明なレイヤと、下層のレイヤに手書きされたストロークが見えない不透明なレイヤのいずれであってもよい。

ユーザは、手書き文書内の任意の領域にレイヤを作成するための「レイヤ作成」ツールを使用して、表示中の手書き文書内の任意の領域を指定するレイヤ作成操作を行うことができる。レイヤ情報生成部３０４は、このレイヤ作成操作によって指定される手書き文書内の領域に応じて、新たなレイヤが作成される領域を決定し、その新たなレイヤを示すレイヤ情報を生成する。レイヤ表示処理部３０３は、その新たなレイヤを表す画像（例えば、付箋の画像）を手書き文書内に表示する。なお、レイヤ表示処理部３０３は、透明なレイヤが作成される場合には、レイヤ自体を表す画像の代わりに、レイヤが存在することを表す画像（例えば、タブの画像）を表示してもよい。

また、レイヤ情報生成部３０４は、生成されたレイヤ情報を作業メモリ４０１に一時保存してもよい。

図６は、タッチスクリーンディスプレイ１７に表示された手書き文書画面５００を用いて、手書き文書にレイヤが作成される例を示したものである。なお、手書き文書には、手書き文書のベースとなるベース文書レイヤ５１０が既に設けられていることを想定する。このベース文書レイヤ５１０は、例えば、紙の手帳における紙のページ自体に相当するものである。

ユーザは、例えば、「レイヤ作成」ツールを用いて、手書き文書画面５００上でペン１００又は指を移動させる操作によって、手書き文書画面５００内の任意の領域６０１を指定する。ユーザが任意の領域６０１を指定したことに応じて、手書き文書には、指定された領域６０１に対応するレイヤ（付箋レイヤ）５０１が作成される。この付箋レイヤ５０１は、ベース文書レイヤ５１０の上に重ね合わせられている。また、この付箋レイヤ５０１は、紙の付箋のように、不透明な背景色を有しているので、ベース文書レイヤ５１０内の付箋レイヤ５０１に対応する領域は、当該付箋レイヤ５０１によって隠されている。そのため、ユーザは、付箋レイヤ５０１と、ベース文書レイヤ５１０の内の付箋レイヤ５０１に対応する領域を除く領域とに、手書き入力を行うことができる。

また、図７に示すように、手書き文書画面５００を用いて、手書き文書に複数の付箋レイヤ５０１，５０２を作成することもできる。ユーザは、ベース文書レイヤ５１０に書き込まれた内容に関連する属性の異なる２つの内容を、第１付箋レイヤ５０１と第２付箋レイヤ５０２とに分けて書き込むことができる。すなわち、ユーザは、レイヤを作成することによって、手書き文書に含まれる情報を属性別に仕分けることができる。また、ある手書き文書に対して複数のユーザのそれぞれが手書きするための複数のレイヤを作成したり、１人のユーザが異なるタイミングで手書きするための別々のレイヤを作成したりすることもできる。

図８を参照して、これらレイヤ５０１，５０２，５１０が重ね合わせられた例について説明する。図８に示す例では、ベース文書レイヤ５１０上に第１付箋レイヤ５０１が設けられ、その第１付箋レイヤ５０１の上にさらに第２付箋レイヤ５０２が設けられている。換言すると、第１付箋レイヤ５０１の一部は第２付箋レイヤ５０２によって覆われ、ベース文書レイヤ５１０の一部は、第１付箋レイヤ５０１と第２付箋レイヤ５０２とによって覆われている。

手書き文書画面５００では、重ね合わせられたレイヤの内の最上層（最前面）のレイヤに対して手書き入力を行うことができる。したがって、第１領域７０１では第１付箋レイヤ５０１に対して、第２領域７０２では第２付箋レイヤ５０２に対して、第３領域７０３ではベース文書レイヤ５１０に対してそれぞれ手書き入力を行うことができる。

次いで、図９を参照して、レイヤ情報の一構成例について説明する。レイヤ情報は、手書き文書に含まれるレイヤが作成または変更されたときに、レイヤ情報生成部３０４によって生成または更新される。

レイヤ情報は、１つの手書き文書に設定された１以上のレイヤに対応する１以上のエントリを含む。各エントリは、例えば、レイヤＩＤ、位置、サイズ、重ね合わせ順序、属性、作成日時、作成ユーザ、ストロークＩＤを含む。あるレイヤに対応するエントリにおいて、「レイヤＩＤ」は、そのレイヤに付与された識別情報を示す。「位置」は、そのレイヤが配置された手書き文書上の位置（例えば、Ｘ座標とＹ座標）を示す。「サイズ」は、そのレイヤのサイズを示す。例えばレイヤが矩形である場合、「サイズ」は、その矩形の幅と高さとを示す。「重ね合わせ順序」は、１つの手書き文書に設定された１以上のレイヤの中で、そのレイヤが重ね合わせられた位置を示す。「重ね合わせ順序」には、例えば、１以上のレイヤの重ね合わせの順序に従って割り当てられた値が設定される。「属性」は、そのレイヤに書き込まれた内容を表す属性を示す。「作成日時」は、そのレイヤが作成された日時を示す。「作成ユーザ」は、そのレイヤを作成したユーザを示す。「作成ユーザ」には、例えば、そのユーザの名前や、そのユーザに付与された識別情報が設定される。「ストロークＩＤ」は、そのレイヤ上に書き込まれた、手書きによる軌跡に対応するストロークのストロークＩＤ（ストロークＩＤ群）を示す。

なお、レイヤ情報は、「位置」および「サイズ」の代わりに、例えば、そのレイヤの形状を示す座標列を含んでもよい。この「座標列」によって、任意の形状を有するレイヤを規定することができる。

次いで、１以上のレイヤを含む手書き文書に対して、ユーザによってストローク（文字、マーク、図形、表など）が手書きされる際の処理について説明する。

軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントには、移動先の接触位置の座標が含まれている。したがって、軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。軌跡表示処理部３０１および時系列情報生成部３０２は、例えば、レイヤの作成または変更が確定されたこと、「レイヤ作成」ツールおよび「レイヤ変更」ツールの使用が終了したこと等に応じて、手書き入力操作の検出を開始する。

軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信し、この座標列に基づいて、ペン１００等を使用した手書き入力操作によって手書きされる各ストロークの軌跡をタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。この軌跡表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がＬＣＤ１７Ａの画面上に描かれる。例えば、軌跡表示処理部３０１は、第１レイヤ（例えば、ベース文書レイヤ５１０）に対応する第１領域内に手書きされた第１ストロークを、その第１領域上に表示し、第２レイヤ（例えば、第１付箋レイヤ５０１）に対応する第２領域に手書きされた第２ストロークを、その第２領域上に表示する。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、図３で詳述したような構造を有する時系列情報を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ４０１に一時保存してもよい。

また、時系列情報生成部３０２およびレイヤ情報生成部３０４は、時系列情報とレイヤ情報とを関連付ける。例えば、時系列情報生成部３０２およびレイヤ情報生成部３０４は、第１レイヤ（例えば、ベース文書レイヤ５１０）に対応する第１領域内に第１ストロークが手書きされる場合、この第１領域を示す第１レイヤ情報と、第１ストロークに対応する第１ストロークデータ（時系列情報）とを関連付けて記憶媒体４０２に保存する。また、時系列情報生成部３０２およびレイヤ情報生成部３０４は、第２レイヤ（例えば、第１付箋レイヤ５０１）に対応する第２領域内に第２ストロークが手書きされる場合、第２領域を示す第２レイヤ情報と、第２ストロークに対応する第２ストロークデータとを関連付けて記憶媒体４０２に保存する。

より具体的には、時系列情報生成部３０２は、生成された時系列情報をレイヤ情報生成部３０４に出力する。そして、レイヤ情報生成部３０４は、手書き文書に含まれる１以上のレイヤを示すレイヤ情報（作業メモリ４０１に一時保存されているレイヤ情報）を用いて、受け取った時系列情報に示されるストロークが、それら１以上のレイヤの内のいずれに書き込まれているかを検出する。そして、レイヤ情報生成部３０４は、検出されたレイヤに対応するレイヤ情報のエントリに、当該レイヤに書き込まれたストロークのストロークＩＤを追加する。これにより、時系列情報とレイヤ情報とを用いて、手書き文書に手書きされたストロークを、レイヤ毎に処理することができる。なお、時系列情報とレイヤ情報との関連付けには、時系列情報に、各ストロークが書き込まれたレイヤを示すレイヤＩＤを追加する方法を用いてもよい。時系列情報生成部３０２およびレイヤ情報生成部３０４は、関連付けられた時系列情報とレイヤ情報とを作業メモリ４０１に一時保存してもよい。

例えば、図６に示したような、ベース文書レイヤ（第１レイヤ）５１０上に付箋レイヤ（第２レイヤ）５０１が作成されている手書き文書において、タッチスクリーンディスプレイ１７上で行われる手書き入力操作によって複数のストロークが手書きされた場合を想定する。レイヤ情報生成部３０４は、第１レイヤ内にそれら複数のストロークが手書きされている場合、第１レイヤに対応する第１レイヤ情報と、複数のストロークに対応する複数のストロークデータを含む時系列情報とを関連付け、関連付けられた第１レイヤ情報と時系列情報とを保存する。また、レイヤ情報生成部３０４は、第２レイヤ内に複数のストロークが手書きされている場合、第２レイヤに対応する第２レイヤ情報と複数のストロークに対応する複数のストロークデータを含む時系列情報とを関連付け、関連付けられた第２レイヤ情報と時系列情報とを保存する。

さらに、レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、手書き文書に含まれる任意のレイヤの移動、サイズ変更、重ね合わせ順序の変更、又は削除を行うための処理を実行することができる。すなわち、レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、タッチスクリーンディスプレイ１７上でユーザによって行われるレイヤ変更操作に応じて、手書き文書に含まれるレイヤを変更するための処理を実行する。

ユーザは、「レイヤ変更」ツールを使用して、手書き文書に含まれる１以上のレイヤの内の、任意のレイヤを選択し、その選択されたレイヤの移動、サイズ変更、重ね合わせ順序の変更、削除等を指示するレイヤ変更操作を行うことができる。レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、このレイヤ変更操作によって選択されたレイヤに対して、当該操作によって指示された処理を施す。なお、ベース文書レイヤ５１０については、手書き文書のベースとなるので、手書き文書に含まれる１以上のレイヤの内の最下層に常に配置され、ユーザによって位置やサイズの変更、削除ができないようにしてもよい。

例えば、レイヤ変更操作によって、あるレイヤに対応する領域を第１の位置に移動することが指示される場合、レイヤ表示処理部３０３は、その領域内のストロークを、第１の位置に移動された当該レイヤに対応する領域内に表示する。そして、レイヤ情報生成部３０４は、第１の位置に基づいて、当該レイヤのレイヤ情報を更新し、レイヤに対応する領域が第１の位置に移動された後のストロークの位置に基づいて、対応するストロークデータを更新する。

より具体的には、レイヤ変更操作によって、あるレイヤを第１の位置に移動することが指示された場合、レイヤ情報生成部３０４は、第１の位置に移動された当該レイヤの領域を決定して、対応するレイヤ情報を更新し、また、レイヤ表示処理部３０３は、第１の位置に移動されたレイヤを表す画像を表示する。このとき、移動されるレイヤ内に手書きのストロークが含まれる場合には、レイヤ情報生成部３０４は、当該ストロークに対応する時系列情報を、第１の位置に移動されたレイヤ内での位置に応じて更新し、また、レイヤ表示処理部３０３は、当該ストロークを第１の位置に移動されたレイヤ内の対応する位置に表示する。なお、時系列情報においては、移動された各ストロークの時系列座標を変更したことを表す操作履歴を時系列情報に追加してもよい。

レイヤ変更操作によって、あるレイヤのサイズ変更が指示された場合、レイヤ情報生成部３０４は、当該レイヤに対応するレイヤ情報を変更後のサイズに応じて更新し、また、レイヤ表示処理部３０３は、変更後のサイズでレイヤを表す画像を表示する。

レイヤ変更操作によって、あるレイヤの重ね合わせ順序の変更が指示された場合、レイヤ情報生成部３０４は、当該レイヤに対応するレイヤ情報を、変更後の重ね合わせ順序に応じて更新し、また、レイヤ表示処理部３０３は、変更後の重ね合わせ順序でレイヤを表す画像を表示する。レイヤ表示処理部３０３は、そのレイヤ内に含まれる手書きのストロークも、同様に変更後の重ね合わせ順序に応じて表示する。

また、レイヤ変更操作によって、あるレイヤの削除が指示された場合、レイヤ情報生成部３０４は、当該レイヤに対応するレイヤ情報を削除し、また、レイヤ表示処理部３０３は、そのレイヤを表す画像をディスプレイ１７の画面上から削除する。このとき、削除されるレイヤ内に手書きのストロークが含まれる場合には、レイヤ情報生成部３０４は、当該ストロークに対応する時系列情報（ストロークデータ）を削除し、また、レイヤ表示処理部３０３は、当該ストロークを表す軌跡をディスプレイ１７の画面上から削除する。なお、時系列情報においては、削除された各ストロークデータを、時系列座標から必ずしも削除しなくてもよく、これら各ストロークデータを削除したことを表す操作履歴を時系列情報に追加してもよい。

さらに、レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、手書き文書に含まれる２つのレイヤをマージ（統合）するための処理も実行することができる。ユーザは、「レイヤ変更」ツールを使用して、手書き文書に含まれる１以上のレイヤの内の、２つのレイヤを選択し、それら２つのレイヤのマージを指示するレイヤ変更操作を行うことができる。

例えば、レイヤ変更操作によって、ベース文書レイヤ５１０に付箋レイヤ５０１をマージすることが指示されたことを想定する。その場合、レイヤ情報生成部３０４は、付箋レイヤ５０１内に含まれるストロークのストロークＩＤを、ベース文書レイヤ５１０に対応するレイヤ情報のエントリに追加し、また、レイヤ表示処理部３０３は、付箋レイヤ５０１を表す画像をディスプレイ１７の画面上から削除し、付箋レイヤ５０１内に含まれるストロークをベース文書レイヤ５１０内に表示する。そして、レイヤ情報生成部３０４は、付箋レイヤ５０１に対応するレイヤ情報のエントリを削除する。

ページ保存処理部３０５は、生成された時系列情報とレイヤ情報とを手書き文書（手書きページ）データとして記憶媒体４０２に保存する。記憶媒体４０２は、例えば、タブレットコンピュータ１０内のストレージデバイスや、サーバのストレージデバイスである。

ページ取得処理部３０６は、記憶媒体４０２から既に格納されている任意の手書き文書データを読み出す。読み出された手書き文書データは手書き文書表示処理部３０７に送られる。手書き文書表示処理部３０７は、手書き文書データに含まれる時系列情報とレイヤ情報とを解析し、この解析結果に基づいて、時系列情報によって示される各ストロークの軌跡が描画された１以上のレイヤが重ね合わせられた手書き文書（手書きページ）を画面に表示する。

また、図１０は、ユーザによる手書き入力に応じて、レイヤの領域が変更される例を示す。ここでは、ユーザが、手書き文書画面５００に表示された付箋レイヤ５０１Ａに手書き入力を行っているときに、手書きの文字や図形等の一部を付箋レイヤ５０１Ａの領域外にはみ出して書き込んだことを想定する。

図１０に示す例では、手書き文字列“Ｒｅｓｅａｒｃｈ”の一部が付箋レイヤ５０１Ａの領域外にはみ出して書き込まれている。この場合、付箋レイヤ５０１Ａの領域は、レイヤ表示処理部３０３およびレイヤ情報生成部３０４によって、手書き文字列“Ｒｅｓｅａｒｃｈ”が含まれるように広げられる。つまり、付箋レイヤ５０１Ａは、手書き文字列“Ｒｅｓｅａｒｃｈ”が含まれるように、付箋レイヤ５０１Ｂに変更される。

より具体的には、例えば、手書きによる軌跡（すなわち、軌跡に対応する連続した座標列）が、レイヤの領域内から領域外に出るような軌跡である場合、手書き入力中に、手書きの文字や図形等がそのレイヤ内に収まりきれなくなったこと（手書きの文字や図形等がレイヤからはみ出したこと）が想定される。レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、例えば、手書きによって入力されるストロークの軌跡が、付箋レイヤ（第２レイヤ）５０１Ａ内の座標からベース文書レイヤ（第１レイヤ）５１０内の座標に至る場合、そのストロークを包含する領域へ、付箋レイヤ５０１Ａの領域を変更する。すなわち、手書きされたストロークの軌跡が収まるように付箋レイヤ５０１Ａを自動的に広げる（拡張する）。これにより、ユーザがレイヤのサイズを変更する操作を明示的に行うことなく、手書きによる軌跡に応じてレイヤの領域を拡張することができ、また、ユーザがあるレイヤ内に書き込むことを意図した手書き文字や図形等が、当該レイヤ内に適切に表示されるように処理することができる。手書きによるストロークの軌跡があるレイヤからはみ出したかどうかは、ストロークに対応する座標データ列だけでなく、そのストロークの前後に手書きされた複数のストロークに対応する時系列情報に基づいて決定されてもよい。

次いで、図１１は、手書き文書に透明なレイヤが設けられた例を示す。図１１に示す手書き文書画面５００では、ベース文書レイヤ５１０の上に、“コメント”レイヤ５０５、“ＴＯＤＯ”レイヤ５０６、及び“指摘”レイヤの３つの透明なレイヤが重ね合わせられている。これら３つのレイヤは、例えば、手書き文書全体を覆う（すなわち、手書き文書と同じサイズを有する）レイヤである。なお、“指摘”レイヤには、まだ手書きによるストロークが書き込まれていない。

手書き文書画面５００には、手書き文書に透明なレイヤが含まれることをユーザが認識できるように、手書き文書に設けられた４つのレイヤそれぞれに対応するタグ６０２Ａ，６０２Ｂ，６０２Ｃ，６０２Ｄが表示されている。ユーザは、このタグ６０２Ａ，６０２Ｂ，６０２Ｃ，６０２Ｄを用いて、対応するレイヤを画面上に表示するか否かを選択することもできる。

この手書き文書画面５００では、全てのタグ６０２Ａ，６０２Ｂ，６０２Ｃ，６０２Ｄが選択されている間に、“ＴＯＤＯ”タグ６０２Ｂと“ベース文書”タグ６０２Ｄとを選択する操作に応じて、全てのレイヤが画面に表示された状態から、ベース文書レイヤ５１０と“ＴＯＤＯ”レイヤ５０６だけが画面に表示された状態に遷移している。これにより、ユーザは、手書き文書に含まれるレイヤを選択的に表示することができる。

また、図１２および図１３に示すように、タグ６０２Ａ，６０２Ｂ，６０２Ｃ，６０２Ｄの選択状態に応じて、レイヤの表示形態を変更してもよい。図１２および図１３に示す例では、ユーザが“ＴＯＤＯ”タグ６０２Ｂを選択状態にしたことを想定する。

図１２に示す手書き文書画面５００では、ベース文書レイヤ５１０と“ＴＯＤＯ”レイヤ５０６とが第１の表示形態で表示され、“コメント”レイヤ５０５が第２の表示形態で表示されている。手書き文書画面５００では、例えば、第１の表示形態のレイヤを濃く表示し、第２の表示形態のレイヤを薄く表示することによって、選択状態のタグに対応するレイヤ（ここでは、“ＴＯＤＯ”レイヤ５０６）がアクティブなレイヤであることを、ユーザが識別できるようにする。ユーザは、アクティブなレイヤに対して、手書き入力操作を行うことができる。

なお、図１２に示すように、ベース文書レイヤ５１０については、ユーザによるタグ６０２Ｄの選択に関わらず、常に第１の表示形態で表示されてもよい。また、手書き文書画面５００におけるレイヤの表示形態は、第１の表示形態のレイヤを明るく表示し、第２の表示形態のレイヤを暗く表示する、第１の表示形態のレイヤと第２の表示形態のレイヤとを異なる色で表示するなど、タグの選択状態に対応するアクティブなレイヤをユーザが区別できればよい。

また、図１３に示すように、ベース文書レイヤ５１０についても、ユーザによるタグ６０２Ｄの選択に応じて表示形態が変更されるようにしてもよい。この手書き文書画面５００では、“ＴＯＤＯ”レイヤ５０６が第１の表示形態で（例えば、濃く）表示され、ベース文書レイヤ５１０を含む他のレイヤが第２の表示形態で（例えば、薄く）表示されている。

次いで、図１４のフローチャートを参照して、デジタルノートブックアプリケーションプログラム２０２によって実行される入力操作処理の手順について説明する。
まず、レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、ユーザによってタッチスクリーンディスプレイ１７上で行われるレイヤ作成操作が検出されたか否かを判定する（ブロックＢ１０１）。レイヤ作成操作は、例えば、「レイヤ作成」ツールを使用して、手書き文書内の任意の領域を指定する操作である。レイヤ作成操作が検出されている場合（ブロックＢ１０１のＹＥＳ）、レイヤ情報生成部３０４は、当該レイヤ作成操作によって指定された領域に基づいて、図９で詳述したような構成を有するレイヤ情報を生成し（ブロックＢ１０２）、レイヤ表示処理部３０３は、当該レイヤ作成操作によって指定された領域にレイヤを表す画像を表示する（ブロックＢ１０３）。

一方、レイヤ作成操作が検出されていない場合（ブロックＢ１０１のＮＯ）、レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、レイヤ変更操作が検出されたか否かを判定する（ブロックＢ１０４）。レイヤ変更操作は、例えば、「レイヤ変更」ツールを使用して、手書き文書内に作成済みの任意のレイヤに対して、移動（位置変更）、サイズ変更、重ね合わせ順序変更、レイヤの表示／非表示の変更、削除等を指示する操作である。レイヤ変更操作が検出されている場合（ブロックＢ１０４のＹＥＳ）、レイヤ情報生成部３０４は、当該レイヤ変更操作に応じてレイヤ情報を更新し（ブロックＢ１０５）、レイヤ表示処理部３０３は、当該レイヤ変更操作に応じてレイヤの表示を変更する（ブロックＢ１０６）。

レイヤ変更操作が検出されていない場合（ブロックＢ１０４のＮＯ）、軌跡表示処理部３０１および時系列情報生成部３０２は、手書き入力操作が検出されたか否かを判定する（ブロックＢ１０７）。手書き入力操作が検出されている場合（ブロックＢ１０７のＹＥＳ）、軌跡表示処理部３０１は、当該手書き入力操作に応じて、手書きによる軌跡（例えば、ペン１００の動きの軌跡）を画面（ディスプレイ１７）に表示する（ブロックＢ１０８）。そして、時系列情報生成部３０２は、手書きによる軌跡に対応する座標列に基づいて上述の時系列情報を生成し、その時系列情報を作業メモリ４０１に一時保存する（ブロックＢ１０９）。さらに、レイヤ情報生成部３０４は、その手書きによる軌跡に対応する座標列と、手書き文書内に設定された１以上のレイヤそれぞれに対応する領域とレイヤの重ね合わせ順序等とに基づいて、手書き入力操作の対象のレイヤ（手書き対象レイヤ）を決定し、決定された手書き対象レイヤに対応するレイヤ情報と生成された時系列情報とを関連付ける（ブロックＢ１１０）。レイヤ情報生成部３０４は、例えば、手書き対象レイヤに対応するレイヤ情報に、生成された時系列情報に含まれるストロークＩＤを追加することによって、レイヤ情報と時系列情報とを関連付ける。

次いで、レイヤ情報生成部３０４は、手書き対象レイヤに対応する領域を広げるか否かを判定する（ブロックＢ１１１）。レイヤ情報生成部３０４は、例えば、手書きによる軌跡の一部が手書き対象レイヤの領域外に書かれている場合に、手書き対象レイヤに対応する領域を広げる必要があると判定する。手書き対象レイヤに対応する領域を広げる場合（ブロックＢ１１１のＹＥＳ）、レイヤ情報生成部３０４は、手書きによる軌跡が収まるように広げられたレイヤの領域を決定し、決定された領域に応じてレイヤ情報を更新する（ブロックＢ１１２）。そして、レイヤ表示処理部３０３は、広げられたレイヤに対応する画像を画面に表示する（ブロックＢ１１３）。

手書き対象レイヤに対応する領域を広げない場合（すなわち、手書きによる軌跡が現在の手書き対象レイヤに対応する領域内に収まっている場合）（ブロックＢ１１１のＮＯ）、ブロックＢ１０１に戻る。
また、手書き入力操作が検出されていない場合（ブロックＢ１０７のＮＯ）、ブロックＢ１０１に戻る。

次いで、図１５は、タブレットコンピュータ１０と外部装置との連携動作の例を示している。タブレットコンピュータ１０は、クラウドと連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、インターネット上のサーバ２との通信を実行することができる。サーバ２はオンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。

サーバ２はハードディスクドライブ（ＨＤＤ）のようなストレージデバイス２Ａを備えている。タブレットコンピュータ１０は、手書き文書データをネットワーク越しにサーバ２に送信して、サーバ２のＨＤＤ２Ａに記録することができる（アップロード）。タブレットコンピュータ１０とサーバ２との間のセキュアな通信を確保するために、通信開始時には、サーバ２がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤやペン１００のＩＤなどを自動的にタブレットコンピュータ１０からサーバ２に送信してもよい。

これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の手書き文書あるいは大容量の手書き文書を扱うことが可能となる。

さらに、タブレットコンピュータ１０は、サーバ２のＨＤＤ２Ａに記録されている任意の手書き文書データを読み出し（ダウンロード）、その読み出された手書き文書データによって示されるストロークそれぞれの軌跡が描画された１以上のレイヤを重ね合わせて、タブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。

このように、本実施形態では、手書き文書データが格納される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、サーバ２のストレージデバイス２Ａのいずれであってもよい。

また、タブレットコンピュータ１０のタッチスクリーンディスプレイ１７に手書き文書画面５００を表示し、そのタッチスクリーンディスプレイ１７を用いた手書き文書に対する各種の操作（手書き入力操作、レイヤ作成操作、レイヤ変更操作、等）を示す操作情報をサーバ２に送信してもよい。サーバ２では、上述のデジタルノートブックアプリケーションプログラム２０２に相当する構成を有するプログラムが実行されており、タブレットコンピュータ１０から送信された操作情報に対応する手書き文書の処理が実行される。サーバ２は、例えば、操作情報に対応する処理が施された手書き文書の画像（画像データ）を、タブレットコンピュータ１０に送信する。そして、タブレットコンピュータ１０は、サーバ２から送信された手書き文書の画像を、タッチスクリーンディスプレイ１７上の手書き文書画面５００内に表示する。

これにより、タブレットコンピュータ１０において、タッチスクリーンディスプレイ１７を用いた入力の処理と、手書き文書を表示する処理とが実行され、サーバ２において、手書き文書データを作成（更新）および保存する処理が実行されるので、タブレットコンピュータ１０における処理の負荷を軽減することができる。

また、サーバ２は、手書き文書にアクセスするユーザ毎や、手書き文書にアクセスされた日時毎に、当該手書き文書内にレイヤを作成し、そのレイヤに手書きによるストロークが描画されるようにしてもよい。サーバ２は、さらに、手書きされた複数のストロークの筆跡を解析することによって、同一のユーザに手書きされたストロークが、そのユーザのためのレイヤに描画されるようにしてもよい。

以上説明したように、本実施形態によれば、複数のレイヤを有する手書き文書を容易に扱うことができる。レイヤ表示処理部３０３およびレイヤ情報生成部３０４は、タッチスクリーンディスプレイ１７を用いてユーザによって行われるレイヤ作成／変更操作が検出されたことに応じて、処理対象の手書き文書（手書きページ）にレイヤを作成し、また、作成されたレイヤを変更するための処理を実行する。軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７を用いてユーザによって行われる手書き入力操作が検出されたことに応じて、１以上のレイヤを含む手書き文書に対して、手書き入力操作によって手書きされる複数のストロークの軌跡を画面に表示し、それら複数のストロークに対応する時系列情報を生成する。生成された時系列情報は、対応するストロークが手書きされたレイヤに対応する領域を示すレイヤ情報と関連付けて保存される。これにより、手書きされたストロークをレイヤ単位で扱うことができるので、レイヤに対する操作に応じて、レイヤとそのレイヤに手書きされたストロークとをまとめて処理することができる。

本実施形態の手書き文書に対する各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１７Ａ…ＬＣＤ、２０２…デジタルノートブックアプリケーション、３０１…軌跡表示処理部、３０２…時系列情報生成部、３０３…レイヤ表示処理部、３０４…レイヤ情報生成部、３０５…ページ保存処理部、３０６…ページ取得処理部、３０７…手書き文書表示処理部、４０１…作業メモリ、４０２…記憶媒体。

Claims (13)

1. 第１レイヤと第２レイヤとを含む手書き文書が画面に表示されるときに、前記第１レイヤに対応する第１領域内に第１ストロークが手書きされる場合、前記第１ストロークを前記第１領域上に表示し、前記第２レイヤに対応する第２領域内に第２ストロークが手書きされる場合、前記第２ストロークを前記第２領域上に表示する表示処理手段と、
   入力されるストロークが、前記第２レイヤに対応する第２領域内の座標から前記第１レイヤに対応する第１領域内の座標に至る場合、前記入力されるストロークを包含する領域へ、前記第２領域を変更するレイヤ作成手段とを具備する電子機器。
2. 前記レイヤ作成手段は、前記第１レイヤを含む手書き文書が前記画面に表示されるとき、レイヤ作成操作によって指定された領域に基づいて、前記第２レイヤを作成し、
   前記第１領域を示す第１レイヤ情報と、前記第１ストロークに対応する第１ストロークデータとを関連付けて記憶媒体に保存し、前記第２領域を示す第２レイヤ情報と、前記第２ストロークに対応する第２ストロークデータとを関連付けて前記記憶媒体に保存する保存手段をさらに具備する請求項１記載の電子機器。
3. 前記表示処理手段は、前記第１ストロークを第１の表示形態で表示し、前記第２ストロークを第２の表示形態で表示する請求項１記載の電子機器。
4. 前記表示処理手段は、レイヤ変更操作によって前記第２レイヤに対応する第２領域を第１の位置に移動することが指示される場合、前記第２ストロークを、前記第１の位置に移動された前記第２レイヤに対応する第２領域内に表示し、
   前記保存手段は、前記第１の位置に基づいて前記第２レイヤ情報を更新し、前記第２レイヤに対応する第２領域が前記第１の位置に移動された後の前記第２ストロークの位置に基づいて前記第２ストロークデータを更新する請求項２記載の電子機器。
5. 前記表示処理手段は、レイヤ変更操作によって前記第２レイヤを削除することが指示された場合、前記第２レイヤ内に手書きされた第２ストロークを前記画面から削除し、
   前記保存手段は、前記記憶媒体から、前記第２レイヤ情報と、前記時系列情報に含まれる前記第２ストロークに対応するストロークデータとを削除する請求項２記載の電子機器。
6. タッチスクリーンディスプレイをさらに具備し、
   前記レイヤ作成操作と、前記第１ストローク及び前記第２ストロークの入力操作とは、前記タッチスクリーンディスプレイを介して行われる請求項２記載の電子機器。
7. 第１レイヤと第２レイヤとを含む手書き文書が画面に表示されるときに、前記第１レイヤに対応する第１領域内に第１ストロークが手書きされる場合、前記第１ストロークを前記第１領域上に表示し、前記第２レイヤに対応する第２領域内に第２ストロークが手書きされる場合、前記第２ストロークを前記第２領域上に表示し、
   入力されるストロークが、前記第２レイヤに対応する第２領域内の座標から前記第１レイヤに対応する第１領域内の座標に至る場合、前記入力されるストロークを包含する領域へ、前記第２領域を変更する、手書き文書処理方法。
8. コンピュータによって実行されるプログラムであって、前記プログラムは、
   第１レイヤと第２レイヤとを含む手書き文書が画面に表示されるときに、前記第１レイヤに対応する第１領域内に第１ストロークが手書きされる場合、前記第１ストロークを前記第１領域上に表示し、前記第２レイヤに対応する第２領域内に第２ストロークが手書きされる場合、前記第２ストロークを前記第２領域上に表示する手順と、
   入力されるストロークが、前記第２レイヤに対応する第２領域内の座標から前記第１レイヤに対応する第１領域内の座標に至る場合、前記入力されるストロークを包含する領域へ、前記第２領域を変更する手順とを前記コンピュータに実行させるプログラム。
9. 前記第１レイヤを含む手書き文書が前記画面に表示されるとき、レイヤ作成操作によって指定された領域に基づいて、前記第２レイヤを作成する手順と、
   前記第１領域を示す第１レイヤ情報と、前記第１ストロークに対応する第１ストロークデータとを関連付けて記憶媒体に保存し、前記第２領域を示す第２レイヤ情報と、前記第２ストロークに対応する第２ストロークデータとを関連付けて前記記憶媒体に保存する手順とを前記コンピュータにさらに実行させる請求項８記載のプログラム。
10. 前記表示する手順は、前記第１ストロークを第１の表示形態で表示し、前記第２ストロークを第２の表示形態で表示することを含む請求項８記載のプログラム。
11. 前記表示する手順は、レイヤ変更操作によって前記第２レイヤに対応する第２領域を第１の位置に移動することが指示される場合、前記第２ストロークを、前記第１の位置に移動された前記第２レイヤに対応する第２領域内に表示することを含み、
    前記保存する手順は、前記第１の位置に基づいて前記第２レイヤ情報を更新し、前記第２レイヤに対応する第２領域が前記第１の位置に移動された後の前記第２ストロークの位置に基づいて前記第２ストロークデータを更新することを含む請求項９記載のプログラム。
12. 前記表示する手順は、レイヤ変更操作によって前記第２レイヤを削除することが指示された場合、前記第２レイヤ内に手書きされた第２ストロークを前記画面から削除することを含み、
    前記保存する手順は、前記記憶媒体から、前記第２レイヤ情報と、前記時系列情報に含まれる前記第２ストロークに対応するストロークデータとを削除することを含む請求項９記載のプログラム。
13. 前記コンピュータは、タッチスクリーンディスプレイに接続され、
    前記レイヤ作成操作と、前記第１ストローク及び前記第２ストロークの入力操作とは、前記タッチスクリーンディスプレイを介して行われる請求項９記載のプログラム。

Images