JPWO2014147716A1 - 電子機器および手書き文書処理方法 - Google Patents

Abstract

実施形態によれば、電子機器は、入力手段と表示処理手段とを具備する。入力手段は、第１形態で描画される１以上の第１ストロークと、前記第１形態とは異なる第２形態で描画される１以上の第２ストロークとが手書きされる場合に、前記第１ストロークに対応する第１ストロークデータと前記第２ストロークに対応する第２ストロークデータとを含む手書き文書データを入力する。表示処理手段は、前記１以上の第１ストロークが描画される領域と、前記１以上の第２ストロークが描画される領域とが少なくとも一部重複する場合に、前記第１ストロークデータのみに対する第１処理の処理結果、前記第２ストロークデータのみに対する前記第１処理の処理結果、あるいは、前記第１ストロークデータと前記第２ストロークデータとに対する前記第１処理の処理結果のいずれかを表示可能である。

Description

本発明の実施形態は、手書きデータを扱う技術に関する。

近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連付けられた機能の実行を電子機器に指示することができる。

このような電子機器では、ユーザが、タッチスクリーンディスプレイ上で文字や図形等を手書きするための機能を有するものもある。このような手書きの文字や図形を含む手書き文書（手書きデータ）は保存され、必要に応じて閲覧される。

特開２００９−２８２７２７号公報

ところで、手帳のような紙のページでは、ユーザが、手書きする内容に応じて、鉛筆、ボールペン、マーカーペン等のペンの種類や、ペンの色等を使い分けることがある。そのため、タッチスクリーンディスプレイ上で手書きされる文字や図形でも、ペンの種類や色等の使い分けが考慮されることが望ましい。

本発明の一形態は、手書き文書データを容易に扱うことができる電子機器および手書き文書処理方法を提供することを目的とする。

実施形態によれば、電子機器は、入力手段と表示処理手段とを具備する。入力手段は、第１形態で描画される１以上の第１ストロークと、前記第１形態とは異なる第２形態で描画される１以上の第２ストロークとが手書きされる場合に、前記第１ストロークに対応する第１ストロークデータと前記第２ストロークに対応する第２ストロークデータとを含む手書き文書データを入力する。表示処理手段は、前記１以上の第１ストロークが描画される領域と、前記１以上の第２ストロークが描画される領域とが少なくとも一部重複する場合に、前記第１ストロークデータのみに対する第１処理の処理結果、前記第２ストロークデータのみに対する前記第１処理の処理結果、あるいは、前記第１ストロークデータと前記第２ストロークデータとに対する前記第１処理の処理結果のいずれかを表示可能である。

図１は、実施形態に係る電子機器の外観を示す斜視図である。 図２は、同実施形態の電子機器のシステム構成を示すブロック図である。 図３は、同実施形態の電子機器によって処理される手書き文書の例を示す図である。 図４は、同実施形態の電子機器によって記憶媒体に保存される、図３の手書き文書に対応する時系列情報を説明するための図である。 図５は、同実施形態の電子機器によって処理される、複数の描画形態で手書きされたストロークを含む手書き文書の例を示す図である。 図６は、図５のストロークに対応する、描画形態の情報を含まない時系列情報（ストロークデータ）を説明するための図である。 図７は、図５のストロークに対応する、描画形態の情報を含む時系列情報（ストロークデータ）を説明するための図である。 図８は、同実施形態の電子機器によって実行されるデジタルノートブックアプリケーションの機能構成を示すブロック図である。 図９は、図５のストロークに対応する手書き文書データの例を示す図である。 図１０は、同実施形態の電子機器によって用いられるペン情報の一構成例を示す図である。 図１１は、同実施形態の電子機器によって用いられるペン先情報の一構成例を示す図である。 図１２は、同実施形態の電子機器によって用いられる色情報の一構成例を示す図である。 図１３は、同実施形態の電子機器によって用いられるペン情報の別の構成例を示す図である。 図１４は、同実施形態の電子機器によって表示される、ペン入力モードのノートビュー画面とメニュー表示モードのノートビュー画面とを示す図である。 図１５は、同実施形態の電子機器によって表示される詳細メニュー表示モードのノートビュー画面を示す図である。 図１６は、同実施形態の電子機器によって処理される、複数の描画形態で手書きされたストロークを含む手書き文書の別の例を示す図である。 図１７は、同実施形態の電子機器によって処理される、複数の描画形態で手書きされたストロークを含む手書き文書のさらに別の例を示す図である。 図１８は、同実施形態の電子機器によって実行される手書き処理の手順の例を示すフローチャートである。 図１９は、同実施形態の電子機器によって実行される検索処理の手順の例を示すフローチャートである。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

デジタイザおよびタッチパネルの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。

ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で、手書きにより複数のストロークを入力する手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡（筆跡）がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡（筆跡）の集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係とを示す時系列情報と、各ストロークの描画形態を示す描画形態情報（ペン情報）を含む手書き文書データとして記憶媒体に保存される。この時系列情報の詳細は図３および図４を参照して後述するが、この時系列情報は、概して、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、手書きにより入力可能なある一つのストロークを表現可能なデータであればどのようなものであってもよく、例えば、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。また、描画形態情報の詳細は、図５から図７を参照して後述するが、この描画形態情報は、例えば、複数のストロークが描画される、ペン先の種類（線種）、線幅、色、透過度等の組み合わせを示す。

タブレットコンピュータ１０は、記憶媒体から既存の任意の手書き文書データを読み出し、この手書き文書データに対応する手書き文書画面上に表示することができる。つまり、時系列情報によって示される複数のストロークそれぞれに対応する軌跡が、描画形態情報によって示される複数のストロークそれぞれに対応する描画形態で描画された手書き文書を、画面上に表示することができる。

図２は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図２に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム２０２が含まれている。このデジタルノートブックアプリケーションプログラム２０２は、上述の手書き文書を作成および表示する機能、手書き文書上に手書きされた文字を文字認識し、手書きされた図形を図形認識する機能、手書き文書を検索する機能、等を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

次いで、図３および図４を参照して、ユーザによって手書きされたストローク（文字、マーク、図形、表など）と時系列情報との関係について説明する。図３は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書の例を示している。

手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図３においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きされた場合が想定されている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの座標データ系列（時系列座標）ＣＤ１１、ＣＤ１２、…ＣＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡もサンプリングされ、これによって「−」形状のストロークの座標データ系列ＣＤ２１、ＣＤ２２、…ＣＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図４は、図３の手書き文書に対応する時系列情報２００を示している。時系列情報は、複数の座標データ系列（時系列座標）ＣＤ１、ＣＤ２、…、ＣＤ７を含む。時系列情報２００内においては、これら座標データ系列ＣＤ１、ＣＤ２、…、ＣＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べられている。

時系列情報２００において、先頭の２つの座標データ系列ＣＤ１、ＣＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目の座標データ系列ＣＤ３、ＣＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目の座標データ系列ＣＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目の座標データ系列ＣＤ６、ＣＤ７は、手書き矢印を構成する２つのストロークをそれぞれ示している。

各座標データ系列は、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各座標データ系列において、複数の座標は、ストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関して、座標データ系列ＣＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＣＤ１１、ＣＤ１２、…ＣＤ１ｎを含む。座標データ系列ＣＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＣＤ２１、ＣＤ２２、…ＣＤ２ｎを含む。なお、座標データの数は座標データ系列毎に異なっていてもよい。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＣＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＣＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各座標データに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、座標データ系列内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。
各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

次いで、図５から図７を参照して、ユーザによって手書きされたストローク（文字、マーク、図形、表など）と描画形態情報との関係について説明する。
図５は、複数の描画形態（すなわち、複数のペン）で描画される複数のストロークを含む手書き文書７１の例を示す。この手書き文書７１には、第１形態で描画される手書き文字のストローク「ＡＢＣ」７２と、第１形態とは異なる第２形態で描画される手書きの線のストローク７３とが含まれている。

ここでは、ストロークを第１形態で描画するための「鉛筆ペン」と、ストロークを第２形態で描画するための「マーカーペン」とが規定されていることを想定している。その場合、ユーザは、例えば、鉛筆ペンを選択して文字「ＡＢＣ」７２を手書きした後、マーカーペンを選択して文字「ＡＢＣ」７２上に線７３を手書きする。

図６に示すように、文字「ＡＢＣ」７２は５つのストロークＳＴ１〜ＳＴ５（第１ストローク）で構成され、線７３は１つのストロークＳＴ６（第２ストローク）で構成されている。これらストロークＳＴ１〜ＳＴ６のそれぞれの形状や筆順は、上述した時系列情報によって表される。

ところで、このようなストロークＳＴ１〜ＳＴ６に対して、ストロークに基づく検索（筆跡検索）や文字認識が行われる場合、重なっている文字７２のストロークＳＴ１〜ＳＴ５と線７３のストロークＳＴ６とに対して検索や文字認識が行われるので、文字や線（図形）を正しく検索または認識できない可能性がある。例えば、ユーザが検索キーとして手書きした文字「ＡＢＣ」のストロークに基づいて手書き文書７１が検索される場合、手書き文書７１では文字「ＡＢＣ」７２と線７３とが重なっているので、「ＡＢＣ」に対応するストロークＳＴ１〜ＳＴ５だけを正しく検出することができない可能性がある。また、例えば、手書き文書７１を文字認識する場合、手書き文書７１では文字「ＡＢＣ」７２と線７３とが重なっているので、「ＡＢＣ」という文字列を正しく認識することができない可能性がある。

そのため、本実施形態では、上述したように、手書きされたストロークに対して、そのストロークに対応する座標データ系列だけでなく、そのストロークの描画形態を示す描画形態情報（例えば、ストロークを手書きする際に用いた「ペン」を示す情報）も含むストロークデータが生成される。

図７は、手書き文書７１において第１形態で描画される手書き文字「ＡＢＣ」７２に対応するストロークＳＴ１〜ＳＴ５と、第１形態とは異なる第２形態で描画される手書きの線７３に対応するストロークＳＴ６とに、それぞれの描画形態情報が付加されていることを示す。すなわち、文字「ＡＢＣ」７２に対応するストロークＳＴ１〜ＳＴ５に第１形態を示す描画形態情報、例えば、「鉛筆ペン」を示すペンＩＤ“１”が付加され、線７３に対応するストロークＳＴ６に第２形態を示す描画形態情報、例えば、「マーカーペン」を示すペンＩＤ“２”が付加されている。

これにより本実施形態では、描画形態情報（ペンＩＤ）に基づいて、手書きされた複数のストロークを描画形態毎に（すなわち、ペン毎に）扱うことができるので、ストロークに基づく検索や、文字認識、図形認識等の各種の認識を精度よく行うことができる。

さらに、本実施形態では、上述したように、手書き文書は、イメージまたは文字認識結果ではなく、時系列の座標データの集合から構成される時系列情報２００として記憶されるので、言語に依存せずに手書きの文字や図形を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

次いで、図８を参照して、デジタルノートブックアプリケーションプログラム２０２の機能構成について説明する。デジタルノートブックアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いた手書き入力操作によって入力される座標データ系列（時系列座標）を使用することによって、手書き文書の作成、表示、編集等を行う。また、デジタルノートブックアプリケーション２０２は、検索キーとして手書きされたストローク（例えば、手書きの文字や図形）を用いて、手書き文書を検索することもできる。さらに、デジタルノートブックアプリケーションプログラム２０２は、手書き文書上に手書きされた文字を文字コードに変換し（文字認識）、手書きされた図形を図形オブジェクトに変換する（図形認識）こともできる。

デジタルノートブックアプリケーション２０２は、例えば、ペン設定部３００、軌跡表示処理部３０１、時系列情報生成部３０２、検索／認識部３０３、ページ保存処理部３０６、ページ取得処理部３０７、および文書表示処理部３０８を備える。

上述したタッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

タッチスクリーンディスプレイ１７の画面上には、例えば、手書きされるストロークの描画形態を選択するための複数のアイコンと、ストロークを手書きする領域とが表示されている。描画形態を選択するためのアイコンは、ユーザが直感的に理解しやすいように、例えば、描画形態に対応する、ペンの種類や色、太さ等を表現する画像を含む。そのためユーザは、描画形態の選択を、現実空間でペンを選ぶように行うことができる。

ペン設定部３００は、タッチスクリーンディスプレイ１７によって発生される「タッチ（タップ）」のイベントを受信し、これによってペン変更操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。ペン設定部３００は、描画形態を選択するための複数のアイコンの内のいずれかのアイコン上での「タッチ」イベントが受信されたことに応じて、タッチされたアイコンに関連付けられた描画形態を、現在の描画形態として設定する。描画形態を選択するための複数のアイコンの各々には、例えば、ペン先の種類、線幅、色、透過度等の任意の組み合わせを規定する描画形態（ペン）が関連付けられている。

なお、描画形態を選択するための複数のアイコンの各々には、各描画形態に付与された識別情報（ペンＩＤ）が関連付けられてもよい。ペンＩＤは、例えば、ペン先の種類、線幅（太さ）、色、透過度（濃さ）、等のパラメータが規定されたペンを識別するための識別情報を示す。ペン設定部３００は、アイコン上での「タッチ」イベントが受信されたことに応じて、そのアイコンに関連付けられたペンＩＤに対応する描画形態（ペン）を、現在の描画形態として設定する。描画形態を選択するためのアイコンが表示される画面の例については、図１４および図１５を参照して後述する。

軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」、「移動（スライド）」または「リリース」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントには、移動先の接触位置の座標が含まれている。「リリース」イベントには、接触位置が画面から離された位置（リリース位置）の座標が含まれている。したがって、軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。

軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信する。そして、軌跡表示処理部３０１は、この座標列に基づいて、手書き入力操作によって手書きされる各ストロークの軌跡を、ペン設定部３００によって設定された描画形態（ペン）で、タッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。この軌跡表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がＬＣＤ１７Ａの画面上に描かれる。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、図４で詳述したような構造を有する時系列情報（座標データ系列）と、ペン設定部３００によって設定されている現在の描画形態を示す描画形態情報とを含むストロークデータを生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報と、描画形態情報とは作業メモリ４０１に一時保存されてもよい。

また、ペン設定部３００は、描画形態を選択するための複数のアイコンの内のいずれかのアイコン上での「タッチ」イベントが受信されたことに応じて、描画形態を随時変更できる。ユーザは、例えば、「ボールペン」の描画形態を設定するためのアイコンをタッチして文字を手書きし、「マーカーペン」の描画形態を設定するためのアイコンをタッチして、その文字を強調するための線を手書きすると云うように、描画形態を適宜変更しながら、文字や図形を手書きすることができる。

したがって、時系列情報生成部３０２は、手書きされたストロークに対して、そのストロークに対応する時系列情報と、そのストロークの描画形態情報とを含むストロークデータを生成する。そして、時系列情報生成部３０２は、生成されたストロークデータを作業メモリ４０１に一時保存する。

ページ保存処理部３０６は、生成されたストロークデータ（作業メモリ４０１に一時保存されたストロークデータ）を含む、手書き文書単位（または手書きページ単位）の手書き文書データを生成し、記憶媒体４０２に保存する。記憶媒体４０２は、例えば、タブレットコンピュータ１０内のストレージデバイスである。

例えば、時系列情報生成部３０２およびページ保存処理部３０６は、第１形態で描画される１以上の第１ストロークと、第１形態とは異なる第２形態で描画される１以上の第２ストロークとが画面上に手書きされる場合に、第１ストロークに対応する第１ストロークデータと第２ストロークに対応する第２ストロークデータとを含む手書き文書データを生成し、記憶媒体４０２に保存する。なお、生成された手書き文書データは、後述する検索／認識部３０３の入力として用いられ得る。

ページ取得処理部３０７は、記憶媒体４０２や、ネットワークを介して接続されたサーバ等から、既に格納されている任意の手書き文書データを読み出す。読み出された手書き文書データは文書表示処理部３０８に送られる。また、読み出された手書き文書データは、後述する検索／認識部３０３の入力として用いられ得る。

文書表示処理部３０８は、手書き文書データを解析し、この解析結果に基づいて、時系列情報によって示される各ストロークの軌跡を、各ストロークに対応する描画形態情報によって示される描画形態で、画面上に手書き文書（手書きページ）として表示する。なお、文書表示処理部３０８は、手書き文書の作成、編集、削除等を指示するためのメニューや、手書きされるストロークの描画形態（ペン）を選択するためのオブジェクト等の各種のＧＵＩも表示することができる。

図９は、手書き文書データの例を示す。
手書き文書データは、手書き文書上に手書きされた複数のストロークに対応する複数のストロークデータを含む。各ストロークデータは、対応する一つのストロークの座標データ系列（時系列情報）と、そのストロークが描画される描画形態を示す描画形態情報とを含む。以下では、描画形態情報としてペンＩＤが用いられることを想定する。

座標データ系列（時系列情報）は、図４を参照して上述したように、一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標（例えば、Ｘ座標およびＹ座標）を含む。ペンＩＤは、その一つのストロークが手書きされる際に使用されたペン（すなわち、描画形態）に付与された識別情報を示す。

図１０を参照して、ペンＩＤを規定するペン情報の一構成例を説明する。ペン情報は、複数のペンに対応する複数のエントリを含む。これら複数のペンは、例えば、デジタルノートブックアプリケーション２０２によって予め規定された描画形態が関連付けられている。つまり、各ペンには、ペン先の形状、色、太さ、濃さ（透過度）、線種、等を示す各種のパラメータが予め設定されている。

ペン情報の各エントリは、例えば、「ペンＩＤ」と「ペン」とを含む。あるペンに対応するエントリにおいて、「ペンＩＤ」は、そのペンに付与された識別情報を示す。「ペン」は、そのペンの種類を示す。したがって、各エントリでは、デジタルノートブックアプリケーション２０２によって規定されたペンとペンＩＤとの対応が示される。図１０に示す例では、ペン情報は、デジタルノートブックアプリケーション２０２によって規定されている「鉛筆ペン」、「マーカーペン」、「赤ペン」等の複数のペンと、それら複数のペンの各々の識別情報（ペンＩＤ）とを示している。
図９に示したストロークデータには、例えば、図１０のペン情報によって示される複数のペンの内の、いずれかのペンを示すペンＩＤが含まれている。したがって、図９および図１０に示す例では、「ストロークデータ１」と「ストロークデータ２」とが、ペンＩＤ＝１である「鉛筆ペン」で描画されたストロークに対応し、「ストロークデータ６」が、ペンＩＤ＝２である「マーカーペン」で描画されたストロークに対応している。

なお、使用されるペン（描画形態）は、ペン先の形状、色、太さ、濃さ（透過度）、線種、等を示す各種のパラメータによって識別されてもよい。

図１１から図１３を参照して、ペンＩＤを規定するペン情報を別の構成例について説明する。図１１は、ペン先情報の一構成例を示す。ペン先情報は、複数種のペン先に対応する複数のエントリを含む。各エントリは、例えば、「ペン先ＩＤ」と「ペン先」とを含む。あるペン先に対応するエントリにおいて、「ペン先ＩＤ」は、そのペン先に付与された識別情報を示す。「ペン先」は、そのペン先の形状を示す。「ペン先」には、例えば、予め規定された形状を表す「鉛筆」、「マーカー」、「ボールペン」等が設定される。

図１２は、色情報の一構成例を示す。色情報は、複数種の色に対応する複数のエントリを含む。各エントリは、例えば、「色ＩＤ」と「色」とを含む。ある色に対応するエントリにおいて、「色ＩＤ」は、その色に付与された識別情報を示す。「色」は、その色を示す。「色」には、例えば、予め規定された色を表す「黒」、「赤」、「黄」等が設定される。なお、「色」には、ＲＧＢの値のような、色を表す値が設定されてもよい。

そして、図１３は、上述したペン先情報、色情報等を用いて規定されるペン情報の一構成例を示す。ペン情報は、複数のペンに対応する複数のエントリを含む。このペン情報の各エントリは、例えば、「ペン先」、「色」、「太さ」、「濃さ」、「ペンＩＤ」を含む。

あるペンに対応するエントリにおいて、「ペン先」は、そのペンのペン先、すなわち、ペンを使用して描画されるストロークの形状を示す。「ペン先」には、例えば、図１１のペン先情報によって規定される「ペン先ＩＤ」の値の一つが設定される。「色」は、そのペンの色、すなわち、ペンを使用して描画されるストロークの色を示す。「色」には、例えば、図１２の色情報によって規定される「色ＩＤ」の値の一つが設定される。

「太さ」は、そのペンの太さ、すなわち、ペンを使用して描画されるストロークの太さを示す。「太さ」には、例えば、予め規定された範囲内の値や、ポイント単位の値等が設定される。「濃さ」は、そのペンの濃さ、すなわち、ペンを使用して描画されるストロークの濃さ（透過度）を示す。「濃さ」には、例えば、予め規定された範囲内の値や、パーセント単位の値が設定される。「ペンＩＤ」は、そのペンに付与された識別情報を示す。「ペンＩＤ」には、例えば、「ペン先」、「色」、「太さ」、「濃さ」の各々に示される値を組み合わせた値が設定される。例えば、図１３に示す「ペン先」＝１，「色」＝１，「太さ」＝１，「濃さ」＝６であるエントリにおいては、「ペンＩＤ」に、これらの値が組み合わせられた（１，１，１，６）が設定されている。このように各種のペン属性を示すパラメータが組み合わせられたペンＩＤを、図９に示したような手書き文書データ内のストロークデータのペンＩＤとして用いることができる。

検索／認識部３０３は、上述のように構成される手書き文書データに対して、検索処理や認識処理のような各種の処理を施すことができる。ここでは、第１形態で描画される１以上の第１ストロークと、第１形態とは異なる第２形態で描画される１以上の第２ストロークとが手書きされる場合に、第１ストロークに対応する第１ストロークデータと第２ストロークに対応する第２ストロークデータとを含む手書き文書データが、検索／認識部３０３に入力されることを想定する。図５に示した例のように、１以上の第１ストロークと１以上の第２ストロークとは、少なくとも一部が重複していてもよい。

検索／認識部３０３は、１以上の第１ストロークが描画される領域と、１以上の第２ストロークが描画される領域とが少なくとも一部重複する場合に、第１ストロークデータのみに対する第１処理（例えば、検索処理、認識処理、等）の処理結果、第２ストロークデータのみに対する第１処理の処理結果、あるいは、第１ストロークデータと第２ストロークデータとに対する第１処理の処理結果のいずれかを表示可能である。

例えば、上記の第１処理が、検索キーであるストローク（以下、第３ストロークとも称する）に対応する第３ストロークデータに基づく手書き文書データへの検索処理である場合、検索／認識部３０３は、第１ストロークデータのみに対する第３ストロークデータに基づく検索処理結果、第２ストロークデータのみに対する第３ストロークデータに基づく検索処理結果、あるいは、第１ストロークデータと第２ストロークデータに対する第３ストロークデータに基づく検索処理結果のいずれかを表示可能である。

より具体的には、検索／認識部３０３は、検索を指示する操作に応じて、記憶媒体４０２に保存された複数の手書き文書や画面に表示中の手書き文書等（以下、対象手書き文書とも称する）に対して、検索キーである第３ストロークに基づく検索を行う。第３ストロークは、例えば、手書きの文字や図形を構成する１以上のストロークであり、ユーザによって手書き入力される。

検索／認識部３０３は、対象手書き文書に対応する手書き文書データから、描画形態（ペンＩＤ）毎に、１以上のストロークデータを取り出す。そして、検索／認識部３０３は、描画形態毎のストロークデータに対して、検索キーである第３ストロークに対応する第３ストロークデータに基づいて検索を行う。例えば、検索／認識部３０３は、１以上の第１ストロークが描画される領域と、１以上の第２ストロークが描画される領域との少なくとも一部が重複する場合に、第３ストロークデータに基づいて第１ストロークデータを検索し、第３ストロークデータに基づいて第２ストロークデータを検索する。

検索／認識部３０３は、第１ストロークデータを用いて、１以上の第１ストロークに対応する１以上の第１特徴量を算出し、第２ストロークデータを用いて、１以上の第２ストロークに対応する１以上の第２特徴量を算出し、第３ストロークデータを用いて、第３ストロークに対応する第３特徴量を算出する。そして、検索／認識部３０３は、１以上の第１特徴量と第３特徴量とに基づいて、１以上の第１ストロークから、第３ストロークに対応するストロークを検出し、１以上の第２特徴量と第３特徴量とに基づいて、１以上の第２ストロークから、第３ストロークに対応するストロークを検出する。

例えば、検索／認識部３０３は、検索キーに対応する第３ストロークデータを解析することによって、検索キーとして手書きされた第３ストロークに対応する特徴量を算出する。検索／認識部３０３は、第３ストロークに対応する座標データ系列を用いて、例えば、ストロークの傾きのような形状を表す特徴量であって、ストロークのサイズ（長さ）や、ストローク上でサンプリングされた座標点数（座標データ数）のような形状以外の特徴が正規化された特徴量を算出する。

同様にして、検索／認識部３０３は、手書き文書データ内の、第１形態の１以上の第１ストロークに対応する第１ストロークデータを解析することによって、１以上の第１ストロークそれぞれに対応する１以上の特徴量を算出する。そして、検索／認識部３０３は、対象手書き文書内の１以上の第１ストロークに対応する１以上の特徴量と、検索キーに対応する特徴量とを用いて筆跡検索を実行することによって、第１ストロークに対応する特徴量の中に、検索キーの特徴量に相当する特徴量があるか否かを判定する。つまり、検索／認識部３０３は、１以上の第１ストロークに対応する１以上の特徴量と検索キーの特徴量とを用いて、１以上の第１ストロークの中に検索キーに類似するストローク（すなわち、検索キーに近いストローク）が含まれているか否かを判定する。検索／認識部３０３は、例えば、１以上の第１ストロークに対応する１以上の特徴量に、検索キーに対応する特徴量との類似度がしきい値以上である特徴量が含まれる場合、その特徴量を有する１以上の第１ストロークの内のストローク、すなわち、検索キーに類似するストロークを検出する。

また、検索／認識部３０３は、同様にして、手書き文書データ内の、第２形態の１以上の第２ストロークから、検索キーに類似するストロークを検出する。このようにして、検索／認識部３０３は、手書き文書に含まれる描画形態毎のストロークから、検索キーのストロークに類似するストロークを検索する。

検索／認識部３０３は、１以上の第１ストロークが描画される領域と、１以上の第２ストロークが描画される領域との少なくとも一部が重複する場合に、第１ストロークデータのみに対する検索処理（第１処理）の処理結果と、第２ストロークデータのみに対する検索処理の処理結果と、第１ストロークデータと第２ストロークデータとに対する検索処理の処理結果のいずれかを、タッチスクリーンディスプレイ１７の画面に表示する。

この処理結果として、検索／認識部３０３は、例えば、対象手書き文書が既に表示されている場合、検出されたストローク（検索キーに類似するストローク）を強調して表示してもよい。また、検索／認識部３０３は、記憶媒体４０２やサーバ等に格納された複数の手書き文書（手書き文書データ）から、検索キーに類似するストロークを含む手書き文書を検出し、検出された手書き文書のサムネイルのリストを表示してもよい。

以上のように、検索／認識部３０３は、手書き文書内の複数のストロークを描画形態毎に（すなわち、ペン毎に）扱うので、描画形態が異なるストローク同士が重なっていたり、近接したりしている場合にも、ストロークに基づく検索を精度よく行うことができる。

また、上記の第１処理が手書き文書データへの認識処理である場合、検索／認識部３０３は、第１ストロークデータのみに対する認識処理結果、第２ストロークデータのみに対する認識処理結果、あるいは、第１ストロークデータと第２ストロークデータに対する認識処理結果のいずれかを表示可能である。さらに、上記の第１処理が手書き文書データへの文字認識処理である場合、検索／認識部３０３は、第１ストロークデータのみに対する文字認識処理結果、第２ストロークデータのみに対する文字認識処理結果、あるいは、第１ストロークデータと第２ストロークデータに対する文字認識処理結果のいずれかを表示可能である。

より具体的には、検索／認識部３０３は、認識を指示する操作に応じて、記憶媒体４０２に保存された手書き文書や画面に表示中の手書き文書等（対象手書き文書）に対して、文字認識や図形認識を行う。

検索／認識部３０３は、対象手書き文書に対応する手書き文書データから、描画形態（ペンＩＤ）毎に、１以上のストロークデータを取り出す。そして、検索／認識部３０３は、描画形態毎のストロークデータに対して、文字認識や図形認識を行う。例えば、検索／認識部３０３は、１以上の第１ストロークが描画される領域と、１以上の第２ストロークが描画される領域との少なくとも一部が重複する場合に、第１ストロークデータに文字認識処理（または図形認識処理）を施し、第２ストロークデータに文字認識処理（または図形認識処理）を施す。

検索／認識部３０３は、第１形態の１以上の第１ストロークに対応する第１ストロークデータを用いて、１以上の第１ストロークに対応する文字コードや図形オブジェクトを認識する。検索／認識部３０３は、１以上の第１ストロークデータと文字辞書データとを用いて、手書き文書上の手書き文字を認識する。つまり、手書き文書上の１以上の第１ストロークから手書き文字を認識する。文字辞書データは、例えば、記憶媒体４０２に予め格納され、複数の文字（文字コード）の特徴を示す複数のエントリを含む。

検索／認識部３０３は、例えば、認識処理対象の１以上の第１ストロークデータをグループ化処理することによって、複数のブロック（手書きブロック）を検出する。グループ化処理では、互いに近傍に位置するストロークにそれぞれ対応するストロークデータ同士が同一ブロックに分類されるように、認識処理対象の１以上の第１ストロークデータがグループ化される。

検索／認識部３０３は、検出された複数のブロックの内の処理対象ブロックを、文字コードに変換する。検索／認識部３０３は、文字辞書データを用いて、手書き文字（処理対象ブロックに含まれる１以上のストローク）と複数の文字コードそれぞれとの間の類似度を算出する。検索／認識部３０３は、例えば、手書き文字と文字コードとの類似度を、文字の形状や書き順に基づいて算出する。そして、検索／認識部３０３は、手書き文字を、その手書き文字に関する類似度が最も高い文字コードに変換する。

検索／認識部３０３は、文字認識結果に基づいて、手書き文書上の手書き文字に対応する文字コードを表示（プレビュー表示）してもよい。つまり、検索／認識部３０３は、手書き文書上に表示されている手書き文字を、対応する文字コードに置き換える。

また、検索／認識部３０３は、文字認識結果に基づいて、手書き文書上の手書き文字に対応する文字コードを示す文字コードデータを生成してもよい。検索／認識部３０３は、生成された文字コードデータを作業メモリ４０１等に一時保存してもよい。

さらに、検索／認識部３０３は、１以上の第１ストロークデータを用いて、手書き文書上の手書き図形を認識する。検索／認識部３０３は、認識処理対象の１以上の第１ストロークデータを上述のようにグループ化処理することによって得られる複数のブロック内の処理対象ブロックを、複数の図形オブジェクトの内の一つに変換する。手書き文書内に含まれる手書き図形は、例えば、PowerPoint（登録商標）などのドロー系アプリケーションプログラムが扱うことが可能な図形オブジェクトに変換される。

検索／認識部３０３は、１以上の第１ストロークから図形オブジェクトを認識する。検索／認識部３０３は、例えば、複数の図形オブジェクトそれぞれの特徴を示す図形辞書データを予め保持しており、手書き図形（処理対象ブロックに含まれる１以上のストローク）と複数の図形オブジェクトそれぞれとの間の類似度を算出する。そして、検索／認識部３０３は、手書き図形を、この手書き図形に関する類似度が最も高い図形オブジェクトに変換する。

この類似度は、例えば、手書き図形（ストローク）の時系列情報に基づく特徴量と図形オブジェクトの輪郭線（形状）に基づく特徴量との類似度である。また、類似度の算出においては、手書き図形を必要に応じて回転、拡大、または縮小してもよく、回転、拡大、または縮小された後の手書き図形と複数の図形オブジェクトそれぞれとの間の類似度が求められる。そして、手書き図形に関する類似度が最も高い図形オブジェクトが選択され、この選択された図形オブジェクトは、手書き図形に対して施された回転、拡大、または縮小の処理内容に基づいて変形される。この変形された図形オブジェクトが、手書き図形の代わりに表示される。

上述の類似度の計算においては、手書き図形のストロークの軌跡情報および各図形オブジェクトの軌跡情報の各々をベクトルの集合として扱い、ベクトルの集合同士の比較を行うことによって類似度を算出することができる。これにより、手書きで描いた図形を容易にPowerPointなどのドロー系の文書（アプリケーションデータ）に変換することができる。

検索／認識部３０３は、図形認識結果に基づいて、手書き文書上の手書き図形に対応する図形オブジェクトを画面に表示（プレビュー表示）してもよい。つまり、検索／認識部３０３は、手書き文書上に表示されている手書き図形を、対応する図形オブジェクトに置き換える。

また、検索／認識部３０３は、図形認識結果に基づいて、手書き文書上の手書き図形に対応する図形オブジェクトを示す図形オブジェクトデータを生成してもよい。検索／認識部３０３は、生成された図形オブジェクトデータを作業メモリ４０１等に一時保存してもよい。

同様にして、検索／認識部３０３は、第２形態の１以上の第２ストロークに対応する第２ストロークデータを用いて、１以上の第２ストロークに対応する文字コードや図形オブジェクトを認識する。

検索／認識部３０３は、１以上の第１ストロークが描画される領域と、１以上の第２ストロークが描画される領域との少なくとも一部が重複する場合に、第１ストロークデータのみに対する認識処理（第１処理）の処理結果と、第２ストロークデータのみに対する認識処理の処理結果と、第１ストロークデータと第２ストロークデータとに対する認識処理の処理結果のいずれかを、タッチスクリーンディスプレイ１７の画面に表示する。

この処理結果として、検索／認識部３０３は、例えば、手書き文書上の手書き文字に対応する文字コードを表示し、手書き図形に対応する図形オブジェクトを表示する。

以上のように、検索／認識部３０３は、手書き文書内の複数のストロークを描画形態毎に（すなわち、ペン毎に）扱うので、描画形態（ペンＩＤ）が異なるストローク同士が重なっていたり、近接したりしている場合にも、描画形態が異なるストローク同士を１つの文字や図形を構成するストロークとして認識しない。したがって、文字認識や図形認識を精度よく行うことができる。

次いで、図１４および図１５を参照して、描画形態を規定するペンを設定するための画面の例について説明する。

図１４は、ペン入力モード時に表示されるノートビュー画面とメニュー表示モード時に表示されるノートビュー画面との関係を示す。
文書表示処理部３０８は、ページ（手書きページ）の新規作成、および既存のページの閲覧および編集が可能なノートビュー画面を表示する。ノートビュー画面は２つの表示モードに対応する２種類の表示形態を有している。デジタルノートブックアプリケーション２０２内の各部は、２つのモード、つまり、ペン入力モードとメニュー表示モードとに応じて動作することができる。

ペン入力モードは手書き入力可能なモードである。このペン入力モードにおいては、文書表示処理部３０８は、図１４の左部に示されるノートビュー画面を表示する。このノートビュー画面は手書き入力可能な画面である。このノートビュー画面において、破線で囲まれた矩形の領域は手書き可能な領域である。手書き可能な領域においては、デジタイザ１７Ｃからの入力は描画のために使用され、タップ、スワイプ等のジェスチャを示すイベントとしては使用されない。一方、手書き可能な領域以外の領域においては、デジタイザ１７Ｃからの入力はタップ、スワイプ等のジェスチャを示すイベントとしても使用され得る。タッチパネル１７Ｂからの入力は、描画には使用されず、タップ、スワイプ等のジェスチャを示すイベントとして使用される。

ペン入力モードに対応するこのノートビュー画面には、ユーザによって選択された任意の手書き文書データ内の任意のページを表示することができる。ペン入力モードにおいては、できるだけ大きなサイズの手書き可能領域をノートビュー画面内に確保できるようにするために、必要最小限のユーザインタフェースが表示される。本実施形態では、ノートビュー画面の端部、例えば、上端部に、ペン１００を使用したユーザの手書き入力操作を支援するためのユーザインタフェースが表示される。

このユーザインタフェースは、デジタイザ１７Ｃからの入力に基づいて行われる描画の形態（描画の種類）をユーザが容易に切り替えることを可能にするためのグラフィカルユーザインタフェースである。例えば、描画の形態には、デジタイザ１７Ｃからの入力に基づいて描画されるストロークの属性（色、太さ、形状、濃さ、透過度、その他）、デジタイザ１７Ｃからの入力に基づいて描画される消しゴムの軌跡（消去ストローク）の属性（太さ、形状、その他）、およびデジタイザ１７Ｃからの入力に基づいて描画される範囲選択のための枠の属性（形状、その他）、等が含まれ得る。

このユーザインタフェースは、描画の形態（描画の種類）をユーザが容易に切り替えることを可能にするために、描画の複数の形態（すなわち、複数のペン）に対応する複数のアイコン（ボタン）５０１〜５０５を含む。これらアイコン５０１〜５０５は、手書き可能領域を狭めないようにするために、画面の上端部において横に一列に並べられている。

アイコン（ボタン）５０１〜５０５の各々は、手書き可能領域を狭めないようにするために、小さな丸のような形状を有している。これらアイコン（ボタン）５０１〜５０５の内のアイコン５０１、５０２、５０３は、手書きストロークを描画するための異なる３つの形態にそれぞれ対応している。つまり、アイコン５０１、５０２、５０３には、手書きストロークを描画するための異なる３つの形態がそれぞれ割り当てられている。

ここでは、アイコン５０１には、手書きストロークを描画するための形態として、例えば、色＝黒、太さ（線幅）＝ｎポイント、ペン先＝鉛筆のようなペン種属性が割り当てられている。この場合、アイコン５０１は黒色で塗り潰された小さな丸を表す画像であってもよい。

アイコン５０２には、手書きストロークを描画するための別の形態として、例えば、色＝赤、太さ（線幅）＝ｍポイント、ペン先＝ポールペンのようなペン種属性が割り当てられている。この場合、アイコン５０２は赤色で塗り潰された小さな丸を表す画像であってもよい。

アイコン５０３には、手書きストロークを描画するためのさらに別の形態として、例えば、色＝黄、太さ（線幅）＝２ｍポイント、ペン先＝マーカーのようなペン種属性が割り当てられている。この場合、アイコン５０３は黄色で塗り潰された小さな丸を表す画像であってもよい。

ユーザは、アイコン５０１、５０２、５０３のいずれかをペン１００または指でタップするというシングルアクションを行うだけで、容易に使用すべき手書きストロークの描画の形態、つまり使用すべきペン種を切り替えることができる。ペン設定部３００は、ユーザがアイコン５０１、５０２、５０３のいずれかをタップしたこと（ペン変更操作）が検出されたことに応じて、タップされたアイコンに関連付けられた描画形態（ペン）を、現在の描画形態として設定する。

アイコン５０４は、ノートビュー画面上の範囲を選択するための描画の形態に対応している。つまり、アイコン５０４には、ノートビュー画面上の範囲を選択するための描画の形態、例えば、範囲選択のための矩形または自由枠を描画するための形態が割り当てられる。アイコン５０５は、ノートビュー画面上の手書きストロークを消去（透明にする）ことが可能な描画の形態に対応している。つまり、このアイコン５０５には、ノートビュー画面上の手書きストロークを消去（透明にする）ことが可能な描画の形態が割り当てられている。例えば、ページの背景色と同じ色でペン１００の動きの軌跡（消去ストローク）を描画することにより、あるいは消去ストロークと他の手書きストロークとが交差する交差部分を透明にするための透明の属性を有する消去ストロークを描画することにより、ノートビュー画面上の任意の手書きストロークを消去することができる。

したがって、本実施形形態では、ユーザは、アイコン５０１、５０２、５０３、５０４、５０５のいずれかをペン１００または指でタップするというシングルアクションを行うだけで、ペン種（赤ペン、黒ペン、マーカ）の切り替えだけでなく、ペンと範囲選択ツールと消しゴムツールとの間の切り替えをすることができる。アイコン５０１、５０２、５０３、５０４、５０５の内から選択されたアイコンは、強調表示される。この場合、選択されたアイコンのサイズを大きくしてもよいし、選択されたアイコンの回りに飾り枠を表示してもよい。

例えば、黒ペンのアイコン５０１が選択（タップ）された場合、ペン設定部３００は、このアイコン５０１に関連付けられた、色＝黒、太さ（線幅）＝ｎポイント、ペン先＝鉛筆のペン種属性を、現在の描画形態（ペン）として設定する。そして、ペン１００を用いて手書き入力されると、軌跡表示処理部３０１は、ペン１００の動きに合わせて黒色のストローク（軌跡）をノートビュー画面上に表示する。また、時系列情報生成部３０２は、ノートビュー画面を通じて入力されるストロークに対応するストロークデータを生成する。上述したように、生成されるストロークデータには、ストロークに対応する座標データ系列と、当該ストロークの描画形態（ペン）を示す描画形態情報とが含まれている。

また、選択ボタン５０４が選択された場合、軌跡表示処理部３０１は、ペン１００または指を用いたドラッグ操作に応じてノートビュー画面中で範囲を選択する。

従来のインタフェースでは、ユーザは、例えば階層構造のメニューをたどりながら、色を選択する操作、太さを選択する操作などを含む複数の操作を行うことが必要とされる。またもし階層構造のメニューの代わりに、色を選択するためのメニューと、太さを選択するためのメニュー等とを含む複数のメニューを同時に画面上に表示すると、手書き可能領域が狭くなる。

本実施形態では、上述したように、異なる描画の形態がそれぞれ割り当てられる複数の小さなアイコン５０１〜５０５（ミニマムなペン）をノートビュー画面上に表示しているので、手書き可能領域を大きく取ることができ、かつシングルアクションでペン種（赤ペン、黒ペン、マーカー）、範囲選択、および消しゴムを素早く切り替えることができる。

ノートビュー画面上が指でスワイプされると、文書表示処理部３０８は、ノートビュー画面上に表示されるページを別のページに変更することができる。例えば、ノートビュー画面上が指で右方向に向けてスワイプされると、文書表示処理部３０８は、現在表示されているページの次のページをノートビュー画面上に表示する。現在表示されているページがあるノートファイルの第１頁である場合には、右方向へのスワイプに応じて、このノートファイルの第２頁がノートビュー画面上に表示される。

さらに、もしノートビュー画面上のアイコン以外の領域が指でタップされたならば、文書表示処理部３０８は、メニュー表示モードに遷移する。メニュー表示モードは上述の描画の複数の形態を設定するためのメニューを少なくとも表示可能なモードである。

このメニュー表示モードにおいては、文書表示処理部３０８は、図１４の右部に示されるように、複数の小さなアイコン５０１〜５０５を含むユーザインタフェースの代わりに、このユーザインタフェースよりも大きなサイズを有する別のユーザインタフェース（ペンメニュー）をノートビュー画面上に表示する（円で囲まれているアイコン群）。つまり、円で囲まれているアイコン群を含むユーザインタフェースの面積は、複数の小さなアイコン５０１〜５０５を含むユーザインタフェースの面積よりも大きい。さらに、文書表示処理部３０８は、メニュー５２０ａもノートビュー画面上に表示する。

メニュー表示モードにおいては、ノートビュー画面への手書き入力は行われない。このメニュー表示モードのノートビュー画面においては、デジタイザ１７Ｃからの入力およびタッチパネル１７Ｂからの入力の各々は、タップ操作、スワイプ操作、ピンチ操作等のジェスチャを示すイベントとして使用される。

メニュー表示モードのノートビュー画面上のペンメニューは、ペン入力モードで表示される複数の小さなアイコン５０１〜５０５がどのような機能に対応しているかをユーザが確認することを可能にする。さらに、ノートビュー画面上のペンメニューは、ユーザがアイコン５０１〜５０５に対応する描画の形態を設定（または変更）することを可能にし、またユーザが作成／編集しているページに適用可能な各種機能を呼び出すことを可能にする。

上述したように、ペン入力モードのノートビュー画面にはペン種切り替えのような最小限の機能が割り当てられた小さいサイズのユーザインタフェースが表示されるので、ユーザは、手書き入力可能領域を有効に活用でき、ページへの手書き入力に専念することができる。また、ユーザは、ノートビュー画面をタップするという簡単な操作を行うだけで、アイコン５０１〜５０５の機能を確認でき且つページに適用すべき機能（描画の形態の設定／変更を含む）の呼び出しが可能なメニュー表示モードに容易に切り替えることができる。

メニュー表示モードのノートビュー画面においては、複数の小さなアイコン５０１〜５０５を含むユーザインタフェースの代わりに、このユーザインタフェースよりも大きなサイズを有する別のユーザインタフェースであるペンメニュー等が表示される。このペンメニューは、デジタイザ１７Ｃからの入力に基づいて行われる描画の上述の複数の形態に対応し、且つ複数の小さなアイコン５０１〜５０５と異なる複数の大きなアイコン（ボタン）５１１〜５１５を含む。ユーザは、アイコン５１１〜５１５を見ることにより、ペン入力モードで表示される複数の小さなアイコン５０１〜５０５にどのような機能が割り当てられているのかを容易に確認することができる。

アイコン５１１〜５１５の各々はこれらアイコンに対応する機能（描画の形態）をリアルに表現するための画像であってもよい。アイコン５１１〜５１５は上述の小さなアイコン５０１〜５０５にそれぞれ対応している。ペン入力モードにおいては、黒ペン、赤ペン、マーカー、選択（範囲選択）、消しゴムに対応する小さなアイコン５０１〜５０５がこの順に横一列に並べられているが、黒ペン、赤ペン、マーカー、選択、消しゴムに対応するアイコン５１１〜５１５はこの順に縦一列に並べられている。このようにペン入力モードとメニュー表示モードとで、アイコンの配置の縦横は変わるものの、黒ペン、赤ペン、マーカー、選択、消しゴムという順番は変わらない。したがって、ユーザはアイコン５１１〜５１５が上述の小さなアイコン５０１〜５０５にそれぞれ対応していることを理解しやすくなる。

アイコン５１１は上述の小さなアイコン５０１よりも大きく且つリアルなペンの画像（ここでは、ペンの側面図の画像）であってもよい。小さなアイコン５０１の上述の丸形状は、ペン先の正面図を模式的に表していたが、アイコン５１１はペンの側面図を表す立体感のある画像から構成され得る。アイコン５１１においては、ペンの先端は黒色で表示され、このペン先は現在設定されている黒ペンの太さに対応する太さで表示される。あるいは、図１４に示されているように、ペン先の近くに、現在設定されている黒ペンの太さに対応する太さで黒色の線を表示してもよい。

アイコン５１２は上述の小さなアイコン５０２よりも大きく且つリアルなペンの画像（ここでは、ペンの側面図の画像）であってもよい。小さなアイコン５０２の上述の丸形状は、ペン先の正面図を模式的に表していたが、アイコン５１２はペンの側面図を表す立体感のある画像から構成される。アイコン５１２においては、ペンの先端は赤色で表示され、このペン先は現在設定されている赤ペンの太さに対応する太さで表示される。あるいは、図１４に示されているように、ペン先の近くに、現在設定されている赤ペンの太さに対応する太さで赤色の線を表示してもよい。

アイコン５１３は上述の小さなアイコン５０３よりも大きく且つリアルなペンの画像（ここでは、ペンの側面図の画像）であってもよい。小さなアイコン５０３の上述の丸形状は、ペン先の正面図を模式的に表していたが、アイコン５１３はペンの側面図を表す立体感のある画像から構成される。アイコン５１３においては、ペンの先端は黄色で表示され、このペン先は現在設定されているマーカーの太さに対応する太さで表示される。あるいは、図１４に示されているように、ペン先の近くに、現在設定されているマーカーの太さに対応する太さで、現在設定されているマーカーの色（ここでは黄色）の線を表示してもよい。

同様に、アイコン５１４、５１５も、上述のアイコン５０４、５０５よりも大きく且つリアルな画像から構成される。

細長形状を有するこれらアイコン５１１〜５１５は、これらアイコンの長手方向がノートピュー画面の横方向に延在するようにノートビュー画面上に縦に一列に並べられている。現在選択されているアイコンのノートビュー画面上の位置は自動的に変更される。例えば、アイコン５０２がユーザによって選択されている状態で表示モードがペン入力モードからメニュー表示モードに切り替えられた場合、あるいはペン入力モードのノートビュー画面上でアイコン５１２がユーザによって選択された場合には、アイコン５１２の位置が変更される。この場合、アイコン５１２として使用されるペンの画像を、図１４に示されているように、他のアイコンのペン画像よりも画面の中心部に向けて突出するように表示してもよい。このように選択されたアイコンの表示位置を変更することにより、どのアイコンが現在選択されているのかをユーザに分かり易く呈示することができる。

文書表示処理部３０８は、アイコン５１１〜５１５のいずれかが左方向にスワイプされた場合（あるいは選択されているアイコンがさらにタップされた場合）、スワイプされたこのアイコンに対応する描画の形態を設定するための詳細設定メニューをノートビュー画面上に表示し得る。詳細設定メニューを操作することにより、ユーザは、スワイプされたアイコンに割り当てる描画形態を変更することができる。また、詳細設定メニューを操作することにより、ユーザは、新たな描画形態を作成することもできる。この場合、この新たな描画形態が割り当てられた新規の小さなアイコンおよび大きなリアルなアイコンが、文書表示処理部３０８によってペン入力モードのノートビュー画面およびメニュー表示モードのノートビュー画面に表示される。

メニュー５２０ａは、複数の機能が割り当てられた複数のアイコン（ボタン）を表示する。メニュー５２０ａの内容、つまりメニュー５２０ａ内に表示される複数のアイコンの種類は、ノートビュー画面に表示されているページの内容に応じて自動的に変更される。サブメニューが関連付けられたアイコンを、メニュー５２０ａ内に表示することもできる。ユーザは、サブメニューから目的の機能に対応するアイコンを選択することができる。

図１５に示すように、ペン入力モードのノートビュー画面に表示される幾つかのアイコンにサブメニューを割り当てることができ、同様に、メニュー表示モードのノートビュー画面に表示される幾つかのアイコンにサブメニューを割り当てることができる。

図１５では、範囲選択のためのアイコン５０４にサブメニューが割り当てられ、また消しゴムのアイコン５０５にサブメニューが割り当てられている場合が想定されている。

アイコン５０４が指またはペン１００によってタップされると、文書表示処理部３０８は、サブメニュー５０４ａをノートビュー画面上に表示する。サブメニュー５０４ａには、「矩形」、「自由枠」（フリーハンド枠）、「全選択」に対応する３つのアイコンが表示される。ユーザは、これら３種類の選択ツールの１つを選択することができる。「全選択」に対応するアイコンが選択された場合には、軌跡表示処理部３０１は、表示中のページ全体を選択することができる。

アイコン５０５が指またはペン１００によってタップされると、文書表示処理部３０８は、サブメニュー５０５ａをノートビュー画面上に表示する。サブメニュー５０５ａには、消しゴムの太さ（消しゴムに対応する描画の太さ）を指定する３つのアイコンと、「全消去」を指定するアイコンとが表示される。

メニュー表示モードのノートビュー画面においても、アイコン５１４に関連付けてサブメニュー５０４ａと同様の内容のサブメニューを表示し得、またアイコン５１５に関連付けてサブメニュー５０５ａと同様の内容のサブメニューを表示し得る。

メニュー表示モードのノートビュー画面において、アイコン５１１〜５１５のいずれかが左方向に指またはペン１００によってスワイプされた場合（あるいは選択されているアイコンが指またはペン１００によってさらにタップされた場合）、文書表示処理部３０８は、図１５の右部に示すように、スワイプされたこのアイコン（ここではアイコン５１２）をノートビュー画面の中央に表示すると共に、他の各アイコンをグレーアウトする。そして、文書表示処理部３０８は、ノートビュー画面上に、メニュー５２０ａの代わりに、別のメニュー５２０ｃを表示する。メニュー５２０ｃ内の例えば「編集」アイコンが指またはペン１００によってタップされると、文書表示処理部３０８は、描画形態を設定するための詳細設定メニュー５３０をノートビュー画面上に表示する。ユーザは、詳細設定メニュー５３０を操作することによって、アイコン５１２（つまりアイコン５０２）に割り当てるべきペン先種別（毛筆、万年筆、鉛筆、ボールペン、マーカ、等）と、色と、太さと、濃さとを指定することができる。ペン先種別は、例えば、毛筆、万年筆、鉛筆、ボールペン、マーカ、等を示すアイコン（画像）から選択される。色は、例えば、複数の色が示されるタイル状のパレットから選択される。太さと濃さとは、例えば、スライドバーのつまみを調整することによって設定される。ペン設定部３００は、アイコン５１２に割り当てられた描画形態、すなわち、指定されたペン先種別と、色と、太さと、濃さとを、現在の描画形態として設定する。

次いで、図１６および図１７を参照して、複数のペン（複数の描画形態）で手書きされた複数のストロークを含む手書き文書の別の例について説明する。これらの手書き文書８１，９１では、鉛筆ペン（第１形態）のストローク「ＡＢＣ」８２，９２と、マーカーペン（第２形態）のストローク８３，９３とが重なり合っていない。

しかし、ストロークに基づく検索や文字・図形認識では、描画形態が異なるストロークが重なり合う場合だけでなく、それらストロークが近接する場合でも、誤った検索や認識が引き起こされる可能性がある。そのため、複数の描画形態で手書きされた複数のストローク同士が近接する場合にも、本実施形態のように、ストロークデータに描画形態を示す情報（例えば、ペンＩＤ）を含めることによって、ストロークに基づく検索や文字・図形認識の精度を向上させることができる。

次いで、図１８のフローチャートを参照して、デジタルノートブックアプリケーション２０２によって実行される手書き処理の手順の例を説明する。

まず、ペン設定部３００は、現在使用されている描画形態を示すペンＩＤに、所定のペンＩＤを設定する（ブロックＢ１１）。ペンＩＤは、例えば、ペン先の種類、線幅（太さ）、色、透過度（濃さ）、等のパラメータが規定された描画形態（ペン）を識別するための識別情報を示す。したがって、ペンＩＤには、例えば、ペン先の種類、線幅、色、透過度等の任意の組み合わせを有するペンに対して、一つの識別情報（ＩＤ）が付与されている。

次に、ペン設定部３００は、ペンを変更する操作（ペン変更操作）が検出されたか否かを判定する（ブロックＢ１２）。このペンを変更する操作は、例えば、図１４および図１５を参照して説明したように、ユーザがメニューに示される複数のペンから任意のペンを選択する操作や、パラメータを指定したペンを設定する操作である。

ペンを変更する操作が検出されていない場合（ブロックＢ１２のＮＯ）、すなわち、現在設定されているペンＩＤの描画形態（ペン）がそのまま使用される場合、ブロックＢ１４に進む。一方、ペンを変更する操作が検出されている場合（ブロックＢ１２のＹＥＳ）、ペン設定部３００は、現在使用されている描画形態を示すペンＩＤに、ペン変更操作に基づく新たなペンＩＤを設定し（ブロックＢ１３）、ブロックＢ１４に進む。

次いで、軌跡表示処理部３０１は、手書き入力操作に応じて、現在設定されているペン（描画形態）で、手書きによるストロークの軌跡を表示する（ブロックＢ１４）。そして、時系列情報生成部３０２は、ペンとストロークとを示すストロークデータ（時系列のストロークデータ）を生成する（ブロックＢ１５）。生成されたストロークデータは、例えば、手書き文書単位で、手書き文書データとして記憶媒体４０２等に保存される。

また、図１９のフローチャートを参照して、デジタルノートブックアプリケーション２０２によって実行される検索処理の手順の例を説明する。検索処理では、入力された検索キーに基づいて、ペンＩＤ毎の時系列情報（ストロークデータ）から、検索キーに類似するストロークのデータが取得される。以下では、ＬＣＤ１７Ａの画面に、検索キーを入力するための検索キー入力エリアが表示されていることを想定する。

まず、軌跡表示処理部３０１は、画面上の検索キー入力エリアに対する手書き入力操作に応じて、手書きによる軌跡（ストローク）を表示する（ブロックＢ２１）。そして、時系列情報生成部３０２は、検索キーとして用いるストロークを示すストロークデータ（時系列情報）を生成する（ブロックＢ２２）。

次いで、検索／認識部３０３は、作業メモリ４０１や記憶媒体４０２等に保存された手書き文書のストロークデータを読み出す（ブロックＢ２３）。手書き文書に含まれる複数のストロークデータの各々には、その手書き文書内に手書きされたストロークを示す時系列情報と、当該ストロークが手書きされた際の描画形態を示すペンＩＤとが含まれている。

検索／認識部３０３は、手書き文書で使用され得る複数のペンに対応する複数のペンＩＤの内の、一つのペンＩＤを選択する（ブロックＢ２４）。検索／認識部３０３は、ブロックＢ２３で読み出された手書き文書のストロークデータから、選択されたペンＩＤを含むストロークデータを取り出す（ブロックＢ２５）。取り出されたストロークデータは、検索キーを用いた検索を行う対象の時系列情報（ストローク群）を含む。検索／認識部３０３は、取り出されたストロークデータ（時系列情報）を用いて、手書き文書上のストロークから、検索キーのストロークに対応するストロークを検出する（ブロックＢ２６）。検索／認識部３０３は、例えば、検索キーのストロークの特徴量と、取り出されたストロークデータ（時系列情報）によって示される第１ストロークの特徴量とを用いて、特徴量の差（差の絶対値）がしきい値未満である場合に、第１ストロークと検索キーのストロークとが対応（類似）すると決定する。なお、検索／認識部３０３は、例えば、検索キーのストロークの特徴ベクトルと、取り出された時系列情報に示される第１ストロークの特徴ベクトルとを用いて、類似度（例えば、特徴ベクトルの内積）がしきい値以上である場合に、第１ストロークと検索キーのストロークとが対応すると決定してもよい。

次いで、検索／認識部３０３は、複数のペンＩＤに、選択されていない他のペンＩＤがあるか否かを判定する（ブロックＢ２７）。選択されていないペンＩＤがある場合（ブロックＢ２７のＹＥＳ）、ブロックＢ２４に戻り、新たなペンＩＤを含むストロークデータに対して検索処理を実行する。選択されていないペンＩＤがない場合（ブロックＢ２７のＮＯ）、つまり、手書き文書内の全てのストロークデータに対する検索処理が完了した場合、検索／認識部３０３は、検索処理の処理結果をタッチスクリーンディスプレイ１７の画面に表示し（ブロックＢ２８）、処理を終了する。検索／認識部３０３は、例えば、ペンＩＤ（描画形態）毎のストロークデータに対する処理結果をそれぞれ表示してもよいし、複数のペンＩＤのストロークデータそれぞれに対する処理結果を併せて表示してもよい。

以上により、検索／認識部３０３は、検索キーの入力に応じて、例えば、検索キーを含む手書き文書のリスト（手書き文書のサムネイルのリスト）や、手書き文書内の検索キーを含む領域のリストを画面に表示することができる。なお、上述した検索処理と同様に、ペンＩＤ（描画形態）毎のストロークデータに対して認識処理を行うこともできる。

以上説明したように、本実施形態によれば、手書き文書データを容易に扱うことができる。軌跡表示処理部３０１およびページ保存処理部３０６は、第１形態で描画される１以上の第１ストロークと、第１形態とは異なる第２形態で描画される１以上の第２ストロークとが手書きされる場合に、第１ストロークに対応する第１ストロークデータと第２ストロークに対応する第２ストロークデータとを含む手書き文書データを入力する。そして、検索／認識部３０３は、１以上の第１ストロークが描画される領域と、１以上の第２ストロークが描画される領域とが少なくとも一部重複する場合に、第１ストロークデータのみに対する第１処理の処理結果、第２ストロークデータのみに対する第１処理の処理結果、あるいは、第１ストロークデータと第２ストロークデータとに対する第１処理の処理結果のいずれかを表示することができる。これにより、処理結果が表示形態毎に表示され得るので、ユーザは、例えば、手書き文書の閲覧を容易に行うことができる。

なお、本実施形態の手書き処理および検索処理（認識処理）の手順は全てソフトウェアによって実行することができる。このため、手書き処理および検索処理（認識処理）の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

実施形態によれば、電子機器は、入力手段と表示処理手段とを具備する。入力手段は、第１形態で描画される１以上の第１ストロークと、前記第１形態とは異なる第２形態で描画される１以上の第２ストロークとが手書きされる場合に、前記第１ストロークに対応する第１ストロークデータと前記第２ストロークに対応する第２ストロークデータとを含む手書き文書データを入力する。表示処理手段は、前記１以上の第１ストロークが描画される領域と、前記１以上の第２ストロークが描画される領域とが少なくとも一部重複する場合に、前記第１ストロークデータに含まれる座標データのみに対する第１処理の処理結果、前記第２ストロークデータに含まれる座標データのみに対する前記第１処理の処理結果、あるいは、前記第１ストロークデータに含まれる座標データと前記第２ストロークデータに含まれる座標データとに対する前記第１処理の処理結果のいずれかを表示可能である。

Claims (7)

1. 第１形態で描画される１以上の第１ストロークと、前記第１形態とは異なる第２形態で描画される１以上の第２ストロークとが手書きされる場合に、前記第１ストロークに対応する第１ストロークデータと前記第２ストロークに対応する第２ストロークデータとを含む手書き文書データを入力する入力手段と、
   前記１以上の第１ストロークが描画される領域と、前記１以上の第２ストロークが描画される領域とが少なくとも一部重複する場合に、前記第１ストロークデータのみに対する第１処理の処理結果、前記第２ストロークデータのみに対する前記第１処理の処理結果、あるいは、前記第１ストロークデータと前記第２ストロークデータとに対する前記第１処理の処理結果のいずれかを表示可能な表示処理手段とを具備する電子機器。
2. 前記第１処理は、第３ストロークに対応する第３ストロークデータに基づく前記手書き文書データへの検索処理であって、
   前記表示処理手段は、前記第１ストロークデータのみに対する前記第３ストロークデータに基づく検索処理結果、前記第２ストロークデータのみに対する前記第３ストロークデータに基づく検索処理結果、あるいは、前記第１ストロークデータと前記第２ストロークデータに対する前記第３ストロークデータに基づく検索処理結果のいずれかを表示可能である請求項１記載の電子機器。
3. 前記第１処理は、認識処理であって、
   前記表示処理手段は、前記第１ストロークデータのみに対する認識処理結果、前記第２ストロークデータのみに対する認識処理結果、あるいは、前記第１ストロークデータと前記第２ストロークデータに対する認識処理結果のいずれかを表示可能である請求項１記載の電子機器。
4. 前記第１処理は、文字認識処理であって、
   前記表示処理手段は、前記第１ストロークデータのみに対する文字認識処理結果、前記第２ストロークデータのみに対する文字認識処理結果、あるいは、前記第１ストロークデータと前記第２ストロークデータに対する文字認識処理結果のいずれかを表示可能である請求項１記載の電子機器。
5. タッチスクリーンディスプレイをさらに具備し、
   前記第１ストロークデータと前記第２ストロークデータは、前記タッチスクリーンディスプレイを介して前記入力手段へ入力されるものであって、
   前記表示処理手段は、
   前記１以上の第１ストロークが描画される領域と、前記１以上の第２ストロークが描画される領域とが少なくとも一部重複する場合に、前記第１ストロークデータのみに対する第１処理の処理結果、前記第２ストロークデータのみに対する前記第１処理の処理結果、あるいは、前記第１ストロークデータと前記第２ストロークデータとに対する前記第１処理の処理結果のいずれかを、前記タッチスクリーンディスプレイへ表示する請求項１記載の電子機器。
6. 第１形態で描画される１以上の第１ストロークと、前記第１形態とは異なる第２形態で描画される１以上の第２ストロークとが手書きされる場合に、前記第１ストロークに対応する第１ストロークデータと前記第２ストロークに対応する第２ストロークデータとを含む手書き文書データを入力し、
   前記１以上の第１ストロークが描画される領域と、前記１以上の第２ストロークが描画される領域とが少なくとも一部重複する場合に、前記第１ストロークデータのみに対する第１処理の処理結果、前記第２ストロークデータのみに対する前記第１処理の処理結果、あるいは、前記第１ストロークデータと前記第２ストロークデータとに対する前記第１処理の処理結果のいずれかを表示する手書き文書処理方法。
7. コンピュータにより実行されるプログラムであって、前記プログラムは、
   第１形態で描画される１以上の第１ストロークと、前記第１形態とは異なる第２形態で描画される１以上の第２ストロークとが手書きされる場合に、前記第１ストロークに対応する第１ストロークデータと前記第２ストロークに対応する第２ストロークデータとを含む手書き文書データを入力する手順と、
   前記１以上の第１ストロークが描画される領域と、前記１以上の第２ストロークが描画される領域とが少なくとも一部重複する場合に、前記第１ストロークデータのみに対する第１処理の処理結果、前記第２ストロークデータのみに対する前記第１処理の処理結果、あるいは、前記第１ストロークデータと前記第２ストロークデータとに対する前記第１処理の処理結果のいずれかを表示する手順とを前記コンピュータに実行させるプログラム。

Images