JP5377743B1 - 電子機器および手書き文書処理方法 - Google Patents

Abstract

【課題】手書き入力された手書き文書が見にくくなることを抑制すること。
【解決手段】実施形態によれば、電子機器は、認識手段と、検出手段と、変更手段と、表示処理手段とを具備する。認識手段は、手書きによって入力される複数のストロークにそれぞれ対応する複数の第１のストロークデータから、図形を認識する。前記複数の第１ストロークデータから第１種類の複数の第１図形が認識される場合に、修正手段は、前記第１種類の複数の第１図形に対応する複数の第２のストロークデータを、前記第１種類の１つの第２図形に対応する第３のストロークデータに修正する。表示処理手段は、前記第３のストロークデータを含む修正後の第１のストロークデータに対応する軌跡をディスプレイに表示するための処理を行う。
【選択図】図６

Description

本発明の実施形態は、手書き文書の処理に関する。

近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を携帯型電子機器に指示することができる。

しかし、タッチスクリーンディスプレイを備える既存の電子機器の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などのビジネスシーンにおける利用については必ずしも適していない場合がある。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。

特開平８−２３５３７７号公報

紙の手帳の代わりに、タッチスクリーンディスプレイに対して手書き入力される複数のストロークにそれぞれ対応する複数のストロークデータを含む筆跡情報を保存しておくことが考えられている。更に、複数のストロークデータから図形を認識し、認識された図形を整形し、見やすくすることが考えられている。

なぞり書きされた図形がある場合、複数の図形が重なって表示され、かえって見にくくなることがある。

本発明の一形態の目的は、手書き入力された手書き文書が見にくくなることを抑制することが可能な電子機器および手書き文書処理方法を提供することにある。

実施形態によれば、電子機器は、取得手段と、表示処理手段とを具備する。取得手段は、手書きによって入力される複数のストロークにそれぞれ対応する複数の第１のストロークデータを用いて、そのうちの少なくとも一部のストロークデータに対応する図形に関する情報を取得する。表示処理手段は、前記複数の第１ストロークデータを用いて、なぞり書きに対応する第１種類の複数の第１図形に関する情報が取得される場合に、前記第１種類の複数の第１手書き図形の代わりに、前記第１種類の１つの第２整形図形をディスプレイに表示するための処理を行う。前記第２図形の線の線種又は色の少なくとも一方は、前記第１図形の線の線種又は色の少なくとも一方と異なる。

実施形態の電子機器の外観を示す斜視図。 実施形態の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図。 実施形態の電子機器によって記憶媒体に保存される、図２の手書き文書に対応する時系列情報を説明するための図。 実施形態の電子機器のシステム構成を示すブロック図。 デジタルノートブックアプリケーションプログラムの機能構成を示すブロック図。 手書きページの一例を示す図。 図形処理部の構成を示すブロック図。 整形部によって四角形が整形された状態の手書きページを示す図。 修正部によって修正された四角形を含む手書きページの一例を示す図。 修正部によって修正された四角形を含む手書きページの一例を示す図。 図形整形処理部による図形生成処理および手書き文書描画処理部による手書きページの表示処理の手順を示すフローチャート。 デジタルノートブックアプリケーションプログラムの機能構成を示すブロック図。 整形された手書きページの一例を示す図。

以下、実施の形態について図面を参照して説明する。

図１は、一実施形態に係るタブレットコンピュータ１０の外観を示す斜視図である。タブレットコンピュータ１０は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下の例では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡（筆跡）がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡（筆跡）の集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に保存される。この時系列情報の詳細は図３を参照して後述するが、この時系列情報は、概して、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、そのストロークの軌跡を表現できるデータであれば良く、例えばこのストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。

本実施形態では、時系列情報（手書き文書）は、１つまたは複数のページとして管理されうる。この場合、時系列情報（手書き文書）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小するようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

次に、図２および図３を参照して、ユーザによって手書きされたストローク（文字、マーク、図形など）と時系列情報との関係について説明する。図３は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。

手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図２においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きされた場合が想定されている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡もサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２１、…ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図３は、図２の手書き文書に対応する時系列情報２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

更に、ストロークデータには、線幅を示す線幅情報、および、線種を示す線種情報が含まれても良い。線種情報は、実線、破線、点線等を示す。また、ストロークデータ内に線の色を示す線色情報が含まれていても良い。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。

図３で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図２に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。

本実施形態では、時系列情報（手書き文書）は、１つまたは複数のページとして管理されうる。この場合、時系列情報（手書き文書）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小するようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

図４は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図４に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０５、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム２０２が含まれている。このデジタルノートブックアプリケーションプログラム２０２は、上述の手書き文書を作成および表示する機能、手書き文書を編集する機能、および文字・図表認識機能等を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７Ｃは、画面上の接触位置を示す座標を出力する。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上のペン１００の位置（座標）およびペン１００の位置の動き等はデジタイザ１７Ｃによって検出される。デジタイザ１７Ｃは、画面上のペン１００の位置を示す座標を出力する。

無線通信デバイス１０７は、無線ＬＡＮまたはセルラー移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

次に、図５を参照して、デジタルノートブックアプリケーションプログラム２０２の機能構成について説明する。

デジタルノートブックアプリケーションプログラム２０２は、整形制御部３０１、時系列情報生成部３０２、手書き文書描画処理部３０３、表示処理部３０４、ページ保存処理部３０５、ページ取得処理部３０６、および処理部３０７等を備える。

デジタルノートブックアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いて入力されるストロークデータを使用することによって、手書き文書の作成、表示、編集等を行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

整形制御部３０１は、ユーザが整形処理を指示するための図形整形ボタンを描画する処理を行う。整形制御部３０１は、図形整形ボタンの描画データを表示処理部３０４に送る。整形制御部３０１は、図形整形ボタンがペンまたは指によってタッチされると、後述する整形正処理の実行を後述する図形整形処理部３０８に要求するための処理を行う。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントにも、移動先の接触位置の座標が含まれている。したがって、時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される座標列を受信し、この座標列に基づいて、上述の時系列情報を生成する。時系列情報生成部３０２は、時系列情報、つまりストロークの各点に対応する座標データおよびタイムスタンプ情報を含むストロークデータを作業メモリ４０１に一時保存してもよい。

手書き文書描画処理部３０３は、作業メモリ４０１内の時系列情報を解析し、この解析結果に基づいて、時系列情報によって示される各ストロークの軌跡を手書きページとして描画する処理を行う。手書き文書描画処理部３０３により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡が手書きページに描画される。

表示処理部３０４は、手書き文書描画処理部３０３によって描画された手書きページ上に整形制御部３０１によって描画された図形整形ボタン５０１を描画する。表示処理部３０４は、ＬＣＤ１７Ａに表示される図形整形ボタン５０１を含む手書き文書を表示するためのデータを生成する処理を行う。

図６は、手書きページの一例を示す図である。手書きページ内に図形整形ボタン５０１が表示されている。図形整形ボタン５０１がペンまたは指によってタッチされると、図形整形処理部３０８が処理を開始する。手書きページには、手書き文字“Ｉｍｐｏｒｔａｎｔ”、“１．Ｐｌａｎ”、“２．Ａｃｔｉｏｎ”、“３．Ｃｈｅｃｋ”と、手書き四角形５１１、５１２とが手書き入力されている。

処理部３０７は、処理対象の時系列情報に対して様々な処理、例えば、図形整形処理等を実行することができる。この処理部３０７は、図形整形処理部３０８を含む。図形整形処理部３０８は、手書きページ内の手書き図形を整形する処理を行う。図形整形処理部３０８は、手書きページから円、三角形、四角形等の手書き図形を認識し、認識された手書き図形を整形する。

図７は、図形整形処理部３０８の構成を示すブロック図である。
図形整形処理部３０８は、図形認識部６０１、整形部６０２、検出部６０３、および修正部６０４等を備えている。
図形認識部６０１は、作業メモリ４０１内の時系列情報に基づいて特徴量を演算する。特徴量は、時系列情報内の各点に対応する座標データおよびタイムスタンプ情報、連続する複数の点の変化量等に基づいて演算される。図形認識部６０１は、演算された特徴量に基づいて、手書きページ内の図形の種類および位置を認識する。図形認識部６０１は、時系列情報から認識された図形に対応するストロークデータを特定する。図形認識部６０１は、認識された図形の種類、図形の位置、および図形に対応するストロークデータを示すストロークデータ情報を整形部６０２に通知する。

整形部６０２は、図形認識部６０１からの通知に基づいて、図形を整形する処理を行う。整形された図形は、歪みがない。例えば、三角形、四角形等の多角形は、直線で囲まれる。また、円は、中心点から等距離にある点の軌跡で構成される。

整形部６０２は、通知されたストロークデータ情報に基づいて、作業メモリ４０１に格納されている時系列情報に含まれる認識された図形に対応するストロークデータを削除し、作業メモリ４０１内に認識された種類および位置に対応するストロークデータを追加する。

図８は、整形部６０２によって四角形が整形された状態の手書きページを示す図である。図８に示すように、四角形５１１、５１２の代わりに、整形された四角形５２１、５２２が表示される。図８に示す手書きページは、実際に表示されない。

検出部６０３は、整形部６０２によって整形された図形を含む手書きページ内に、なぞり書きされた図形を検出する。なぞり書きされた図形を検出した場合、検出部６０３は、修正部６０４になぞり書きされた図形の位置を通知する。検出部６０３は、例えば、同一種類の複数の図形の重心がしきい値より小さく、隣接する線分の距離がしきい値より小さい場合に、なぞり書きされていると判定する。

修正部６０４は、通知された位置の複数の図形を同種類の一つの図形に変更するための処理を行う。修正部６０４は、更に変更された一つの図形の表示形態を変更するための処理も行う。修正部６０４は、表示形態を変更するために図形の線種を変更する。例えば、修正部６０４は、線幅を太くする。また、修正部６０４は、線を破線にしても良い。また、修正部６０４は、線の色を変えても良い。

修正部６０４は、同種類の一つの図形に修正するために、作業メモリ４０１に格納されている時系列情報に含まれる、なぞり書きされている複数の図形に対応するストロークデータを、同種類の図形に対応するストロークデータに修正する。修正された後のストロークデータは、修正後の図形を表示可能なデータであればどのようなものであっても良い。修正された後のストロークデータのフォーマットは、手書きにより入力されるデータと同一のフォーマットであっても良く、また認識結果に応じて簡略化された異なるフォーマットでも良い。修正部６０４は、ストロークデータに含まれる線幅情報、線種情報の少なくとも一つを元の図形のものと変えることができる。なお、ストロークデータに線色情報が含まれる場合、線色情報を修正しても良い。

図９は、修正部６０４によって修正された四角形を含む手書きページの一例を示す図である。図９に示すように、四角形５２１、５２２の代わりに、線幅が太い四角形５３１が表示される。

図１０は、修正部６０４によって修正された四角形を含む手書きページの一例を示す図である。図１０に示すように、四角形５２１、５２２の代わりに、線幅が太く、線種が破線の四角形５３１が表示される。

図形整形処理部３０８による図形生成処理および手書き文書描画処理部３０３による手書きページの表示処理の手順について図１１を参照して説明する。

図形整形ボタン５０１が操作されると、図形認識部６０１が図形を認識する（ステップＢ１１）。整形部６０２は、時系列情報に対して、図形認識部６０１によって認識された図形を整形するための処理を行う（ステップＢ１２）。検出部６０３は、なぞり書きされた図形を検出する（ステップＢ１３）。修正部６０４は、時系列情報に対して、なぞり書きされた複数の図形を一つの図形に修正する処理を行うと共に、元の図形の表示形態と異なる表示形態にするための処理を行う（ステップＢ１４）。手書き文書描画処理部３０３は、時系列情報に基づいて、手書きページを描画する処理を行う（ステップＢ１５）。表示処理部３０４は、修正された図形のストロークデータを含む時系列情報に基づいた手書きページをＬＣＤ１７Ａに表示するための処理を行う。

なお、図１２は、電子機器のシステム構成の変形例を示す図である。
文字整形処理部３１１は、表示中の時系列情報（手書きページ）に手書きされた文字に対して手書き文字認識の認識処理を実行する。そして、文字整形処理部３１１は、認識結果に基づいて、手書きされた文字をフォントの文字に置き換える。

図１３は、手書きされた文字がフォントに置き換えられたページを示す図である。図１３に示すように、手書き文字の「Ｉｍｐｏｒｔａｎｔ」、「１．Ｐｌａｎ」、「２．Ａｃｔｉｏｎ」、および「３．Ｃｈｅｃｋ」がフォントの文字に置き換えられている。なお、変形例の場合、図形整形ボタン５０１の代わりに整形ボタン７０１が設けられている。

複数のストロークデータから図形を認識し、認識された図形の内からなぞり書きされている図形を検出し、なぞり書きされている図形を整形された一つの図形にすることで、図形が見やすくなる。また、なぞり書きされた図形は重要な部分、強調したい場合に行われる場合が多いので、整形された一つの図形の表示形態が元の図形の表示形態と異ならせることで、他の部分と区別しやすくなる。

本実施形態では、認識された手書き図形を整形した後に、なぞり書きされている図形を検出したが、認識された手書き図形に対してなぞり書きされている手書き図形を検出し、検出されたなぞり書きされている手書き図形を整形しても良い。また、その後、なぞり書きされている手書き図形以外の手書き図形に対して整形を起こっても良い。

本実施形態の手書き文書に対する各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…タブレットコンピュータ（電子機器）、１７…タッチスクリーンディスプレイ、１７Ａ…ＬＣＤ、１７Ｂ…タッチパネル、１７Ｃ…デジタイザ、１００…ペン、１０１…ＣＰＵ、１０３…主メモリ、１０４…グラフィクスコントローラ、２０１…オペレーティングシステム、２０２…デジタルノートブックアプリケーションプログラム、３０１…整形制御部、３０２…時系列情報生成部、３０３…手書き文書描画処理部、３０４…表示処理部、３０５…ページ保存処理部、３０６…ページ取得処理部、３０７…処理部、３０８…図形整形処理部、４０１…作業メモリ、５０１…図形整形ボタン、６０１…図形認識部、６０２…整形部、６０３…検出部、６０４…修正部。

Claims (6)

1. 手書きによって入力される複数のストロークにそれぞれ対応する複数の第１のストロークデータを用いて、そのうちの少なくとも一部のストロークデータに対応する図形に関する情報を取得する取得手段と、
   前記複数の第１ストロークデータを用いて、なぞり書きに対応する第１種類の複数の第１図形に関する情報が取得される場合に、前記第１種類の複数の第１手書き図形の代わりに、前記第１種類の１つの第２整形図形をディスプレイに表示するための処理を行う表示処理手段とを具備するものであって、
   前記第２図形の線の線種又は色の少なくとも一方は、前記第１図形の線の線種又は色の少なくとも一方と異なる
   電子機器。
2. 前記認識手段は、前記複数の第１のストロークデータから、文字を認識し、
   前記表示処理手段は、認識された文字を前記ディスプレイに表示する処理を行う請求項１に記載の電子機器。
3. 手書きによって入力される複数のストロークにそれぞれ対応する複数の第１のストロークデータを用いて、そのうちの少なくとも一部のストロークデータに対応する図形に関する情報を取得し、
   前記複数の第１ストロークデータを用いて、なぞり書きに対応する第１種類の複数の第１図形に関する情報が取得される場合に、前記第１種類の複数の第１手書き図形の代わりに、前記第１種類の１つの第２整形図形をディスプレイに表示し、
   前記第２図形の線の線種又は色の少なくとも一方は、前記第１図形の線の線種又は色の少なくとも一方と異なる
   手書き文書処理方法。
4. 前記複数の第１のストロークデータから、文字を認識し、
   前記認識された文字を前記ディスプレイに表示する請求項３に記載の手書き文書処理方法。
5. 手書きによって入力される複数のストロークにそれぞれ対応する複数の第１のストロークデータを用いて、そのうちの少なくとも一部のストロークデータに対応する図形に関する情報を取得する手順と、
   前記複数の第１ストロークデータを用いて、なぞり書きに対応する第１種類の複数の第１図形に関する情報が取得される場合に、前記第１種類の複数の第１手書き図形の代わりに、前記第１種類の１つの第２整形図形をディスプレイに表示する手順と
   をコンピュータに実行させるためのプログラムであって、
   前記第２図形の線の線種又は色の少なくとも一方は、前記第１図形の線の線種又は色の少なくとも一方と異なる
   プログラム。
6. 前記複数の第１のストロークデータから、文字を認識する手順と、
   前記認識された文字を前記ディスプレイに表示する手順と
   を前記コンピュータに実行させるための請求項５に記載のプログラム。

Images