JP5458161B1 - 電子機器および方法 - Google Patents

Abstract

【課題】手書き入力された文字を適切な線幅で表示できる電子機器を実現する。
【解決手段】実施形態によれば、電子機器は、表示処理手段と生成手段と認識手段とを具備する。表示処理手段は、手書き入力された複数のストロークを第１の線幅で表示する。生成手段は、前記複数のストロークに対応する複数のストロークデータを生成する。認識手段は、前記複数のストロークデータを用いて、前記複数のストロークの内の１以上のストロークに対応する文字を認識する。表示処理手段は、前記認識された文字のサイズに応じた線幅で、前記１以上のストロークを表示する。
【選択図】図５

Description

本発明の実施形態は、手書き文書に関する。

近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連付けられた機能の実行を電子機器に指示することができる。

このような電子機器では、ユーザが、タッチスクリーンディスプレイ上で文字や図形等を手書きするための機能を有するものもある。このような手書きの文字や図形を含む手書き文書（手書きページ）は保存され、必要に応じて閲覧される。

ところで、文字や図形をノートのような紙のページに手書きする場合、ユーザは、使用するペンの色や太さを変更することがある。したがって、タッチスクリーンディスプレイ上で手書きされる文書でも、紙のページと同様に、手書き入力される文字や図形の線の色や太さを変更できることが期待される。

特開平７−２６１９１７号公報

本発明の一形態は、手書き入力された文字を調整して表示できる電子機器および手書き文書処理方法を提供することを目的とする。

実施形態によれば、電子機器は、表示処理手段と生成手段とを具備する。表示処理手段は、手書き入力された複数のストロークを第１の線幅で表示する。生成手段は、前記複数のストロークに対応する複数のストロークデータを生成する。前記表示処理手段は、前記複数のストロークの内の１以上のストロークによって構成される文字のサイズに応じた線幅で、前記１以上のストロークを表示する。

実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器によって処理される手書き文書の例を示す図。 同実施形態の電子機器によって記憶媒体に保存される、図２の手書き文書に対応する時系列情報を説明するための図。 同実施形態の電子機器のシステム構成を示すブロック図。 同実施形態の電子機器によって実行されるデジタルノートブックアプリケーションプログラムの機能構成を示すブロック図。 同実施形態の電子機器によって手書き文字の線幅が変更される例を示す図。 同実施形態の電子機器によって手書き文字が認識される例を示す図。 同実施形態の電子機器によって用いられる線幅データの例を示す図。 同実施形態の電子機器によって実行される手書き入力処理の手順の例を示すフローチャート。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

デジタイザおよびタッチパネルの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。

ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡（筆跡）がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡（筆跡）の集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報を含む手書き文書データとして記憶媒体に保存される。この時系列情報の詳細は図３を参照して後述するが、この時系列情報は、概して、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の手書き文書データを読み出し、この手書き文書データに対応する手書き文書、つまり、時系列情報によって示される複数のストロークそれぞれに対応する軌跡が描画された手書き文書を、画面上に表示することができる。

次いで、図２および図３を参照して、ユーザによって手書きされたストローク（文字、マーク、図形、表など）と時系列情報との関係について説明する。図２は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書の例を示している。

手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図２においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きされた場合が想定されている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡もサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２１、…ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図３は、図２の手書き文書に対応する時系列情報２００を示している。時系列情報２００は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べられている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き矢印を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいて、複数の座標は、ストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。
各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

さらに、本実施形態では、上述したように、手書き文書は、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報２００として記憶されるので、言語に依存せずに手書きの文字や図形を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

図４は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図４に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム２０２が含まれている。このデジタルノートブックアプリケーションプログラム２０２は、上述の手書き文書を作成および表示する機能、手書き文書上に描かれたストローク（軌跡）の線幅を制御する機能等を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

次に、図５を参照して、デジタルノートブックアプリケーションプログラム２０２の機能構成について説明する。

デジタルノートブックアプリケーションプログラム２０２は、例えば、軌跡表示処理部３０１、時系列情報生成部３０２、文字認識部３０３、線幅決定部３０４、ページ保存処理部３０５、ページ取得処理部３０６、手書き文書表示処理部３０７等を備える。

タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントには、移動先の接触位置の座標が含まれている。したがって、軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。

軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信し、この座標列に基づいて、ペン１００等を使用した手書き入力操作によって手書きされる各ストロークの軌跡をタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。この軌跡表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がＬＣＤ１７Ａの画面上に描かれる。軌跡表示処理部３０１は、手書き入力された複数のストローク（軌跡）を第１の線幅（例えば、アプリケーション２０２で規定された線幅や、ユーザによって選択された線幅等）で表示する。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、図３で詳述したような構造を有する時系列情報（ストロークデータ）を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ４０１に一時保存してもよい。

本実施形態では、画面上に表示された複数のストローク（軌跡）の線幅は、それらストロークに対応する文字のサイズに応じて制御される。ストロークに対応する文字サイズは、文字認識処理がなされた後の文字のサイズであっても良く、文字認識処理がなされる前の手書き入力された文字のサイズであっても良い。

図６は、手書き文字の線幅が変更される例を示す。手書き文書５１には、小さな文字サイズ（例えば、１０ポイント）を有する「小さい字」５２と、大きな文字サイズ（例えば、３０ポイント）を有する「大きい字」５３とが手書きされていることを想定する。

本実施形態では、手書き文書５５に示すように、「小さい字」５２を手書き入力時のままの細い線幅（例えば、０．７５ポイント）で表示し、「大きい字」５７を太い線幅（例えば、３ポイント）に変更して表示する。これにより、ユーザが手書き入力時に線幅を指定する操作を行うことなく、文字サイズに応じた線幅で文字を表示することができる。例えば、大きな文字で手書きされる文字群は、重要な内容や手書きページ内の見出しのように、ユーザがその文字群を目立たせることを意図していることが想定される。そのため、大きな文字を太い線幅に変更することによって、重要な内容や見出しを視認し易くし、手書きページ（手書き文書）の閲覧性を向上させることができる。

具体的には、文字認識部３０３は、時系列情報生成部３０２によって生成された時系列情報（すなわち、複数のストロークに対応する複数のストロークデータ）を用いて、その時系列情報に示される複数のストロークから文字を認識する。文字認識部３０３は、例えば、線幅の変更を指示するための操作が行われたとき（例えば、画面上の所定のボタンの押下時）や、手書き入力操作がなく一定期間が経過したとき等に、複数のストロークから文字を認識することによって、入力された複数のストロークを文字毎のブロックに分割する。

図７に示すように、認識された文字毎に、対応する１以上のストロークが対応づけられる。つまり、文字認識部３０３による文字認識の結果、複数のストロークが文字毎のブロック６１〜６４，６６〜６９に分割される。

文字認識部３０３は、例えば、複数のストロークデータの内の、１以上のストローク（処理対象のストローク）に対応する１以上のストロークデータを用いて、その１以上のストロークの形状を示す第１特徴量を算出する。そして、文字認識部３０３は、記憶媒体４０２に予め格納された文字辞書データを用いて、算出された第１特徴量と類似する特徴量を有する文字を検出する。この文字辞書データでは、例えば、複数の文字と、それら複数の文字に対応する複数の特徴量とが規定されている。したがって、文字認識部３０３は、文字辞書データに規定された複数の文字から、算出された第１特徴量との類似度がしきい値以上である、第２特徴量を有する文字を認識する。

なお、文字認識部３０３は、文字辞書データに規定された複数の文字から、第１特徴量との類似度がしきい値以上である特徴量を有する複数の文字候補を検出してもよい。その場合、文字認識部３０３は、例えば、単語や文字の共起確率等を示す言語辞書データと、処理対象のストロークの近傍のストローク（例えば、処理対象のストロークの左右のストローク）から認識された文字とに基づいて、検出された複数の文字候補から、処理対象のストロークに対して尤もらしい文字（尤度が高い文字）を絞り込む。これにより、文字認識部３０３は、処理対象のストロークに対応する文字を認識する。

そして、線幅決定部３０４は、認識された文字のサイズに基づいて、その文字の線幅（線の太さ）を決定する。認識された文字のサイズは、例えば、その文字を構成する１以上のストロークを包含する矩形（例えば、図７において点線で示した矩形）に基づく大きさであり、例えば、その矩形の幅、高さ、幅と高さの内の大きい方の値、面積等によって表される。線幅決定部３０４は、例えば、記憶媒体４０２に予め格納された線幅データを用いて、認識された文字のサイズに応じた線幅を検出する。線幅データでは、文字サイズ毎に、ユーザによって指定された線幅が規定されてもよい。

図８は、線幅データの一構成例を示す。線幅データは、複数の文字サイズに対応する複数のエントリを含む。各エントリは、例えば、文字サイズと線幅とを含む。ある文字サイズに対応するエントリにおいて、「文字サイズ」は、その文字サイズ（例えば、ポイント単位）を示す。「線幅」は、その文字サイズを有する文字に関連付けられた線の太さ（例えば、ポイント単位）を示す。

より具体的には、線幅決定部３０４は、認識された文字のサイズが第１しきい値以上である場合、その文字に対応する１以上のストロークを、予め設定された線幅（第１の線幅）よりも太い第２の線幅で表示することを決定する。また、線幅決定部３０４は、認識された文字のサイズが第２しきい値未満である場合、その文字に対応する１以上のストロークを、第１の線幅よりも細い第３の線幅で表示することを決定する。なお、この第２しきい値は、第１しきい値よりも小さいものとする。線幅決定部３０４は、認識された文字のサイズが第１しきい値未満であり、且つ第２しきい値以上である場合、その文字に対応する１以上のストロークの線幅を変更しないこと（すなわち、第１の線幅で表示すること）を決定する。

なお、線幅決定部３０４は、線幅が太くなり過ぎることによって、文字のつぶれが生じないように、線幅を制御してもよい。例えば、線幅決定部３０４は、線幅を太くしたストローク同士が重なっている場合に、線幅を細くする（細い線幅に戻す）。

さらに、線幅決定部３０４は、認識された文字のサイズがしきい値以上である場合に、その文字に対応する１以上のストロークにエフェクトを施して表示するか、当該１以上のストロークを第１の色で表示するか、少なくとも一方を行ってもよい。また、線幅決定部３０４は、認識された文字のサイズがしきい値未満である場合に、その文字に対応する１以上のストロークにエフェクトを施して表示するか、当該１以上のストロークを第１の色で表示するか、少なくとも一方を行ってもよい。

例えば、線幅決定部３０４は、認識された文字のサイズがしきい値以上である場合に、その文字に対応する１以上のストロークに所定のエフェクトを施すことを決定する。例えば、線幅決定部３０４は、認識された文字のストロークに、筆で描いたようなストローク（装飾文字）に変換する処理を施すことを決定する。例えば、線幅決定部３０４は、認識された文字のサイズがしきい値以上である場合に、その文字に対応する１以上のストロークを第１の色で表示することを決定する。また、例えば、線幅決定部３０４は、認識された文字のサイズがしきい値未満である場合に、その文字に対応する１以上のストロークを第１の色で表示することを決定する。この第１の色には、例えば、背景色が白である手書き文書では赤を用いるように、文字を目立たせるための色が設定される。線幅決定部３０４は、時系列情報によって示されるストロークに対応する線幅、エフェクト、色等を示す情報（ストローク属性情報）を作業メモリ４０１に一時保存してもよい。

軌跡表示処理部３０１は、線幅決定部３０４によって決定された線幅で文字（処理対象１以上のストローク）を表示する。軌跡表示処理部３０１は、さらに、線幅決定部３０４による要求に応じて、表示される文字（ストローク）に所定のエフェクトを施す。例えば、軌跡表示処理部３０１は、しきい値以上のサイズを有する文字のストロークに、筆で描いたようなストロークに変換する処理を施して表示する。また、例えば、軌跡表示処理部３０１は、しきい値以上のサイズを有する文字のストロークを、第１の色で表示する。

このように、ストロークに対して、線幅の変更、エフェクトまたは色の変更が施されることによって、ユーザは、大きな文字（しきい値以上のサイズを有する文字）を、小さな文字とは区別して認識することができ、手書き文書の閲覧性を向上させることができる。

ページ保存処理部３０５は、生成された時系列情報（作業メモリ４０１に一時保存された時系列情報）と、各ストロークに対応する線幅等を示す情報（作業メモリ４０１に一時保存されたストローク属性情報）とを、手書き文書データとして記憶媒体４０２に保存する。記憶媒体４０２は、例えば、タブレットコンピュータ１０内のストレージデバイスである。

ページ取得処理部３０６は、記憶媒体４０２から既に格納されている任意の手書き文書データを読み出す。読み出された手書き文書データは手書き文書表示処理部３０７に送られる。手書き文書表示処理部３０７は、手書き文書データを解析し、この解析結果に基づいて、時系列情報によって示される各ストロークの軌跡を、ストローク属性情報によって示される線幅やエフェクト、色で、画面上に手書き文書（手書きページ）として表示する。

なお、上述の説明では、文字毎に線幅を決定する例について述べたが、行や段落のようなグループ内で、そのグループに含まれる文字の線幅が決定されてもよい。線幅決定部３０４は、例えば、認識された１つの文字のサイズだけでなく、その１つの文字が含まれるグループ内の、他の文字のサイズも考慮して線幅を決定する。

例えば、文字認識部３０３によって、手書き入力された複数のストロークの内の１以上の第１ストロークに対応する第１文字が認識され、それら複数のストロークの内の１以上の第２ストロークに対応する第２文字が認識されたことを想定する。その場合、線幅決定部３０４は、認識された第１文字と第２文字との距離がしきい値以内（例えば、１つの行内、１つの段落内、等）であるどうかを判定する。例えば、線幅決定部３０４は、第１文字を包含する矩形（第１矩形）と第２文字を包含する矩形（第２矩形）との距離がしきい値以内である場合に、それら第１文字と第２文字とが同一の行内にあると判定する。より具体的には、線幅決定部３０４は、第１矩形の上端のＹ座標と第２矩形の上端のＹ座標との差の絶対値がしきい値以内であり、且つ第１矩形の下端のＹ座標と第２矩形の下端のＹ座標の差の絶対値がしきい値以内である場合に、それら第１文字と第２文字とが同一の行内にあると判定する。また、線幅決定部３０４は、第１矩形の上端のＸ座標と第２矩形の上端のＸ座標との差の絶対値がしきい値以内であり、且つ第１矩形の下端のＸ座標と第２矩形の下端のＸ座標の差の絶対値がしきい値以内である場合に、それら第１文字と第２文字とが同一の列内にあると判定する。

線幅決定部３０４は、第１文字と第２文字との距離がしきい値以内である場合、１以上の第１ストロークと１以上の第２ストロークとを同じ線幅で表示することを決定する。例えば、線幅決定部３０４は、第１文字のサイズに関連付けられた線幅と第２文字のサイズに関連付けられた線幅との少なくとも一方を用いて定められる線幅で、１以上の第１ストロークと１以上の第２ストロークとを表示することを決定する。

なお、線幅決定部３０４は、第１文字と第２文字との距離が第１しきい値以内であり、且つ第１文字のサイズと第２文字のサイズとの差が第２しきい値以内（例えば、差が一方の文字サイズの２０％以内）である場合に、それら第１文字と第２文字との線幅を同じに設定してもよい。例えば、線幅決定部３０４は、第１文字のサイズに対応する線幅と第２文字のサイズに対応する線幅との平均を、第１文字および第２文字の線幅に設定する。

同様にして、線幅決定部３０４は、同一の行内や同一の段落内に手書きされている複数の文字に対して、同一の線幅を設定することができる。これにより、同一の行や同一の段落のような文字のグループの中で、より文字の線幅のばらつきがないように制御することができる。また、線幅決定部３０４は、複数の手書きページがある場合に、同一のグループに含まれる複数のページ内に手書きされている複数の文字に対して、同一の線幅を設定することもできる。複数のページは、例えば、タグを付加しておくことによって、同一のグループに含まれることを示すことができる。

線幅決定部３０４は、さらに、認識された手書き文書内の複数の文字を、文字のサイズに基づいてクラスタリングしてもよい。線幅決定部３０４は、クラスタリングの結果に基づいて、複数のクラスタの各々に属する文字に対して、クラスタ毎に適切な線幅を設定することができる。

なお、文字認識部３０３は、処理対象のストロークを適切に文字認識できない場合がある。例えば、手書きの文字は、ユーザ毎にその形状や筆順が異なる可能性があるので、文字辞書データを用いた文字認識では、処理対象のストロークに対して、対応する文字が検出できないことや誤った文字が検出されることが想定され得る。その場合、線幅決定部３０４は、文字認識できなかったストロークに対して、近傍のストロークの文字に設定された線幅を設定する。また、文字認識部３０３は、手書き文書上の複数のストロークが、適切なストロークに分割されなかったと判断して、複数のストロークの文字認識をやり直してもよい。

さらに、手書き文書には図形が手書きされることもある。線幅決定部３０４は、例えば、その手書き図形の近傍の文字に設定された線幅を、当該手書き図形に対して設定する。その際、線幅決定部３０４は、設定された線幅で表示された手書き図形が、手書き文字等に重ならないように、線幅を制御する。なお、線幅決定部３０４は、手書き図形の線幅を変更しなくてもよい（手書き入力時の線幅を維持してもよい）。

なお、上述の説明では、複数の文字が水平方向に手書きされる横書きの文書での処理について述べたが、複数の文字が垂直方向に手書きされる縦書きの文書にも、上述の処理を適用することができる。その場合、線幅決定部３０４は、縦書きの行や段落のようなグループ内で、そのグループに含まれる文字の線幅を決定する。軌跡表示処理部３０１は、線幅決定部３０４によって決定された線幅で、縦書きの行や段落内の文字（ストローク）を表示する。

次いで、図９を参照して、デジタルノートブックアプリケーション２０２によって実行される手書き入力処理の手順の例について説明する。

まず、軌跡表示処理部３０１は、手書き入力操作によるペン１００等の動きの軌跡（ストローク）をディスプレイ１７Ａに表示する（ブロックＢ１１）。また、時系列情報生成部３０２は、手書き入力操作による軌跡に対応する座標列に基づいて上述の時系列情報（時系列順に並べられた複数のストロークデータ）を生成し、その時系列情報を作業メモリ４０１に一時保存する（ブロックＢ１２）。

次いで、文字認識部３０３は、ディスプレイ１７Ａに表示された軌跡（ストローク）の線幅を変更するか否かを判定する（ブロックＢ１３）。文字認識部３０３は、例えば、線幅の変更を指示するための操作が行われたとき（例えば、画面上の所定のボタンが押下時）、手書き入力操作がなく一定期間が経過したとき等に、線幅を変更すると判定する。線幅が変更されない場合（ブロックＢ１３のＮＯ）、ブロックＢ１１に戻り、手書き入力操作に対する処理を続行する。

線幅が変更される場合（ブロックＢ１３のＹＥＳ）、文字認識部３０３は、複数のストロークから複数の文字を認識する（ブロックＢ１４）。例えば、文字認識部３０３は、手書き文字それぞれを文字コードに変換する。この文字認識によって、複数のストロークが文字毎のブロックに分割される。

次いで、線幅決定部３０４は、認識された文字のサイズに応じて、その文字の線幅（線の太さ）を変更する（ブロックＢ１５）。文字サイズと線幅との対応は、例えば、記憶媒体４０２に格納された線幅データによって規定されている。軌跡表示処理部３０１は、その文字を構成するストロークを、決定された線幅でディスプレイ１７Ａに表示する。

なお、手書き文書は、文字認識部３０３による文字認識結果を用いて、整形された文書に変換することもできる。例えば、文字認識部３０３は、手書き文書に含まれる複数のストロークを文字認識し、認識された文字に対応する文字コードに変換する。変換された文字コードには、例えば、変換前の手書き文字と同一のサイズを有し、またそのサイズに適した線幅を有するフォントが関連付けられる。これにより、文字認識部３０３は、手書き文書データから、Word（登録商標）のような文書作成ソフトウェアで扱うことができる整形された文書データを生成することができる。

以上説明したように、本実施形態によれば、手書き入力された文字を適切な線幅で表示することができる。軌跡表示処理部３０１は、手書き入力された複数のストロークを第１の線幅で画面に表示する。時系列情報生成部３０２は、それら複数のストロークに対応する複数のストロークデータを生成する。文字認識部３０３は、生成された複数のストロークデータを用いて、複数のストロークの内の１以上のストロークに対応する文字を認識する。そして、線幅決定部３０４は、認識された文字のサイズに応じた線幅を決定し、軌跡表示処理部３０１は、決定された線幅で、その１以上のストロークを表示する。

これにより、デジタルノートとして機能する各種の機器で手書き入力を行う際に、ユーザがペンの太さ（軌跡の線幅）を変更する操作を行うことなく、自動で文字を適切な太さで表示することができる。よって、手書きのページの閲覧性（見やすさ）を向上させることができる。

なお、本実施形態の手書き入力処理の手順は全てソフトウェアによって実行することができる。このため、手書き入力処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１７Ａ…ＬＣＤ、２０２…デジタルノートブックアプリケーション、３０１…軌跡表示処理部、３０２…時系列情報生成部、３０３…文字認識部、３０４…線幅決定部、３０５…ページ保存処理部、３０６…ページ取得処理部、３０７…手書き文書表示処理部、４０１…作業メモリ、４０２…記憶媒体。

Claims (30)

1. 手書き入力された複数のストロークを第１の線幅で表示する表示処理手段と、
   前記複数のストロークに対応する複数のストロークデータを生成する生成手段とを具備し、
   前記表示処理手段は、前記複数のストロークの内の１以上のストロークによって構成される文字のサイズに応じた線幅で、前記１以上のストロークを表示する電子機器。
2. 前記複数のストロークの内の１以上のストロークによって構成される文字のサイズは、１以上のストロークに対応するストロークデータを用いて認識される文字のサイズを用いて定められる請求項１記載の電子機器。
3. 前記表示処理手段は、前記文字のサイズが第１しきい値以上である場合、前記１以上のストロークを前記第１の線幅よりも太い第２の線幅で表示する請求項１記載の電子機器。
4. 前記表示処理手段は、前記文字のサイズが第２しきい値未満である場合、前記１以上のストロークを前記第１の線幅よりも細い第３の線幅で表示する請求項３記載の電子機器。
5. 前記表示処理手段は、さらに、前記複数のストロークの内の１以上の第１ストロークに対応する第１文字と前記複数のストロークの内の１以上の第２ストロークに対応する第２文字との距離が第３しきい値以内である場合、前記１以上の第１ストロークと前記１以上の第２ストロークとを同じ線幅で表示する請求項１記載の電子機器。
6. 前記同じ線幅は、前記第１文字のサイズに関連付けられた線幅と前記第２文字のサイズに関連付けられた線幅との少なくとも一方を用いて定められる線幅である請求項５記載の電子機器。
7. 前記表示処理手段は、さらに、前記第１文字と前記第２文字との距離が前記第３しきい値以内であり、且つ前記第１文字のサイズと前記第２文字のサイズとの差が第４しきい値以内である場合に、前記１以上の第１ストロークと前記１以上の第２ストロークとを同じ線幅で表示する請求項５記載の電子機器。
8. 前記表示処理手段は、前記文字のサイズがしきい値以上である場合、前記１以上のストロークにエフェクトを施して表示するか、第１の色で表示するか、少なくとも一方を行う請求項１記載の電子機器。
9. 前記表示処理手段は、前記文字のサイズがしきい値未満である場合、前記１以上のストロークにエフェクトを施して表示するか、第１の色で表示するか、少なくとも一方を行う請求項１記載の電子機器。
10. タッチスクリーンディスプレイをさらに具備し、
    前記複数のストロークは、前記タッチスクリーンディスプレイを用いて入力される請求項１記載の電子機器。
11. 手書き入力された複数のストロークを第１の線幅で画面に表示することと、
    前記複数のストロークに対応する複数のストロークデータを生成することとを具備し、
    前記表示することは、前記複数のストロークの内の１以上のストロークによって構成される文字のサイズに応じた線幅で、前記１以上のストロークを表示する方法。
12. 前記複数のストロークの内の１以上のストロークによって構成される文字のサイズは、１以上のストロークに対応するストロークデータを用いて認識される文字のサイズを用いて定められる請求項１１記載の方法。
13. 前記表示することは、前記文字のサイズが第１しきい値以上である場合、前記１以上のストロークを前記第１の線幅よりも太い第２の線幅で表示する請求項１１記載の方法。
14. 前記表示することは、前記文字のサイズが第２しきい値未満である場合、前記１以上のストロークを前記第１の線幅よりも細い第３の線幅で表示する請求項１３記載の方法。
15. 前記表示することは、さらに、前記複数のストロークの内の１以上の第１ストロークに対応する第１文字と前記複数のストロークの内の１以上の第２ストロークに対応する第２文字との距離が第３しきい値以内である場合、前記１以上の第１ストロークと前記１以上の第２ストロークとを同じ線幅で表示する請求項１１記載の方法。
16. 前記同じ線幅は、前記第１文字のサイズに関連付けられた線幅と前記第２文字のサイズに関連付けられた線幅との少なくとも一方を用いて定められる線幅である請求項１５記載の方法。
17. 前記表示することは、さらに、前記第１文字と前記第２文字との距離が前記第３しきい値以内であり、且つ前記第１文字のサイズと前記第２文字のサイズとの差が第４しきい値以内である場合に、前記１以上の第１ストロークと前記１以上の第２ストロークとを同じ線幅で表示する請求項１５記載の方法。
18. 前記表示することは、前記文字のサイズがしきい値以上である場合、前記１以上のストロークにエフェクトを施して表示するか、第１の色で表示するか、少なくとも一方を行う請求項１１記載の方法。
19. 前記表示することは、前記文字のサイズがしきい値未満である場合、前記１以上のストロークにエフェクトを施して表示するか、第１の色で表示するか、少なくとも一方を行う請求項１１記載の方法。
20. 前記複数のストロークは、タッチスクリーンディスプレイを用いて入力される請求項１１記載の方法。
21. 画面と接続可能なコンピュータにより実行されるプログラムであって、前記プログラムは、
    手書き入力された複数のストロークを第１の線幅で前記画面に表示する手順と、
    前記複数のストロークに対応する複数のストロークデータを生成する手順とを前記コンピュータに実行させ、
    前記表示する手順は、前記複数のストロークの内の１以上のストロークによって構成される文字のサイズに応じた線幅で、前記１以上のストロークを表示する手順を含む、プログラム。
22. 前記複数のストロークの内の１以上のストロークによって構成される文字のサイズは、１以上のストロークに対応するストロークデータを用いて認識される文字のサイズを用いて定められる請求項２１記載のプログラム。
23. 前記表示する手順は、前記文字のサイズが第１しきい値以上である場合、前記１以上のストロークを前記第１の線幅よりも太い第２の線幅で表示する請求項２１記載のプログラム。
24. 前記表示する手順は、前記文字のサイズが第２しきい値未満である場合、前記１以上のストロークを前記第１の線幅よりも細い第３の線幅で表示する請求項２３記載のプログラム。
25. 前記表示する手順は、さらに、前記複数のストロークの内の１以上の第１ストロークに対応する第１文字と前記複数のストロークの内の１以上の第２ストロークに対応する第２文字との距離が第３しきい値以内である場合、前記１以上の第１ストロークと前記１以上の第２ストロークとを同じ線幅で表示する請求項２１記載のプログラム。
26. 前記同じ線幅は、前記第１文字のサイズに関連付けられた線幅と前記第２文字のサイズに関連付けられた線幅との少なくとも一方を用いて定められる線幅である請求項２５記載のプログラム。
27. 前記表示する手順は、さらに、前記第１文字と前記第２文字との距離が前記第３しきい値以内であり、且つ前記第１文字のサイズと前記第２文字のサイズとの差が第４しきい値以内である場合に、前記１以上の第１ストロークと前記１以上の第２ストロークとを同じ線幅で表示する請求項２５記載のプログラム。
28. 前記表示する手順は、前記文字のサイズがしきい値以上である場合、前記１以上のストロークにエフェクトを施して表示するか、第１の色で表示するか、少なくとも一方を行う請求項２１記載のプログラム。
29. 前記表示する手順は、前記文字のサイズがしきい値未満である場合、前記１以上のストロークにエフェクトを施して表示するか、第１の色で表示するか、少なくとも一方を行う請求項２１記載のプログラム。
30. 前記コンピュータは、タッチスクリーンディスプレイを具備し、
    前記複数のストロークは、前記タッチスクリーンディスプレイを用いて入力される請求項２１記載のプログラム。

Images