JP6464504B2 - 電子機器、処理方法およびプログラム - Google Patents

Description

本発明の実施形態は、電子機器、処理方法およびプログラムに関する。

近年、タブレットやスマートフォン等、バッテリ駆動可能で携行容易な様々な電子機器が広く普及している。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。

ところで、タッチスクリーンディスプレイを備える既存の電子機器の多くは、画像や音楽などのメディアデータに関する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などの文書情報を処理する必要があるビジネスシーンにおける利用については必ずしも適していない場合がある。例えば、文字入力に関しては、ハードウェアキーボードによる操作の方がタッチ操作に優る場合が多い。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。

その一方で、紙等のアナログな媒体に書かれた文書をデジタル情報に変換するための手法が、これまで種々提案されている。

特開平８−２６３５９２号公報

例えば、紙等のアナログな媒体に書かれた文書を撮像した画像から手書き文字のストロークに関するデータ（ストロークデータ）を取得する場合、本来あるべきストロークとの誤差が大きく、そのストロークデータに基づいて表示を行った際、見た目が手書きしたものと異なることがあるという問題があった。

本発明の一形態が解決しようとする課題は、アナログな媒体に書かれた文書を精度よくデジタル情報として入力することができる電子機器、処理方法およびプログラムを提供することである。

実施形態によれば、電子機器は、タッチスクリーンディスプレイと、コード／ストローク対応表が記憶される記憶手段と、手書きアプリケーションプログラムを実行するプロセッサと、を具備する。前記プロセッサは、前記タッチスクリーンディスプレイ上から文字を手書き入力された動きの軌跡を表示すると共に、前記動きの軌跡に対応する座標列に基づいて時系列情報を生成し、連続的に手書き入力されたストロークにそれぞれ対応するストロークデータ同士が同一にグループに分類されるように分割し、前記グループの文字認識処理を行い、前記文字認識処理の認識結果である文字コード列と前記時系列情報と関連付けて前記記憶手段に記憶して前記コード／ストローク対応表を生成する。前記プロセッサは、入力された文字画像と前記コード／ストローク対応表に記憶した過去の前記時系列情報とを関連付ける場合、前記文字画像の推定したストロークを前記文字認識処理して前記文字コードを取得し、前記文字コードを検索キーとして前記コード／ストローク対応表を検索し、前記文字コードに関連付けられた過去に入力された複数の文字ストローク群のすべてについて筆跡画像を生成し、前記筆跡画像と文字画像とを照合して、最も類似するストローク群を選出し、先に推定したストローク群に代えて選出したストローク群を文字画像に関連付ける。

実施形態に係る電子機器の外観を示す斜視図。 実施形態の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図。 実施形態の電子機器によって記憶媒体に保存される、図２の手書き文書に対応する時系列情報（手書きページデータ）を説明するための図。 実施形態の電子機器のシステム構成を示すブロック図。 実施形態の電子機器上で動作する手書きノートアプリケーションプログラムの機能構成を示すブロック図。 実施形態の電子機器によって実行される手書きページ作成処理の手順を示すフローチャート。 図６の手書きページ作成処理によって得られるコード／ストローク対応表の一例を示す図。 実施形態の電子機器によって実行される文書画像と時系列情報との関連づけ処理の原理を説明するための第１の図。 実施形態の電子機器によって実行される文書画像と時系列情報との関連づけ処理の原理を説明するための第２の図。 実施形態の電子機器によって実行される文書画像と時系列情報との関連づけ処理の手順を示すフローチャート。 文書画像の一例を示す図。 実施形態の電子機器によって実行される文書画像と時系列情報との関連づけ処理の一例を模式的に示す図。 実施形態の電子機器によって実行される文書画像と時系列情報との関連づけ処理で関連づけができない場合のユーザインターフェースの一例を示す図。

以下、実施の形態について図面を参照して説明する。

図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって文書を手書き入力可能な入力部を有するペン・ベースの携帯型電子機器である。この電子機器は、入力部に手書きされた文書をビットマップ画像データとしてではなく、文書を構成する文字、数字、マーク、図形等のストロークの軌跡のサンプリング点の座標の時系列を示す１以上のストロークデータとして記憶し、ストロークデータに基づいて手書き文書を検索することができる。このように、電子機器は、ストロークデータと記号（ビットマップ画像、筆跡）との対応関係を認識している。この電子機器は、この対応関係に基づいてストロークデータからビットマップ画像を生成することができるので、スキャナまたはカメラ等から入力した文書画像の一部（文字候補領域）とストロークデータとを対応付けることができる。これにより、電子機器は、過去に紙のノートに書いた文書をストロークデータとして取り込むことができる。

また、この電子機器は、ストロークデータの一部（１記号領域に対応する一部の情報）で表されるビットマップ画像に対して文字認識処理を行い、手書き文書を文字コードからなるテキストとしても記憶し、テキストに基づいて手書き文書を検索することもできる。このように、電子機器は、１以上のストロークデータと文字コードとの対応関係を認識している。この電子機器は、この対応関係に基づいて各文字コードに対応するストロークデータの一部からビットマップ画像を生成することができるので、スキャナまたはカメラ等から入力した文書画像の一部（文字候補領域）の文字コードを求めることができる。これにより、この電子機器は、過去に紙のノートに書いた文書をデジタルテキストとして取り込むこともできる。

この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、説明の便宜上、この電子機器がタブレットコンピュータ１０として実現されている場合を説明する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、本体１１と、文書の手書き入力を可能とするタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。ペンまたは指によってタッチスクリーンディスプレイ１７の画面をタッチすることにより、種々の操作を入力可能である。本体１１の背面には文書の画像を取り込むカメラが設けられている。このカメラにより画像を取り込むことにより、紙に印刷・手書きされている文書に限らず、立体物に印刷・手書きされている文書等の種々のアナログ媒体に書かれた文書の画像を取り込むことができる。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、ＬＣＤ（Liquid crystal display）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を説明する。

デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。タッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、専用のペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００または指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００または指）の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡がリアルタイムに描画され、これにより各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。手書きされたストロークの集合である文字、数字、マーク、図形等の集合が手書き文書を構成する。

手書き文書は、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に記憶される。この時系列情報の詳細は、図２、図３を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、かつ、複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある１つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序、つまり筆順に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。また、タブレットコンピュータ１０は、編集機能を有している。この編集機能は、「消しゴム」ツール、範囲指定ツールおよびその他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書き文字等を削除または移動することができる。また、この編集機能は、いくつかの手書き操作の履歴を取り消す機能を含んでいる。さらに、この編集機能は、表示中の手書き文書に、任意の手書き文字または手書き記号などを追加することができる。

本実施形態では、時系列情報（手書き文書）は、１つまたは複数のページとして管理され得る。この場合、時系列情報を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。または、ページのサイズを変更できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を１つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

このように、時系列情報はページデータとして管理することができるので、以下、この時系列情報を手書きページデータまたは単に手書きデータとも称する。

タブレットコンピュータ１０は、ネットワーク通信機能を有しており、他のパーソナルコンピュータやインターネット上のサーバシステム２等と連携することができる。即ち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、他のパーソナルコンピュータとの無線通信を実行することができる。また、タブレットコンピュータ１０は、インターネット上のサーバシステム２との通信を実行することもできる。サーバシステム２は様々な情報を共有するためのシステムであり、オンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行する。サーバシステム２は１以上のサーバコンピュータから実現し得る。

サーバシステム２はハードディスクドライブ（ＨＤＤ）のような大容量の記憶媒体を備えている。タブレットコンピュータ１０は、時系列情報（手書きページデータ）をネットワーク経由でサーバシステム２に送信し、サーバシステム２の記憶媒体に格納することができる（アップロード）。タブレットコンピュータ１０とサーバシステム２との間のセキュアな通信を確保するために、通信開始時には、サーバシステム２がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤなどを自動的にタブレットコンピュータ１０からサーバシステム２に送信してもよい。

これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の時系列情報（手書きページデータ）または大容量の時系列情報（手書きページデータ）を扱うことが可能となる。

さらに、タブレットコンピュータ１０は、サーバシステム２の記憶媒体に格納されている任意の１以上の時系列情報（手書きページデータ）を読み出し（ダウンロード）、その読み出した時系列情報により示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のタッチスクリーンディスプレイ１７の画面に表示することができる。この場合、複数の時系列情報（手書きページデータ）それぞれのページを縮小することによって得られるサムネイル（サムネイル画像）の一覧をタッチスクリーンディスプレイ１７の画面上に表示してもよいし、これらサムネイルから選ばれた１ページをタッチスクリーンディスプレイ１７の画面上に通常サイズで表示してもよい。

このように、本実施形態では、時系列情報が格納される記憶媒体は、タブレットコンピュータ１０内のストレージ、サーバシステム２内のストレージのいずれであってもよい。タブレットコンピュータ１０のユーザは、任意の時系列情報を、タブレットコンピュータ１０内のストレージおよびサーバシステム２内のストレージから選択される任意のストレージに格納することができる。

次に、図２および図３を参照して、ユーザによって手書きされたストローク（文字、数字、マーク、図形、表など）と時系列情報との関係について説明する。図２は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。

手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースも少なくない。図２においては、「ＡＢＣ」の手書き文字列が、「Ａ」、「Ｂ」、「Ｃ」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きされている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…、ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標を示すＳＤ２１、ＳＤ２１、…、ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされる２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図３は、図２の手書き文書に対応する時系列情報（手書きページデータ）２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、１つのストロークに対応する座標データ系列（時系列座標）、つまり１つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…、ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…、ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。外部オブジェクトが画面に接触されている期間中、一定の周期で座標データをサンプリングするので、座標データの数はストロークの長さに依存する。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。そして、ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

また、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。このため、１文字を構成する１つまたは複数のストロークデータからなるグループを文字認識する際の精度も向上し得る。

さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。グループを文字認識する精度は筆圧も考慮すると、さらに向上し得る。

図３で説明したような構造を有する時系列情報２００は、個々のストロークの軌跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、時系列情報２００を使用することにより、図２に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。

なお、ストロークデータＳＤ１のタイムスタンプ情報としては、ストロークデータＳＤ１の内の複数の座標それぞれに対応する複数のタイムスタンプ情報Ｔ１１からＴ１ｎから選択される任意の１つを、またはタイムスタンプ情報Ｔ１１からＴ１ｎの平均値などを使用してもよい。同様に、ストロークデータＳＤ２のタイムスタンプ情報としては、ストロークデータＳＤ２の内の複数の座標点それぞれに対応する複数のタイムスタンプ情報Ｔ２１からＴ２ｎから選択される任意の１つを、またはタイムスタンプ情報Ｔ２１からＴ２ｎの平均値などを使用してもよい。また、同様に、ストロークデータＳＤ７のタイムスタンプ情報としては、ストロークデータＳＤ７の内の複数の座標点それぞれに対応する複数のタイムスタンプ情報Ｔ７１からＴ７ｎから選択される任意の１つを、またはタイムスタンプ情報Ｔ７１からＴ７ｎの平均値などを使用してもよい。

本実施形態における時系列情報２００は、前述したように、ストロークデータＳＤ１、ＳＤ２、…、ＳＤ７の並びは手書き文字の筆順を示す。例えば、ストロークデータＳＤ１およびＳＤ２の並びは、最初に「∧」形状のストロークが手書きされ、次に「−」形状のストロークが手書きされたことを表す。したがって、たとえ２つの手書き文字の筆跡同士が互いに類似していても、それら２つの手書き文字の筆順が互いに異なる場合には、それら２つの手書き文字を異なる文字として区別することができる。

また、本実施形態では、前述したように、手書き文書は複数のストロークに対応する複数のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

図４は、タブレットコンピュータ１０のシステム構成を示す図である。

タブレットコンピュータ１０は、図４に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、組み込みコントローラ（ＥＣ：embedded controller）１０８、カメラ１０９等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種コンポーネントの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、手書きノートアプリケーションプログラム２０２が含まれている。手書きノートアプリケーションプログラム２０２は、前述の手書きページデータを作成および表示する機能、手書きページデータを編集する機能、筆跡（ストローク）検索機能、文字認識機能、文書入力機能等を有している。文書入力機能は、スキャナまたはカメラにより読み込まれた文書画像を時系列情報またはテキストとして入力する機能であり、詳細は後述する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。グラフィクスコントローラ１０４によって生成される表示信号は、ＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。ＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理を行うためのコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

カメラ１０９は、本体の背面に設けられ、紙等の他のアナログの媒体に手書きまたは印刷されている文書を撮影する。撮影された文書の画像データは、手書きノートアプリケーションプログラム２０２の文書入力機能により時系列情報またはテキスト情報としてタブレットコンピュータ１０に取り込まれる。ただし、タッチスクリーンディスプレイ１７に手書きされた場合と異なり、筆順は判別できないので、ストロークデータが手書きされた順番に並べられている時系列情報は得られず、文書の画像データが含む１以上のストロークデータが得られる。

次に、図５を参照して、手書きノートアプリケーションプログラム２０２の機能構成について説明する。

手書きノートアプリケーションプログラム２０２は、ペン軌跡表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存処理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、処理対象ブロック選択部３０７、処理部３０８等を備える。

手書きノートアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いて入力されるストロークデータを使用することによって、手書きページデータの作成、表示、編集、文字認識等を行う。手書きノートアプリケーションプログラム２０２は、カメラ１０９で撮影され、図示しないスキャナで読み込まれた、または他の装置で取り込まれサーバシステムから送信された文書の画像データをストロークデータ、さらにはテキストデータに変換する文書入力処理も行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントにも、移動先の接触位置の座標が含まれている。したがって、ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。

ペン軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信して、この座標列に基づいて、ペン１００等を使用した手書き入力操作によって手書きされる各ストロークの軌跡をタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。ペン軌跡表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がＬＣＤ１７Ａの画面上に描かれる。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される前述の座標列を受信して、この座標列に基づいて、図３で詳述したような構造を有する前述の時系列情報を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ４０１に一時保存してもよい。

ページ保存処理部３０４は、生成された時系列情報を手書きページデータとして記憶媒体４０２に保存する。記憶媒体４０２は手書きページデータを格納するための例えば不揮発性メモリ１０６内に設けられるローカルなデータベースである。なお、記憶媒体４０２はサーバシステム２内に設けてもよい。

ページ取得処理部３０５は、記憶媒体４０２から既に格納されている任意の時系列情報（手書きページデータ）を読み出す。読み出された時系列情報は手書き文書表示処理部３０６に送られる。手書き文書表示処理部３０６は、時系列情報を解析し、この解析結果に基づいて、時系列情報内の各ストロークデータによって示される各ストロークの軌跡である筆跡を画面上に手書きページとして表示する。

編集処理部３０３は現在表示中の手書きページを編集するための処理を実行する。すなわち、編集処理部３０３は、タッチスクリーンディスプレイ１７上でユーザによって行われる編集操作および手書き入力操作に応じて、現在表示中の手書きページに新たなストローク（新たな手書き文字、新たな手書きマーク等）を追加する処理、表示されている複数のストローク内の１以上のストロークを削除または移動いる処理等を含む編集処理を実行する。また、編集処理部３０３は、編集処理の結果を表示中の時系列情報に反映するためにこの時系列情報を更新する。

ユーザは、「消しゴム」ツール等を使用して、表示されている複数のストローク内の任意のストロークを削除することができる。また、ユーザは、画面上の任意の部分を丸または四角によって囲むための「範囲指定」ツールを使用して、表示中の時系列情報（手書きページ）内の任意の部分を範囲していることができる。この範囲指定操作によって指定される画面上の指定範囲に応じて、処理対象の時系列情報部分、つまり処理対象のストロークデータ群が処理対象ブロック選択部３０７によって選択される。すなわち、処理対象ブロック選択部３０７は、表示中の時系列情報を使用して、指定範囲内に属するストロークそれぞれに対応する第１のストロークデータ群の中から処理対象の時系列情報部分を選択する。

例えば、処理対象ブロック選択部３０７は、表示中の時系列情報から指定範囲内に属するストロークそれぞれに対応する第１のストロークデータ群を抽出し、この第１のストロークデータ群内の他のストロークデータと不連続である第２のストロークデータを除く第１のストロークデータ群内の個々のストロークデータを処理対象の時系列情報部分に決定する。

編集処理部３０３は、ユーザによって編集メニューから「削除」または「移動」等のメニューが選択された場合、処理対象ブロック選択部３０７によって選択されているストロークデータ群に対する削除、移動等の処理を実行する。この際、複数のストロークデータが処理対象のストロークデータ群として選択されている場合には、編集処理部３０３は、これら複数のストロークデータをまとめて画面上から削除または画面上に別の位置に移動することができる。時系列情報においては、移動された各ストロークデータの時系列座標は、移動先位置に応じて自動的に変更してもよい。また、移動された各ストロークデータの時系列座標を変更したことを表す操作履歴を時系列情報に追加してもよい。削除された各ストロークデータも、時系列座標から必ずしも削除しなくてもよく、これら各ストロークデータを削除したことを表す操作履歴を時系列情報に追加してもよい。

処理部３０８は、処理対象の時系列情報に対して様々な処理、例えば、筆跡検索処理、文字認識処理等を実行することができる。処理部３０８は、検索処理部３０９、認識処理部３１０、文書画像入力処理部３１１を含む。

また、処理部３０８は、カメラ１０９等から入力された文書の画像データに対して、過去に入力した時系列情報を関連づけることができる。処理部３０８は、さらに、過去に入力した時系列情報の文字認識結果を利用して、入力画像データにテキストを関連づけることができる。本実施形態のタブレットコンピュータ１０は、入力画像データと過去に入力した時系列情報との関連づけを精度よく行うための仕組みを備えるものであり、この点については後述する。なお、これらの処理は、認識処理部３１０と文書画像入力処理部３１１との協働により行なわれる。

検索処理部３０９は、記憶媒体４０２内に既に格納されている複数の時系列情報（複数の手書きページ）を検索してこれら複数の時系列情報内の特定の時系列情報部分（特定の手書き文字列等）を見つけ出す。検索処理部３０９は、特定の時系列情報部分を検索キーつまり検索クエリとして指定するように構成された指定モジュールを含んでいる。検索処理部３０９は、複数の時系列情報の各々から、特定の時系列情報部分に対応するストロークの軌跡との類似度が基準値以上であるストロークの軌跡を有する時系列情報部分を見つけ出し、見つけ出された時系列情報部分を含む手書きページデータを記憶媒体４０２から読み出し、見つけ出された時系列情報部分に対応する軌跡が視認可能なように手書きページデータをＬＣＤ１７Ａの画面上に表示する。

検索クエリとして指定される特定の時系列情報部分は、特定の手書き文字、特定の手書き文字列、特定の手書きマーク、特定の手書き図形等が使用し得る。例えば、タッチスクリーンディスプレイ１７上に手書きされる手書きオブジェクト（手書き文字、手書きマーク、手書き図形など）を構成する１以上のストロークそのものを検索キーとして使用することができる。

検索処理部３０９によって実行される検索処理は筆跡検索であり、既に記録されている複数の手書きページの中から、検索クエリである特定の手書き文字列と類似する筆跡を有する手書き文字列を検索する。なお、現在表示中のある１つの手書きページのみを対象に筆跡検索を行ってもよい。

検索処理部３０９は、検索キーである１以上のストロークの特徴と類似する特徴を有するストロークを含む手書きページを記憶媒体４０２から検索する。各ストロークの特徴としては、筆画方向、形状、傾斜、等を使用し得る。この場合、検索キーである手書き文字のストロークとの類似度が基準値以上である手書き文字を含む手書きページデータ（ヒット手書きページ）が記憶媒体４０２から検索される。手書き文字間の類似度の計算方法としては、様々な方法を使用することができる。例えば各ストロークの座標列をベクトルとして扱ってもよい。この場合、比較対象のベクトル同士の類似度を計算するために、それら比較対象のベクトル間の内積を比較対象のベクトル間の類似度として算出してもよい。また他の例としては、各ストロークの軌跡を画像として扱い、比較対象の軌跡間の画像の重なりが最も多くなる部分の面積の大きさを前述の類似度として計算してもよい。さらに計算処理量を減らすための任意の工夫をしてもよい。また、手書き文字間の類似度の計算方法として、ＤＰ（Dynamic programming）マッチングを使用してもよい。

このように、文字列を示すコード群ではなく、ストロークデータが検索キーとして使用されるので、言語に依存しない検索を行うことができる。

なお、検索処理は、記憶媒体４０２内の手書きページデータ群に対してのみならず、サーバシステム２の記憶媒体に格納されている手書きページデータ群に対しても行うことができる。この場合、検索処理部３０９は、検索キーとして使用すべき１以上のストロークに対応する１以上のストロークデータを含む検索要求をサーバシステム２に送信する。サーバシステム２は、１以上のストロークデータの特徴と類似する特徴を有する手書きページデータ（ヒット手書きページ）を記憶媒体から検索し、このヒット手書きページをタブレットコンピュータ１０に送信する。

検索処理部３０９内の前述の指定モジュールは、検索対象とすべき文字列または図形などを手書きするための検索キー入力領域を画面上に表示してもよい。ユーザによって検索キー入力領域に手書きされた文字列等が検索クエリとして使用される。

または、指定モジュールとして、前述の処理対象ブロック選択部３０７を使用してもよい。この場合、処理対象ブロック選択部３０７は、ユーザによって行われる範囲指定操作に応じて、表示中の時系列情報内の特定の時系列情報部分を、検索対象とすべき文字列または図形などとして選択することができる。ユーザは、表示中のページ内の一部の文字列を囲むように範囲指定してもよいし、表示中のページの余白などに検索クエリ用の文字列を新たに手書きし、この検索クエリ用の文字列を囲むように範囲指定してもよい。

例えば、ユーザは、表示中のページ内の一部を手書きの丸で囲むことによって範囲指定することができる。または、ユーザは、予め用意されているメニューを用いて手書きノートブックアプリケーションプログラム２０２を「選択」モードに設定し、この後、表示中のページ内の一部をペン１００でなぞってもよい。

このように、表示中の時系列情報（手書きページ）内の時系列情報部分（手書き文字列）が検索クエリとして選択された場合においては、検索処理部３０９は、検索クエリとして選択された時系列情報部分を検索対象から除外する。すなわち、検索処理部３０９は、表示中の時系列情報全体ではなく、選択された時系列情報部分を除く表示中の時系列情報内の他の時系列情報部分から、選択された時系列情報部分に対応するストロークの軌跡との類似度が基準値以上であるストロークの軌跡を有する時系列情報部分を見つけ出す。

このように、検索クエリとして選択された時系列情報部分を検索対象から除外するという処理を行うことにより、選択された時系列情報部分（検索されて当然の文字列）それ自体が検索結果として表示されてしまうことを防止することができる。

よって、ユーザは、表示中のページに検索クエリとして使用すべき文字列を新たに手書きし、この文字列を選択するという操作を行うことによって、検索クエリの入力を行うことが可能となる。この場合、新たに手書きされた文字列（検索クエリ）自体は検索対象から除外されるので、新たに手書きされた文字列自体が検索結果として表示されることはない。よって、検索キー入力領域を画面上に表示することなく、表示中の手書きページの一部を容易に検索クエリとして使用することができる。

このように、本実施形態では、既に記録されている複数の手書きページから、検索クエリとして選択された、ある手書き文字の特徴に類似する手書き文字を検索することができる。よって、過去に作成および保存した多数の手書きページから、ユーザの意図に合った手書きページを簡単に検索することができる。

本実施形態の筆跡検索においては、テキスト検索の場合とは異なり、文字認識を行う必要が無い。したがって、言語に依存しないため、あらゆる言語で手書きされた手書きページを検索対象とすることができる。また、言語以外のマーク、図形等を筆跡検索のための検索クエリとして使用することもできる。

認識処理部３１０は、時系列情報（手書きページ）に対する文字認識を実行する。認識処理部３１０は、認識処理対象の時系列情報によって示される１つまたは複数のストロークデータをグループ化処理することによって得られる複数のブロック（手書きブロック）の各々を文字認識して、これら複数のブロック内の手書き文字それぞれを文字コードに変換する。時系列情報には筆跡（ビットマップ画像）以外にも筆順、タイムスタンプ情報、場合によっては筆圧情報も含まれているので、認識の精度が高い。グループ化処理では、互いに近傍に位置し、かつ連続的に手書きされたストロークにそれぞれ対応するストロークデータ同士が同一ブロックに分類されるように、認識処理対象の時系列情報によって示される１以上複数のストロークデータがグループ化される。

このように、時系列情報から各文字に対応するグループ毎の文字コードが得られる。グループの配置に基づいて文字コードを配列すると、１ページの手書きページデータのテキストデータが得られ、両者は関連づけられて、記憶媒体４０２に保存される。認識処理部３１０で文字コードが得られると、各文字コードに対して時系列情報のグループを関連づけたコード／ストローク対応表が得られ、この対応表も記憶媒体４０２に保存される。この対応表は、入力された文書にストロークデータを関連づけた後にストロークデータの集合をテキストデータに変換するために利用される。

文書画像入力処理部３１１は、認識処理部３１０と協働して、カメラ１０９で撮影されて図示しないスキャナで読み込まれた、または他の装置で取り込まれてサーバシステム２から送信された文書の画像データをストロークデータの集合に変換する処理を行う。より具体的には、後述する、過去に入力した時系列情報と関連づける処理を行う。

本実施形態では、筆順も考慮した本人の手書き筆跡を示す時系列情報から文字コードを得ているので、文字認識の精度が高い。従来のＯＣＲ（Optical character recognition）では、画像情報のマッチングにより文字コードを得ているが、ＯＣＲの基準画像はユーザ固有の画像データではなく、標準的な画像であるので、本実施形態に比べて文字認識の精度は劣る。

ここで、まず、図６のフローチャートを参照して、手書きノートブックアプリケーションプログラム２０２によって実行される手書きページ作成処理の手順を説明する。

ユーザがペン１００を使用して手書き入力操作を行うと（ブロックＡ１）、「タッチ」や「移動」のイベントが発生される。これらのイベントに基づいて、手書きノートブックアプリケーションプログラム２０２は、ペン１００の動きの軌跡を検出する（ブロックＡ２）。ペン１００の動きの軌跡が検出されたならば（ブロックＡ２のＹＥＳ）、手書きノートブックアプリケーションプログラム２０２は、検出されたペン１００の動きの軌跡をディスプレイに表示する（ブロックＡ３）。さらに、手書きノートブックアプリケーションプログラム２０２は、検出されたペン１００の動きの軌跡に対応する座標列に基づいて図３に示すような前述の時系列情報を生成し、その時系列情報を手書きページ情報として作業メモリ４０１に一時保存する（ブロックＡ４）。

次に、作業メモリ４０１内の手書きページ情報が認識処理部３１０に渡され、手書き文字認識処理が行われる。まず、ブロックＡ５で、時系列情報のストロークデータを、互いに近傍に位置し、かつ連続的に手書きされたストロークにそれぞれ対応するストロークデータ同士が同一グループに分類されるように分割する。グループは１つの記号に相当し、１つまたは複数のストロークデータからなる。図３の例では、ストロークデータＳＤ１、ＳＤ２を１つのグループ、ストロークデータＳＤ３、ＳＤ４を１つのグループ、ストロークデータＳＤ５を１つのグループとする。ブロックＡ６で１つのグループの文字認識処理を行ない、候補文字を決定する。ブロックＡ７で言語処理を行い、言語的に確からしい文字列の判定を行なう。例えば、“ナキスト”が候補とされた場合、“ナ”を“テ”と変更して、“テキスト”を認識結果とする。これにより、手書き入力された文書の時系列情報と文字コード列（テキスト）が求められる。また、必要であれば、ブロックＡ５に戻り、ストロークデータのグループ分けを変更して認識処理を繰り返す。

ブロックＡ８で、文字認識結果である文字コード列であるテキストと、時系列情報（図３）とが関連づけられてページ毎に記憶媒体４０２に保存される。図３の時系列情報に対応するテキストは、（２３４１，２３４２，２３４３，２２２ｄ，…）（１６進数）である。これにより、タブレットコンピュータ１０は、手書き入力された文書をテキストとしても取り込むことができる。

この処理により、グループ毎に文字コードとの対応関係が求められ、１つの記号と１以上のストロークデータとの対応関係を表すグループを複数記憶するコード／ストローク対応表が作成され、ブロックＡ９で記憶媒体４０２に保存される。コード／ストローク対応表の一例を図７に示す。コード／ストローク対応表は、文字コード毎にグループを有してもよい。コード／ストローク対応表、グループに含まれるストロークデータは、ストロークを表示可能な情報であればよく、例えば、時系列情報から筆順、タイムスタンプ情報、筆圧を除いたものであってもよい。なお、場合によって、同一人でも同じ文字を異なる筆跡で書くこともあるので、１つの文字コードに対して異なるグループが関連づけられることもある。さらに、同一人でも同じ筆跡でも、異なる筆順で書くこともあるので、同じストロークデータの集合からなるが、順番が異なるグループが関連づけられることもある。記憶媒体４０２のコード／ストローク対応表は新しい手書きページが作成される毎にデータが追加され、更新される。

次に、手書きノートブックアプリケーションプログラム２０２によって実行される、カメラ１０９等から入力された文書の画像データ（文字画像）と過去に入力した時系列情報との関連づけの原理について説明する。

いま、図８に示すように、「人」という文字と、「とまと」という文字列とが手書きされている文書の画像データが入力されたものと想定する。図８中、白抜きの文字が、画像データに含まれる手書き文字を表している。

文書画像入力処理部３１１は、この画像データを解析して、手書き文字のストロークを推定する。ここでは、この工程を、文字画像のストローク化と称する。図８中、白抜きの文字内の線分が、推定されたストロークを表している。なお、ここでは、ストロークの端部を判り易くするために、便宜的に、線分の両端（始端、終端）に黒丸を付している。

図８に示すように、文字画像のストローク化は、本来あるべきストロークと一致した結果が必ずしも得られるものではない。例えば、「人」という文字は、本来２画のストロークから構成されるのが正しいが、ここでは、３画でストローク化されている。また、「とまと」という文字列の１文字目の「と」という文字も、本来２画のストロークから構成されるのが正しいが、ここでは、３画でストローク化されている。なお、同じ文字であっても、必ずしも同じ画数でストローク化されるとは限らない。例えば、図８の例では、「とまと」という文字列の３文字目の「と」という文字は、１文字目の同じ「と」という文字とは異なり、２画でストローク化されている。また、画像のストローク化によって推定されるストロークは、文字画像の撮影ノイズなどの影響で、本来あるべきストロークよりも線分が乱れたりすることがある。このような場合、そのストロークに基づいて文字を表示すると、見た目が元の手書き文字と異なってしまう等の問題が生じ得る。

一方、ストロークに対する文字認識は、非常に高い精度で、正しい文字コードが得られる傾向にある。この点に着目し、手書きノートブックアプリケーションプログラム２０２は、推定したストロークを文字画像と関連づけるのではなく、図９に示すように、推定したストロークを文字認識して文字コードを得て、その文字コードに関連づけられている過去に入力された複数のストロークを候補とし、その中から最も類似するストロークを選択して、当該選択したストロークを文字画像と関連づける。

例えば、図９に示すように、「人」という文字画像からストロークを推定した場合を考える。前述したように、記憶媒体４０２には、各文字コードに対して時系列情報のグループを関連づけたコード／ストローク対応表が保存されている。

文字画像のストローク化は、文書画像入力処理部３１１により実行される。文書画像入力処理部３１１は、推定したストローク群を認識処理部３１０に引き渡す。認識処理部３１０は、受け取ったストローク群に対する文字認識を実行し、文字コードを取得する。例えば「人」という文字について３画のストロークが推定されて文書画像入力処理部３１１から認識処理部３１０に渡された場合でも、「人」という文字が認識されて、「人」という文字に対応する文字コードが取得されることが期待できる。認識処理部３１０は、取得した文字コードを文書画像入力処理部３１１に引き渡す。

文書画像入力処理部３１１は、受け取った文字コードを検索キーとして、コード／ストローク対応表内を検索し、その文字コードに関連づけられるストローク群を取得する。例えば、「人」という文字が過去に６回手書き入力されており、６つのストローク群がその文字コードに関連づけられている場合、文書画像入力処理部３１１は、それら６つのストローク群すべてについて、筆跡画像を生成し、それぞれ文字画像との照合を行う。文書画像入力処理部３１１は、類似度が最も高いストローク群を選出し、先に推定したストローク群に代えて、そのストローク群を文字画像に関連づける。

こうすることで、文字画像から推定されたストロークよりも、表示した際の見た目が元の手書き文字と近く、また、画数も正しいストロークとすることができる。

なお、図９には、１文字の場合を例示したが、例えば文字コードを検索キーとしたストローク群の検索などは、単語など複数文字単位で行ってもよい。例えばコード／ストローク対応表を単一文字／複数文字の双方の文字コードに対応させることで実現できる。この場合、単語は完全一致するもののみを検索するのではなく、部分一致も含むように曖昧性を持たせて検索してもよい（例えば、５文字の検索であれば、３文字以上一致していればよいなど）。こうすることで、万が一、文字認識エラーが含まれている場合でも、そのエラーを回復する効果が期待できる。例えば、極端な例ではあるが、仮に図８に示した「とまと」という文字列の２文字目の「ま」という文字が「め」という文字に誤認識された場合でも、「とめと」に対応する文字コードを検索キーとした検索ではヒットせず、「とまと」が曖昧検索されることで、この誤認識は解消されることになる。

図１０に、手書きノートブックアプリケーションプログラム２０２によって実行される文書画像と時系列情報との関連づけ処理の手順を示す。

ブロックＢ１で、スキャナまたはカメラ１０９等からアナログ媒体上の文書を画像として入力する。文書としては、過去にノートに書いた文書や黒板に書いた文書等がある。入力画像はタッチスクリーンディスプレイ１７で表示される。図１１は入力画像の表示例である。

ブロックＢ２で、画像内の文字の行構造を解析して、画像の部分である１文字（または部首）の候補領域を抽出する。

ブロックＢ３で、抽出した候補領域の画像からストロークを推定する文字画像のストローク化が文書画像入力処理部３１１により実行される。また、ブロックＢ４で、推定されたストロークに対する文字認識が認識処理部３１０により実行され、文字コードが取得される。

ブロックＢ５で、文字コードが取得されたか否かが判断され、文字コードが取得された場合、ブロックＢ６で、文書画像入力処理部３１１が、図７のコード／ストローク対応表の各グループのストロークデータに基づいてストローク画像（筆跡画像）を生成し、ブロックＢ２で抽出された候補領域の部分画像とストローク画像とを照合し、候補領域の画像に類似するストローク画像を検出する。続いて、ブロックＢ７で、文書画像入力処理部３１１は、そのストローク画像のグループを候補領域に関連づける。図１２はこの関連づけを模式的に示す。図１２（ａ）は図１１に示された入力画像である。図１２（ｂ）は記憶媒体４０２内に保存された１頁の時系列情報により表されるストローク画像である。図１２（ａ）、（ｂ）間の破線が関連づけを示す。図１２（ｂ）には１頁しか示していないが、類似するストローク画像は単一の頁の時系列情報から得られるとは限らず、類似する画像は、候補領域毎に異なる頁の時系列情報のストロークデータ画像であることが多い。グループが関連づけられた候補領域の表示態様は他の領域と識別可能に変えられる（ブロックＢ８）。例えば、図１３に示すように、グループが関連づけられた候補領域の画像は輝度が下げられる。

一方、文字コードが取得されなかった場合、ブロックＢ９で、その候補領域のストロークデータの手書き入力をユーザに促す。ブロックＢ８で説明したように、認識結果が得られた候補領域の画像は輝度が下げられるので、輝度が変わっていない候補領域が手書き入力操作の対象であることを促していることになるが、さらに強調するために表示を点滅させる、枠で囲む、音声メッセージを発する等してもよい。

ユーザがペン１００を使用してタッチスクリーンディスプレイ１７上の候補領域の画像をなぞると、ブロックＢ１０で図６に示す手書き入力処理が行なわれる。手書き入力は文字、数字、マーク等の文字コードが無い画像、例えば図１３の地図画像に対して行なってもよい。ブロックＢ１１で、全ての候補領域の処理が完了したか否か判定され、完了していない場合は、ブロックＢ３に戻る。

これにより、文書の画像に対するストロークデータ（タイムスタンプ情報を除く）が得られ、ブロックＢ１２で、入力画像と対応するストロークデータとが関連づけられて記憶媒体４０２に保存される。なお、ストロークデータが求められているので、それから画像が復元できるので、入力画像は必ずしも保存しなくてもよい。

以上の処理により、過去に紙のノート等に書いた文書を、ユーザがペン１００を使用してタッチスクリーンディスプレイ１７上に手書きした文書と同様に、ストロークデータ（ただし、タイムスタンプ情報は除く）としてタブレットコンピュータ１０に取り込むことが出来る。

さらに、認識処理部３１０による文字認識の結果を用いて、入力画像をテキストとしてタブレットコンピュータ１０に取り込むことも出来る（ブロックＢ１３）。

以上説明したように、実施形態によれば、タッチスクリーンディスプレイ１７に手書き入力した文書を、手書きの軌跡を示すストロークデータとして記憶媒体４０２に保存することができる。さらに、カメラ、スキャナ等により画像として入力した文書から文字の候補領域を抽出し、既に手書き入力されたストロークデータと関連づけることができる。これにより、例えば紙のノート等に手書きした文書を、タッチスクリーンディスプレイ１７に手書き入力した文書と同様にストロークデータとして記憶媒体４０２に保存することができる。

さらに、タッチスクリーンディスプレイ１７に手書き入力した文書のストロークデータを文字認識処理して文字コードを求めておけば、画像として入力した文書をテキストに変換することもできる。ストロークデータはユーザ毎の情報であるので、基準画像との画像マッチングに基づく従来のＯＣＲに比べて文字認識の精度が高い。さらに、ストロークデータに筆順、タイムスタンプ情報、筆圧等の情報を付加すれば、認識の精度をさらに向上することもできる。

実施形態は、全ての処理をタブレットコンピュータ１０で行なったが、タッチスクリーンディスプレイ１７への手書き以外の処理はサーバシステム２側で行なってもよい。例えば、手書きノートアプリケーションの処理部３０８の機能をサーバシステム２側に移してもよい。また、記憶媒体４０２に保存する代わりに、サーバシステム２のデータベースに保存してもよい。その場合、コード／ストローク対応表はユーザ毎に管理してもよいし、全てのユーザに共通に、各文字コードに全てのユーザのストロークデータを対応付けてもよい。あるいは、同じようなカテゴリ（男性／女性、子供／大人、アルファベットについては国籍）毎にコード／ストローク対応表を管理してもよい。

本実施形態に記載された様々な機能の各々は、処理回路によって実現されてもよい。処理回路の例には、中央処理装置（ＣＰＵ）のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたプログラムを実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例は、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、コントローラ、他の電気回路部品も含む。

本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…タブレットコンピュータ、１１…本体、１７…タッチスクリーンディスプレイ、１７Ａ…ＬＣＤ、１７Ｂ…タッチパネル、１７Ｃ…デジタイザ、１０１…ＣＰＵ、１０２…システムコントローラ、１０３…主メモリ、１０４…グラフィクスコントローラ、１０５…ＢＩＯＳ−ＲＯＭ、１０６…不揮発性メモリ、１０７…無線通信デバイス、１０８…組み込みコントローラ（ＥＣ）、１０９…カメラ、２０１…オペレーティングシステム、２０２…手書きノートアプリケーションプログラム、３０１…ペン軌跡表示処理部、３０２…時系列情報生成部、３０３…編集処理部、３０４…ページ保存処理部、３０５…ページ取得処理部、３０６…手書き文書表示処理部、３０７…処理対象ブロック選択部、３０８…処理部、３０９…検索処理部、３１０…認識処理部、３１１…文書画像入力処理部、４０１…作業メモリ、４０２…記憶媒体。

Claims (8)

1. タッチスクリーンディスプレイと、
   コード／ストローク対応表が記憶される記憶手段と、
   手書きアプリケーションプログラムを実行するプロセッサと、
   を具備し、
   前記プロセッサは、
   前記タッチスクリーンディスプレイ上から文字を手書き入力された動きの軌跡を表示すると共に、前記動きの軌跡に対応する座標列に基づいて時系列情報を生成し、
   連続的に手書き入力されたストロークにそれぞれ対応するストロークデータ同士が同一にグループに分類されるように分割し、
   前記グループの文字認識処理を行い、候補文字の文字列を決定し、
   前記文字認識処理の認識結果である文字コード列と前記時系列情報と関連付けて前記記憶手段に記憶して前記コード／ストローク対応表を生成し、
   入力された文字画像と前記コード／ストローク対応表に記憶した過去の前記時系列情報とを関連付ける場合、前記文字画像の推定したストロークを前記文字認識処理して前記文字コードを取得し、
   前記文字コードを検索キーとして前記コード／ストローク対応表を検索し、
   前記文字コードに関連付けられた過去に入力された複数の文字ストローク群のすべてについて筆跡画像を生成し、
   前記筆跡画像と文字画像とを照合して、最も類似するストローク群を選出し、先に推定したストローク群に代えて選出したストローク群を文字画像に関連付ける
   電子機器。
2. タッチスクリーンディスプレイと、
   コード／ストローク対応表が記憶される記憶手段と、
   手書きアプリケーションプログラムを実行するプロセッサと、
   を具備し、
   前記プロセッサは、
   前記タッチスクリーンディスプレイ上から文字を手書き入力された動きの軌跡を表示すると共に、前記動きの軌跡に対応する座標列に基づいて時系列情報を生成し、
   連続的に手書き入力されたストロークにそれぞれ対応するストロークデータ同士が同一にグループに分類されるように分割し、
   前記グループの文字認識処理を行い、候補文字の文字列を決定し、
   前記文字認識処理の認識結果である文字コード列と前記時系列情報と関連付けて前記記憶手段に記憶して前記コード／ストローク対応表を生成し、
   入力された文書画像と前記コード／ストローク対応表に記憶した過去の前記時系列情報とを関連付ける場合、前記文書画像内の文字の行構造を解析して、１つの文字の領域を抽出し、
   前記抽出した領域の画像からストロークを推定し、その推定したストロークを前記文字認識処理して前記文字コードを取得し、
   前記文字コードを検索キーとして前記コード／ストローク対応表を検索し、
   前記文字コードに関連付けられた過去に入力された複数の文字ストローク群のすべてについて筆跡画像を生成し、
   前記筆跡画像と前記領域の部分画像とを照合して、前記領域の画像に類似するストローク画像を検出し、その検出したストローク画像のグループを前記領域に関連付ける
   電子機器。
3. 前記プロセッサは、前記グループが関連付けられた前記領域の画像は輝度を下げて表示し、前記文字コードが取得できなかった場合、前記領域のストロークデータの手書き入力を促す請求項２に記載の電子機器。
4. タッチスクリーンディスプレイ上から文字を手書き入力された動きの軌跡を表示すると共に、前記動きの軌跡に対応する座標列に基づいて時系列情報を生成することと、
   連続的に手書き入力されたストロークにそれぞれ対応するストロークデータ同士が同一にグループに分類されるように分割することと、
   前記グループの文字認識処理を行い、候補文字の文字列を決定することと、
   前記文字認識処理の認識結果である文字コード列と前記時系列情報と関連付けて記憶手段に記憶してコード／ストローク対応表を生成することと、
   入力された文字画像と前記コード／ストローク対応表に記憶した過去の前記時系列情報とを関連付ける場合、前記文字画像の推定したストロークを前記文字認識処理して前記文字コードを取得することと、
   前記文字コードを検索キーとして前記コード／ストローク対応表を検索することと、
   前記文字コードに関連付けられた過去に入力された複数の文字ストローク群のすべてについて筆跡画像を生成することと、
   前記筆跡画像と文字画像とを照合して、最も類似するストローク群を選出し、先に推定したストローク群に代えて選出したストローク群を文字画像に関連付けることと、
   を具備する処理方法。
5. タッチスクリーンディスプレイ上から文字を手書き入力された動きの軌跡を表示すると共に、前記動きの軌跡に対応する座標列に基づいて時系列情報を生成することと、
   連続的に手書き入力されたストロークにそれぞれ対応するストロークデータ同士が同一にグループに分類されるように分割することと、
   前記グループの文字認識処理を行い、候補文字の文字列を決定することと、
   前記文字認識処理の認識結果である文字コード列と前記時系列情報と関連付けて記憶手段に記憶してコード／ストローク対応表を生成することと、
   入力された文書画像と前記コード／ストローク対応表に記憶した過去の前記時系列情報とを関連付ける場合、前記文書画像内の文字の行構造を解析して、１つの文字の領域を抽出することと、
   前記抽出した領域の画像からストロークを推定し、その推定したストロークを前記文字認識処理して前記文字コードを取得することと、
   前記文字コードを検索キーとして前記コード／ストローク対応表を検索することと、
   前記文字コードに関連付けられた過去に入力された複数の文字ストローク群のすべてについて筆跡画像を生成することと、
   前記筆跡画像と前記領域の部分画像とを照合して、前記領域の画像に類似するストローク画像を検出し、その検出したストローク画像のグループを前記領域に関連付けることと、
   を具備する処理方法。
6. コンピュータによって実行されるプログラムであって、
   前記コンピュータに、
   タッチスクリーンディスプレイ上から文字を手書き入力された動きの軌跡を表示すると共に、前記動きの軌跡に対応する座標列に基づいて時系列情報を生成する手順と、
   連続的に手書き入力されたストロークにそれぞれ対応するストロークデータ同士が同一にグループに分類されるように分割する手順と、
   前記グループの文字認識処理を行い、候補文字の文字列を決定する手順と、
   前記文字認識処理の認識結果である文字コード列と前記時系列情報と関連付けて記憶手段に記憶してコード／ストローク対応表を生成する手順と、
   入力された文字画像と前記コード／ストローク対応表に記憶した過去の前記時系列情報とを関連付ける場合、前記文字画像の推定したストロークを前記文字認識処理して前記文字コードを取得する手順と、
   前記文字コードを検索キーとして前記コード／ストローク対応表を検索する手順と、
   前記文字コードに関連付けられた過去に入力された複数の文字ストローク群のすべてについて筆跡画像を生成する手順と、
   前記筆跡画像と文字画像とを照合して、最も類似するストローク群を選出し、先に推定したストローク群に代えて選出したストローク群を文字画像に関連付ける手順と、
   を実行させるプログラム。
7. コンピュータによって実行されるプログラムであって、
   前記コンピュータに、
   タッチスクリーンディスプレイ上から文字を手書き入力された動きの軌跡を表示すると共に、前記動きの軌跡に対応する座標列に基づいて時系列情報を生成する手順と、
   連続的に手書き入力されたストロークにそれぞれ対応するストロークデータ同士が同一にグループに分類されるように分割する手順と、
   前記グループの文字認識処理を行い、候補文字の文字列を決定する手順と、
   前記文字認識処理の認識結果である文字コード列と前記時系列情報と関連付けて記憶手段に記憶してコード／ストローク対応表を生成する手順と、
   入力された文書画像と前記コード／ストローク対応表に記憶した過去の前記時系列情報とを関連付ける場合、前記文書画像内の文字の行構造を解析して、１つの文字の領域を抽出する手順と、
   前記抽出した領域の画像からストロークを推定し、その推定したストロークを前記文字認識処理して前記文字コードを取得する手順と、
   前記文字コードを検索キーとして前記コード／ストローク対応表を検索する手順と、
   前記文字コードに関連付けられた過去に入力された複数の文字ストローク群のすべてについて筆跡画像を生成する手順と、
   前記筆跡画像と前記領域の部分画像とを照合して、前記領域の画像に類似するストローク画像を検出し、その検出したストローク画像のグループを前記領域に関連付ける手順と、
   を実行させるプログラム。
8. 前記グループが関連付けられた前記領域の画像は輝度を下げて表示し、前記文字コードが取得できなかった場合、前記領域のストロークデータの手書き入力を促す手順をさらに実行させる請求項７に記載のプログラム。

Images