JP5942835B2 - 手書き情報処理装置及びプログラム - Google Patents

Description

本発明は、手書き情報処理装置及びプログラムに関する。

特許文献１には、区分領域を有する媒体に対する筆跡を電子化した筆跡情報を取得し、筆跡情報が属する区分領域に電子情報が存在するか否かを判定し、判定結果に基づいて筆跡情報の位置を決定する技術が開示されている。

特許文献２には、筆記者が通常の筆記行為で用いる、削除を意味する二重線、追加を意味する矢印、強調を意味する下線などの記号を、削除、追加、強調などの変更処理の開始およびその対象となる文字を指定するための制御コマンドと対応付け、これら制御コマンドを筆記情報から自動的に検出し、上記変更処理を自動的に実行する技術が開示されている。

特許文献３には、用紙に記入された記号データの１ストローク毎の座標データと対象ストロークとを抽出し、対象ストロークの座標データに基づいて開始点座標の特定と重心点座標の算出を行い、これに基づいて対象ストロークが所定の項目に記入されたものであるか否かを識別する技術が開示されている。

特許文献４には、手書き入力された校正記号を構成するストロークの形状を認識し、認識した結果に基づいてストロークの特定点を抽出し、抽出された特定点を編集情報に利用して編集を行う技術が開示されている。

特開２００９−２３０７１９号公報 特開２００９−４８６５５号公報 特開２００５−１０７９００号公報 特開平９−３５００２号公報

本発明は、ユーザが手書きした手書き情報を電子文書に確実に反映させることができる手書き情報処理装置及びプログラムを提供することを目的とする。

本発明の請求項１に係る手書き情報処理装置は、複数の区分領域で構成される筆記枠内領域と、該筆記枠内領域の外側の領域である筆記枠外領域とを有する媒体に、ユーザにより手書きされた手書き情報を取得する手書き情報取得手段と、前記手書き情報取得手段が、前記筆記枠内領域と前記筆記枠外領域との境界を跨ぐ手書き情報である挿入記号を取得した場合に、該挿入記号に基づいて、前記筆記枠外領域に手書きされた手書き情報を、前記筆記枠内領域に挿入する手書き情報挿入手段と、を備えている。

本発明の請求項２に係る手書き情報処理装置は、請求項１に記載の構成において、前記手書き情報挿入手段は、前記挿入記号を構成するストロークの両端点のうち前記筆記枠外領域に位置する一端点の近傍に位置する手書き情報を、前記挿入記号を構成するストロークの両端点のうち前記筆記枠内領域に位置する他端点の近傍に挿入する。

本発明の請求項３に係る手書き情報処理装置は、請求項１に記載の構成において、ユーザにより手書きされた前記手書き情報を、筆記枠内文字、筆記枠外文字及び前記挿入記号の何れかに分類する手書き情報分類手段をさらに備え、前記手書き情報分類手段は、前記手書き情報が前記区分領域に位置する場合は、該手書き情報を前記筆記枠内文字に分類し、前記手書き情報が前記筆記枠外領域に位置する場合は、該手書き情報を前記筆記枠外文字に分類し、前記手書き情報の一端点が前記筆記枠内領域に位置し、他端点が前記筆記枠外領域に位置する場合は、該手書き情報を前記挿入記号に分類する。

本発明の請求項４に係る手書き情報処理装置は、請求項３に記載の構成において、前記手書き情報分類手段は、前記手書き情報を構成するストロークの長さが予め定められた長さよりも短く、該ストロークの全ての筆点が前記筆記枠内領域に位置する場合は、該ストロークを、前記筆記枠内文字を構成する筆記枠内文字用ストロークに分類し、前記手書き情報を構成するストロークの長さが予め定められた長さよりも短く、該ストロークの全ての筆点が前記筆記枠外領域に位置する場合は、該ストロークを、前記筆記枠外文字を構成する筆記枠外文字用ストロークに分類する。

本発明の請求項５に係る手書き情報処理装置は、請求項４に記載の構成において、前記手書き情報分類手段は、複数の前記筆記枠内文字用ストロークが同一の前記区分領域に位置している場合は、該複数の前記筆記枠内文字用ストロークで構成される前記手書き情報を、１つの前記筆記枠内文字に分類し、複数の前記筆記枠外文字用ストロークのそれぞれの位置が近接している場合は、該複数の前記筆記枠外文字用ストロークで構成される前記手書き情報を、１つの前記筆記枠外文字に分類する。

本発明の請求項６に係る手書き情報処理装置は、請求項３に記載の構成において、前記手書き情報挿入手段は、少なくとも前記筆記枠内文字、前記筆記枠外文字、及び前記挿入記号が存在するか否かを判定し、これら全てが存在する場合に、前記挿入記号を構成するストロークの両端点のうち前記筆記枠外領域に位置する一端点の近傍に位置する前記筆記枠外文字を、前記筆記枠内文字に挿入する。

本発明の請求項７に係る手書き情報処理装置は、請求項４に記載の構成において、前記手書き情報分類手段は、さらに、ユーザにより手書きされた前記手書き情報の両端点が前記筆記枠外領域に位置し、該手書き情報を構成するストロークの長さが予め定められた長さよりも短い場合は、該手書き情報を結合記号に分類する。

本発明の請求項８に係る手書き情報処理装置は、請求項７に記載の構成において、前記手書き情報分類手段は、前記手書き情報を構成するストロークの長さが予め定められた長さよりも長く、該ストロークの一端が前記筆記枠内領域に位置しかつ該ストロークの他端が前記筆記枠外領域に位置する場合は、該ストロークを、前記挿入記号を構成する挿入記号用ストロークに分類し、前記手書き情報を構成するストロークの長さが予め定められた長さよりも長く、該ストロークの全ての筆点が前記筆記枠外領域に位置する場合は、該ストロークを、前記結合記号を構成する結合記号用ストロークに分類する。

本発明の請求項９に係る手書き情報処理装置は、請求項８に記載の構成において、前記手書き情報分類手段は、１本の前記挿入記号用ストロークを１つの挿入記号に分類し、１本の前記結合記号用ストロークを１つの結合記号に分類する。

本発明の請求項１０に係る手書き情報処理装置は、請求項７に記載の構成において、前記手書き情報分類手段は、複数の前記筆記枠外文字用ストロークのそれぞれの位置が前記結合記号に近接している場合は、該複数の前記筆記枠外文字用ストロークで構成される前記手書き情報を、１つの前記筆記枠外文字に分類する。

本発明の請求項１１に係る手書き情報処理装置は、請求項７に記載の構成において、前記手書き情報挿入手段は、前記結合記号の近傍に位置する前記筆記枠外文字を前記筆記枠内領域に挿入する。

本発明の請求項１２に係る手書き情報処理装置は、請求項７に記載の構成において、前記手書き情報挿入手段は、前記筆記枠内文字、前記筆記枠外文字、前記挿入記号、及び結合記号が存在するか否かを判定し、これら全てが存在する場合に、前記結合記号の近傍に位置する前記筆記枠外文字を、前記筆記枠内文字に挿入する。

本発明の請求項１３に係るプログラムは、コンピュータを、複数の区分領域で構成される筆記枠内領域と、該筆記枠内領域の外側の領域である筆記枠外領域とを有する媒体に、ユーザにより手書きされた手書き情報を取得する手書き情報取得手段、及び前記手書き情報取得手段が、前記筆記枠内領域と前記筆記枠外領域との境界を跨ぐ手書き情報である挿入記号を取得した場合に、該挿入記号に基づいて、前記筆記枠外領域に手書きされた手書き情報を、前記筆記枠内領域に挿入する手書き情報挿入手段、として機能させる。

本発明の請求項１、１３に記載の構成によれば、ユーザが手書きした手書き情報を電子文書に確実に反映させることができる。

本発明の請求項２に記載の構成によれば、筆記枠外領域の文字を筆記枠内領域に挿入することができる。

本発明の請求項３に記載の構成によれば、手書き情報を筆記枠内文字、筆記枠外文字及び前記挿入記号の何れかに分類することができる。

本発明の請求項４に記載の構成によれば、手書き情報を筆記枠内文字用ストローク及び筆記枠外文字用ストロークに分類することができる。

本発明の請求項５に記載の構成によれば、手書き情報を筆記枠内文字及び筆記枠外文字に分類することができる。

本発明の請求項６、１１、１２に記載の構成によれば、筆記枠外文字を筆記枠内文字に適切に挿入することができる。

本発明の請求項７、９に記載の構成によれば、手書き情報を結合記号に分類することができる。

本発明の請求項８に記載の構成によれば、手書き情報を挿入記号用ストローク及び結合記号用ストロークに分類することができる。

本発明の請求項１０に記載の構成によれば、手書き情報を筆記枠外文字に分類することができる。

文字認識データ処理システムの概略構成を示す図である。 手書き情報処理装置の概略構成を示すブロック図である。 電子筆記具の概略構成を示すブロック図である。 手書き情報の一例を示す図である。 ストローク分類処理の一例を示すフローチャートである。 図４の部分拡大図である。 ストロークサイズの比較対象となる設定値の例を示す図である。 挿入記号用ストロークの一例を示す図である。 結合記号用ストロークの一例を示す図である。 ストローク分類テーブルの一例を示す図である。 手書き情報分類テーブルの一例を示す図である。 手書き情報挿入処理の一例を示すフローチャートである。 筆記枠外文字を挿入した状態の筆記枠内文字を示す図である。 手書き情報の一例を示す図である。 手書き情報の一例を示す図である。

本発明の一実施の形態について、図面を用いて以下に説明する。図１は、本発明の実施の形態に係る手書き情報処理システム１００の概略構成を示す図である。手書き情報処理システム１００は、手書き情報処理装置２０と、電子筆記具３０と、画像形成装置４０とを含んでいる。

手書き情報処理装置２０は、パーソナルコンピュータ（ＰＣ）により構成されており、オペレーティングシステムを実現するプログラムやアプリケーションプログラムを記憶している。手書き情報処理装置２０は、ＬＡＮ（Local Area Network）などのネットワーク５０を介して画像形成装置４０と通信を行う。手書き情報処理装置２０は、無線通信により電子筆記具３０から手書き文字、記号等の情報（以下、手書き情報ともいう。）を取得する。なお、手書き情報処理装置２０は、ネットワーク５０を介して電子筆記具３０から情報を取得する構成であってもよく、また、ＵＳＢ（Universal Serial Bus）の規格に準拠したコネクタを有し、このコネクタに接続される電子筆記具３０から、手書き情報を取得する構成であってもよい。

画像形成装置４０は、記録媒体に電子写真方式で画像を形成する。以下では、記録媒体の一例として紙を挙げて説明する。画像形成装置４０は、ネットワーク５０を介して手書き情報処理装置２０と通信を行い、手書き情報処理装置２０から送信される情報に基づいて紙に画像を形成する。本実施の形態では、画像形成装置４０は、電子写真方式により紙に画像を形成する構成を例に挙げるが、画像を形成する方式は電子写真方式に限定されるものではなく他の方式であってもよい。

電子筆記具３０は、画像形成装置４０により画像が形成された紙にインク等によって文字や図などの追記を行うための書込装置である。電子筆記具３０は、手書き情報処理装置２０と通信を行う機能、ユーザにより紙に手書きされた情報（手書き情報）を読み取り、読み取った手書き情報を記憶する機能、記憶した手書き情報を手書き情報処理装置２０へ送信する機能等を有している。すなわち、電子筆記具３０は、いわゆる電子ペン（デジタルペンともいう。）としての機能を有している。

［手書き情報処理装置２０の概略構成］
図２は、手書き情報処理装置２０の概略構成を示すブロック図である。図２に示すように、手書き情報処理装置２０は、操作受付部１、出力部２、手書き情報取得部３、手書き情報削除部４、手書き情報分類部５、手書き情報挿入部６、文字認識部７、及び記憶部８を含んでいる。

操作受付部１は、ユーザがキーボードやマウス等の操作端末（図示せず）を操作して手書き情報処理装置２０に与えた命令を受け付ける。ユーザが操作端末を操作することにより、手書き情報処理装置２０に対する各種指示や情報の入力及び各種設定が行われる。例えば、ユーザは、表示部（図示せず）に表示された複数の帳票データ（電子文書）から、マウスを操作して所望の帳票データを選択する。操作受付部１は、マウスから、ユーザが所望の帳票データを選択した旨の命令を受け取る。帳票データは、例えば、エクセルデータやワードデータなどの文書データをいう。

出力部２は、帳票データの画像形成を画像形成装置４０に指示する。また、出力部２は、紙に形成するコード画像を生成する。コード画像は、例えば特開２００８−９８３３号公報に開示されているコードパターンを画像化したものであり、紙の全面に複数行複数列で形成される画像である。１個のコード画像は、二次元に配列された複数のドットで構成されており、紙文書のページＩＤと、コード画像が配置されている紙面上の座標を示す位置情報等のデジタルコードとが埋め込まれている。なお、ページＩＤによって作業中のページを特定することができ、またページＩＤによって作業中のページを含む電子文書を特定することができる。また、コード画像は、複数のドットが二次元で配置されているものであれば、特開２００８−９８３３号公報に開示されているものに限定されず、例えばData Matrix、Code One、Maxi Code、QR codeなど他のコード画像であってもよい。また、コード画像の配置は、紙の全面に規則的に配置されていれば複数行複数列のマトリクス状ではなく他の配置であってもよい。

出力部２は、帳票データが表す画像にコード画像を複数行複数列で重畳し、コード画像が重畳された画像を表すイメージデータを生成する。出力部２は、生成したイメージデータを画像形成装置４０へ送信する。

手書き情報取得部３は、手書き情報（追記情報）を電子筆記具３０から取得する。具体的には、手書き情報取得部３は、電子筆記具３０が読み取った、ページＩＤと、手書き情報を構成する線（ストローク）の位置（座標）情報とを、電子筆記具３０から取得する。

手書き情報削除部４は、ユーザが二重線等の予め設定された記号等を手書き情報に重ね書きした場合に、元の手書き情報を削除する。手書き情報を削除する方法はこれに限定されるものではなく、周知の方法を適用することができる。

手書き情報分類部５は、ユーザが手書きした文字、記号等の手書き情報を、「筆記枠内文字」、「筆記枠外文字」、「挿入記号」、「結合記号」、及び「分類外情報」に分類する。また、手書き情報分類部５は、手書き情報を構成するストロークごとに、「筆記枠内文字用ストローク」、「筆記枠外文字用ストローク」、「挿入記号用ストローク」、「結合記号用ストローク」、及び「分類外ストローク」に分類する。手書き情報分類部５の具体的な構成は後述する。

手書き情報挿入部６は、手書き情報分類部５の分類結果に基づいて、ユーザが指定した位置に手書き情報を挿入する。手書き情報挿入部６の具体的な構成は後述する。

文字認識部７は、手書き情報挿入部６により挿入された手書き情報をテキストデータとして認識する。手書き情報を認識する方法は、周知の方法を適用することができる。

記憶部８は、ストローク分類テーブル９、及び手書き情報分類テーブル１０を含んでいる。ストローク分類テーブル９には、手書き情報を構成するストロークごとに、手書き情報分類部５により分類された情報が記憶されている。具体的には、ストローク分類テーブル９には、手書き情報を構成する各ストロークと、「筆記枠内文字用ストローク」、「筆記枠外文字用ストローク」、「挿入記号用ストローク」、「結合記号用ストローク」、及び「分類外ストローク」の何れかと、が対応付けられている。

手書き情報処理装置２０の上記各部の構成により、印刷された帳票（紙）にユーザが手書きした手書き情報（追記情報）がユーザの所望の位置に挿入され、帳票データ上にテキストデータとして反映（記入）される。

［電子筆記具３０の構成］
図３は、電子筆記具３０の概略構成を示すブロック図である。電子筆記具３０は、周知の電子ペンを適用することができる。ここでは、電子ペンの一構成例について説明する。

制御部３０１は、ＣＰＵ、ＲＯＭ、ＲＡＭを備えたマイクロコンピュータを有しており、電子筆記具３０の各部を制御する。芯３０９は、紙に追記を行う追記手段の一例である。芯３０９は、インクを有しており、先端から紙へインクを供給する。圧力センサ３１０は、芯３０９の末端に接触するように配置されている。芯３０９が紙に接触すると、芯３０９の末端から圧力センサ３１０に力が加わる。圧力センサ３１０は、力が加わったことを検知すると、力が加わったことを示す信号を制御部３０１へ出力する。

発光部３０２は、赤外光を照射する発光ダイオードを有しており、赤外光を紙の表面に照射する。発光部３０２は、制御部３０１に接続されており、制御部３０１により赤外の照射／非照射が制御される。

画像取得部３０３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）イメージセンサと、発光部３０２から照射されて紙の表面で反射した光をＣＭＯＳイメージセンサに案内するレンズとを備えている。ＣＭＯＳイメージセンサは、芯３０９の先端付近で反射されレンズで案内された赤外光を電気信号に変換し、紙の表面の画像を表す信号を画像処理部３０４へ出力する。

画像処理部３０４は、画像取得部３０３から出力された信号が表す画像に画像処理を施し、画像処理が施された画像からコード画像を検出する。また、画像処理部３０４は、検出したコード画像を表すデジタルデータを、データ処理部３０５へ出力する。

ここで、画像取得部３０３と画像処理部３０４とにより、記録媒体からコード画像を取得するため、画像取得部３０３と画像処理部３０４は、記録媒体に形成されているコード画像を取得する画像取得手段ということができる。

データ処理部３０５は、コード画像をデコードするデコード手段の一例である。データ処理部３０５は、画像処理部３０４から出力されたデジタルデータが表すコード画像についてデコード処理を行い、該コード画像に含まれているページＩＤ及び位置情報を取得する。また、データ処理部３０５は、制御部３０１に接続されており、取得したページＩＤ及び位置情報を制御部３０１へ出力する。

通信部３０６は制御部３０１に接続されている。通信部３０６は、無線により手書き情報処理装置２０と通信を行い、制御部３０１から出力された情報を手書き情報処理装置２０へ送信する。なお、通信部３０６は、ネットワーク５０を介して手書き情報処理装置２０と通信を行い、上記情報を手書き情報処理装置２０へ送信してもよい。また、通信部３０６は、ＵＳＢコネクタを介して手書き情報処理装置２０と通信を行い、上記情報を手書き情報処理装置２０へ送信してもよい。

不揮発性メモリ３０７は、制御部３０１に接続されており、制御部３０１からアクセスされる。不揮発性メモリ３０７は、制御部３０１から送られるページＩＤ及び位置情報を、電子筆記具３０で追記された線を示す情報（ストローク情報）として記憶する。

電源部３０８は、二次電池を有しており、電子筆記具３０の各部に電力を供給する。

［手書き情報分類部５の具体的構成］
手書き情報分類部５の具体的な構成について説明する。図４には、手書き情報の一例を示している。ここでは、帳票データがエクセルデータの場合を示している。図４の表は、周囲が罫線で囲まれた複数の区分領域で構成されており、各区分領域はエクセルデータの各セルに対応している。各区分領域は、帳票内でユーザが文字や記号を手書きするための記入領域となる。

図４において、表の最も外側に位置する外枠の罫線（太線で示す外枠矩形）を境界にして、その内側を「筆記枠内領域」、その外側を「筆記枠外領域」という。また、筆記枠内領域に配置される各区分領域にユーザにより手書きされた文字を「筆記枠内文字」、筆記枠外領域にユーザにより手書きされた文字を「筆記枠外文字」という。図４では、「ノギス６００ｍｍ」、「ばねばかり」、「１」、「３」、「３ ０」及び「４ ０」がそれぞれ「筆記枠内文字」であり、「４８」及び「５６」が「筆記枠外文字」である。なお、「筆記枠内文字」及び「筆記枠外文字」は、数字に限定されず平仮名、漢字、英字、記号であってもよい。また、図４では、「３０００」及び「４０００」に二重線が重ね書きされた状態を示しているが、重なる文字「００」は手書き情報削除部４により削除されるため、「３ ０」及び「４ ０」が「筆記枠内文字」となる。

「挿入記号」は、手書き情報（追記情報）を挿入する位置を示す記号であり、筆記枠内領域と筆記枠外領域との境界（図４の太線で示す外枠矩形）を跨ぐ１本のストロークをいう。換言すると、「挿入記号」は、一端が筆記枠内領域に位置し、他端が筆記枠外領域に位置する１本のストロークをいう。図４では、符号ａ、ｂが「挿入記号」である。

「結合記号」は、筆記枠外領域に位置する複数のストロークを１つの文字（筆記枠外文字）として結合（グループ化）するための記号であり、所定の長さを有するストロークのうち、全ての筆点が筆記枠外領域に位置するストロークをいう。図４では、符号ｃ、ｄが「結合記号」である。

次に、手書き情報を、「筆記枠内文字」、「筆記枠外文字」、「挿入記号」、「結合記号」、及び「分類外情報」に分類する具体的な方法について説明する。

まず、手書き情報分類部５は、手書き情報を構成するストロークごとに、「筆記枠外文字用ストローク」、「筆記枠内文字用ストローク」、「挿入記号用ストローク」、「結合記号用ストローク」及び「分類外ストローク」に分類する、ストローク分類処理を実行する。図５は、ストローク分類処理の一例を示すフローチャートである。以下では、図４の金額欄の「３ ０」と、筆記枠外領域に位置する「５６」と、符号ｂ、ｄを例に挙げて、ストローク分類処理の流れを説明する。なお、図４の部分拡大図を図６に示す。図６では、手書き情報削除部４により「００」が削除された状態を示している。

ここで、手書き情報「３ ０」は２つのストロークで構成されており、ユーザにより記入された時系列順に、「３」がストローク番号０、「０」がストローク番号１となる。手書き情報「５６」は３つのストロークで構成されており、「５」の一画目がストローク番号２、「５」の二画目がストローク番号３、「６」がストローク番号４となる。手書き情報「符号ｂ」、「符号ｄ」はそれぞれ１つのストロークで構成されており、それぞれストローク番号５、ストローク番号６となる。

［ストローク番号０：「３」の場合］
初めに、ステップ１（以下、Ｓ１のように称す。）にて、手書き情報分類部５は、ストロークサイズＬが、Ｘ以下であるか（Ｌ≦Ｘ）、Ｘよりも長くかつＹよりも短いか（Ｘ＜Ｌ＜Ｙ）、Ｙ以上であるか（Ｙ≦Ｌ）を判定する。Ｘ及びＹは、例えば、区分領域の高さ、ストロークの外接矩形の高さ及び幅、ストロークの長さ等に基づき予め設定される。具体的には、例えば、区分領域に手書きされたストロークの外接矩形のうち長い方（または短い方）の平均値をＸに設定する（図７（ａ））。また、区分領域の高さの平均値（図７（ｂ））や、ストロークの外接矩形の対角線の長さ（図７（ｃ））をＸに設定してもよい。また、Ｙは、挿入記号や結合記号になり得ない大きさ、例えば筆記枠内領域の外枠矩形（図４の太線）の高さまたは幅に設定することができる。

ここではストローク番号０：「３」は、Ｌ≦Ｘに該当しＳ２に移行する。Ｓ２にて、手書き情報分類部５は、全ての筆点が筆記枠外領域に位置するか否かを判定する。「３」は全ての筆点が筆記枠外領域に位置しないため（Ｓ２にてＮＯ）、手書き情報分類部５は、「３」を筆記枠内文字用ストロークに決定する（Ｓ３）。

同様に、ストローク番号１：「０」は、筆記枠内文字用ストロークに決定される。

［ストローク番号２：「５」の一画目の場合］
ストローク番号２：「５」の一画目は、Ｌ≦Ｘに該当し、全ての筆点が筆記枠外領域に位置するため（Ｓ２にてＹＥＳ）、筆記枠外文字用ストロークに決定される（Ｓ４）。

同様に、ストローク番号３：「５」の二画目、及びストローク番号４：「６」は、筆記枠外文字用ストロークに決定される。

［ストローク番号５：「符号ｂ」の場合］
ストローク番号５：「符号ｂ」は、Ｘ＜Ｌ＜Ｙに該当しＳ５に移行する。Ｓ５にて、手書き情報分類部５は、ストロークの一端が筆記枠内領域に位置しかつ他端が筆記枠外領域に位置するか否かを判定する。「符号ｂ」は、ストロークの一端が筆記枠内領域に位置しかつ他端が筆記枠外領域に位置するため（Ｓ５にてＹＥＳ）、手書き情報分類部５は、「符号ｂ」を挿入記号用ストロークに決定する（Ｓ６）。なお、挿入記号用ストロークの識別精度を高めるために、さらにストロークの形状を定義付けてもよい。例えば、図８に示すように、ストロークの途中に渦巻形状を定義付けてもよい。

［ストローク番号６：「符号ｄ」の場合］
ストローク番号６：「符号ｄ」は、Ｘ＜Ｌ＜Ｙに該当し、ストロークの全ての筆点が筆記枠外領域に位置するため（Ｓ５にてＮＯ）、Ｓ７に移行する。Ｓ７にて、手書き情報分類部５は、ストロークの全ての筆点が筆記枠外領域に位置するか否かを判定する（Ｓ７）。「符号ｄ」は、ストロークの全ての筆点が筆記枠外領域に位置するため（Ｓ７にてＹＥＳ）、手書き情報分類部５は、「符号ｄ」を結合記号用ストロークに決定する（Ｓ８）。なお、結合記号用ストロークの識別精度を高めるために、さらにストロークの形状を定義付けてもよい。例えば、図９に示すように、ストロークを矩形状に定義付けてもよい。また、ストロークを、（ ）や「 」に定義付けてもよい。

なお、Ｓ１において、ストロークサイズＬがＹ以上である場合は（Ｙ≦Ｌ）、手書き情報分類部５は、該ストロークを分類外ストロークに決定する（Ｓ９）。また、Ｓ７において、ストロークの全ての筆点が筆記枠外領域に位置しない場合は（Ｓ７にてＮＯ）、手書き情報分類部５は、該ストロークを筆記枠内文字用ストロークに決定する（Ｓ１０）。

手書き情報分類部５は、上記のストローク分類処理により分類したストローク情報を、図１０に示すストローク分類テーブル９に記憶する。

次に、手書き情報分類部５は、図１０のストローク分類テーブル９と、電子筆記具３０から取得したストロークの位置（座標）情報とに基づいて、手書き情報を、「筆記枠内文字」、「筆記枠外文字」、「挿入記号」、「結合記号」、及び「分類外情報」に分類する処理（手書き情報分類処理）を行う。例えば、ストローク番号０〜１は、筆記枠内文字用ストロークで共通し、かつ同一の区分領域に位置している。よって、ストローク番号０〜１で構成される手書き情報は、１つの文字（文字列）「３ ０」を示し、「筆記枠内文字」に分類される。ストローク番号２〜４は、筆記枠外文字用ストロークで共通し、かつそれぞれの位置（座標）が近接しているため、ストローク番号２〜４で構成される手書き情報は、１つの文字「５６」を示し、「筆記枠外文字」に分類される。ストローク番号５，６はそれぞれ、挿入記号用ストローク、結合記号用ストロークで異なり、１本のストロークで構成されているため、挿入記号、結合記号に分類される。

なお、筆記枠外領域において互いに向かい合って位置し、形状が対称となる２つのストローク（例えば、（ ）、「 」）は、結合記号に分類される。

１または複数のストロークで構成される文字を１つの文字（文字列）として認識する他の方法として、挿入記号または結合記号を利用することができる。例えば、挿入記号の一端点の近傍または結合記号の近傍に位置する１または複数のストロークを１つの文字として認識することができる。また、手書き情報分類部５は、「筆記枠外文字」を認識する場合は、区分領域を利用できないため結合記号を利用することが好ましい。

手書き情報分類部５は、上記の手書き情報分類処理により分類した分類情報を、図１１に示す手書き情報分類テーブル１０に記憶する。

［手書き情報挿入部６の具体的構成］
手書き情報挿入部６の具体的な構成について説明する。手書き情報挿入部６は、手書き情報分類部５の分類結果に基づいて、ユーザが指定した位置に手書き情報を挿入する。図１２は、手書き情報挿入処理の一例を示すフローチャートである。

まず、手書き情報挿入部６は、手書き情報（追記情報）の挿入対象となる領域（挿入対象領域）を特定する（Ｓ１１）。例えば、手書き情報挿入部６は、挿入記号を含む周辺領域を挿入対象領域として特定する。具体的には、図６に示す点線枠を挿入対象領域Ａに特定する。

次に、手書き情報挿入部６は、挿入対象領域ごとに、「筆記枠内文字」、「筆記枠外文字」、「挿入記号」、及び「結合記号」が存在するか否かを判定する（Ｓ１２〜Ｓ１５）。例えば、手書き情報挿入部６は、挿入対象領域Ａに含まれる手書き情報に対応する手書き情報分類テーブル１０（図１１）を参照して、Ｓ１２〜Ｓ１５の処理を実行する。「筆記枠内文字」、「筆記枠外文字」、「挿入記号」、及び「結合記号」の全てが存在する場合はＳ１６に移行し、少なくとも何れか一つが存在しない場合は処理を終了する。

「筆記枠内文字」、「筆記枠外文字」、「挿入記号」、及び「結合記号」の全てが存在する場合（Ｓ１５にてＹＥＳ）は、手書き情報挿入部６は、筆記枠外文字を筆記枠内文字の所定の位置に挿入するためのスペースを生成する（Ｓ１６）。なお、挿入スペースが既に存在する場合はＳ１６の処理を省略することができる。また、挿入スペースが狭い場合は、手書き情報挿入部６は挿入スペースを広げる処理を行う。

次に、手書き情報挿入部６は、挿入スペースに筆記枠外文字を挿入する（Ｓ１７）。具体的には、手書き情報挿入部６は、挿入記号の位置情報に基づき、挿入記号の両端点のうち筆記枠外領域に位置する端点の近傍に位置する結合記号を検出し、結合記号の位置情報に基づき、その近傍に位置する筆記枠外文字を、筆記枠内文字に挿入すべき対象に決定する。ここでは、筆記枠外文字「５６」が、挿入すべき対象として決定される。手書き情報挿入部６は、決定した筆記枠外文字「５６」を、筆記枠内文字の挿入スペースに挿入する。図１３には、筆記枠内文字に筆記枠外文字「５６」を挿入した状態を示している。

最後に、手書き情報挿入部６は、筆記枠外文字を挿入した後の筆記枠内文字（図１３）について、位置情報に基づいてストローク番号の並び替えを行う。具体的には、Ｓ１７において筆記枠外文字を筆記枠内文字に挿入した状態のストロークの時系列順序を適切に並び替える処理を行う。例えば、Ｓ１７において、筆記枠外文字を筆記枠内文字に挿入した段階では、表示上は「３５６０」の順に並べられるが、時系列順にストローク番号を並べると「０→２→３→４→１」となる。このため、この状態で文字認識部７による文字認識処理を行うと、筆記枠内文字が「３０５６」として認識される場合がある。このような誤認識を防ぐために、手書き情報挿入部６は、ストローク番号を、表示上の文字の並びに対応するように並び替える処理を行う。すなわち、手書き情報挿入部６は、「３」をストローク番号０、「５」をストローク番号１〜２、「６」をストローク番号３、「０」をストローク番号４に並び替える。これにより、文字認識部７は、手書き情報をテキストデータとして適切に文字認識することができる。

ここで、図１４に示すように、挿入記号が存在しない場合の手書き情報挿入部６の処理について説明する。図１４では、筆記枠内文字「３０００」及び筆記枠外文字「５６」は存在するが、挿入記号が存在していない。そのため、図１２のＳ１４にてＮＯとなり、手書き情報挿入部６の処理は終了する。すなわち、手書き情報の挿入処理は行われない。このように、ユーザが筆記枠内文字「３０００」に「５６」という文字を挿入する意思がない場合に、誤って挿入処理が行われることを防ぐことができる。

図１５では、挿入記号が存在するため、挿入記号を含む周辺領域を挿入対象領域Ｂとして特定される。挿入対象領域Ｂにおいて、筆記枠外領域に手書きされた「☆」は、ストロークサイズＬがＹ以上（Ｙ≦Ｌ）であるため、手書き情報分類部５における図５のＳ１の処理において分類外ストロークに分類される。そのため、「☆」は、筆記枠外文字ではなく分類外情報に分類される。よって、図１２のＳ１３にてＮＯとなり、手書き情報挿入部６の処理は終了する。すなわち、手書き情報の挿入処理は行われない。

［変形例］
上述した手書き情報処理装置２０では、ユーザが追記した筆記枠外文字を、区分領域に手書きされた筆記枠内文字に挿入する構成であるが、本実施の形態に係る手書き情報処理装置２０はこれに限定されず、以下の構成としてもよい。

すなわち、手書き情報処理装置２０は、区分領域に筆記枠内文字が存在しない場合において、手書き情報挿入部６は、挿入記号を構成するストロークの両端点のうち筆記枠外領域に位置する一端点の近傍に位置する筆記枠外文字を、挿入記号を構成するストロークの両端点のうち筆記枠内領域に位置する他端点の近傍に挿入する構成であってもよい。この構成によれば、元の手書き情報の削除等の処理を行うことなく、筆記枠外領域の文字を筆記枠内領域の所望の位置に挿入することができる。

上述した手書き情報処理装置２０に備えられる上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてもよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる手書き情報処理装置２０に供給されることとしてもよいし、インターネット等のデータ通信網を介して手書き情報処理装置２０に供給されることとしてもよい。

１ 操作受付部、２ 出力部、３ 手書き情報取得部、４ 手書き情報削除部、５ 手書き情報分類部、６ 手書き情報挿入部、７ 文字認識部、８ 記憶部、９ ストローク分類テーブル、１０ 手書き情報分類テーブル、２０ 手書き情報処理装置、３０ 電子筆記具、４０ 画像形成装置、１００ 手書き情報処理システム

Claims (12)

1. 複数の区分領域で構成される筆記枠内領域と、該筆記枠内領域の外側の領域である筆記枠外領域とを有する媒体に、ユーザにより手書きされた手書き情報を取得する手書き情報取得手段と、
   前記手書き情報取得手段が、前記筆記枠内領域と前記筆記枠外領域との境界を跨ぐ手書き情報である挿入記号を取得した場合に、該挿入記号に基づいて、前記筆記枠外領域に手書きされた手書き情報を、前記筆記枠内領域に挿入する手書き情報挿入手段と、
   ユーザにより手書きされた前記手書き情報を、筆記枠内文字、筆記枠外文字及び前記挿入記号の何れかに分類する手書き情報分類手段と、を備え、
   前記手書き情報分類手段は、
   前記手書き情報が前記区分領域に位置する場合は、該手書き情報を前記筆記枠内文字に分類し、
   前記手書き情報が前記筆記枠外領域に位置する場合は、該手書き情報を前記筆記枠外文字に分類し、
   前記手書き情報の一端点が前記筆記枠内領域に位置し、他端点が前記筆記枠外領域に位置する場合は、該手書き情報を前記挿入記号に分類する、
   ことを特徴とする手書き情報処理装置。
2. 前記手書き情報挿入手段は、前記挿入記号を構成するストロークの両端点のうち前記筆記枠外領域に位置する一端点の近傍に位置する手書き情報を、前記挿入記号を構成するストロークの両端点のうち前記筆記枠内領域に位置する他端点の近傍に挿入することを特徴とする請求項１に記載の手書き情報処理装置。
3. 前記手書き情報分類手段は、
   前記手書き情報を構成するストロークの長さが予め定められた長さよりも短く、該ストロークの全ての筆点が前記筆記枠内領域に位置する場合は、該ストロークを、前記筆記枠内文字を構成する筆記枠内文字用ストロークに分類し、
   前記手書き情報を構成するストロークの長さが予め定められた長さよりも短く、該ストロークの全ての筆点が前記筆記枠外領域に位置する場合は、該ストロークを、前記筆記枠外文字を構成する筆記枠外文字用ストロークに分類することを特徴とする請求項１に記載の手書き情報処理装置。
4. 前記手書き情報分類手段は、
   複数の前記筆記枠内文字用ストロークが同一の前記区分領域に位置している場合は、該複数の前記筆記枠内文字用ストロークで構成される前記手書き情報を、１つの前記筆記枠内文字に分類し、
   複数の前記筆記枠外文字用ストロークのそれぞれの位置が近接している場合は、該複数の前記筆記枠外文字用ストロークで構成される前記手書き情報を、１つの前記筆記枠外文字に分類することを特徴とする請求項３に記載の手書き情報処理装置。
5. 前記手書き情報挿入手段は、少なくとも前記筆記枠内文字、前記筆記枠外文字、及び前記挿入記号が存在するか否かを判定し、これら全てが存在する場合に、前記挿入記号を構成するストロークの両端点のうち前記筆記枠外領域に位置する一端点の近傍に位置する前記筆記枠外文字を、前記筆記枠内文字に挿入することを特徴とする請求項１に記載の手書き情報処理装置。
6. 前記手書き情報分類手段は、さらに、ユーザにより手書きされた前記手書き情報の両端点が前記筆記枠外領域に位置し、該手書き情報を構成するストロークの長さが予め定められた長さよりも短い場合は、該手書き情報を結合記号に分類することを特徴とする請求項３に記載の手書き情報処理装置。
7. 前記手書き情報分類手段は、
   前記手書き情報を構成するストロークの長さが予め定められた長さよりも長く、該ストロークの一端が前記筆記枠内領域に位置しかつ該ストロークの他端が前記筆記枠外領域に位置する場合は、該ストロークを、前記挿入記号を構成する挿入記号用ストロークに分類し、
   前記手書き情報を構成するストロークの長さが予め定められた長さよりも長く、該ストロークの全ての筆点が前記筆記枠外領域に位置する場合は、該ストロークを、前記結合記号を構成する結合記号用ストロークに分類することを特徴とする請求項６に記載の手書き情報処理装置。
8. 前記手書き情報分類手段は、１本の前記挿入記号用ストロークを１つの挿入記号に分類し、１本の前記結合記号用ストロークを１つの結合記号に分類することを特徴とする請求項７に記載の手書き情報処理装置。
9. 前記手書き情報分類手段は、複数の前記筆記枠外文字用ストロークのそれぞれの位置が前記結合記号に近接している場合は、該複数の前記筆記枠外文字用ストロークで構成される前記手書き情報を、１つの前記筆記枠外文字に分類することを特徴とする請求項６に記載の手書き情報処理装置。
10. 前記手書き情報挿入手段は、前記結合記号の近傍に位置する前記筆記枠外文字を前記筆記枠内領域に挿入することを特徴とする請求項６に記載の手書き情報処理装置。
11. 前記手書き情報挿入手段は、前記筆記枠内文字、前記筆記枠外文字、前記挿入記号、及び結合記号が存在するか否かを判定し、これら全てが存在する場合に、前記結合記号の近傍に位置する前記筆記枠外文字を、前記筆記枠内文字に挿入することを特徴とする請求項６に記載の手書き情報処理装置。
12. コンピュータを、
    複数の区分領域で構成される筆記枠内領域と、該筆記枠内領域の外側の領域である筆記枠外領域とを有する媒体に、ユーザにより手書きされた手書き情報を取得する手書き情報取得手段、
    前記手書き情報取得手段が、前記筆記枠内領域と前記筆記枠外領域との境界を跨ぐ手書き情報である挿入記号を取得した場合に、該挿入記号に基づいて、前記筆記枠外領域に手書きされた手書き情報を、前記筆記枠内領域に挿入する手書き情報挿入手段、及び、
    ユーザにより手書きされた前記手書き情報が前記区分領域に位置する場合は、該手書き情報を筆記枠内文字に分類し、ユーザにより手書きされた前記手書き情報が前記筆記枠外領域に位置する場合は、該手書き情報を筆記枠外文字に分類し、ユーザにより手書きされた前記手書き情報の一端点が前記筆記枠内領域に位置し、他端点が前記筆記枠外領域に位置する場合は、該手書き情報を挿入記号に分類する、手書き情報分類手段、として機能させるためのプログラム。

Images