JP6442995B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

Description

本発明は、手書き入力可能な情報処理装置、情報処理システム及びプログラムに関する。

近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ Ｐｅｎ）」が知られている。このアノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙（以下、単に「専用紙」という。）とともに使用される。

具体的には、このアノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。また、ユーザが専用紙上にアノトペンで文字等を書いた場合に、または、専用紙上に図案化されている画像にチェックマークを記入した場合に、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンが撮像され、プロセッサによって演算された連続する位置座標から、ユーザが記入した文字、記号または図形などの情報（以下、「ストローク情報」という。）が取得されるようになっている。そして、このストローク情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯型電話器などの端末装置に送信されるようになっている（例えば、特許文献１参照）。

また、最近、コンピュータ装置の表示画面上を専用のペンその他のもので触れることによって文字や記号などの文字情報を記入するシステムが提案されており、その一つとして、所定の画面上の領域にユーザによって手書きされた文字情報を記入するための文字記入領域を用いるものが知られている。

例えば、このような文字を記入して入力できるシステムとしては、文字記入領域が予め設定されており、当該文字記入領域に手書きされた文字や記号などを取得させることによって、文字の記入を行う記入者（いわゆる、ユーザ）に対してその記入時の負担を軽減させるようになっている（例えば、特許文献２）。

特表２００３−５１１７６１号公報 特開平８−５０５３０号公報

しかしながら、特許文献２に記載の学習システムにあっては、データ化されている文書データ（すなわち、デジタル形式の文書データ）に対して電子ペンによって記入した文字などの手書きした形状（記入形状）を挿入する場合であって、その軌跡（ストローク）の情報を挿入する場合に、空白スペースを含めて挿入することができない。

本発明は、上記課題を解決するためになされたものであり、その目的は、電子ペンなどによって手書きされた文字その他の形状をデータ化して所定の書式を有する文書データに挿入する際に空白スペースを含めて挿入することが可能な情報処理装置などを提供することにある。

（１）上記課題を解決するため、本発明の情報処理装置などは、記入形状の座標を示す座標情報を取得する取得手段と、前記取得された座標情報によって前記記入形状及び当該記入形状の記入位置を認識する認識手段と、 前記認識された記入位置に基づいて、前記認識された記入形状を前記文書データ内の文書内に挿入する文書編集手段と、を備え、前記認識手段が、前記認識された記入形状の記入位置と、当該記入形状の記入位置と他の記入形状との位置関係と、に基づいて、予め定められた空白領域の有無を検出し、前記文書編集手段が、前記空白領域が検出された場合に、当該空白領域を認識した位置に対応する前記文書データの位置に所定の空白スペースを挿入することを特徴とする構成を有している。

この構成により、本発明の情報処理装置などは、記入者の手書きなどによって記入された文字や線図その他の記入形状を文書データの文書内に挿入する際に、空白スペースを含めて挿入することができる。

したがって、本発明の情報処理装置などは、手書き入力で文書データを作成する場合であっても、キーボードその他の入力デバイスを用いて入力しなければならない空白スペースの入力作業を不要にすることができるので、ユーザの利便性を向上させることができる。

（２）また、本発明の情報処理システムは、位置座標を示すコード化パターンが形成された記録媒体に対して入力者の操作に応じて文字記入を実行し、当該コード化パターンを読み取るための電子ペンと、前記電子ペンによって読み取ったコード化パターンを座標情報として取得し、当該取得した座標情報によって形成される記入形状を文書データに挿入する情報処理装置と、を備え、前記情報処理装置が、前記記入形状の座標を示す座標情報を取得する取得手段と、前記取得された座標情報によって前記記入形状及び当該記入形状の記入位置を認識する認識手段と、前記認識された記入位置に基づいて、前記認識された記入形状を前記文書データ内の文書内に挿入する文書編集手段と、を備え、前記認識手段が、前記認識された記入形状の記入位置と、当該記入形状の記入位置と他の記入形状との位置関係と、に基づいて、予め定められた空白領域の有無を検出し、前記文書編集手段が、前記空白領域が検出された場合に、当該空白領域を認識した位置に対応する前記文書データの位置に所定の空白スペースを挿入する構成を有している。

この構成により、本発明の情報処理システムは、記入者の手書きなどによって記入された文字や線図その他の記入形状を文書データの文書内に挿入する際に、空白スペースを含めて挿入することができるとともに、手書き入力で文書データを作成する場合であっても、キーボードその他の入力デバイスを用いて入力しなければならない空白スペースの入力作業を不要にすることができるので、ユーザの利便性を向上させることができる。

（３）また、本発明の情報処理システムは、記入形状を記入するための記入領域を表示する表示パネルと、当該記入領域に記入された各ストロークの前記表示パネル上の座標を示す座標情報を検出する検出手段と、を有する電子デバイスと、前記記入領域に記入されたストロークのデータを示すストロークデータに基づいて前記記入形状をデジタル形式の文書データに挿入する情報処理装置と、を備え、前記ストロークデータを取得する取得手段と、前記取得されたストロークデータによって形成された形状に基づいて文字を認識する認識手段と、前記認識された文字を前記文書データ内の文書内に挿入する文書編集手段と、を備え、前記認識手段が、前記文字を認識する際に隣接する文字間に予め定められ空白領域を検出した場合には、当該隣接する文字間に１文字に相当する空白スペースがあることを認識し、前記文書編集手段が、前記隣接する文字間に前記認識された空白スペースを１文字として配置する構成を有している。

この構成により、本発明の情報処理システムは、記入者の手書きなどによって記入された文字や線図その他の記入形状を文書データの文書内に挿入する際に、空白スペースを含めて挿入することができるとともに、手書き入力で文書データを作成する場合であっても、キーボードその他の入力デバイスを用いて入力しなければならない空白スペースの入力作業を不要にすることができるので、ユーザの利便性を向上させることができる。

本発明の情報処理装置などは、記入者の手書きなどによって記入された文字や線図その他の記入形状を文書データの文書内に挿入する際に、空白スペースを含めて挿入することができるとともに、手書き入力で文書データを作成する場合であっても、キーボードその他の入力デバイスを用いて入力しなければならない空白スペースの入力作業を不要にすることができるので、ユーザの利便性を向上させることができる。

本発明に係る情報処理システムの一実施形態における構成を示すシステム構成図である。 一実施形態における手書き入力挿入処理の原理を説明するための図である。 一実施形態の記入用紙の書式（様式）の一例と当該記入用紙に対応し、表示画面に表示される文書データ（文書画像）の一例である。 一実施形態におけるドットパターンのドットの配置とそのドットが変換される値との関係を説明する図である。 一実施形態におけるドットパターンを説明するための図であり、（Ａ）は、ドットパターンを模式的に示し、（Ｂ）は、それに対応する情報の例を示す図である。 一実施形態における電子ペンの構造を示す概略図であるとともに、その機能を示すブロック図である。 一実施形態におけるデータ解析装置の各機能を示すブロック図である。 一実施形態のデータ解析装置内に設けられたストロークデータデータベースに記録されるデータの一例を示す図である。 一実施形態のデータ解析装置内に設けられた記入用紙情報データベースに記録されるデータの一例を示す図である。 一実施形態のデータ解析装置において実行される手書き入力挿入処理の動作を示すフローチャートである。 本発明に係る情報処理システムの変形例における構成を示すシステム構成図である。

以下、本発明の実施形態について、図面を参照しながら説明する。

なお、以下に説明する実施形態は、電子ペン又は電子デバイスと、当該電子ペンによって読み取り可能な位置座標を示すコード化パターン（ドットパターン）が予め形成されている所定の解答領域を有する学習問題用紙（又はその画像）と、を用いた情報処理システムに、本発明の情報処理装置、プログラム及び情報処理システムを適用した場合の実施形態である。

［１］情報処理システムの概要
まず、図１及び図２を用いて、本実施形態における情報処理システム１の構成及び概要について説明する。なお、図１は、本実施形態における情報処理システム１の構成を示すシステム構成図であり、図２は、本実施形態における手書き入力挿入処理を説明するための図である。

本実施形態の情報処理システム１は、文書作成や編集を行うワープロ機能によって作成中又は編集中の文書データの文書内に、記入用紙４０に記入された文字、線図その他の形状（以下、「記入形状」という。）４１を挿入してデータ化するシステムである。

特に、本実施形態の情報処理システム１は、記入者が記入した際の筆跡（すなわち、以下に示すストロークデータ）に基づいて、文書データの文書内に当該手書きした文字又は線図などの記入形状を挿入する際に、空白スペース５１を認識しつつ、当該空白スペース５１をも含めて文書内に手書きされた文字や線図を挿入するシステムである。

具体的には、本実施形態の情報処理システム１は、図１に示すように、記入者に提供される電子ペン１０と、デジタル形式の文書データの作成及び編集を実行し、記入者の筆跡をデータ化して文書データの文書内に挿入する処理（以下、「手書き入力挿入処理」という。）を実行するデータ解析装置２０と、有している。

電子ペン１０は、位置座標を示すコード化パターンが形成された記入用紙（記録媒体）４０に対して、記入用紙４０に文字その他の記入を行うための機能と、当該コード化パターンを読み取ってデータ解析装置２０に記入された記入者の筆跡のデータ（以下、「ストロークデータ」という。）を提供する機能と、を有している。

特に、電子ペン１０は、記入者によって使用され、ボールペン、鉛筆やシャープペンシルなどの他の筆記用具と同様に、文字又は線図などの記入用紙４０に所定の記入（所定の形状（キャラクタ）の記入）を行う際に用いられる。

また、電子ペン１０は、記入用紙４０に文字または図形などの記入が行われた場合に、当該記入時のストローク（筆跡）やタップ（電子ペン１０のペン先による記入用紙４０への軽叩）に応じて、当該記入用紙４０上の移動経路（すなわち、筆跡またはストローク）に沿って、記入用紙４０に印刷されたドットパターンを局所的、かつ、連続的に読み取る構成を有している。

そして、電子ペン１０は、読み取ったドットパターンに基づいて記入用紙４０におけるその局所位置の座標を算出するとともに、その算出した位置座標を含むストロークデータを生成し、当該生成したストロークデータをデータ解析装置２０に送信する構成を有している。

データ解析装置２０は、例えば、タブレット型情報端末装置、スマートフォン、パーソナルコンピュータ又はワークステーション等の情報通信端末装置である。

具体的には、データ解析装置２０は、新規の文書の作成や既に作成された文書の編集などワープロ（文書編集）機能を有するとともに、無線通信回線を利用して電子ペン１０によって読み取ったコード化パターンと当該読み取った際の時刻を示す時刻情報を含むストロークデータを取得し、取得したストロークデータをデータベース（以下、「ＤＢ」といい、後述の記録装置２００）に記録する機能を有している。

また、データ解析装置２０は、記入者その他ユーザ（以下、「記入者」という。）の指示に基づいて、記入者の各ストロークデータに基づいて、手書き入力挿入処理を実行する機能を有している。

特に、データ解析装置２０は、
（１）文字その他の記入形状４１を構成する各ストロークの記入用紙（記入領域）４０内の座標を示す座標情報をストロークデータとして取得し、
（２）取得したストロークデータによって記入形状４１を文字として認識しつつ、当該文字（記入形状４１）の記入位置を認識し、
（３）認識した文字（記入形状４１）を文書データ内の文書内に挿入し、
（４）認識された文字（記入形状４１）の記入位置と、当該文字（記入形状４１）の記入位置と他の文字（具体的には記入方向における隣接する文字（記入形状４１））との位置関係と、に基づいて、予め定められた空白領域の有無を検出し、
（５）空白領域が検出された場合に、当該空白領域を認識した位置に対応する文書データの位置に所定の空白スペース５１を挿入する、
構成を有している。

例えば、図２（Ａ）に示すように、記入者が、手書き入力挿入処理において認識される手書きの記入形状４１の文字「あいう えお（「う」と「え」の間に空白領域４２あり）」を記入用紙４０に記入した場合を想定する。

この場合において、データ解析装置２０は、手書きの記入形状４１の文字「あいう えお（「う」と「え」の間に空白領域４２あり）」を構成する各ストロークを有するストローク群を取得すると、表示画面５０上に、図２（Ｂ）に示すように、予め記入者又は自動的に設定された挿入位置に「あいうえ」の文字（記入形状４１）を認識しつつ、「う」と「え」の間に空白領域を認識し、当該認識した空白領域に対応する文章データの位置にテキストとして空白スペース５１を挿入し、その文書画像を生成するようになっている。

このような構成により、本実施形態の情報処理システム１は、記入者の手書きなどによって記入された文字や線図その他の記入形状を文書データの文書内に挿入する際に、空白スペース５１を含めて挿入することができるとともに、手書き入力で文書データを作成する場合であっても、キーボードその他の入力デバイスを用いて入力しなければならない空白スペースの入力作業を不要にすることができるので、ユーザの利便性を向上させることができるようになっている。

なお、本実施形態においては、電子ペン１０がペンダウンと判定してからペンアップと判定するまでに、すなわち、ユーザの一つのストロークの記入により、電子ペン１０によって生成されるデータを一のストロークデータという。

［２］記入用紙
［２．１］記入用紙
次に、図３を用いて本実施形態の記入用紙４０について説明する。なお、図３は、本実施形態の記入用紙４０の書式（様式）の一例と当該記入用紙４０に対応し、表示画面５０に表示される文書データ（文書画像）の一例である。

記入用紙４０には、紙など記録媒体によって形成されており、当該用紙の一面に後述するドットパターン（コード化パターン）が印刷により全体的に形成されている。なお、当該記録媒体は、紙以外の布や樹脂などのドットパターンが印刷可能であって、記入者によって記入可能な媒体であればよい。

また、記入用紙４０には、例えば、図２（Ａ）に示すように、ドットパターンが形成（印刷）されている面に、マス目が形成されている。そして、記入用紙４０は、電子ペン１０により文字その他の形状が記入された際の当該電子ペン１０のストロークがどの領域への記入によるものであるのかをデータ解析装置２０において識別することが可能に形成されている。

なお、ドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されており、問題文は、赤外線を吸収しないインクによって印刷されている。

また、図２（Ａ）に示す記入用紙４０においては、記述方向は横書きとなっており、かつ、マス目が印刷されているが、記述方向は縦書きであってもよいし、マス目が印刷されていなくてもよい。

さらに、本実施形態のデータ解析装置２０は、例えば、図２（Ａ）に示される記入用紙４０を用いた場合には、図２（Ｂ）に示すように、当該記入用紙４０に対応し、表示画面５０に表示される文書データ（文書画像）を表示し、記入用紙４０に記入された記入形状４１を当該文書データに反映させることができるようになっている。

［２．２］ドットパターン
次に、図４及び図５の各図を用いて本実施形態における記入用紙４０に印刷されているアノト方式のドットパターン（コード化パターン）について説明する。なお、図４は、ドットパターンのドットとそのドットが変換される値との関係を説明する図であり、図５は、ドットパターンを説明するための図である。

本実施形態のドットパターンの各ドットは、図４に示すように、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できるようになっており、このようにして対応付けられた情報の組合せにより、記入用紙４０上の位置座標が決定されるよう構成されている。

図５（Ａ）は、ある位置のドットパターンの配列を示している。図５（Ａ）に示すように、縦横約２ｍｍにおける範囲内に６×６の３６個のドットが、記入用紙４０上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。そして、これら３６個のドットにより形成されるドットパターンは、記入用紙４０上における相対的な位置座標及びドットパターンアドレスを保持している。なお、図５（Ｂ）は、図５（Ａ）に示す各ドットを、仮想格子の基準位置からのシフト方向によって、図４に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１０によって行われる。

［３］構成
［３．１］電子ペン
次に、図６を用いて本実施形態における電子ペン１０の構造とその動作について説明する。なお、図６は、本実施形態の電子ペン１０の構造を示す概略図であるとともに、その機能を示すブロック図である。

具体的には、電子ペン１０は、図６に示すように、その筐体１０１の内部に、ペン部１０４と、ＬＥＤ１０５と、ＣＭＯＳカメラ１０６と、圧力センサ１０７と、ＣＰＵ等により構成されるプロセッサ１０８と、ＲＯＭやＲＡＭといったメモリ１０９と、リアルタイムクロック１１０と、アンテナ等により構成される通信ユニット１１１と、バッテリー１１２と、を備える。

ペン部１０４の先端は、ペン先部１０３となっており、ペン先部１０３は、文字などの記入又はタップを行う際に、ユーザによって記入用紙４０に当接される。

なお、ペン部１０４には、記入用紙４０の性質上、消しゴムなどで消せるタイプのインクが充填されたインクカートリッジが装填されていることが好ましい。

ＬＥＤ１０５及びＣＭＯＳカメラ１０６は、電子ペン１０のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。

ＬＥＤ１０５は、記入用紙４０上のペン先部１０３近傍に向けて赤外線を照射する。赤外線が照射される領域は、ペン先部１０３が記入用紙４０に接触する位置とはわずかにずれるように構成されている。

ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内における上述したドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。

また、ＣＭＯＳカメラ１０６による撮影領域は、図５（Ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。

なお、ＣＭＯＳカメラ１０６の受光面側に、ノイズを低減して座標検出の信頼性を高めるため、赤外光を選択的に透過する赤外線透過フィルタを備えてもよい。

また、ドットパターンは、上述のように、赤外線を吸収するカーボンを含有するインクによって印刷されているので、ＬＥＤ１０５によって照射された赤外線は、ドットの位置においては吸収される。したがって、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多くなる。

このため、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができるようになっている。

圧力センサ１０７は、ユーザが電子ペン１０により記入用紙４０に文字などを記入したりタップしたりする際に、ペン先部１０３からペン部１０４を通じて与えられる圧力、すなわち、筆圧を検出し、その値をプロセッサ１０８へ伝送する。

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧のデータ（筆圧データ）に基づいて、電子ペン１０のペンダウン（記入用紙４０に接触してストロークが書き出しされること）及びペンアップ（接触している状態からペン先部１０３が離れること）を判定してＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切換える。

すなわち、ユーザが電子ペン１０によって記入用紙４０に文字などを記入すると、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されるので、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。

そして、ユーザが記入用紙４０から電子ペン１０を離すと、圧力センサ１０７によって所定値以上の筆圧の検出がされなくなるので、その際には、プロセッサ１０８は、ユーザが１つの筆跡の記入を終了したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６の作動を終了させる。

一方、プロセッサ１０８は、ユーザによって記入用紙４０に文字等のストロークが記入されている期間中、すなわち、圧力センサ１０７から与えられる筆圧データを検出中であって、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチがオンの状態のときに、当該検出した筆圧データに基づいて、ＣＭＯＳカメラ１０６によって供給される各画像データから、Ｘ、Ｙ座標（以下、単に「位置座標」、「座標情報」又は「座標データ」ともいう。）及びドットパターンアドレスを個々に演算していく。

特に、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図５（Ａ）に示されるようなドットパターンの画像データを、図５（Ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値及びＹ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ及びＹ座標データ及びドットパターンアドレスを演算する。

そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻と、筆圧データと、Ｘ，Ｙ座標データ及びドットパターンアドレスとを関連付けて一の座標属性情報を生成する。

なお、上述のように、記入用紙４０における６×６のドットパターンは、記入用紙４０内で重複することはないため、ユーザが電子ペン１０で文字等のストロークを記入すると、記入された位置が記入用紙４０のどの位置に当たるかを、プロセッサ１０８による座標演算により、ストロークに沿ってＣＭＯＳカメラ６により撮像されたドットパターンの記入用紙４０における位置座標を特定することができるようになっている。

メモリ１０９には、電子ペン１０を識別するための「００１」などのペンＩＤ（電子ペン１０識別情報）、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。

リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。

通信ユニット１１１は、座標属性情報にペンＩＤが関連付けられた各ストローク情報をデータ解析装置２０に記入者の指示に基づいて送信する。特に、通信ユニット１１１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、ストロークデータを、データ解析装置２０の制御の下、当該データ解析装置２０に送信する。

バッテリー１１２は、電子ペン１０内の各部材に電力を供給するためのものであり、例えば、電子ペン１０のキャップ（図示せず）の脱着により電子ペン１０自体の電源のオン／オフを行うように構成されている。

［３．２］データ解析装置
次に、図７〜図９の各図を用いて本実施形態のデータ解析装置２０について説明する。

なお、図７は、本実施形態のデータ解析装置２０の各機能を示すブロック図であり、図８及び図９は、それぞれ、本実施形態のデータ解析装置２０内に設けられたストロークデータＤＢ２０１及び記入用紙情報ＤＢ２０２に記録されるデータの一例を示す図である。

本実施形態のデータ解析装置２０は、図７に示すように、各種の情報が記録される記録装置２００と、通信インターフェース（以下、「通信Ｉ／Ｆ」という。）２１０と、液晶パネル等により構成される表示部２３０と、表示部２３０への表示データを生成して表示部２３０を制御する描画データ生成部２４０と、手書き入力挿入処理を実行するデータ処理部２５０と、操作部２６０と、ＲＯＭ／ＲＡＭ２７０と、装置全体を制御する管理制御部２８０と、を有し、上記の各部は、バス２１によって相互に接続されている。

記録装置２００は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、又は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成される。そして、記録装置２００は、少なくとも、ストロークデータＤＢ２０１と、記入用紙情報ＤＢ２０２と、を有している。

ストロークデータＤＢ２０１は、各電子ペン１０から送付されたストロークデータが電子ペン１０毎に記録されるデータベースである。例えば、ストロークデータＤＢ２０１には、図８に示すように、
（１）ペンＩＤ
（２）座標情報（（ｘ、ｙ）座標）
（３）座標毎のドットパターンアドレス（図５Ｂ参照）
（４）座標毎の筆圧データ
（５）座標毎の時刻情報
が記録される。

なお、図８においては、座標情報に示される各座標（ｘ、ｙ）としては（ｘ１１，ｙ１１）などの所定の座標値が記録され、ドットパターンとしては、図５Ｂに示される値が記録される（図８のドットパターンの表記については省略）。また、筆圧データとしては、１０段階のＰＰ０１〜ＰＰ１０までの値が記録され、時刻情報としては日時が記録される。

記入用紙情報ＤＢ２０２は、記入用紙４０に形成された各マス目の座標領域が記憶されるデータベースである。例えば、記入用紙情報ＤＢ２０２には、図９に示すように、
（１）記入用紙４０の識別情報（以下、「記入用紙ＩＤ」という。）
（２）各マス目の領域（座標領域）
が記録されている。

なお、記入用紙ＩＤ及び各マス目の座標領域は、電子ペン１０を用いて記入用紙４０を使用する前に情報処理システム１の管理者などによって予め登録される。また、図９には、記入用紙ＩＤ「Ｐ００１」における座標領域が記録されていることが示されている。

通信Ｉ／Ｆ２１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェースであり、図示しないアンテナを介して各電子ペン１０とストロークデータの授受などを実行する。

表示部２３０は、例えば、液晶素子または有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、描画データ生成部２４０において生成された表示データに基づいて所定の画像を表示する。

描画データ生成部２４０は、表示部２３０に表示させるために必要な表示データを生成するようになっており、生成された表示データを表示部２３０に出力する。

特に、描画データ生成部２４０は、データ処理部２５０の制御の下、手書き入力挿入処理の実行時に、所定の画像を表示するための表示データを生成して表示部２３０に供給する。

データ処理部２５０は、ＲＯＭ／ＲＡＭ２７０に記録されている文書作成処理、ストロークデータを取得する処理（以下、単に「取得処理」という。）及び手書き入力挿入処理を実行するアプリケーションに基づいて、
（１）所定の書式を設定し、操作部２６０の操作に応じて文字、記号その他の形状をデータ化してデジタル形式の文書データを作成する文書作成処理
（２）各電子ペン１０より、記入用紙４０に記入者によって記入された各ストロークの座標を示す座標情報と当該各ストロークが記入された際の時刻を示す時刻情報とを含むストロークデータを取得する取得処理と、
（３）文書作成処理と連動し、取得したストロークデータに基づいて文書データの文書内に、手書き入力された文字その他の形状を、空白領域４２を含めて文字認識を実行して挿入する手書き入力挿入処理と、
を実行する。

特に、データ処理部２５０は、アプリケーションを実行することによって、受信したストロークデータの取得処理、及び、取得した各ストロークデータをそれぞれストロークデータＤＢ２０１に記録する記録管理を含む各ＤＢを管理するＤＢ制御管理部２５１と、操作部２６０、表示部２３０及び描画データ生成部２４０と連動し、文書を作成して文書データの生成及び編集を行う文書編集処理部２５２と、文書データの編集中に、ストロークデータに基づいて空白領域４２も含めて文字その他形状を認識し、文書データの文書内に空白スペース５１を含めてテキストデータとして配置する文字認識部２５３と、を実現する。

例えば、本実施形態のＤＢ制御管理部２５１は、本発明の取得手段を構成し、文書編集処理部２５２は、文字認識部２５３とともに、本発明の文書編集手段を構成する。また、例えば、本実施形態の文字認識部２５３は、本発明の認識手段を構成する。

ＤＢ制御管理部２５１は、各ＤＢに対するデータの読み出し及び書き込みを管理する。特に、ＤＢ制御管理部２５１は、操作部２６０を介して該当する電子ペン１０から保持されているストロークデータの送信指示を検出すると、通信Ｉ／Ｆ２１０を介して電子ペン１０から保持されているペンＩＤ、座標情報、ドットパターンアドレス、筆圧データ及び時刻情報を有するストロークデータを受信（取得）する。

また、ＤＢ制御管理部２５１は、ストロークデータを受信すると、受信したストロークデータに含まれるペンＩＤに基づいてストロークデータＤＢ２０１を検索し、該当するペンＩＤに対応付けて座標情報、ドットパターンアドレス、筆圧データ及び時刻情報を当該ストロークデータＤＢ２０１に記録する。

文書編集処理部２５２は、操作部２６０と連動し、入力された文字又は線図などの文章や図形をデータ化してデジタル形式の文書データを生成及びその編集、さらには、図示しない印刷装置と連動して出力するワープロ機能を有している。また、文書編集処理部２５２は、作成した文書データ内に、写真その他の画像やグラフなどの各種のデータの挿入が可能であり、総合的なデジタル形式の文書データを作成する機能を有している。なお、本実施形態のワープロ機能については、従来と同様であるためその詳細の説明については省略する。

文字認識部２５３は、取得されたストロークデータ（群）における各ストロークの座標情報及び時刻情報に基づいて、ストロークの記入方向を認識しつつ、文字認識を実行し、１以上の文字を認識する。

また、文字認識部２５３は、ストロークの座標が時刻経過に伴って記録用紙４０の右から左に移動している場合には、記入方向が横書きであると認識し、ストロークの座標が時刻経過に伴ってミクロ的に記入用紙４０の右から左に移動し（１又は隣接するストロークが右から左に移動し）、かつ、マクロ的に記入用紙４０の上から下（所定の時間間隔毎のストロークの座標が上から下）に移動している場合には、記入方向が縦書きであると認識する。ただし、文字認識部２５３は、記入者の指示に基づいて予め縦書き又は横書きが設定される場合には、当該情報を読み取って認識すればよい。

なお、本実施形態の文字認識の手法については、従来と同様であるためその詳細の説明については省略する。

一方、文字認識部２５３は、１文字以上の文字列を認識した場合に、認識された文字間に、予め定められた空白領域４２が存在するか否かを判断し、空白領域４２があると判断した文字間には１文字の空白スペース５１を含める文字認識した文字列を特定する。

すなわち、文字認識部２５３は、認識された文字（記入形状４１）の記入位置と、当該文字（記入形状４１）の記入位置と他の文字（記入方向において隣接する文字（記入形状４１）との位置関係と、に基づいて、予め定められた空白領域４２の有無を検出し、当該空白領域４２があることを検出した場合には、当該位置に対応する文書データの位置に空白スペース５１を挿入する。

特に、文字認識部２５３は、認識された文字（記入形状４１）の記入位置と、記入方向において当該文字の前段に隣接する文字又は当該文字の後段に隣接する文字との位置関係と、に基づいて予め定められた空白領域４２の有無を検出する。

具体的には、文字認識部２５３は、認識された各文字と記入方向の前段又は後段に隣接する文字間との間に認識した平均文字サイズ以上などの所定の空白領域４２があるか否かを検出し、当該空白領域４２がある場合には、当該文字間に１文字の全角又は半角の空白スペース５１を挿入する。なお、本実施形態においては、記入者の指示に基づいて、予め全角の空白スペース５１を挿入するか半角の空白スペース５１を挿入するかを設定する。

そして、文字認識部２５３は、認識した空白スペース５１を含めて認識した１文字以上の文字列を予め設定された文書データ上の予め記入者によって設定された又は文書データや文書編集アプリで自動的に設定された挿入位置に配置する。

なお、文字認識部２５３は、記入用紙４０に座標情報を有するマス目が形成されている場合には、各マス目の座標領域に基づいて空白スペース５１を特定し、該当する位置に空白スペース５１を有する１以上の文字から構成される文字列を文書データの文書内に配置してもよい。

この場合には、文字認識部２５３は、記録された記入用紙情報ＤＢ２０２を検索しつつ、ストロークデータ群の各ストロークに基づいて、マス目毎に文字（記入形状４１）を認識し、時刻が一番早い最初のストロークが記入された先頭のマス目から時刻が一番遅い最後のストロークが記入された最後のマス目までの中から、いずれのストロークデータも記載されていないマス目（特定のマス目）の有無を検出する。

そして、文字認識部２５３は、当該いずれのストロークデータも記載されていない特定のマス目を検出した場合には、当該マス目に空白領域４２が存在すると判断し、文書データ内において該当するマス目の位置に空白スペース５１を配置する。

また、文字認識部２５３は、認識された各文字と記入方向後段に隣接する文字間との間に認識した平均文字サイズの２倍又はそれ以上の空白領域４２がある場合には、２文字又はそれ以上の空白スペース５１を配置してもよい。ただし、この場合で合っても、空白領域４２の記入方向の前後にはストロークが形成されてなければ、文字認識部２５３は、空白領域４２を空白スペース５１として認識することができない。

操作部２６０は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキーなどの多数のキー又はタッチパネルにより構成され、ユーザが各操作を行う際に用いられるようになっている。例えば、操作部２６０は、ストロークデータの取得処理及び手書き入力挿入処理を実行する際に用いられる。

管理制御部２８０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、データ解析装置２０の全般的な機能を総括的に制御する。

ＲＯＭ／ＲＡＭ２７０は、データ解析装置２０の管理及び制御に関するプログラム、ストロークデータの取得処理及び手書き入力挿入処理の実行するためのアプリケーション、並びに、各プログラムやアプリケーションの実行中にワークエリアとして用いられるとともに、データ解析装置２０で実行される各処理において用いられるデータが記憶される。

［４］本実施形態の動作
［４．１］電子ペンの動作
次に、電子ペン１０よりデータ解析装置２０へ送信されるストロークデータについて説明する。

ユーザが電子ペン１０を用いて記入用紙４０にストローク（筆跡）を記入する際に、電子ペン１０を記入用紙４０に接触させると、圧力センサ１０７は、ペン先部１０３にかかる筆圧を検出する。

このとき、プロセッサ１０８は、圧力センサ１０７によって所定値以上の筆圧が検出されたと判断すると、電子ペン１０の記入用紙４０への接触を示すペンダウン情報ＰＤと、電子ペン１０の識別情報であるペンＩＤ等とを関連付けたストロークデータを生成し、通信ユニット１１１を介して当該ストロークデータをデータ解析装置２０に送信させる。

また、ユーザによって、電子ペン１０のペン先部１０３を記入用紙４０に接触させた後、筆圧を維持しつつ、ペン先部１０３を移動させてストロークが描かれると、プロセッサ１０８は、ペンダウンした状態を維持しつつ、ペンＩＤ等を関連付けて
（１）演算により求めた座標情報（Ｘ，Ｙ）及びドットパターンアドレスと、
（２）圧力センサ１０７により検出される筆圧データと、
（３）リアルタイムクロック１１０により発信された時刻情報と、
を含むストロークデータをＣＭＯＳカメラ１０６によるドットパターンの撮影周期（例えば７０Ｈｚ〜８０Ｈｚ）に応じて逐次生成する。

そして、ユーザがストロークを描き終えて電子ペン１０が記入用紙４０から離され、圧力センサ１０７における筆圧が検出されなくなると、プロセッサ１０８は、電子ペン１０の記入用紙４０への離脱を示すペンアップ情報ＰＵと、電子ペン１０の識別情報であるペンＩＤ等とを関連付けたストロークデータを生成する。

なお、プロセッサ１０８は、データ解析装置２０から生成したストロークデータの送信指示を受信した場合には、通信ユニット１１１を介してそのストロークデータを、送信指示を受信するまでに複数のストロークデータが生成されている場合には、ストロークデータ群を、データ解析装置２０に送信させる。

［４．２］データ解析装置の動作（ストロークデータ取得処理を含む手書き入力処理）
次に、図１０を用いてデータ解析装置２０において実行されるストロークデータ取得処理を含む手書き入力挿入処理の動作について説明する。なお、図１０は、データ解析装置２０において実行されるストロークデータ取得処理を含む手書き入力挿入処理の動作を示すフローチャートである。

本動作においては、所定の書式が設定された文書データにおいて記入者によって設定された挿入位置に電子ペン１０に基づく手書き入力を挿入することを待機している状態であるものとする。

また、本動作においては、既に、記入者によって、電子ペン１０を用いて記入用紙４０に手書き入力すべき文字その他の形状が記入されており、当該文字その他の形状が記入された際に生成された複数のストロークデータを有するストロークデータ群が電子ペン１０内に保持されているものとする。

さらに、本動作においては、電子ペン１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）のインターフェースを用いてデータ解析装置２０と既に通信回線が確立しているものとし、認識された文字の文書データの文書内における挿入位置及び空白スペース５１を挿入する際の全角か半角かを示す半角／全角設定が既にされているものとする。

まず、ＤＢ制御管理部２５１は、操作部１６０を介して該当する電子ペン１０から保持されているストロークデータの送信指示を検出すると（ステップＳ２０１）、通信Ｉ／Ｆ２１０を介して該当する電子ペン１０に保持しているストロークデータの送信を指示する（ステップＳ２０２）。

次いで、ＤＢ制御管理部２５１は、通信Ｉ／Ｆ２１０を介して該当する電子ペン１０から送信されたストロークデータ群を受信すると（ステップＳ２０３）、当該受信したストロークデータ群に含まれる各ストロークデータからそれぞれペンＩＤ、座標情報、ドットパターンアドレス、筆圧データ及び時刻情報を抽出する（ステップＳ２０４）。

また、このとき、ＤＢ制御管理部２５１は、抽出した各ストロークデータに含まれるペンＩＤに基づいてストロークデータＤＢ２０１を検索し、該当するペンＩＤに対応付けて座標情報、ドットパターンアドレス、筆圧データ及び時刻情報を当該ストロークデータＤＢ２０１に記録する。

次いで、文字認識部２５３は、抽出した各ストロークの座標情報及び時刻情報に基づいて、ストロークの記入方向を認識しつつ、文字認識を実行し、１以上の文字を認識する（ステップＳ２０５）。

具体的には、文字認識部２５３は、ストロークの座標が時刻経過に伴って記録用紙４０の右から左に移動している場合には、記入方向が横書きであると認識し、ストロークの座標が時刻経過に伴って記入用紙４０の右から左に移動し、かつ、記入用紙４０の上から下に移動している場合には、記入方向が縦書きであると認識する。ただし、文字認識部２５３は、記入者の指示に基づいて予め縦書き又は横書きが設定される場合には、当該情報を読み取って認識すればよい。

次いで、文字認識部２５３は、認識された文字間に、予め定められた空白領域４２が存在するか否かを判断し、空白領域４２があると判断した文字間には１文字の空白スペース５１を含める認識した文字列を特定する（ステップＳ２０６）。

具体的には、文字認識部２５３は、記入方向において認識された隣接する文字間において縦横のそれぞれにおいて所定の空白領域４２があるか否かを検出し、当該空白領域４２がある場合には、当該文字間に１文字の全角又は半角のスペースを挿入する。なお、本実施形態においては、記入者の指示に基づいて、予め全角の空白のスペースを挿入するか半角の空白スペース５１を挿入するかを設定する。

次いで、文字認識部は、認識した空白スペース５１を含めて認識した１文字以上の文字列を予め設定された文書データ上の挿入位置に配置して（ステップＳ２０７）、本動作を終了させる。

以上本実施形態の情報処理システム１は、本実施形態の情報処理システム１は、記入者の手書きなどによって記入された文字や線図その他の記入形状を文書データの文書内に挿入する際に、空白スペース５１を含めて挿入することができるとともに、手書き入力で空白スペースを挿入した場合であっても、文書データにキーボードその他の入力デバイスを用いて入力しなければならない作業を不要にすることができるので、ユーザの利便性を向上させることができるようになっている。

［５］変形例
［５．１］変形例１
上記実施形態の情報処理システム１においては、ドットパターンを有する記入用紙４０と電子ペン１０とを用いて記入者が記入した解答を、ストロークデータを介して取得して記録するようになっているが、タブレット型情報端末装置などのタッチセンサー付き表示パネルを有する電子デバイス１２を用いて記入領域（電子的な記入用紙４０）を提供し、当該記入領域へのタッチ入力によって記入者の記入形状４１におけるストロークデータを取得し、手書き入力挿入処理を実行するようにしてもよい。

具体的には、本変形例の情報処理システム１１において、各電子デバイス１２は、図１１に示すように、記入用紙４０の画像を表示する表示パネル１３を有しており、タッチペン１４を用いて記入領域の画像上に記入された各ストロークの表示パネル１３上の座標を示す座標情報を含むストロークデータをＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信インターフェースを用いてデータ解析装置２０に送信する構成を有している。

なお、タッチペン１３に替えて記入者の指を用いてもよいし、キーボードやマウスといった入力デバイスを用いてもよい。また、図１１は、本変形例の情報処理システムにおける構成を示すシステム構成図である。

［５．２］変形例２
上記実施形態においては、データ解析装置２０が記録装置２００を有し、当該記録装置２００内に各データベースが設けられているが、データ解析装置２０が、インターネットなどのネットワークを介して単一の記録装置又はそれぞれのデータベースに接続し、各データの登録お及びその検索を行うようにしてもよい。

［５．３］変形例３
上記実施形態においては、電子ペン１０が複数のストロークデータを内部に記録し、データ解析装置２０の指示に基づいて記録された複数のストロークデータをストロークデータ群として送信するようになっているが、電子ペン１０は、ストロークデータを取得すると、即時的かつ逐次的に当該取得したストロークデータを送信してもよい。

この場合には、データ解析装置２０は、記入者の指示に基づいて挿入すべき記入形状４１を特定し、当該特定された記入形状４１を構成するストローク群について手書き入力挿入処理を実行すればよい。なお、記入者の指示としては、データ解析装置２０によって表示されたストロークデータに基づいて該当するストロークデータを特定してもよいし、挿入開始点及び挿入終了点を電子ペン１０からタップなどによって通知させてもよい。

１、１１ … 情報処理システム
１０ … 電子ペン
１１ … 電子デバイス
１２ … 表示パネル
１３ … タッチペン
２０ … データ解析装置
４０ … 記入用紙
２００ … 記録装置
２３０ … 表示部
２４０ … 描画データ生成部
２５０ … データ処理部
２５１ … ＤＢ制御管理部
２５２ … 文書編集処理部
２５３ … 文字認識部
２６０ … 操作部
２７０ … ＲＯＭ／ＲＡＭ
２８０ … 管理制御部

Claims (10)

1. 記入形状の座標を示す座標情報を取得する取得手段と、
   前記取得された座標情報によって前記記入形状及び当該記入形状の記入位置を認識する認識手段と、
   前記認識された記入位置に基づいて、前記認識された記入形状を文書データ内の文書内に挿入する文書編集手段と、
   を備え、
   前記認識手段が、
   前記取得された座標情報の時間経過に伴う変化に基づいて縦書き又は横書きかの記入方向を判定し、
   前記認識された記入形状の記入位置と、当該判定した記入方向における当該記入形状の記入位置と他の記入形状との位置関係と、に基づいて、予め定められた空白領域の有無を検出し、
   前記文書編集手段が、
   前記空白領域が検出された場合に、当該空白領域を認識した位置に対応する前記文書データの位置に所定の空白スペースを挿入することを特徴とする情報処理装置。
2. 請求項１記載の情報処理装置において、
   前記認識手段が、データベースに予め記録された情報であって前記記入形状が記入される記入領域に形成されたマス目の座標を示す座標情報と、前記取得された記入形状の座標情報と、に基づいて、前記記入方向における前記マス目毎に前記記入形状を認識し、
   前記認識手段によって特定のマス目が空白領域であると検出された場合には、前記文書編集手段が、前記文書データにおける当該特定のマス目に対応する位置に前記空白スペースを挿入する、情報処理装置。
3. 請求項１又は２に記載の情報処理装置において、
   前記認識手段が、前記記入形状として文字を認識し、当該認識した文字の記入位置に基づいて前記空白領域を検出する、情報処理装置。
4. 請求項１〜３のいずれか１項に記載の情報処理装置において、
   前記認識手段が、前記空白領域のサイズによっては２以上の空白スペースを認識する、情報処理装置。
5. 請求項１〜４のいずれか１項に記載の情報処理装置において、
   前記空白スペースが半角スペース又は全角スペースである、情報処理装置。
6. 請求項１〜５のいずれか１項に記載の情報処理装置において、
   入力者の操作に応じて文字記入可能な入力デバイスによって読み取り可能な位置座標を示すコード化パターンが形成された記入領域を有する記録媒体を用いるとともに、
   前記取得手段が、前記入力デバイスによって読み取ったコード化パターンのデータに基づいて前記記入形状の座標情報を取得する、情報処理装置。
7. 請求項１〜５のいずれか１項に記載の情報処理装置において、
   入力者の操作に応じて文字記入可能であってデバイス上の座標を認識する表示パネルが形成された電子デバイスを用いるとともに、
   前記取得手段が、前記表示パネルへの入力者の接触操作に応じて前記電子デバイス上の座標を認識することによって前記座標情報を取得する、情報処理装置。
8. コンピュータを、
   記入形状の座標を示す座標情報を取得する取得手段、
   前記取得された座標情報によって前記記入形状及び当該記入形状の記入位置を認識する認識手段、及び、
   前記認識された記入位置に基づいて、前記認識された記入形状を文書データ内の文書内に挿入する文書編集手段、
   として機能させ、
   前記認識手段として、
   前記取得された座標情報の時間経過に伴う変化に基づいて縦書き又は横書きかの記入方向を判定し、
   前記認識された記入形状の記入位置と、当該判定した記入方向における当該記入形状の記入位置と他の記入形状との位置関係と、に基づいて、予め定められた空白領域の有無を検出し、
   前記文書編集手段として、
   前記空白領域が検出された場合に、当該空白領域を認識した位置に対応する前記文書データの位置に所定の空白スペースを挿入する処理を実行させることを特徴とするプログラム。
9. 位置座標を示すコード化パターンが形成された記録媒体に対して入力者の操作に応じて文字記入を実行し、当該コード化パターンを読み取るための電子ペンと、
   前記電子ペンによって読み取ったコード化パターンを座標情報として取得し、当該取得した座標情報によって形成される記入形状を文書データに挿入する情報処理装置と、
   を備え、
   前記情報処理装置が、
   前記記入形状の座標を示す座標情報を取得する取得手段と、
   前記取得された座標情報によって前記記入形状及び当該記入形状の記入位置を認識する認識手段と、
   前記認識された記入位置に基づいて、前記認識された記入形状を前記文書データ内の文書内に挿入する文書編集手段と、
   を備え、
   前記認識手段が、
   前記取得された座標情報の時間経過に伴う変化に基づいて縦書き又は横書きかの記入方向を判定し、
   前記認識された記入形状の記入位置と、当該判定した記入方向における当該記入形状の記入位置と他の記入形状との位置関係と、に基づいて、予め定められた空白領域の有無を検出し、
   前記文書編集手段が、
   前記空白領域が検出された場合に、当該空白領域を認識した位置に対応する前記文書データの位置に所定の空白スペースを挿入することを特徴とする情報処理システム。
10. 記入形状を記入する際に用いられるとともに当該記入形状を表示する表示パネルと、記入領域に記入された記入形状の座標を示す座標情報を検出する検出手段と、を有する電子デバイスと、
    前記電子デバイスによって読み取ったコード化パターンを座標情報として取得し、当該取得した座標情報によって形成される記入形状を文書データに挿入する情報処理装置と、
    を備え、
    前記情報処理装置が、
    前記記入形状の座標を示す座標情報を取得する取得手段と、
    前記取得された座標情報によって前記記入形状及び当該記入形状の記入位置を認識する認識手段と、
    前記認識された記入位置に基づいて、前記認識された記入形状を前記文書データ内の文書内に挿入する文書編集手段と、
    を備え、
    前記認識手段が、
    前記取得された座標情報の時間経過に伴う変化に基づいて縦書き又は横書きかの記入方向を判定し、
    前記認識された記入形状の記入位置と、当該判定した記入方向における当該記入形状の記入位置と他の記入形状との位置関係と、に基づいて、予め定められた空白領域の有無を検出し、
    前記文書編集手段が、
    前記空白領域が検出された場合に、当該空白領域を認識した位置に対応する前記文書データの位置に所定の空白スペースを挿入することを特徴とする情報処理システム。