JP5505106B2 - 手書き文字分離装置、手書き文字分離方法及び手書き文字分離プログラム - Google Patents

Description

本件は、手書き文字分離装置、手書き文字分離方法及び手書き文字分離プログラムに関する。

近年、多くの業務が計算機上でのデータ処理によって行われており、紙に書かれた文字を計算機に入力するようなデータ処理も多々行われている。最近では、データ処理における文字入力の工数削減を目的として、紙に書かれた文字を自動認識してテキスト化する手書き文字認識技術も用いられている。

文字認識の対象となる手書きデータには例えば２種類の形式があり、それぞれ文字認識の方法が異なる。例えば、第１のデータ形式としては、ビットマップ形式などの画像データとして表現された文字列画像が挙げられ、第２のデータ形式は、筆跡を座標値の系列（座標点列）で表した筆跡座標データが挙げられる。前者では、画像から文字列を認識する技術として、ＯＣＲ(Optical Character Recognition)技術が採用され、後者では、座標点列を認識する技術として、オンライン認識技術が採用されている。なお、ＯＣＲ技術は、オンライン認識技術に対応してオフライン認識技術とも呼ばれる。

ＯＣＲ技術で認識する文字列画像（第１のデータ形式）は、紙文書をスキャナやデジタルカメラで読み込むことによって取得することができる。ＯＣＲ技術は、一般的に文書画像から文字列を含む行を切り出し、行を構成する文字の区切り位置を推定して、一文字ごとの文字画像を生成する。そして、生成された文字画像を認識して文字認識結果を取得し、文書画像をテキスト化する。ＯＣＲ技術により文書画像をテキスト化する技術は様々な例があり、製品も多数発売されている。なお、ＯＣＲ技術の公知例としては、例えば、特許文献１等が挙げられる。

ここで、文字列画像から一文字ごとの画像を分離する技術としては、例えば、特許文献２に記載の技術がある。この特許文献２の技術では、文字列画像の中に隣接する文字と接触している接触文字と、接触していない非接触文字とが存在する場合に、非接触文字を接触文字から予め分離しておき、その後に接触文字を１文字ごとに分離する。接触文字の分離では、接触文字の上輪郭線と下輪郭線を求めるとともに、輪郭線の極大・極小点を用いて切断すべき箇所を求め、当該箇所において画像を２つに切断する。

一方、オンライン文字認識技術（第２のデータ形式）においては、筆跡座標データを、例えばタブレット装置などの筆跡座標入力装置上におけるスタイラスペンの動きから取得することができる。オンライン文字認識技術の具体的な内容については、例えば非特許文献１に開示されている。

ここで、オンライン文字認識技術において、筆跡データを１文字ごとに分離する技術には、非特許文献２に記載の技術などがある。この種の技術では、文字を構成する一画ごとの筆跡座標データ(「ストローク」と呼ぶ)が、始点座標、連続する中間座標、及び終点座標という順序で座標値の系列で表現される。このため、文字と文字の位置が重なっていてもストロークごとに分離することができることから、当該ストロークをグループ化することで、筆跡データを１文字ごとに分離することができる。

なお、最近では、オンライン及びオフライン文字認識を同時に用いる例も出現してきている（例えば特許文献３、４、非特許文献３参照）。特許文献３、４は、オンライン認識技術とオフライン認識技術の両方を用いて認識し、それらの認識結果を統合して高精度な文字認識を行うものである。また、非特許文献３は、手書き文字列に対してオンライン認識、オフライン認識の両方を行い、それらの認識結果を統合するものである。

特開平７−２６２３１７号公報 特開２００１−２２８８５号公報 特開平８−１１５３８４号公報 特開平６−３４８９０４号公報

福島、中川：「確率モデルに基づくオンライン枠なし手書き文字列認識」、電子情報通信学会技術報告PRMU98-139, 1999.12 田中、秋山、石垣：「階層遅延セグメンテーションを用いた実時間枠なしオンライン手書き文字認識」、電子情報通信学会技術報告PRMU2001-264, 2002.03 M.Liwicki, H.Bunke, "Recognition of Whitebord Notes," pp.129-153, World Scientific社, ISBN-10 981-281-453-1

上述した特許文献３，４及び非特許文献３の技術では、オンライン及びオフライン文字認識を行ってはいるものの、筆跡データとしてはオンラインデータのみを用いており、文字列（文字）の画像は筆跡座標データから生成している。このため、紙に筆記した手書きデータをスキャナ等で読み込んで取得した画像から文字認識を行った場合とは異なる認識結果が得られてしまう可能性がある。例えば、紙に筆記しているときに文字の掠れや書き損じなどが生じると、ユーザは同じ辺を繰り返し筆記するなどして文字を修正することが多々ある。このような場合、オンラインデータのみを用いた文字認識では、同じ辺の筆記を別の辺の筆記と認識してしまい、高精度な文字認識ができない可能性が高い。

このような観点からすると、紙に筆記した手書き文字画像が接触している場合に、それらの手書き文字画像を１文字ずつ分離できれば、文字認識精度を向上することができると考えられる。

そこで本件は上記の課題に鑑みてなされたものであり、手書き文字の画像を精度良く１文字ごとに分離することが可能な手書き文字分離装置、手書き文字分離方法及び手書き文字分離プログラムを提供することを目的とする。

本明細書に記載の手書き文字分離装置は、手書き文字列を含む画像を読み込む画像読み込み部と、前記手書き文字列の筆跡の座標に関する筆跡座標データを取得する座標データ取得部と、前記画像から、前記手書き文字列の画像を抽出する文字列抽出部と、前記筆跡座標データから前記筆跡の各ストロークの座標データを抽出し、前記手書き文字列の画像の黒画像部分に所定の割合以上重複する筆跡の座標を抽出する対応座標抽出部と、前記筆跡座標データから前記対応座標抽出部により抽出された筆跡の座標を、１文字ごとに統合する座標統合部と、前記座標統合部により１文字ごとに統合された筆跡の座標に基づいて、前記手書き文字列の画像を分離する文字列分離部と、を備える。

本明細書に記載の手書き文字分離方法は、コンピュータが、手書き文字列を含む画像を読み込む画像読み込み工程と、前記手書き文字列の筆跡の座標に関する筆跡座標データを取得する座標データ取得工程と、前記画像から、前記手書き文字列の画像を抽出する文字列抽出工程と、前記筆跡座標データから前記筆跡の各ストロークの座標データを抽出し、前記手書き文字列の画像の黒画像部分に所定の割合以上重複する筆跡の座標を抽出する対応座標抽出工程と、前記筆跡座標データから前記対応座標抽出工程で抽出された筆跡の座標を、１文字ごとに統合する座標統合工程と、前記座標統合工程で１文字ごとに統合された筆跡の座標に基づいて、前記手書き文字列の画像を分離する文字列分離工程と、を実行する手書き文字分離方法である。

本明細書に記載の手書き文字分離プログラムは、コンピュータに、手書き文字列を含む画像を読み込む画像読み込み工程、前記手書き文字列の筆跡の座標に関する筆跡座標データを取得する座標データ取得工程、前記画像から、前記手書き文字列の画像を抽出する文字列抽出工程、前記筆跡座標データから前記筆跡の各ストロークの座標データを抽出し、前記手書き文字列の画像の黒画像部分に所定の割合以上重複する筆跡の座標を抽出する対応座標抽出工程、前記筆跡座標データから前記対応座標抽出工程で抽出された筆跡の座標を、１文字ごとに統合する座標統合工程、及び前記座標統合工程で１文字ごとに統合された筆跡の座標に基づいて、前記手書き文字列の画像を分離する文字列分離工程、を実行させる手書き文字分離プログラムである。

本明細書に記載の手書き文字分離装置、手書き文字分離方法及び手書き文字分離プログラムは、手書き文字の画像を精度良く１文字ずつ分離することができるという効果を奏する。

一実施形態に係る情報処理システムの構成を概略的に示す図である。 図２（ａ）は、筆跡座標データ入力部で得られる座標点列情報のデータ構造を示す図であり、図２（ｂ）は、図２（ａ）の状態の値の意味を示す表である。 ＰＣのハードウェア構成を示す図である。 ＰＣの機能ブロック図である。 ＰＣの処理を示すフローチャートである。 図５のステップＳ１６〜Ｓ２０の処理を説明するための図である。 図５のステップＳ２２の具体的な処理を示すフローチャートである。 図８（ａ）〜図８（ｄ）は、図７の処理を説明するための図である。 図９（ａ）、図９（ｂ）は、図７のステップＳ４２を説明するための図（その１）である。 図７のステップＳ４２を説明するための図（その２）である。 図５のステップＳ２４の具体的な処理を示すフローチャートである。 図１１のステップＳ５２の具体的な処理を示すフローチャートである。 図１２のステップＳ６８の統合条件２を説明するための図である。 図１１のステップＳ５４の具体的な処理を示すフローチャートである。 図１５（ａ）〜図１５（ｄ）は、図１４の処理を説明するための図（その１）である。 図１６（ａ）〜図１６（ｃ）は、図１４の処理を説明するための図（その２）である。 図１４の処理の結果を示す図である。 図１８（ａ）、図１８（ｂ）は、比較例を示す図である。

以下、手書き文字分離装置、手書き文字分離方法及び手書き文字分離プログラムの一実施形態について、図１〜図１７に基づいて詳細に説明する。図１には、手書き文字分離装置として機能するＰＣ１０を含む情報処理システム１００の構成が概略的に示されている。この図１に示すように、情報処理システム１００は、ＰＣ１０と、筆跡座標データ入力部２０と、文字列画像入力部３０と、表示装置４０と、を備える。

ＰＣ１０は、筆跡座標データ入力部２０から入力される座標点列情報（オンラインデータとも呼ばれる）と、文字列画像入力部３０から入力される文字画像データ（オフラインデータとも呼ばれる）とから、手書き文字を認識する。そして、文字認識結果に基づいて手書き文字を文字データ（テキスト文字列）に変換し、当該文字データを表示装置４０に表示させる。また、ＰＣ１０は、手書き文字を認識する前に、隣接する手書き文字が接触しているような場合には、当該接触している手書き文字を分離する。なお、ＰＣ１０のハードウェア構成や機能ブロック及び処理の詳細等については後述する。

筆跡座標データ入力部２０は、ユーザが筆記した筆跡を表す座標点の系列（座標点列情報）を取得するものであり、市販のタブレット装置などを用いることができる。筆跡座標データ入力部２０では、ユーザが紙に文字列を筆記する際の、座標点列情報を取得する。具体的には、ユーザは、図１に示すように筆跡座標データ入力部２０上に文字を筆記する紙を置き、ペン先にインクの吐出口を有するスタイラスペン２１を用いて、紙に文字列を筆記する。これにより、筆跡座標データ入力部２０は、ユーザが文字列を筆記している間の座標点列情報を取得することが可能となる。なお、ユーザは、紙以外のシート状部材を筆記座標データ入力部２０上に置いて、当該シート状部材に文字列を筆記するようにしても良い。

座標点列情報は、ｘ座標とｙ座標で表される座標点の系列であり、スタイラスペン２１の筆記を開始した点(ペンダウン)からペンが紙から持ち上げられた点(ペンアップ)までが文字の一画（１ストローク）を表す。座標点列情報は、座標点を時間順に配列したものであり、一例として、図２（ａ）に示すようなデータ構造を有している。図２（ａ）のデータ構造では、座標点ごとに「ｘ座標」、「ｙ座標」、「時間」、「筆記状態」が記録される。これらのうち、「ｘ座標」と「ｙ座標」は２バイトの整数値で表される。「時間」は座標点列データの最初の座標点からの相対経過時間が４バイトで表される。４バイトデータの前半２バイトが「秒」を、後半２バイトが「ミリ秒」を表す。なお、ｔ₁は常に０である。更に、「筆記状態」には０〜３のいずれかの値が入力される。筆記状態を示す値は、図２（ｂ）に示すように、「０」がペンが空中にあって筆記していない状態、「１」がストローク（一画）の始点、「２」が筆記中の座標点で、始点・終点以外の状態、「３」がストローク（一画）の終点を意味する。

図１に戻り、文字列画像入力部３０は、紙に筆記された文字列の画像を取得するものであり、例えば、スキャナ装置や、スキャナ機能を有する複合機、デジタルカメラなどの画像入力装置が用いられる。文字列画像入力部３０が取得する画像は、一般的なフォーマットの画像、例えばビットマップ（ＢＭＰ）形式や、ＪＰＥＧ形式、ＧＩＦ形式、ＴＩＦＦ形式など様々な形式の画像である。これらの形式では、画像の一画素ごとの画素値が保存されるため、２次元座標（ｘ、ｙ座標）で表される画素ごとに値が割り振られることになる。画像データが二値画像であれば、筆跡に対応する画素が黒画素（例えば「１」）であり、それ以外の画素（背景など）が白画素（例えば「０」）で表される。

表示装置４０は、液晶ディスプレイや有機ＥＬディスプレイ等を含み、ＰＣ１０からの指示に基づいて、手書き文字から認識された文字（テキスト）を表示したり、ユーザからの指示に基づく表示を行ったりする。

図３には、ＰＣ１０のハードウェア構成が示されている。この図３に示すように、ＰＣ１０は、ＣＰＵ９０、ＲＯＭ９１、ＲＡＭ９２、記憶部（ここではＨＤＤ（Hard Disk Drive））９３、入出力部９４等を備えており、ＰＣ１０の構成各部は、バス９５に接続されている。ＰＣ１０では、ＲＯＭ９１あるいはＨＤＤ９３に格納されているプログラムをＣＰＵ９０が実行することにより、図４の各部の機能が実現される。また、入出力部９４には、図１の筆跡座標データ入力部２０、文字列画像入力部３０及び表示装置４０等が接続されている。

図４は、ＰＣ１０の機能ブロック図である。図４に示すように、ＰＣ１０は、手書き文字分離装置としての手書き文字分離部５０と、文字認識部５２と、表示制御部５４と、を有する。

手書き文字分離部５０は、紙に筆記された文字列の画像（手書き文字列画像）から文字を１文字ずつ分離する。この手書き文字分離部５０は、図４に示すように、画像読み込み部６２と、文字列抽出部６４と、座標データ取得部６６と、対応座標抽出部６８と、座標統合部７０と、文字列分離部７２と、を有する。

画像読み込み部６２は、手書き文字列を含む画像を読み込む。具体的には、画像読み込み部６２は、図１の文字列画像入力部３０において、ユーザの操作によりスキャンされた画像を画素データとして読み込む。文字列抽出部６４は、画像読み込み部６２において読み込まれた画像から、手書き文字列の画像（以下、単に「文字列画像」と呼ぶ）を抽出するとともに、文字列画像をグループ化する。なお、文字列画像のグループ化は、文字列画像のうち隣接する文字と接触していない非接触文字のみのグループと、隣接する文字と接触している接触文字を複数含むグループとに分ける処理である。

座標データ取得部６６は、手書き文字列画像の筆跡の座標に関する筆跡座標データ（座標点列データ）を取得する。対応座標抽出部６８は、座標点列データのうち、文字列抽出部６４で抽出された文字列画像に対応する座標点列を抽出する。座標統合部７０は、対応座標抽出部６８により抽出された座標点列を、１文字ごとにグループ化して統合する。文字列分離部７２は、座標統合部７０により１文字ごとに統合された座標点列に基づいて、文字列画像を１文字ごとに分離する。

文字認識部５２は、文字列分離部７２において１文字ずつ分離された文字列画像を、ＯＣＲ（Optical Character Reader）技術等を用いて認識し、当該認識結果を表示制御部５４に対して出力する。

表示制御部５４は、文字認識部５２からの出力に基づいて、表示装置４０に文字認識部５２で認識された文字列（テキスト）を表示する。

次に、上記のように構成される情報処理システム１００の処理について、図５〜図１７に基づいて詳細に説明する。

図５は、ＰＣ１０における処理を示すフローチャートである。図５のフローチャートに示すように、まず、ステップＳ１０では、座標データ取得部６６が、文字列の書込みがあったか否かを判断する。すなわち、ユーザが筆跡座標データ入力部２０上に紙を置いて、当該紙に文字を筆記したか否かを判断する。ここでの判断が肯定されると、ステップＳ１２に移行するが、否定された場合には、ステップＳ１０の判断が肯定されるまで、ステップＳ１０の判断を繰り返す。

ステップＳ１２では、座標データ取得部６６が、筆跡座標データ入力部２０にて取得された座標点列データを取得する。ここで取得される座標点列データは、図２（ａ）のようなデータ構造を有している。次いで、ステップＳ１４では、画像読み込み部６２が、文字列画像入力部３０において画像が読み込まれたか否かを判断する。ここでの判断が肯定されると、ステップＳ１６に移行するが、否定された場合には、ステップＳ１４の判断が肯定されるまで、ステップＳ１４の判断を繰り返す。

ステップＳ１６では、画像読み込み部６２が、文字列画像入力部３０において取得された（スキャンされた）画像を画素データとして取得し、文字列抽出部６４が、当該画像から文字列画像を抽出する。ここでは、図６（ａ）に示すような、「中原区」の文字列画像が抽出されたものとする。

次いで、ステップＳ１８では、文字列抽出部６４が、文字列画像を連結成分に分離する。具体的には、図６（ａ）に示す文字列画像を、図６（ｂ）に示すように、連結して一塊になっている部分ごとに、連結成分Ａ〜Ｅとして分離する。

次いで、ステップＳ２０では、文字列抽出部６４が、連結成分のグループ化を行う。具体的には、図６（ｂ）のように分離された連結成分Ａ〜Ｅのうち、紙面横方向に関して重複している連結成分を纏めて、グループ化する。図６（ｂ）の場合、図６（ｃ）に示すように、連結グループＧＡ、ＧＢにグループ化される。すなわち、ここでは、「中」と、「原区」とが別々の連結グループとなり、このうち、連結グループＧＢは、「原区」の各文字が接触した、接触文字部分となる。

次いで、ステップＳ２２では、対応座標抽出部６８が、連結グループ（「中」「原区」部分）に対応する座標点列の取得に関するサブルーチンを実行する。具体的には、対応座標抽出部６８は、図７のフローチャートに沿った処理を実行する。

図７のフローチャートでは、まず、ステップＳ４０において、対応座標抽出部６８が、対応付ける文字列画像（ここでは、連結グループＧＢ（「原区」部分）とする）を太線化する。具体的には、対応座標抽出部６８が、例えば文字列画像の黒画素に対して、隣接する８方向(上・下・左・右・右上・右下・左上・左下)の画素が白画素であった場合に黒画素に変換する、などの操作を行う。なお、図８（ａ）に示す文字列画像が、太線化された後の文字列画像であるものとする。

次いで、ステップＳ４２では、対応座標抽出部６８が、座標点列データから１ストローク分のデータを取得し、それが文字列画像と重なっているかどうかを判定する。具体的には、対応座標抽出部６８は、図８（ｃ）に示すような座標点列データから、１ストローク（１画）分（例えば、図８（ｃ）の符合Ｓ部分）を取得して、その１ストロークが太線化された文字列画像とどの程度一致するかを判定する。なお、１ストローク（一画）は、前述したように、ペンが紙に接触し始めてから、紙から離れるまでの間のペンの移動軌跡を意味する。

なお、ステップＳ４２を実施するにあたっては、文字が筆記されたときの紙の位置と、筆跡座標データ入力部２０（タブレット）の位置とを、予め対応させておく必要がある。このため、ユーザが筆跡座標データ入力部２０上に設けた紙に文字を書くときに、筆跡座標データ入力部２０と紙との位置関係をある一定の関係に維持するようにしておくことが好ましい。具体的には、例えば筆跡座標データ入力部２０及び紙にマーカ等を設けておき、各マーカの位置を一致させた状態でユーザが紙に文字を書くなどすることで、位置関係を維持することができる。

次いで、ステップＳ４３では、対応座標抽出部６８が、重なりが大きな画（ストローク）か否かを判断する。具体的には、対応座標抽出部６８は、１ストローク（一画）分の筆記座標に沿って画素値を調べ、黒画素の割合が所定割合（例えば９５％）以上であれば、ここでの判断が肯定される。ステップＳ４３の判断が肯定された場合、ステップＳ４４に移行し、判断を行った（取得した）一画（ストローク）を座標統合部７０に対して出力する。

ここで、１ストローク分の画素における黒画素の割合を算出する処理は以下のようにして行う。すなわち、座標点列データは、実際には、筆跡上の離散点の座標であり、実際の筆跡はそれらの離散点を線分で繋げて表示される。例えば図９（ａ）のように離散した座標点Ｐ１，Ｐ２の並びは、図１０のようなデータ形式で表され、座標点Ｐ１，Ｐ２がストローク１に含まれる場合には、ストローク１の座標点（ｘ₁,ｙ₁）〜（ｘ₄,ｙ₄）のうちの２点となる。したがって、座標点列データを用いて、１つのストロークの画素値をカウントする場合は、離散した座標点を部分直線Ｌで結んだ線上にある黒画素をカウントする。すなわち、図９（ｂ）において黒塗りにて示す画素が、２点Ｐ１，Ｐ２間でカウントすべき画素に相当する。

このように、座標点列データを構成する全ての座標点の間で同様の処理を行うことで、１ストローク分の画素における黒画素の割合を求めることができる。

なお、上述のようにしてステップＳ４４の処理が行われた後は、図７に示すように、ステップＳ４６に移行する。一方、ステップＳ４３の判断が否定された場合には、ステップＳ４４を経ずに、ステップＳ４６に移行する。

次のステップＳ４６では、対応座標抽出部６８が、全画（全てのストローク）についての判定が行われたか否かを判断する。ここでの判定が否定された場合には、ステップＳ４２に戻る。そして、ステップＳ４６の判断が肯定されるまで、ステップＳ４２〜Ｓ４４を繰り返し行う。

その後、ステップＳ４６の判断が肯定されると、ステップＳ４８に移行する。なお、ステップＳ４６の判断が肯定された段階では、対応座標抽出部５８は、座標統合部７０に対して、文字列画像と重なっている座標点列データ（ストローク）のみを出力することになる。すなわち、図８（ｂ）及び図８（ｄ）に示すように、「中原区」を示す座標点列データのうち、文字列画像のうちの連結グループＧＢ（「原区」部分）に対応する座標点列データが出力されることになる。

図７に戻り、ステップＳ４８に移行すると、対応座標抽出部６８は、全ての連結グループについて、処理が行われたか否かを判断する。ここでは、未だ連結グループＧＢの処理を行ったのみなので、判断は否定されて、ステップＳ４９に移行する。ステップＳ４９では、対応座標抽出部６８が、次のグループ（ここでは、連結グループＧＡとする）を処理対象にして、ステップＳ４０に戻る。なお、上記説明では、説明の便宜上、連結グループＧＢ、ＧＡの順に処理を行うこととしたが、これに限らず、連結グループＧＡ、ＧＢの順位処理が行われることとしても良い。

以上のような処理を実行し、ステップＳ４８の判断が肯定されると、図７の全処理を終了し、図５のステップＳ２４に移行する。なお、図７の全処理が終了した段階では、連結グループＧＢ（「原区」部分）に対応する座標点列データ（図８（ｄ）参照）と、連結グループＧＡ（「中」部分）に対応する座標点列データと、が座標統合部７０に対して出力される。

図５に戻り、次のステップＳ２４では、座標統合部７０及び文字列分離部７２が、座標点列を用いた画像分離のサブルーチンを実行する。このステップＳ２４では、座標統合部７０及び文字列分離部７２は、図１１に示す処理を実行する。

図１１では、まず、ステップＳ５０において、座標統合部７０が、文字列画像が複数ストローク（複数画）であるか否かを判断する。なお、ここでは、１つの連結グループを処理対象とするものとし、一例として、連結グループＧＢが処理対象に設定されているものとする。ステップＳ５０の判断が否定された場合には、ステップＳ５８に移行するが、判断が肯定された場合には、ステップＳ５２に移行する。なお、連結グループＧＢの場合、複数ストロークであるので、ステップＳ５０の判断は肯定されて、ステップＳ５２に移行する。

ステップＳ５２では、座標統合部７０が、座標点列を文字境界で分離するサブルーチンを実行する。具体的には、座標統合部７０は、図１２に示すような処理を実行する。

図１２の処理では、まず、ステップＳ６０において、座標統合部７０が、座標点列を筆記順にソートする。次いで、ステップＳ６２では、座標統合部７０が、隣り合ったストローク同士を統合条件１にしたがって統合する。ここで、統合条件１は、ストローク間の時間間隔が短い場合には文字間の境界ではない（同一文字内である）と判定するための条件である。すなわち、統合条件１としては、例えば、ストロークの筆記時間間隔が一定時間（例えば０．０５秒）よりも短い場合に、統合する、という条件を採用することができる。なお、統合条件１として上記のような時間に関する条件を用いる場合、図２（ａ）や図１０のように、座標点列データからストローク間の筆記時間間隔が得られることが必要となる。なお、時間間隔が取得できないような場合には、統合条件１によるストロークの統合は行わない、すなわち、ステップＳ６０〜Ｓ６４を省略する、こととしても良い。

なお、統合条件１としては、上記条件に限られるものではなく、例えば、「岡本、山本、吉川、堀井：「物理的特徴量を用いたオンライン文字自動切り出し手法」、電子情報通信学会PRU95-13, 1995.05」に記載されている条件などを採用することができる。具体的には、例えば、前のストロークの始点位置と次のストロークの始点位置が近い場合に統合する、などの条件を採用することができる。また、統合条件１としては、例えば、「相澤、若原、小高：「複数のストローク特徴を用いた手書き文字列からの実時間文字切り出し」、電子情報通信学会PRU95-185, 1995.12」のようなニューラルネットを用いた判定を行うこととしても良い。あるいは、上述した各条件のうちの２以上の条件で判定を行い、各判定結果を総合して、統合するか否かを判定することとしても良い。

次いで、ステップＳ６４では、座標統合部７０は、全てのストロークのソートが完了したか否かを判断する。ここでの判断が否定された場合には、ステップＳ６０に戻り、上記と同様にステップＳ６０、Ｓ６２の処理を行うが、肯定された場合には、ステップＳ６６に移行する。

ステップＳ６６に移行した場合、座標統合部７０は、統合した筆跡を座標順にソートする。次いで、ステップＳ６８では、座標統合部７０は、隣り合った統合筆跡を統合条件２にしたがって統合する。

ここで、統合条件２について、具体的に説明する。図１３（ａ）、図１３（ｂ）は、統合条件２を説明するための図である。統合条件２としては、本実施形態のように文字列が横書き（図１３（ａ）のｘ軸方向に沿った筆記順）の場合であれば、２つの統合筆跡１、２のうち、一方の統合筆跡の外接矩形のｘ軸方向に関する中心座標（ｃｘ１又はｃｘ２）が、他方の統合筆跡の外接矩形のｘ軸方向範囲内に含まれている場合に統合する、という条件を採用することができる。

例えば、図１３（ａ）に示すように、一方の中心座標が他方の外接矩形の範囲に含まれていない場合には、統合条件２を満たさないと判断する。これに対し、図１３（ｂ）に示すように、いずれか一方の中心座標が他方の外接矩形の範囲に含まれている場合には、統合条件２を満たすと判断する。なお、縦書きの場合には、ｙ軸方向を基準として判断すれば良い。

本実施形態において、統合条件２に従った統合処理を行うのは、例えば、「原」の文字の最終画（１０画目）のストロークが、直前の画（９画目）のストロークから０．０５秒以内に書かれていないなどで、統合条件１を満たしていないとされた場合でも、最終画のストロークを、「原」ののストロークとして統合するためである。このように、統合条件１、２を併用することで、高精度にストロークを１文字ごとに分離（統合）することができるようになる。

図１２に戻り、次のステップＳ７０では、座標統合部７０が、全ての統合筆跡をソートしたか否かを判断する。ここでの判断が否定された場合には、ステップＳ６６に戻るが、肯定された場合には、図１２の全処理を終了し、図１１のステップＳ５４に移行する。なお、図１２（ステップＳ５２）の処理が終了した段階では、座標点列が文字ごとに分離（統合）された状態となる。

次いで、図１１のステップＳ５４では、文字列分離部７２が、文字列画像の各画素を分離するサブルーチンを実行する。このステップＳ５４のサブルーチンでは、図１４に示すフローチャートに沿った処理を実行する。なお、ここでは、処理対象として、連結グループＧＢ（「原区」のグループ）が選択されているものとする。

図１４の処理では、まず、ステップＳ８０において、文字列分離部７２は、統合筆跡幅の推定値を求め、推定値をｗとする。統合筆跡幅の推定値ｗとしては、例えば図９（ｂ）に示すように座標点列データの座標点の間で画素をカウントする場合であれば、統合筆跡に対して直交する方向に黒画素が存在する幅の平均値を算出した結果を採用することができる。

次いで、ステップＳ８２では、文字列分離部７２が、文字毎にストロークの周辺ｗ幅以内（±ｗ／２以内）の画素を、その文字に属する画素として分類する。一例として、図１５（ａ）に示すような文字画像データ（画素データ）と、これに対応して、ある文字（文字１とする）のストローク１と別の文字（文字２とする）のストローク２があるとする。この場合、文字列分離部７２は、図１５（ｂ）に示すように文字１のストローク１に近接する画素を文字１の画素（文字１に対応する画素）として分類する。また、文字列分離部７２は、図１５（ｃ）に示すように、文字２のストローク２に近接する画素を、文字２の画素（文字２に対応する画素）として分類する。なお、画素の中には、図１５（ｄ）に示すように、文字１の画素と文字２の画素の両方に対応する画素、すなわち、文字１と文字２に共通する画素も存在する。

次いで、ステップＳ８４では、文字列分離部７２が、いずれの文字にも分類されていない画素を、分類済みの画素で最も近いものと同じ文字に分類する。この結果、図１６（ａ）に示すように、文字１の画素及び文字２の画素（両方の文字の画素も含む）に分類される。

次いで、ステップＳ８６では、文字列分離部７２が、各文字の画素を抽出して文字画像を作成する。具体的には、図１６（ａ）の場合であれば、文字列分離部７２は、図１６（ｂ）のように文字１に対応する画素と両方に対応する画素とを抽出して文字１の画像を作成する。また、図１６（ｃ）のように文字２に対応する画素と両方に対応する画素とを抽出して文字２の画像を作成する。これにより、本実施形態のように処理対象が「原区」である場合には、図１７に示すように、１文字ずつ「原」と「区」の文字画像に分離されることになる。なお、ステップＳ８６では、文字列分離部７２が、手書き文字列の画像のうち、隣接する文字間で重なり合っている部分を、隣接する各文字に割り振る処理を行っているとも言える。

以上のようにして、図１４（ステップＳ５４）の処理が終了すると、図１１のステップＳ５６に移行する。ステップＳ５６では、文字列分離部７２が図４の文字認識部５２に向けて、分離した文字画像を出力する。次いで、ステップＳ５８では、文字列分離部７２は、全ての連結グループの処理が終了したか否かを判断する。ここでの判断が否定された場合には、ステップＳ５９において、次の連結グループを処理対象にした後、ステップＳ５０に戻る。本実施形態では、未だ連結グループＧＡ（「中」のグループ）の処理が終了していないので、ここでの判断は否定されて、ステップＳ５９に移行する。そして、連結グループＧＡに対しても、上記と同様の処理が行われると、ステップＳ５８の判断が肯定される。ステップＳ５８の判断が肯定されると、図１１の全処理を終了し、図５のステップＳ２６に移行する。

ステップＳ２６では、文字認識部５２が、文字画像に基づいて、文字認識を行う。この文字認識においては、既存のＯＣＲ技術などが用いられる。

次いで、ステップＳ２８では、表示制御部５４が、表示装置４０を介して認識した文字を表示する。このようにして、ＰＣ１０における全処理が終了する。

以上、詳細に説明したように、本実施形態によると、画像読み込み部６２が、ユーザにより筆記された手書き文字列を含む画像を読み込み、座標データ取得部６６が、手書き文字列がユーザにより筆記された際の座標点列データを取得する。そして、文字列抽出部６４が、画像から文字列部分の画像を抽出し、対応座標抽出部６８が、座標点列データから筆跡の各ストロークの座標データを抽出し、手書き文字列の画像の黒画像部分に所定の割合以上重複する筆跡の座標（座標点列）を抽出する。更に、座標統合部７０が、抽出された座標点列を、１文字ごとに統合して、文字列分離部７２が、統合された筆跡の座標に基づいて手書き文字列の画像を分離する。このように、手書き文字列の画像が筆記された際の座標点列データを１文字ごとに統合した結果を用いることで、隣接する手書き文字が接触しているような場合であっても、手書き文字列の画像を１文字ごとに高精度に分離することができる。また、上記のように高精度に分離された手書き文字列の画像を用いて文字認識処理を行うことで、高精度に文字を認識することが可能となる。すなわち、従来のように座標点列のみから文字認識を行うこととすると、ユーザが文字を筆記する際に同じ辺を繰り返し書くなどした場合、繰り返し書いた部分は、別の辺として扱われ、誤認識される可能性が高かった。しかしながら、本実施形態のように、１文字ごとに分離された手書き文字を用いて文字認識を行うことで、誤認識の可能性を低減することが可能となる。なお、図１８（ａ）には、手書き文字列の形状から手書き文字列を分離した場合の例が示されている。この図１８（ａ）に示すように、手書き文字列を形状から分離する方法を採用した場合には、文字の形状や文字の接触度合等によっては、不適切な位置で文字が分離されるおそれがある。

また、本実施形態では、文字列抽出部６４が、手書き文字列の画像から、隣接する文字と接触している接触文字部分（連結グループＧＢ）を抽出し、対応座標抽出部６８が、接触文字部分に対応する筆跡の座標を抽出する。すなわち、本実施形態のように「中原区」の文字列のうち、非接触文字部分（連結グループＧＡ）を予め分離した状態で、「原区」の画像を分離する。これにより、「中原区」の文字列の全てについて同時に分離するような場合と比べて、精度良く文字列の画像を分離することができる。

また、本実施形態では、文字列分離部７２は、文字列部分を分離する際に、隣接する文字間で重なり合っている部分を、隣接する各文字に割り振ることとしている。これにより、重なり合っている部分を考慮して、文字列を１文字ごとに適切に分離することができる。この場合、画像読み込み部６２が手書き文字列画像を画素データとして読み込み、文字列分離部７２は、１文字ごとに統合された筆跡の座標に基づいて、隣接する文字のうちの一方の文字に対応する画素、他方の文字に対応する画素、及び両方の文字に対応する画素に分類し、分類された画素のうち、一方の文字に対応する画素と前記両方の文字に対応する画素とを、一方の文字の画素データとして分離し、他方の文字に対応する画素と両方の文字に対応する画素とを、他方の文字の画素データとして分離することから、簡易な方法で、文字列を１文字ごとに適切に分離することができる。なお、図１８（ｂ）には、両方の文字に共通する画素を考慮しない場合の例が示されている。この図１８（ｂ）に示すように、両方の文字に共通する画素を考慮しないこととすると、文字「原」と「区」の接触部分において、適切な分離がされない部分が生じるおそれがある。このように、適切な分離がされない部分が生じると、文字認識精度が低下するおそれがある。

また、本実施形態では、対応座標抽出部６８は、手書き文字列の画像を太線化し、太線化後の画像と対応する、座標点列データの筆跡の座標を抽出する。したがって、手書き文字列と座標点列との位置関係が多少ずれても、高精度に筆跡の座標を抽出することができる。

なお、上記実施形態では、図６（ｃ）のように、手書き文字列の画像を連結グループＧＡ、ＧＢに分け（ステップＳ２０）、その後に、グループごとの座標点列の取得（ステップＳ２２）及び手書き文字列の画像の分離（ステップＳ２４）を行う場合について説明した。しかしながら、これに限られるものではなく、ステップＳ２０を行わずに、ステップＳ２２、Ｓ２４を行うこととしても良い。このようにしても、手書き文字列の画像を１文字ずつ分離することは可能である。

また、上記実施形態では、図７のステップＳ４０において連結グループの画像を太線化する場合について説明したが、これに限られるものではなく、太線化しなくても良い。

なお、上記実施形態では、図２（ａ）に示すような座標点列のデータ構造を採用した場合について説明したが、これに限らず、データ構造には、ｘ座標、ｙ座標、筆記状態が含まれていれば良い。ただし、このようなデータ構造を採用した場合には、前述のように、図１２の統合条件を適宜変更する必要がある。

なお、上記実施形態では、統合条件１、２を用いて、座標点列を１文字ごとに分離（統合）する場合について説明したが、これに限らず、いずれか一方のみを用いることとしても良い。

なお、上記実施形態では、筆跡座標データ入力部２０として、タブレット装置を例示したが、これに限られるものではない。例えば、超音波センサを用いて座標点列を検知する超音波型電子ペンや、紙上に印刷された位置座標情報をペン先のカメラで読み取って座標点列を検知するデジタルペンなどを、筆跡座標データ入力部として用いることとしても良い。

なお、上記実施形態では、本件の手書き文字分離プログラムが、ＰＣ１０内に組み込まれ、図１の各部の各機能を実現する。しかしながら、これに限らず、例えば、インターネット等の通信網に接続されたサーバコンピュータを本件の手書き文字分離装置とし、これに接続されたパーソナルコンピュータ等の通信装置が有する表示装置に、表示を行うサービスをサーバコンピュータから提供するようにしても良い（ＡＳＰ(Application Service Provider)）。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１） 手書き文字列を含む画像を読み込む画像読み込み部と、前記手書き文字列の筆跡の座標に関する筆跡座標データを取得する座標データ取得部と、前記画像から、前記手書き文字列の画像を抽出する文字列抽出部と、前記筆跡座標データから前記筆跡の各ストロークの座標データを抽出し、前記手書き文字列の画像の黒画像部分に所定の割合以上重複する筆跡の座標を抽出する対応座標抽出部と、前記筆跡座標データから前記対応座標抽出部により抽出された筆跡の座標を、１文字ごとに統合する座標統合部と、前記座標統合部により１文字ごとに統合された筆跡の座標に基づいて、前記手書き文字列の画像を分離する文字列分離部と、を備える手書き文字分離装置。
（付記２） 前記文字列抽出部は、前記手書き文字列の画像から、隣接する文字と接触している接触文字部分を抽出し、前記対応座標抽出部は、前記接触文字部分に対応する筆跡の座標を抽出することを特徴とする付記１に記載の手書き文字分離装置。
（付記３） 前記文字列分離部は、前記手書き文字列の画像を分離する際に、隣接する文字間で重なり合っている部分を、隣接する各文字に割り振ることを特徴とする付記１又は２に記載の手書き文字分離装置。
（付記４） 前記画像読み込み部は、前記手書き文字列の画像を画素データとして読み込み、前記文字列分離部は、前記文字列部分に対応する画素を、１文字ごとに統合された筆跡の座標に基づいて、隣接する文字のうちの一方の文字に対応する画素、他方の文字に対応する画素、及び両方の文字に対応する画素に分類し、前記分類された画素のうち、前記一方の文字に対応する画素と前記両方の文字に対応する画素とを、前記一方の文字の画素データとして分離し、前記他方の文字に対応する画素と前記両方の文字に対応する画素とを、前記他方の文字の画素データとして分離することを特徴とする付記３に記載の手書き文字分離装置。
（付記５） 前記対応座標抽出部は、前記手書き文字列の画像を太線化し、当該太線化後の画像と対応する、前記筆跡座標データの筆跡の座標を抽出することを特徴とする付記１〜４のいずれかに記載の手書き文字分離装置。
（付記６） コンピュータが、手書き文字列を含む画像を読み込む画像読み込み工程と、前記手書き文字列の筆跡の座標に関する筆跡座標データを取得する座標データ取得工程と、前記画像から、前記手書き文字列の画像を抽出する文字列抽出工程と、前記筆跡座標データから前記筆跡の各ストロークの座標データを抽出し、前記手書き文字列の画像の黒画像部分に所定の割合以上重複する筆跡の座標を抽出する対応座標抽出工程と、前記筆跡座標データから前記対応座標抽出工程で抽出された筆跡の座標を、１文字ごとに統合する座標統合工程と、前記座標統合工程で１文字ごとに統合された筆跡の座標に基づいて、前記手書き文字列の画像を分離する文字列分離工程と、を実行することを特徴とする手書き文字分離方法。
（付記７） 前記コンピュータは、前記文字列抽出工程では、前記手書き文字列の画像から、隣接する文字と接触している接触文字部分を抽出し、前記対応座標抽出工程では、前記接触文字部分に対応する筆跡の座標を抽出することを特徴とする付記６に記載の手書き文字分離方法。
（付記８） 前記コンピュータは、前記文字列分離工程では、前記手書き文字列の画像を分離する際に、隣接する文字間で重なり合っている部分を、隣接する各文字に割り振ることを特徴とする付記６又は７に記載の手書き文字分離方法。
（付記９） 前記コンピュータは、前記画像読み込み工程では、前記手書き文字列の画像を画素データとして読み込み、前記文字列分離部は、前記文字列部分に対応する画素を、１文字ごとに統合された筆跡の座標に基づいて、隣接する文字のうちの一方の文字に対応する画素、他方の文字に対応する画素、及び両方の文字に対応する画素に分類し、前記分類された画素のうち、前記一方の文字に対応する画素と前記両方の文字に対応する画素とを、前記一方の文字の画素データとして分離し、前記他方の文字に対応する画素と前記両方の文字に対応する画素とを、前記他方の文字の画素データとして分離することを特徴とする付記８に記載の手書き文字分離方法。
（付記１０） 前記コンピュータは、前記対応座標抽出工程では、前記手書き文字列の画像を太線化し、当該太線化後の画像と対応する、前記筆跡座標データの筆跡の座標を抽出することを特徴とする付記６〜９のいずれかに記載の手書き文字分離方法。
（付記１１）コンピュータに、手書き文字列を含む画像を読み込む画像読み込み工程、前記手書き文字列の筆跡の座標に関する筆跡座標データを取得する座標データ取得工程、前記画像から、前記手書き文字列の画像を抽出する文字列抽出工程、前記筆跡座標データから前記筆跡の各ストロークの座標データを抽出し、前記手書き文字列の画像の黒画像部分に所定の割合以上重複する筆跡の座標を抽出する対応座標抽出工程、前期筆跡座標データから前記対応座標抽出工程で抽出された筆跡の座標を、１文字ごとに統合する座標統合工程、及び前記座標統合工程で１文字ごとに統合された筆跡の座標に基づいて、前記手書き文字列の画像を分離する文字列分離工程、を実行させることを特徴とする手書き文字分離プログラム。
（付記１２） 前記文字列抽出工程では、前記手書き文字列の画像から、隣接する文字と接触している接触文字部分を抽出し、前記対応座標抽出工程では、前記接触文字部分に対応する筆跡の座標を抽出することを特徴とする付記１１に記載の手書き文字分離プログラム。
（付記１３） 前記文字列分離工程では、前記手書き文字列の画像を分離する際に、隣接する文字間で重なり合っている部分を、隣接する各文字に割り振ることを特徴とする付記１１又は１２に記載の手書き文字分離プログラム。
（付記１４） 前記画像読み込み工程では、前記手書き文字列の画像を画素データとして読み込み、前記文字列分離部は、前記文字列部分に対応する画素を、１文字ごとに統合された筆跡の座標に基づいて、隣接する文字のうちの一方の文字に対応する画素、他方の文字に対応する画素、及び両方の文字に対応する画素に分類し、前記分類された画素のうち、前記一方の文字に対応する画素と前記両方の文字に対応する画素とを、前記一方の文字の画素データとして分離し、前記他方の文字に対応する画素と前記両方の文字に対応する画素とを、前記他方の文字の画素データとして分離することを特徴とする付記１３に記載の手書き文字分離プログラム。
（付記１５） 前記対応座標抽出工程では、前記手書き文字列の画像を太線化し、当該太線化後の画像と対応する、前記筆跡座標データの筆跡の座標を抽出することを特徴とする付記１１〜１４のいずれかに記載の手書き文字分離プログラム。

５０ 手書き文字分離部（手書き文字分離装置）
６２ 画像読み込み部
６４ 文字列抽出部
６６ 座標データ取得部
６８ 対応座標抽出部
７０ 座標統合部
７２ 文字列分離部

Claims (7)

1. 手書き文字列を含む画像を読み込む画像読み込み部と、
   前記手書き文字列の筆跡の座標に関する筆跡座標データを取得する座標データ取得部と、
   前記画像から、前記手書き文字列の画像を抽出する文字列抽出部と、
   前記筆跡座標データから前記筆跡の各ストロークの座標データを抽出し、前記手書き文字列の画像の黒画像部分に所定の割合以上重複する筆跡の座標を抽出する対応座標抽出部と、
   前期筆跡座標データから前記対応座標抽出部により抽出された筆跡の座標を、１文字ごとに統合する座標統合部と、
   前記座標統合部により１文字ごとに統合された筆跡の座標に基づいて、前記手書き文字列の画像を分離する文字列分離部と、を備える手書き文字分離装置。
2. 前記文字列抽出部は、前記手書き文字列の画像から、隣接する文字と接触している接触文字部分を抽出し、
   前記対応座標抽出部は、前記接触文字部分に対応する筆跡の座標を抽出することを特徴とする請求項１に記載の手書き文字分離装置。
3. 前記文字列分離部は、前記手書き文字列の画像を分離する際に、隣接する文字間で重なり合っている部分を、隣接する各文字に割り振ることを特徴とする請求項１又は２に記載の手書き文字分離装置。
4. 前記画像読み込み部は、前記手書き文字列の画像を画素データとして読み込み、
   前記文字列分離部は、
   前記文字列部分に対応する画素を、１文字ごとに統合された筆跡の座標に基づいて、隣接する文字のうちの一方の文字に対応する画素、他方の文字に対応する画素、及び両方の文字に対応する画素に分類し、
   前記分類された画素のうち、前記一方の文字に対応する画素と前記両方の文字に対応する画素とを、前記一方の文字の画素データとして分離し、前記他方の文字に対応する画素と前記両方の文字に対応する画素とを、前記他方の文字の画素データとして分離することを特徴とする請求項３に記載の手書き文字分離装置。
5. 前記対応座標抽出部は、前記手書き文字列の画像を太線化し、当該太線化後の画像と対応する、前記筆跡座標データの筆跡の座標を抽出することを特徴とする請求項１〜４のいずれか一項に記載の手書き文字分離装置。
6. コンピュータが、
   手書き文字列を含む画像を読み込む画像読み込み工程と、
   前記手書き文字列の筆跡の座標に関する筆跡座標データを取得する座標データ取得工程と、
   前記画像から、前記手書き文字列の画像を抽出する文字列抽出工程と、
   前記筆跡座標データから前記筆跡の各ストロークの座標データを抽出し、前記手書き文字列の画像の黒画像部分に所定の割合以上重複する筆跡の座標を抽出する対応座標抽出工程と、
   前記筆跡座標データから前記対応座標抽出工程で抽出された筆跡の座標を、１文字ごとに統合する座標統合工程と、
   前記座標統合工程で１文字ごとに統合された筆跡の座標に基づいて、前記手書き文字列の画像を分離する文字列分離工程と、を実行することを特徴とする手書き文字分離方法。
7. コンピュータに、
   手書き文字列を含む画像を読み込む画像読み込み工程、
   前記手書き文字列の筆跡の座標に関する筆跡座標データを取得する座標データ取得工程、
   前記画像から、前記手書き文字列の画像を抽出する文字列抽出工程、
   前記筆跡座標データから前記筆跡の各ストロークの座標データを抽出し、前記手書き文字列の画像の黒画像部分に所定の割合以上重複する筆跡の座標を抽出する対応座標抽出工程、
   前記筆跡座標データから前記対応座標抽出工程で抽出された筆跡の座標を、１文字ごとに統合する座標統合工程、及び
   前記座標統合工程で１文字ごとに統合された筆跡の座標に基づいて、前記手書き文字列の画像を分離する文字列分離工程、を実行させることを特徴とする手書き文字分離プログラム。

Images