JP5867227B2 - Learning data generation device for character recognition, character recognition device, and program - Google Patents

Learning data generation device for character recognition, character recognition device, and program Download PDF

Info

Publication number
JP5867227B2
JP5867227B2 JP2012071636A JP2012071636A JP5867227B2 JP 5867227 B2 JP5867227 B2 JP 5867227B2 JP 2012071636 A JP2012071636 A JP 2012071636A JP 2012071636 A JP2012071636 A JP 2012071636A JP 5867227 B2 JP5867227 B2 JP 5867227B2
Authority
JP
Japan
Prior art keywords
character
information
vector
stroke
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012071636A
Other languages
Japanese (ja)
Other versions
JP2013205922A (en
Inventor
智哉 齋藤
智哉 齋藤
英人 織田
英人 織田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2012071636A priority Critical patent/JP5867227B2/en
Publication of JP2013205922A publication Critical patent/JP2013205922A/en
Application granted granted Critical
Publication of JP5867227B2 publication Critical patent/JP5867227B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)

Description

本発明は、文字認識用学習データ生成装置、文字認識装置、およびプログラムに関する。   The present invention relates to a character recognition learning data generation device, a character recognition device, and a program.

特許文献1には、オンライン手書き文字入力により入力される文字を、各文字が分離して筆記されたPritingスタイル、文字間を続けて筆記されたCursiveスタイル、PritingスタイルおよびCursiveスタイルが混在するMixedスタイルに分別して認識する手書き文字認識装置が開示されている。特許文献2には、統計上一筆書きされやすいパターンが登録された辞書を用いることで続け字が崩し字に対する認識率および認識処理速度を向上する手書き認識装置が開示されている。特許文献3には、タッチパネル等から入力される手書き文字の認識処理において、「い」「ろ」等の大文字と「っ」等の小文字を区別するための閾値を用いた認識処理を行うことで大きさが異なる文字の認識率を向上する手書き文字認識装置が開示されている。特許文献4には、「h」「g」等の上下に幅が振れるアルファベットの認識処理において、ライン・スペース及びベース・ラインを調整する調整方法が開示されている。   Patent Document 1 describes a Pricing style in which characters entered by online handwritten character input are written separately, a Cursive style in which characters are continuously written, a Pricing style and a Cursive style. A handwritten character recognizing device that recognizes separately is disclosed. Patent Document 2 discloses a handwriting recognition device that improves the recognition rate and the recognition processing speed for continuously broken characters by using a dictionary in which a pattern that is statistically easy to be drawn is registered. In Patent Document 3, in recognition processing of handwritten characters input from a touch panel or the like, recognition processing using a threshold value for distinguishing between uppercase letters such as “i” and “ro” and lowercase letters such as “tsu” is performed. A handwritten character recognition device that improves the recognition rate of characters of different sizes has been disclosed. Patent Document 4 discloses an adjustment method for adjusting a line space and a base line in an alphabet recognition process such as “h”, “g”, etc. whose width varies vertically.

特開平11−167606号公報JP-A-11-167606 特開平8−249424号公報JP-A-8-249424 特開平9−231316号公報JP-A-9-231316 特開平7−6204号公報Japanese Patent Laid-Open No. 7-6204

本発明の目的の1つは、互いに大きさが異なる文字を含む書面の文字認識を行う際に、文字の大きさの違いによる影響を軽減する文字認識用学習データ生成装置、文字認識装置、およびプログラムを提供することにある。   One of the objects of the present invention is to provide a character recognition learning data generation device, a character recognition device, and a character recognition device that reduce the influence of a difference in character size when performing character recognition of a document containing characters of different sizes. To provide a program.

上記目的を達成するために、請求項1に記載の発明は、順序が定義される複数の文字要素を含み、当該複数の文字要素によって構成される複数の文字からなる学習対象書面について、前記複数の文字要素それぞれの前記学習対象書面内における位置及び大きさを示す文字要素情報と、前記複数の文字要素のそれぞれが前記複数の文字のいずれに対応するかを示す対応文字情報と、を取得する文字要素情報取得手段、前記複数の文字要素のうち、前記順序で連続する2つの文字要素について、該順序において先行する文字要素から後続する文字要素へ向かうベクトルを示すベクトル情報を前記文字要素情報に基づいて生成するベクトル情報生成手段、前記文字要素情報により示される、前記連続する2つの文字要素のうち少なくとも一方の大きさに応じて、前記ベクトルの大きさを補正するベクトル情報補正手段、および、判定対象となる判定対象書面について、当該判定対象書面に含まれる2つの文字要素が同一文字に属するか否かを判定する際に用いる学習データを生成する手段であって、前記対応文字情報により特定される、前記連続する2つの文字要素が同一文字に含まれるか否かを示す情報と、前記ベクトル情報補正手段により補正されたベクトル情報と、を入力データとして用いて前記学習データを生成する学習手段、を有することを特徴とする文字認識用学習データ生成装置である。   In order to achieve the above object, the invention described in claim 1 includes a plurality of character elements having a plurality of character elements, the order of which is defined, and the plurality of learning objects composed of the plurality of character elements. Character element information indicating the position and size of each of the character elements in the learning target document, and corresponding character information indicating which of the plurality of character elements corresponds to each of the plurality of characters. Character element information acquisition means, for the two character elements that are consecutive in the order among the plurality of character elements, vector information indicating a vector from the preceding character element to the subsequent character element in the order in the character element information Vector information generating means for generating the information based on the character element information, the size of at least one of the two consecutive character elements indicated by the character element information The vector information correcting means for correcting the size of the vector and the determination target document to be determined determine whether or not two character elements included in the determination target document belong to the same character. Means for generating learning data to be used at the time, information indicating whether or not the two consecutive character elements specified by the corresponding character information are included in the same character, and correction by the vector information correction unit A learning data generation device for character recognition, comprising learning means for generating the learning data using input vector information as input data.

また、請求項2に記載の発明は、請求項1に記載の文字認識用学習データ生成装置であって、前記ベクトル情報補正手段は、前記連続する2つの文字要素の少なくとも一方に外接する矩形領域の形状の、予め定められる形状に対する比率に応じて、前記ベクトルの大きさを補正することを特徴とする文字認識用学習データ生成装置である。   The invention according to claim 2 is the learning data generation apparatus for character recognition according to claim 1, wherein the vector information correction unit circumscribes at least one of the two consecutive character elements. The character recognition learning data generating apparatus is characterized in that the size of the vector is corrected in accordance with a ratio of the shape to a predetermined shape.

また、請求項3に記載の発明は、請求項1又は2に記載の文字認識用学習データ生成装置であって、前記文字要素情報取得手段は、前記文字要素のそれぞれの、最初に形成された部分の位置および最後に形成された部分の位置を示す端部位置情報をさらに取得し、前記ベクトル情報生成手段は、前記端部位置情報に基づいて、前記先行する文字要素の最後に形成された部分から、前記後続する文字要素の最初に形成された部分に至るベクトルを示すベクトル情報を生成することを特徴とする文字認識用学習データ生成装置である。   The invention according to claim 3 is the learning data generation device for character recognition according to claim 1 or 2, wherein the character element information acquisition unit is formed first for each of the character elements. Further, end position information indicating the position of the part and the position of the last formed part is further acquired, and the vector information generation unit is formed at the end of the preceding character element based on the end part position information. A character recognition learning data generating apparatus that generates vector information indicating a vector from a part to a first formed part of the succeeding character element.

また、請求項4に記載の発明は、請求項1又は2に記載の文字認識用学習データ生成装置であって、前記ベクトル情報生成手段は、前記先行する文字要素に外接する矩形領域の中心点から、前記後続する文字要素に外接する矩形領域の中心点に至るベクトルを示すベクトル情報を生成することを特徴とする文字認識用学習データ生成装置である。   The invention according to claim 4 is the learning data generation apparatus for character recognition according to claim 1 or 2, wherein the vector information generation means is a center point of a rectangular area circumscribing the preceding character element. The learning data generation device for character recognition is characterized by generating vector information indicating a vector that reaches a center point of a rectangular area circumscribing the subsequent character element.

また、請求項5に記載の発明は、順序が定義される複数の文字要素を含み、当該複数の文字要素によって構成される複数の文字からなる判定対象書面について、前記複数の文字要素それぞれの前記判定対象書面内における位置及び大きさを示す文字要素情報を取得する文字要素情報取得手段、前記複数の文字要素のうち、前記順序で連続する2つの文字要素について、該順序において先行する文字要素から後続する文字要素へ向かうベクトルを示すベクトル情報を前記文字要素情報に基づいて生成するベクトル情報生成手段、前記文字要素情報により示される、前記連続する2つの文字要素のうち少なくとも一方の大きさに応じて、前記ベクトルの大きさを補正するベクトル情報補正手段、および、前記ベクトル情報補正手段により補正されたベクトル情報に基づいて、前記2つの文字要素が同一文字に属するか否かを判定する判定手段、を有することを特徴とする文字認識装置である。   In addition, the invention according to claim 5 includes a plurality of character elements in which an order is defined, and a determination target document including a plurality of characters constituted by the plurality of character elements. Character element information acquisition means for acquiring character element information indicating a position and a size in a document to be determined, among two character elements that are consecutive in the order among the plurality of character elements, from character elements that precede in the order Vector information generating means for generating vector information indicating a vector toward the subsequent character element based on the character element information, according to the size of at least one of the two consecutive character elements indicated by the character element information Corrected by the vector information correcting means for correcting the magnitude of the vector and the vector information correcting means. Based on the vector information, determining means for determining whether the two character elements belong to the same character, a character recognition apparatus characterized by having a.

また、請求項6に記載の発明は、コンピュータを、順序が定義される複数の文字要素を含み、当該複数の文字要素によって構成される複数の文字からなる学習対象書面について、前記複数の文字要素それぞれの前記学習対象書面内における位置及び大きさを示す文字要素情報と、前記複数の文字要素のそれぞれが前記複数の文字のいずれに対応するかを示す対応文字情報と、を取得する文字要素情報取得手段、前記複数の文字要素のうち、前記順序で連続する2つの文字要素について、該順序において先行する文字要素から後続する文字要素へ向かうベクトルを示すベクトル情報を前記文字要素情報に基づいて生成するベクトル情報生成手段、前記文字要素情報により示される、前記連続する2つの文字要素のうち少なくとも一方の大きさに応じて、前記ベクトルの大きさを補正するベクトル情報補正手段、および、判定対象となる判定対象書面について、当該判定対象書面に含まれる2つの文字要素が同一文字に属するか否かを判定する際に用いる学習データを生成する手段であって、前記対応文字情報により特定される、前記連続する2つの文字要素が同一文字に含まれるか否かを示す情報と、前記ベクトル情報補正手段により補正されたベクトル情報と、を入力データとして用いて前記学習データを生成する学習手段、として機能させるためのプログラムである。   In the invention according to claim 6, the computer includes a plurality of character elements with respect to a learning object document including a plurality of characters including a plurality of character elements, the order of which is defined. Character element information for acquiring character element information indicating the position and size in each of the learning target documents and corresponding character information indicating which of the plurality of characters corresponds to each of the plurality of character elements An acquisition unit generates, based on the character element information, vector information indicating a vector from the preceding character element to the succeeding character element in the order for two character elements that are consecutive in the order among the plurality of character elements. Vector information generating means for performing at least one size of the two consecutive character elements indicated by the character element information Next, when determining whether or not two character elements included in the determination target document belong to the same character for the vector information correction means for correcting the size of the vector and the determination target document to be determined Means for generating learning data for use in the information, which is specified by the corresponding character information and indicating whether or not the two consecutive character elements are included in the same character, and is corrected by the vector information correcting unit. This is a program for functioning as learning means for generating the learning data using the vector information as input data.

また、請求項7に記載の発明は、コンピュータを、順序が定義される複数の文字要素を含み、当該複数の文字要素によって構成される複数の文字からなる判定対象書面について、前記複数の文字要素それぞれの前記判定対象書面内における位置及び大きさを示す文字要素情報を取得する文字要素情報取得手段、前記複数の文字要素のうち、前記順序で連続する2つの文字要素について、該順序において先行する文字要素から後続する文字要素へ向かうベクトルを示すベクトル情報を前記文字要素情報に基づいて生成するベクトル情報生成手段、前記文字要素情報により示される、前記連続する2つの文字要素のうち少なくとも一方の大きさに応じて、前記ベクトルの大きさを補正するベクトル情報補正手段、および、前記ベクトル情報補正手段により補正されたベクトル情報に基づいて、前記2つの文字要素が同一文字に属するか否かを判定する判定手段、として機能させるためのプログラムである。   In the invention according to claim 7, the computer includes a plurality of character elements with respect to a determination target document including a plurality of character elements including a plurality of character elements, the order of which is defined. Character element information acquisition means for acquiring character element information indicating a position and a size in each document to be judged, and preceding two character elements in the order among the plurality of character elements. Vector information generating means for generating vector information indicating a vector from a character element to a subsequent character element based on the character element information, the size of at least one of the two consecutive character elements indicated by the character element information And a vector information correcting means for correcting the magnitude of the vector according to the size, and the vector information correcting means. Based on the corrected vector information by the two character elements are programmed for causing the determining means for determining whether or not belonging to the same character function as.

請求項1,6に係る発明によれば、2つの文字要素が同一文字に含まれるか否かを判定する際に用いる学習データが、文字要素の大きさに応じて補正されたベクトル情報を用いて生成される。   According to the first and sixth aspects of the invention, the learning data used when determining whether or not two character elements are included in the same character uses vector information corrected according to the size of the character element. Generated.

請求項2に係る発明によれば、ベクトルの大きさが、該ベクトルの始点を有する文字要素および終点を有する文字要素の少なくとも一方の大きさに応じて補正される。   According to the invention of claim 2, the size of the vector is corrected according to the size of at least one of the character element having the start point and the end point of the vector.

請求項3に係る発明によれば、連続する2つの文字要素のうち、先行する文字要素の最後に形成された部分から、後続する文字要素の最初に形成された部分に至るベクトルを示すベクトル情報が生成される。   According to the invention of claim 3, vector information indicating a vector from the last formed part of the preceding character element to the first formed part of the subsequent character element among the two consecutive character elements. Is generated.

請求項4に係る発明によれば、連続する2つの文字要素のうち、先行する文字要素に外接する矩形領域の中心点から、後続する文字要素に外接する矩形領域の中心点に至るベクトルを示すベクトル情報が生成される。   According to the fourth aspect of the present invention, the vector from the center point of the rectangular area circumscribing the preceding character element to the center point of the rectangular area circumscribing the succeeding character element is shown among the two consecutive character elements. Vector information is generated.

請求項5,7に係る発明によれば、2つの文字要素が同一文字に含まれるか否かの判定が、文字要素の大きさに応じて補正されたベクトル情報を用いて実行される。   According to the fifth and seventh aspects of the present invention, the determination as to whether or not two character elements are included in the same character is performed using vector information corrected according to the size of the character element.

本発明の第1の実施形態に係る文字認識用学習データ生成装置の構成を示す図である。It is a figure which shows the structure of the learning data generation apparatus for character recognition which concerns on the 1st Embodiment of this invention. ストローク情報により示されるストロークの例を示す図である。It is a figure which shows the example of the stroke shown by stroke information. オフストロークの補正の一例を示す図である。It is a figure which shows an example of correction | amendment of an off stroke. 本発明の第1の実施形態に係る文字認識用学習データ生成装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the learning data generation apparatus for character recognition which concerns on the 1st Embodiment of this invention. 本発明の第2の実施形態に係る文字認識装置の構成を示す図である。It is a figure which shows the structure of the character recognition apparatus which concerns on the 2nd Embodiment of this invention. 本発明の第2の実施形態に係る文字認識装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the character recognition apparatus which concerns on the 2nd Embodiment of this invention. オフライン処理において抽出される文字要素の例を示す図である。It is a figure which shows the example of the character element extracted in an offline process.

以下、本発明の実施形態について図面に基づき詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

[第1の実施形態]
図1は、本発明の第1の実施形態に係る文字認識用学習データ生成装置100の構成を示す図である。文字認識用学習データ生成装置100は、タブレットPC、電子ペン等のユーザの手書き動作を認識する入力受付装置200と接続される。
[First Embodiment]
FIG. 1 is a diagram showing a configuration of a character recognition learning data generation apparatus 100 according to the first embodiment of the present invention. The character recognition learning data generation apparatus 100 is connected to an input reception apparatus 200 that recognizes a user's handwriting action such as a tablet PC or an electronic pen.

文字認識用学習データ生成装置100は、外部I/F部110、ストローク情報取得部120、オフストローク情報生成部130、オフストローク情報補正部140、学習処理部150、および記憶部160を有する。外部I/F部110、ストローク情報取得部120、オフストローク情報生成部130、オフストローク情報補正部140、および学習処理部150は、記憶部160に記憶されるプログラムにより動作するCPUの一機能として実現される。記憶部160は、ハードディスク、メモリー等の記憶装置からなる。   The learning data generation device for character recognition 100 includes an external I / F unit 110, a stroke information acquisition unit 120, an off-stroke information generation unit 130, an off-stroke information correction unit 140, a learning processing unit 150, and a storage unit 160. The external I / F unit 110, the stroke information acquisition unit 120, the off-stroke information generation unit 130, the off-stroke information correction unit 140, and the learning processing unit 150 are functions of a CPU that operates according to a program stored in the storage unit 160. Realized. The storage unit 160 includes a storage device such as a hard disk or a memory.

入力受付装置200は、筆記道具(タッチペン、電子ペン、指先等)が記録媒体(タブレットPCのディスプレイ、紙等)に降ろされて(ペンダウン、接触の開始)から離される(ペンアップ、接触の終了)までの、筆記道具の先端部の動きを示す電気信号を生成して、文字認識用学習データ生成装置100に出力する。また、例えばある文字の筆記と次の文字の筆記の間に筆記用具に設けられたボタンが押下されることにより、文字の切り替わりを示す信号が生成して、文字認識用学習データ生成装置100に出力する。   In the input receiving device 200, a writing tool (touch pen, electronic pen, fingertip, etc.) is lowered to a recording medium (tablet PC display, paper, etc.) and released from (pen down, start of contact) (end of pen up, end of contact). The electric signal indicating the movement of the tip of the writing tool up to) is generated and output to the learning data generation device 100 for character recognition. Further, for example, when a button provided on the writing tool is pressed between writing of one character and writing of the next character, a signal indicating the switching of characters is generated, and the character recognition learning data generating device 100 is notified. Output.

ここで、筆記用具により入力されるのは、予め与えられる例えば数百〜数千の文字からなる学習対象書面データである。   Here, what is input by the writing tool is written document data to be learned consisting of hundreds to thousands of characters given in advance.

外部I/F部110は、入力受付装置200から入力される信号を取得して、ストローク情報取得部120に出力する。   The external I / F unit 110 acquires a signal input from the input reception device 200 and outputs the signal to the stroke information acquisition unit 120.

ストローク情報取得部120は、複数の文字要素それぞれの学習対象書面内における位置および大きさを示すストローク(文字要素)情報と、複数のストロークのそれぞれが学習対象書面の複数の文字のいずれに対応するかを示す対応文字情報と、を取得する文字要素情報取得手段として動作する。すなわち、ストローク情報取得部120は、外部I/F部110から入力される信号を基に、学習対象書面データに含まれる文字のそれぞれを構成するストローク(ペンダウンからペンアップの間(一画)で記録される文字要素)の、学習対象書面内における位置、形状、および大きさを示すストローク情報を取得する。このうち位置および形状を示す情報は、筆記用具が記録媒体と接触した位置の座標データとして取得される。(形状については、接触したまま移動した際に、所定の周期で取得された座標データとして取得される。)また、位置および形状を示す情報には、ストロークの最初の部分(ペンダウンが行われた部分)および最後の部分(ペンアップが行われた部分)の位置を示す端部情報が含まれる。大きさを示す情報については、1ストロークの間で取得された全ての座標の、横方向(x軸方向)の最大値と最小値の差分、および縦方向(y軸方向)の最大値と最小値の差分として取得される。また、前述された文字の切り替わりの際の操作に基づく信号より、各ストロークがどの文字(何番目の文字)に対応するかを示す文字対応情報が取得される。こうして筆記用具の動作に基づいて連続的にストローク情報が入力され、入力順序に応じて取得および記録を行うことで、複数のストロークにおいて順序が定義される。   The stroke information acquisition unit 120 corresponds to any of a plurality of characters in the learning target document, and stroke (character element) information indicating the position and size of each of the plurality of character elements in the learning target document. It operates as a character element information acquisition means for acquiring the corresponding character information indicating. In other words, the stroke information acquisition unit 120 is based on a signal input from the external I / F unit 110, and the strokes constituting each character included in the learning target document data (between pen down and pen up (one stroke)). Stroke information indicating the position, shape, and size of the recorded character element) in the learning target document is acquired. Among these, the information indicating the position and shape is acquired as coordinate data of the position where the writing instrument comes into contact with the recording medium. (The shape is acquired as coordinate data acquired at a predetermined cycle when moving while in contact.) In addition, the information indicating the position and shape includes the first part of the stroke (pen down was performed) Part) and end part information indicating the positions of the last part (part where the pen-up has been performed) are included. For the information indicating the size, the difference between the maximum value and minimum value in the horizontal direction (x-axis direction) and the maximum value and minimum value in the vertical direction (y-axis direction) of all coordinates acquired during one stroke. Obtained as a value difference. Further, character correspondence information indicating which character (what number of character) each stroke corresponds to is acquired from the signal based on the operation at the time of character switching described above. Thus, stroke information is continuously input based on the operation of the writing instrument, and the order is defined in a plurality of strokes by performing acquisition and recording in accordance with the input order.

図2は、ストローク情報により示されるストロークの例を示す図である。図2においてはストローク301,302,303が1番目の文字「あ」、ストローク304,305が2番目の文字「い」にそれぞれ対応する。また、ストローク301,302,303,304,305、の順に順序が定義される。   FIG. 2 is a diagram illustrating an example of a stroke indicated by the stroke information. In FIG. 2, strokes 301, 302, and 303 correspond to the first character “A”, and strokes 304 and 305 correspond to the second character “I”, respectively. The order is defined in the order of strokes 301, 302, 303, 304, and 305.

オフストローク情報生成部130は、前述の順序において連続する2つのストローク(文字要素)について、該順序において先行するストロークから後続するストロークへ向かうベクトル(オフストローク)を示すオフストローク情報を、ストローク情報に基づいて生成する。オフストロークは、筆記用具があるストロークを記録してペンアップした点(該ストロークの最後に形成された部分)の位置から、次にペンダウンをした点(次のストロークの最初に形成された部分)の位置に至るベクトルである。オフストローク情報は、前述の次のストロークの最初の点の座標から、前述の該ストロークの最後の点の座標を減ずることで得られる。ストローク301,302,303,304,305において、オフストローク401,402,403,404,405が得られる。   The off-stroke information generation unit 130 converts, for the stroke information, off-stroke information indicating a vector (off-stroke) from the preceding stroke to the succeeding stroke in the order with respect to two strokes (character elements) that are consecutive in the above-described order. Generate based on. The off-stroke is the point at which the writing instrument records a stroke and pen-up (the part formed at the end of the stroke), then the pen-down point (the part formed at the beginning of the next stroke) It is a vector that reaches the position of. The off-stroke information can be obtained by subtracting the coordinates of the last point of the stroke from the coordinates of the first point of the next stroke. In strokes 301, 302, 303, 304, and 305, off-strokes 401, 402, 403, 404, and 405 are obtained.

オフストローク情報補正部140は、ストローク情報により示される、前述の連続する2つのストロークのうち少なくとも一方の大きさに応じて、オフストローク情報生成部130において生成されたオフストローク情報により示されるオフストローク(ベクトル)の大きさを補正するベクトル情報補正手段として動作する。オフストローク情報補正部140は、オフストローク情報により示される複数のオフストロークのそれぞれの大きさを、該オフストロークの始点を有するストロークの大きさに応じて補正する。具体的には、該当するストロークに外接する矩形領域を、例えば縦および横の長さが1単位(単位は適宜定義されてよい)の正方形等の予め定められる形状に変形する際の比率にて、オフストロークを変形させる。図3は、オフストロークの補正の一例を示す図である。例えば図2において、ストローク303の大きさ(すなわちストローク303に外接する矩形領域の大きさ)が縦2単位、横4単位であった場合に、オフストローク403を、縦方向に1/2、横方向に1/4に変形させる。また、オフストローク情報補正部140は、ストローク情報についても、該ストローク情報により示されるストロークを変形させる(すなわち、縦および横の長さを1単位とする)補正を行う。この補正により、例えば学習対象書面において文字の大きさが異なることにより、ストロークの大きさが互いに大幅に異なっている場合に、ストロークおよびオフストロークの大きさが揃えられ、以降の処理においては、均等な大きさの文字からなる学習対象書面に対する処理と同等の処理が実行される。   The off-stroke information correcting unit 140 indicates the off-stroke indicated by the off-stroke information generated by the off-stroke information generating unit 130 according to the magnitude of at least one of the two consecutive strokes indicated by the stroke information. It operates as a vector information correcting means for correcting the magnitude of (vector). The off-stroke information correction unit 140 corrects the size of each of the plurality of off-strokes indicated by the off-stroke information according to the size of the stroke having the start point of the off-stroke. Specifically, a rectangular area circumscribing the corresponding stroke is converted into a predetermined shape such as a square having a vertical and horizontal length of 1 unit (unit may be appropriately defined), for example. , Transform off-stroke. FIG. 3 is a diagram illustrating an example of off-stroke correction. For example, in FIG. 2, when the size of the stroke 303 (that is, the size of the rectangular area circumscribing the stroke 303) is 2 units in the vertical direction and 4 units in the horizontal direction, Deform to 1/4 in the direction. Further, the off-stroke information correction unit 140 also corrects the stroke information by deforming the stroke indicated by the stroke information (that is, the vertical and horizontal lengths are set as one unit). As a result of this correction, for example, when the size of the stroke is greatly different from each other due to different character sizes in the document to be learned, the sizes of the stroke and the off-stroke are made uniform. A process equivalent to the process for a document to be learned consisting of characters of a large size is executed.

学習処理部150は、判定対象書面に含まれる2つのストロークが同一文字に属するか否かを判定する際に用いる学習データを生成する学習手段として動作する。学習処理部150は、オフストローク情報補正部140によりそれぞれ補正された、ストローク情報およびオフストローク情報を取得する。学習処理部150は、取得されたストローク情報に含まれる文字対応情報に基づき、オフストロークが文字間の遷移(文字間遷移)であるか、同一文字内の遷移(文字内遷移)であるか、を判定する。   The learning processing unit 150 operates as a learning unit that generates learning data used when determining whether or not two strokes included in the determination target document belong to the same character. The learning processing unit 150 acquires stroke information and off-stroke information corrected by the off-stroke information correcting unit 140, respectively. Based on the character correspondence information included in the acquired stroke information, the learning processing unit 150 determines whether the off-stroke is a transition between characters (transition between characters), a transition within the same character (transition within a character), Determine.

そして学習処理部150は、文字間遷移と判定されたオフストロークに関する補正済みオフストローク情報と、該オフストロークの始点を有するストロークに関する補正済みストローク情報と、を関連づけて「ポジティブデータリスト」に、文字内遷移と判定されたオフストロークに関する補正済みオフストローク情報と、該オフストロークの始点を有するストロークに関する補正済みストローク情報と、を関連づけて「ネガティブデータリスト」に、それぞれ追加する。そして学習処理部150は、これらの情報を用いて、例えば教師あり学習に用いられる識別手法であるSVM(サポートベクタマシン)等の既知の文字認識処理における、オフストロークが文字内のオフストロークか文字間のストロークかの判定の際に使用される学習データを生成する。生成された学習データは、記憶部160に記憶される。   The learning processing unit 150 associates the corrected off-stroke information related to the off-stroke determined to be the transition between characters and the corrected stroke information related to the stroke having the start point of the off-stroke into the “positive data list”, The corrected off-stroke information related to the off-stroke determined to be the internal transition and the corrected stroke information related to the stroke having the start point of the off-stroke are associated with each other and added to the “negative data list”. The learning processing unit 150 uses these pieces of information to determine whether the off-stroke is an off-stroke in a character or a character in a known character recognition process such as SVM (support vector machine) which is an identification method used for supervised learning. Learning data to be used in determining whether the stroke is between is generated. The generated learning data is stored in the storage unit 160.

ここまで、学習処理部150はあるオフストローク(着目オフストローク)に関する補正済みオフストローク情報と、該オフストロークの始点を有するストロークに関する補正済みストローク情報と、を関連づけて分類し、学習処理に使用する構成が示されたが、学習処理部150が、着目オフストロークに関する補正済みオフストローク情報と、該着目オフストロークに先行する予め定められる数(n:nは1以上の整数)のストロークに関する補正済みストローク情報および該着目ストロークに後続する予め定められる数(m:mは1以上の整数)のストロークに関する補正済みストローク情報と、を関連づけて分類し、学習処理に使用する構成とすれば、より多くのデータに基づく学習処理が実行される。   Up to this point, the learning processing unit 150 classifies the corrected off-stroke information related to a certain off-stroke (target off-stroke) and the corrected stroke information related to the stroke having the start point of the off-stroke, and uses them in the learning process. Although the configuration is shown, the learning processing unit 150 has corrected the corrected off-stroke information regarding the target off-stroke and the predetermined number of strokes (n: n is an integer of 1 or more) preceding the target off-stroke. If the stroke information and the corrected stroke information related to a predetermined number of strokes (m: m is an integer equal to or greater than 1) following the target stroke are classified in association with each other and used in the learning process, the number is more. A learning process based on the data is executed.

ここで、学習処理部150が着目オフストロークに関する補正済みオフストローク情報と、該着目オフストロークに先行するn個のストロークに関する補正済みストローク情報および該着目ストロークに後続するm個のストロークに関する補正済みストローク情報と、を関連づけて分類し、学習に使用する文字認識用学習データ生成装置100の動作を、フローチャートを用いて説明する。図4は、本発明の第1の実施形態に係る文字認識用学習データ生成装置100の動作を示すフローチャートである。   Here, the corrected off-stroke information regarding the target off-stroke, the corrected stroke information regarding the n strokes preceding the target off-stroke, and the corrected stroke regarding the m strokes following the target stroke. The operation of the learning data generating apparatus for character recognition 100 that is classified in association with information and used for learning will be described with reference to a flowchart. FIG. 4 is a flowchart showing the operation of the character recognition learning data generation apparatus 100 according to the first embodiment of the present invention.

まず、ストローク情報取得部120は、入力受付装置200から入力されて外部I/F部110により取得される信号に基づいて、ストローク情報を取得する(S401)。ここで、ストローク情報が取得されるストロークの数をN(N:2以上の整数)とし、ストロークをSt(0≦i<N)で示す。 First, the stroke information acquisition unit 120 acquires stroke information based on a signal input from the input receiving apparatus 200 and acquired by the external I / F unit 110 (S401). Here, the number of strokes for which stroke information is acquired is N (N: an integer equal to or greater than 2), and the stroke is represented by St i (0 ≦ i <N).

次に、オフストローク情報生成部130は、S401において取得されたストローク情報を基に、オフストローク情報を生成する(S402)。ここでオフストローク情報はN−1個生成され、以下これらのオフストロークをOSt(0≦j<N−1)で示す。そしてオフストローク情報補正部140は、S401で取得されたストローク情報およびS402で生成されたオフストローク情報を補正する(S403)。 Next, the off-stroke information generating unit 130 generates off-stroke information based on the stroke information acquired in S401 (S402). Here, N-1 pieces of off-stroke information are generated, and hereinafter, these off-strokes are represented by OSt j (0 ≦ j <N−1). Then, the off-stroke information correction unit 140 corrects the stroke information acquired in S401 and the off-stroke information generated in S402 (S403).

そして、学習処理部150は、S402で生成されたオフストロークOStのそれぞれについて、補正済みのストロークStj−n,Stj−n+1,…,St,…,Stj+m−1,Stj+mを示す情報を取得する(S404)。次に学習処理部150は、ベクトルOStが文字間遷移であるか文字内遷移であるかの判定を行い(S405)、文字間遷移であった場合には各情報をポジティブデータリストに分類し(S406)、文字内遷移であった場合には各情報をネガティブデータリストに分類する(S407)。学習処理部150はS404からS407の処理をS402でオフストローク情報が取得された全てのOStについて実行し、その後学習処理部150は学習処理を実行して(S408)、生成された学習データを記憶部160に保存して(S409)、文字認識用学習データ生成装置100の動作は終了する。 Then, the learning processing unit 150 applies corrected strokes St j−n , St j−n + 1 ,..., St j ,..., St j + m−1 , St j + m for each of the off strokes OSt j generated in S402. The information shown is acquired (S404). Next, the learning processing unit 150 determines whether the vector OSt j is an inter-character transition or an intra-character transition (S405). If it is an inter-character transition, each information is classified into a positive data list. (S406) If it is an intra-character transition, each information is classified into a negative data list (S407). The learning processing unit 150 executes the processing from S404 to S407 for all OSt j for which the offstroke information was acquired in S402, and then the learning processing unit 150 executes the learning processing (S408), and the generated learning data is used. It preserve | saves at the memory | storage part 160 (S409), and the operation | movement of the learning data generation apparatus 100 for character recognition is complete | finished.

[第2の実施形態]
図5は、本発明の第2の実施形態に係る文字認識装置500の構成を示す図である。文字認識装置500は、タブレットPC、電子ペン等のユーザの手書き動作を認識する入力受付装置600と接続される。
[Second Embodiment]
FIG. 5 is a diagram showing a configuration of a character recognition device 500 according to the second embodiment of the present invention. The character recognition device 500 is connected to an input reception device 600 that recognizes a user's handwriting action such as a tablet PC or an electronic pen.

文字認識装置500は、外部I/F部510、ストローク情報取得部520、オフストローク情報生成部530、オフストローク情報補正部540、認識処理部550、および記憶部560を有する。外部I/F部510、ストローク情報取得部520、オフストローク情報生成部530、オフストローク情報補正部540、および認識処理部550は、記憶部560に記憶されるプログラムにより動作するCPUの一機能として実現される。記憶部560は、ハードディスク、メモリー等の記憶装置からなる。   The character recognition device 500 includes an external I / F unit 510, a stroke information acquisition unit 520, an off-stroke information generation unit 530, an off-stroke information correction unit 540, a recognition processing unit 550, and a storage unit 560. The external I / F unit 510, the stroke information acquisition unit 520, the off-stroke information generation unit 530, the off-stroke information correction unit 540, and the recognition processing unit 550 are functions of a CPU that is operated by a program stored in the storage unit 560. Realized. The storage unit 560 includes a storage device such as a hard disk or a memory.

入力受付装置600は、筆記道具が記録媒体に降ろされてから離されるまでの、筆記道具の先端部の動きを示す電気信号を生成して、文字認識装置500に出力する。また、例えばある文字の筆記と次の文字の筆記の間に筆記用具に設けられたボタンが押下されることにより、文字の切り替わりを示す信号が生成して、文字認識装置500に出力する。   The input reception device 600 generates an electrical signal indicating the movement of the tip of the writing tool from when the writing tool is lowered to the recording medium until it is released, and outputs the electrical signal to the character recognition device 500. Further, for example, when a button provided on the writing tool is pressed between writing of a certain character and writing of the next character, a signal indicating character switching is generated and output to the character recognition device 500.

ここで、筆記用具により入力されるのは、文字認識の対象である判定対象書面データである。   Here, what is input by the writing implement is determination target document data that is an object of character recognition.

外部I/F部510は、入力受付装置600から入力される信号を取得して、ストローク情報取得部520に出力する。   External I / F unit 510 acquires a signal input from input reception device 600 and outputs the signal to stroke information acquisition unit 520.

ストローク情報取得部520は、複数の文字要素それぞれの学習対象書面内における位置および大きさを示すストローク(文字要素)情報と、複数のストロークのそれぞれが学習対象書面の複数の文字のいずれに対応するかを示す対応文字情報と、を取得する文字要素情報取得手段として動作する。すなわち、ストローク情報取得部520は、外部I/F部510から入力される信号を基に、判定対象書面データに含まれる文字のそれぞれを構成するストローク(ペンダウンからペンアップの間(一画)で記録される文字要素)の、判定対象書面内における位置、形状、および大きさを示すストローク情報を取得する。このうち位置および形状を示す情報は、筆記用具が記録媒体と接触した位置の座標データとして取得される。(形状については、接触したまま移動した際に、所定の周期で取得された座標データとして取得される。)また、位置および形状を示す情報には、ストロークの最初の部分(ペンダウンが行われた部分)および最後の部分(ペンアップが行われた部分)の位置を示す端部情報が含まれる。大きさを示す情報については、1ストロークの間で取得された全ての座標の、横方向(x軸方向)の最大値と最小値の差分、および縦方向(y軸方向)の最大値と最小値の差分として取得される。また、前述された文字の切り替わりの際の操作に基づく信号より、各ストロークがどの文字(何番目の文字)に対応するかを示す文字対応情報が取得される。こうして筆記用具の動作に基づいて連続的にストローク情報が入力され、入力順序に応じて取得および記録を行うことで、複数のストロークにおいて順序が定義される。   The stroke information acquisition unit 520 corresponds to any of a plurality of characters in the learning target document, and stroke (character element) information indicating the position and size of each of the plurality of character elements in the learning target document. It operates as a character element information acquisition means for acquiring the corresponding character information indicating. That is, the stroke information acquisition unit 520 is based on the signal input from the external I / F unit 510, and the strokes constituting each character included in the determination target document data (between pen down and pen up (one stroke)). Stroke information indicating the position, shape, and size of the recorded character element) in the determination target document is acquired. Among these, the information indicating the position and shape is acquired as coordinate data of the position where the writing instrument comes into contact with the recording medium. (The shape is acquired as coordinate data acquired at a predetermined cycle when moving while in contact.) In addition, the information indicating the position and shape includes the first part of the stroke (pen down was performed) Part) and end part information indicating the positions of the last part (part where the pen-up has been performed) are included. For the information indicating the size, the difference between the maximum value and minimum value in the horizontal direction (x-axis direction) and the maximum value and minimum value in the vertical direction (y-axis direction) of all coordinates acquired during one stroke. Obtained as a value difference. Further, character correspondence information indicating which character (what number of character) each stroke corresponds to is acquired from the signal based on the operation at the time of character switching described above. Thus, stroke information is continuously input based on the operation of the writing instrument, and the order is defined in a plurality of strokes by performing acquisition and recording in accordance with the input order.

オフストローク情報生成部530は、前述の順序において連続する2つのストローク(文字要素)について、該順序において先行するストロークから後続するストロークへ向かうベクトル(オフストローク)を示すオフストローク情報を、ストローク情報に基づいて生成する。オフストロークは、筆記用具があるストロークを記録してペンアップした点(該ストロークの最後に形成された部分)の位置から、次にペンダウンをした点(次のストロークの最初に形成された部分)の位置に至るベクトルである。オフストローク情報は、前述の次のストロークの最初の点の座標から、前述の該ストロークの最後の点の座標を減ずることで得られる。   The off-stroke information generation unit 530 uses, as stroke information, off-stroke information indicating a vector (off-stroke) from the preceding stroke to the succeeding stroke in the order for two consecutive strokes (character elements) in the above-described order. Generate based on. The off-stroke is the point at which the writing instrument records a stroke and pen-up (the part formed at the end of the stroke), then the pen-down point (the part formed at the beginning of the next stroke) It is a vector that reaches the position of. The off-stroke information can be obtained by subtracting the coordinates of the last point of the stroke from the coordinates of the first point of the next stroke.

オフストローク情報補正部540は、ストローク情報により示される、前述の連続する2つのストロークのうち少なくとも一方の大きさに応じて、オフストローク情報生成部130において生成されたオフストローク情報により示されるオフストローク(ベクトル)の大きさを補正するベクトル情報補正手段として動作する。オフストローク情報補正部540は、オフストローク情報により示される複数のオフストロークのそれぞれの大きさを、該オフストロークの始点を有するストロークの大きさに応じて補正する。具体的には、該当するストロークに外接する矩形領域を、例えば縦および横の長さが1単位(単位は適宜定義されてよい)の正方形等の予め定められる形状に変形する際の比率にて、オフストロークを変形させる。また、オフストローク情報補正部540は、ストローク情報についても、該ストローク情報により示されるストロークを変形させる(すなわち、縦および横の長さを1単位とする)補正を行う。この補正により、例えば学習対象書面において文字の大きさが異なることにより、ストロークの大きさが互いに大幅に異なっている場合に、ストロークおよびオフストロークの大きさが揃えられ、以降の処理においては、均等な大きさの文字からなる学習対象書面に対する処理と同等の処理が実行される。   The off-stroke information correcting unit 540 indicates the off-stroke indicated by the off-stroke information generated by the off-stroke information generating unit 130 according to the magnitude of at least one of the two consecutive strokes indicated by the stroke information. It operates as a vector information correcting means for correcting the magnitude of (vector). The off-stroke information correction unit 540 corrects the size of each of the plurality of off-strokes indicated by the off-stroke information according to the size of the stroke having the start point of the off-stroke. Specifically, a rectangular area circumscribing the corresponding stroke is converted into a predetermined shape such as a square having a vertical and horizontal length of 1 unit (unit may be appropriately defined), for example. , Transform off-stroke. The off-stroke information correction unit 540 also corrects the stroke information by deforming the stroke indicated by the stroke information (that is, taking the vertical and horizontal lengths as one unit). As a result of this correction, for example, when the size of the stroke is greatly different from each other due to different character sizes in the document to be learned, the sizes of the stroke and the off-stroke are made uniform. A process equivalent to the process for a document to be learned consisting of characters of a large size is executed.

認識処理部550は、認識対象書面に含まれる2つのストロークが同一文字に属するか否かを判定する判定手段として動作する。認識処理部550は、オフストローク情報補正部540によりそれぞれ補正された、ストローク情報およびオフストローク情報を取得する。そして認識処理部550は、取得されたストローク情報およびオフストローク情報に基づき、オフストロークが同一文字内の遷移であるか、文字間の遷移であるか、を判定する。具体的には、あるオフストロークの補正済みオフストローク情報と、該オフストロークの始点を有するストロークの補正済みストローク情報と、に対して、例えばSVM(サポートベクターマシン)等の既知の認識手法による認識処理を行い、該オフストロークが同一文字内の遷移であるか、文字間の遷移であるか、の判定処理を行う。   The recognition processing unit 550 operates as a determination unit that determines whether two strokes included in a recognition target document belong to the same character. The recognition processing unit 550 acquires stroke information and off-stroke information corrected by the off-stroke information correcting unit 540, respectively. Based on the acquired stroke information and off-stroke information, the recognition processing unit 550 determines whether the off-stroke is a transition within the same character or a transition between characters. Specifically, recognition by a known recognition method such as SVM (support vector machine) is performed for corrected off-stroke information of a certain off-stroke and corrected stroke information of a stroke having the start point of the off-stroke. A process is performed to determine whether the off-stroke is a transition within the same character or a transition between characters.

そして認識処理部550は、文字間の遷移と判定されたオフストロークにおいて文字が切り替わったと判定し、この文字間の遷移で区切られたストローク群について、既知の技術によって、テキストコードに変換する単文字認識処理を実行する。さらに、単文字認識処理によって判定対象の文字のそれぞれについて複数の認識結果(文字)の候補が生成される場合、言語としての確からしさを考慮して認識結果の選択および修正を行う文脈処理を実行する。文脈処理は、文字列のリスト、n−gramリスト、正規表現等で構成される。   Then, the recognition processing unit 550 determines that the characters are switched in the off-stroke determined to be a transition between characters, and a single character that is converted into a text code by a known technique with respect to the stroke group delimited by the transition between the characters. Perform recognition processing. Furthermore, when a plurality of recognition result (character) candidates are generated for each character to be determined by single character recognition processing, context processing is performed to select and correct the recognition results in consideration of the probability of language To do. The context processing includes a character string list, an n-gram list, a regular expression, and the like.

ここまで、認識処理部550はあるオフストローク(着目オフストローク)に関する補正済みオフストローク情報と、該オフストロークの始点を有するストロークに関する補正済みストローク情報と、を用いて判定処理を行う構成が示されたが、認識処理部550が、着目オフストロークに関する補正済みオフストローク情報と、該着目オフストロークに先行する予め定められる数(n:nは1以上の整数)のストロークに関する補正済みストローク情報および該着目ストロークに後続する予め定められる数(m:mは1以上の整数)のストロークに関する補正済みストローク情報と、を用いて、判定処理を行う構成とすれば、より多くのデータに基づく判定処理が実行される。   Up to this point, a configuration has been shown in which the recognition processing unit 550 performs determination processing using corrected off-stroke information regarding a certain off-stroke (target off-stroke) and corrected stroke information regarding a stroke having the start point of the off-stroke. However, the recognition processing unit 550 includes the corrected off-stroke information related to the target off-stroke, the corrected stroke information related to a predetermined number of strokes (n: n is an integer of 1 or more) preceding the target off-stroke, and the If the determination process is performed using corrected stroke information related to a predetermined number of strokes (m: m is an integer equal to or greater than 1) following the target stroke, the determination process based on more data is performed. Executed.

ここで、認識処理部550が着目オフストロークに関する補正済みオフストローク情報と、該着目オフストロークに先行するn個のストロークに関する補正済みストローク情報および該着目ストロークに後続するm個のストロークに関する補正済みストローク情報と、を用いて学習処理を実行する文字認識装置500の動作を、フローチャートを用いて説明する。図6は、本発明の第2の実施形態に係る文字認識装置500の動作を示すフローチャートである。   Here, the recognition processing unit 550 corrects the corrected off-stroke information related to the target off-stroke, the corrected stroke information related to n strokes preceding the target off-stroke, and the corrected stroke related to m strokes subsequent to the target stroke. The operation of the character recognition device 500 that executes learning processing using information will be described using a flowchart. FIG. 6 is a flowchart showing the operation of the character recognition apparatus 500 according to the second embodiment of the present invention.

まず、ストローク情報取得部520は、入力受付装置600から入力されて外部I/F部510により取得される信号に基づいて、ストローク情報を取得する(S601)。ここで、ストローク情報が取得されるストロークの数をN(N:2以上の整数)とし、ストロークをSt(0≦i<N)で示す。 First, the stroke information acquisition unit 520 acquires stroke information based on a signal input from the input receiving device 600 and acquired by the external I / F unit 510 (S601). Here, the number of strokes for which stroke information is acquired is N (N: an integer equal to or greater than 2), and the stroke is represented by St i (0 ≦ i <N).

次に、オフストローク情報生成部530は、S601において取得されたストローク情報を基に、オフストローク情報を生成する(S602)。ここでオフストローク情報はN−1個生成され、以下これらのオフストロークをOSt(0≦j<N−1)で示す。そしてオフストローク情報補正部540は、S602で生成されたストローク情報を補正する(S603)。 Next, the off-stroke information generation unit 530 generates off-stroke information based on the stroke information acquired in S601 (S602). Here, N-1 pieces of off-stroke information are generated, and hereinafter, these off-strokes are represented by OSt j (0 ≦ j <N−1). Then, the off-stroke information correction unit 540 corrects the stroke information generated in S602 (S603).

そしてS602で生成されたオフストロークOStのそれぞれについて、認識処理部550は補正済みのストロークSti−n,Sti−n+1,…,St,…,Sti+m−1,Sti+mを示す情報を取得する(S604)。そして認識処理部550は、オフストロークOStが文字内遷移であるか文字間遷移であるかの判定処理を行う(S605)。認識処理部550は、S604およびS605の処理をS602でオフストローク情報が取得された全てのOStについて実行する。 Then, for each of the off strokes OSt j generated in S602, the recognition processing unit 550 indicates information indicating corrected strokes St i−n , St i−n + 1 ,..., St i ,..., St i + m−1 , St i + m. Is acquired (S604). The recognition processing unit 550 determines whether the off-stroke OSt i is an intra-character transition or an inter-character transition (S605). The recognition processing unit 550 executes the processing of S604 and S605 for all OSt j for which the off stroke information has been acquired in S602.

次に認識処理部550は、S605において文字間遷移と判定されたオフストロークOStで区切られたストローク群のそれぞれについて、文字認識処理および文脈処理(S606)を実行して、文字認識装置500の動作は終了する。 Next, the recognition processing unit 550 executes the character recognition process and the context process (S606) for each of the stroke groups delimited by the off-stroke OSt j determined as the inter-character transition in S605, so that the character recognition device 500 The operation ends.

以上の構成により、互いに大きさが異なる文字を含む書面の文字認識を行う際に、文字の大きさの違いによる影響を軽減した学習データの生成処理、および文字認識処理が実行される。   With the above configuration, learning data generation processing and character recognition processing that reduce the influence of the difference in character size are executed when character recognition is performed on a document that includes characters of different sizes.

なお、上記の実施形態は本発明の原理および効果、機能を例示的に説明するものであって、本発明はこれらによって限定されるものではない。例えば上記の実施形態においてはタッチペン等の筆記用具を用いたオンライン処理によりストロークのそれぞれの形状を示すストローク情報が取得され、これらのストロークの終点から始点に至るベクトルがオフストロークとして使用される構成が示されたが、既に記述された書面を用いるオフライン処理により学習データの生成処理および文字認識処理を実行する構成としてもよい。その場合の構成について、以下に示す。   In addition, said embodiment demonstrates the principle of this invention, an effect, and a function as an example, and this invention is not limited by these. For example, in the above embodiment, stroke information indicating the shape of each stroke is acquired by online processing using a writing instrument such as a touch pen, and a vector from the end point to the start point of these strokes is used as an off-stroke. Although shown, it is good also as a structure which performs the production | generation process and the character recognition process of learning data by the offline process using the document already described. The configuration in that case is shown below.

オフライン処理の場合、ストローク情報取得部120および520は、記述された書面に対してスキャンを行って2値化を行い、文字要素の抽出処理を行う。文字要素の抽出処理は、例えば直線や曲線の抽出処理を行って抽出されたそれぞれを文字要素としてもよいし、互いに繋がった描点の塊を1つの文字要素としてもよい。図7は、オフライン処理において抽出される文字要素の例を示す図である。図7では文字要素701,702,703が抽出される。そしてオフストローク情報生成部130および530は、抽出された文字要素701,702,703に対して、例えば上から下、左から右等の予め定められる規則に従って順序を定義し(ここでは文字要素701、文字要素702、文字要素703の順序とする。)、この順序に従って、文字要素701,702,703の中心間を結ぶベクトルをオフストローク801,802として生成する。以降は、上述の第1および第2の実施形態と同様に、補正処理および、学習データの生成処理または文字認識処理が実行される。   In the case of offline processing, the stroke information acquisition units 120 and 520 scan the written document, perform binarization, and perform character element extraction processing. In the character element extraction processing, for example, each extracted by performing straight line or curve extraction processing may be used as a character element, or a block of drawn dots connected to each other may be used as one character element. FIG. 7 is a diagram illustrating an example of character elements extracted in the offline processing. In FIG. 7, character elements 701, 702, and 703 are extracted. The off-stroke information generation units 130 and 530 define the order of the extracted character elements 701, 702, and 703 in accordance with predetermined rules such as top to bottom and left to right (here, the character element 701). The character elements 702 and the character elements 703 are in this order.) According to this order, vectors connecting the centers of the character elements 701, 702, and 703 are generated as off-strokes 801 and 802. Thereafter, correction processing and learning data generation processing or character recognition processing are executed as in the first and second embodiments described above.

なお、これまで述べた実施形態では、オフストロークの補正を、該オフストロークの始点を有するストローク(文字要素)の大きさに基づいて実行する構成が開示されたが、オフストロークの終点を有するストロークの大きさに基づいて実行する構成としてもよいし、オフストロークの始点を有するストロークおよびオフストロークの終点を有するストロークの両者の大きさに基づいて実行する構成としてもよい。   In the embodiment described so far, the configuration in which the off-stroke correction is performed based on the size of the stroke (character element) having the start point of the off-stroke is disclosed. However, the stroke having the end point of the off-stroke is disclosed. It is good also as a structure performed based on the magnitude | size of this, and it is good also as a structure performed based on the magnitude | size of both the stroke which has the starting point of an offstroke, and the stroke which has the end point of an offstroke.

なお、ここで述べた文字認識用学習データ生成装置100および文字認識装置500の動作は、文字認識用学習データ生成装置100および文字認識装置500のそれぞれの記憶部160,560に記憶されるプログラムを動作させることで実現される。このプログラムは通信によって提供されてもよいし、コンピュータによる読み取りが可能な、CD−ROM等の記憶媒体に格納されて提供されてもよい。   The operations of the character recognition learning data generation device 100 and the character recognition device 500 described here are the programs stored in the storage units 160 and 560 of the character recognition learning data generation device 100 and the character recognition device 500, respectively. Realized by operating. This program may be provided by communication, or may be provided by being stored in a storage medium such as a CD-ROM that can be read by a computer.

100 文字認識用学習データ生成装置、110 外部I/F部、120 ストローク情報取得部、130 オフストローク情報生成部、140 オフストローク情報補正部、150 学習処理部、160 記憶部、200 入力受付装置、301,302,303,304,305 ストローク、401,402,403,404,405 オフストローク、500 文字認識装置、510 外部I/F部、520 ストローク情報取得部、530 オフストローク情報生成部、540 オフストローク情報補正部、550 認識処理部、560 記憶部、600 入力受付装置、701,702,703 文字要素、801,802 オフストローク。   100 character recognition learning data generation device, 110 external I / F unit, 120 stroke information acquisition unit, 130 off stroke information generation unit, 140 off stroke information correction unit, 150 learning processing unit, 160 storage unit, 200 input reception device, 301, 302, 303, 304, 305 Stroke, 401, 402, 403, 404, 405 Off stroke, 500 character recognition device, 510 External I / F unit, 520 Stroke information acquisition unit, 530 Off stroke information generation unit, 540 Off Stroke information correction unit, 550 recognition processing unit, 560 storage unit, 600 input reception device, 701, 702, 703 character element, 801, 802 off-stroke.

Claims (7)

順序が定義される複数の文字要素を含み、当該複数の文字要素によって構成される複数の文字からなる学習対象書面について、前記複数の文字要素それぞれの前記学習対象書面内における位置及び大きさを示す文字要素情報と、前記複数の文字要素のそれぞれが前記複数の文字のいずれに対応するかを示す対応文字情報と、を取得する文字要素情報取得手段、
前記複数の文字要素のうち、前記順序で連続する2つの文字要素について、該順序において先行する文字要素から後続する文字要素へ向かうベクトルを示すベクトル情報を前記文字要素情報に基づいて生成するベクトル情報生成手段、
前記文字要素情報により示される、前記連続する2つの文字要素のうち少なくとも一方の大きさに応じて、前記ベクトルの大きさを補正するベクトル情報補正手段、および、
判定対象となる判定対象書面について、当該判定対象書面に含まれる2つの文字要素が同一文字に属するか否かを判定する際に用いる学習データを生成する手段であって、前記対応文字情報により特定される、前記連続する2つの文字要素が同一文字に含まれるか否かを示す情報と、前記ベクトル情報補正手段により補正されたベクトル情報と、を入力データとして用いて前記学習データを生成する学習手段、
を有することを特徴とする文字認識用学習データ生成装置。
A learning target document including a plurality of character elements including a plurality of character elements, the order of which is defined, and indicating the position and size of each of the plurality of character elements in the learning target document. Character element information acquisition means for acquiring character element information and corresponding character information indicating which of the plurality of characters corresponds to each of the plurality of character elements;
Vector information for generating vector information indicating a vector from the preceding character element to the subsequent character element in the order, based on the character element information, for two character elements that are consecutive in the order among the plurality of character elements Generating means,
Vector information correction means for correcting the size of the vector in accordance with the size of at least one of the two consecutive character elements indicated by the character element information; and
A means for generating learning data used for determining whether or not two character elements included in the determination target document belong to the same character with respect to the determination target document to be determined, specified by the corresponding character information Learning that generates the learning data using, as input data, information indicating whether or not the two consecutive character elements are included in the same character and the vector information corrected by the vector information correcting unit means,
A character recognition learning data generation device characterized by comprising:
請求項1に記載の文字認識用学習データ生成装置であって、
前記ベクトル情報補正手段は、前記連続する2つの文字要素の少なくとも一方に外接する矩形領域の形状の、予め定められる形状に対する比率に応じて、前記ベクトルの大きさを補正することを特徴とする文字認識用学習データ生成装置。
The learning data generating device for character recognition according to claim 1,
The vector information correcting unit corrects the size of the vector according to a ratio of a shape of a rectangular area circumscribing at least one of the two consecutive character elements to a predetermined shape. A learning data generator for recognition.
請求項1又は2に記載の文字認識用学習データ生成装置であって、
前記文字要素情報取得手段は、前記文字要素のそれぞれの、最初に形成された部分の位置および最後に形成された部分の位置を示す端部位置情報をさらに取得し、
前記ベクトル情報生成手段は、前記端部位置情報に基づいて、前記先行する文字要素の最後に形成された部分から、前記後続する文字要素の最初に形成された部分に至るベクトルを示すベクトル情報を生成することを特徴とする文字認識用学習データ生成装置。
The learning data generation device for character recognition according to claim 1 or 2,
The character element information acquisition means further acquires end position information indicating the position of the first formed portion and the position of the last formed portion of each of the character elements,
The vector information generation means, based on the end position information, vector information indicating a vector from the last formed part of the preceding character element to the first formed part of the subsequent character element. A learning data generating device for character recognition characterized by generating.
請求項1又は2に記載の文字認識用学習データ生成装置であって、
前記ベクトル情報生成手段は、前記先行する文字要素に外接する矩形領域の中心点から、前記後続する文字要素に外接する矩形領域の中心点に至るベクトルを示すベクトル情報を生成することを特徴とする文字認識用学習データ生成装置。
The learning data generation device for character recognition according to claim 1 or 2,
The vector information generating means generates vector information indicating a vector from a central point of a rectangular area circumscribing the preceding character element to a central point of the rectangular area circumscribing the subsequent character element. Learning data generation device for character recognition.
順序が定義される複数の文字要素を含み、当該複数の文字要素によって構成される複数の文字からなる判定対象書面について、前記複数の文字要素それぞれの前記判定対象書面内における位置及び大きさを示す文字要素情報を取得する文字要素情報取得手段、
前記複数の文字要素のうち、前記順序で連続する2つの文字要素について、該順序において先行する文字要素から後続する文字要素へ向かうベクトルを示すベクトル情報を前記文字要素情報に基づいて生成するベクトル情報生成手段、
前記文字要素情報により示される、前記連続する2つの文字要素のうち少なくとも一方の大きさに応じて、前記ベクトルの大きさを補正するベクトル情報補正手段、および、
前記ベクトル情報補正手段により補正されたベクトル情報に基づいて、前記2つの文字要素が同一文字に属するか否かを判定する判定手段、
を有することを特徴とする文字認識装置。
A determination target document including a plurality of character elements including a plurality of character elements, the order of which is defined, and indicating the position and size of each of the plurality of character elements in the determination target document. Character element information acquisition means for acquiring character element information;
Vector information for generating vector information indicating a vector from the preceding character element to the subsequent character element in the order, based on the character element information, for two character elements that are consecutive in the order among the plurality of character elements Generating means,
Vector information correction means for correcting the size of the vector in accordance with the size of at least one of the two consecutive character elements indicated by the character element information; and
Determining means for determining whether or not the two character elements belong to the same character based on the vector information corrected by the vector information correcting means;
A character recognition device comprising:
コンピュータを、
順序が定義される複数の文字要素を含み、当該複数の文字要素によって構成される複数の文字からなる学習対象書面について、前記複数の文字要素それぞれの前記学習対象書面内における位置及び大きさを示す文字要素情報と、前記複数の文字要素のそれぞれが前記複数の文字のいずれに対応するかを示す対応文字情報と、を取得する文字要素情報取得手段、
前記複数の文字要素のうち、前記順序で連続する2つの文字要素について、該順序において先行する文字要素から後続する文字要素へ向かうベクトルを示すベクトル情報を前記文字要素情報に基づいて生成するベクトル情報生成手段、
前記文字要素情報により示される、前記連続する2つの文字要素のうち少なくとも一方の大きさに応じて、前記ベクトルの大きさを補正するベクトル情報補正手段、および、
判定対象となる判定対象書面について、当該判定対象書面に含まれる2つの文字要素が同一文字に属するか否かを判定する際に用いる学習データを生成する手段であって、前記対応文字情報により特定される、前記連続する2つの文字要素が同一文字に含まれるか否かを示す情報と、前記ベクトル情報補正手段により補正されたベクトル情報と、を入力データとして用いて前記学習データを生成する学習手段、
として機能させるためのプログラム。
Computer
A learning target document including a plurality of character elements including a plurality of character elements, the order of which is defined, and indicating the position and size of each of the plurality of character elements in the learning target document. Character element information acquisition means for acquiring character element information and corresponding character information indicating which of the plurality of characters corresponds to each of the plurality of character elements;
Vector information for generating vector information indicating a vector from the preceding character element to the subsequent character element in the order, based on the character element information, for two character elements that are consecutive in the order among the plurality of character elements Generating means,
Vector information correction means for correcting the size of the vector in accordance with the size of at least one of the two consecutive character elements indicated by the character element information; and
A means for generating learning data used for determining whether or not two character elements included in the determination target document belong to the same character with respect to the determination target document to be determined, specified by the corresponding character information Learning that generates the learning data using, as input data, information indicating whether or not the two consecutive character elements are included in the same character and the vector information corrected by the vector information correcting unit means,
Program to function as.
コンピュータを、
順序が定義される複数の文字要素を含み、当該複数の文字要素によって構成される複数の文字からなる判定対象書面について、前記複数の文字要素それぞれの前記判定対象書面内における位置及び大きさを示す文字要素情報を取得する文字要素情報取得手段、
前記複数の文字要素のうち、前記順序で連続する2つの文字要素について、該順序において先行する文字要素から後続する文字要素へ向かうベクトルを示すベクトル情報を前記文字要素情報に基づいて生成するベクトル情報生成手段、
前記文字要素情報により示される、前記連続する2つの文字要素のうち少なくとも一方の大きさに応じて、前記ベクトルの大きさを補正するベクトル情報補正手段、および、
前記ベクトル情報補正手段により補正されたベクトル情報に基づいて、前記2つの文字要素が同一文字に属するか否かを判定する判定手段、
として機能させるためのプログラム。
Computer
A determination target document including a plurality of character elements including a plurality of character elements, the order of which is defined, and indicating the position and size of each of the plurality of character elements in the determination target document. Character element information acquisition means for acquiring character element information;
Vector information for generating vector information indicating a vector from the preceding character element to the subsequent character element in the order, based on the character element information, for two character elements that are consecutive in the order among the plurality of character elements Generating means,
Vector information correction means for correcting the size of the vector in accordance with the size of at least one of the two consecutive character elements indicated by the character element information; and
Determining means for determining whether or not the two character elements belong to the same character based on the vector information corrected by the vector information correcting means;
Program to function as.
JP2012071636A 2012-03-27 2012-03-27 Learning data generation device for character recognition, character recognition device, and program Active JP5867227B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012071636A JP5867227B2 (en) 2012-03-27 2012-03-27 Learning data generation device for character recognition, character recognition device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012071636A JP5867227B2 (en) 2012-03-27 2012-03-27 Learning data generation device for character recognition, character recognition device, and program

Publications (2)

Publication Number Publication Date
JP2013205922A JP2013205922A (en) 2013-10-07
JP5867227B2 true JP5867227B2 (en) 2016-02-24

Family

ID=49524986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012071636A Active JP5867227B2 (en) 2012-03-27 2012-03-27 Learning data generation device for character recognition, character recognition device, and program

Country Status (1)

Country Link
JP (1) JP5867227B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916720A (en) * 1995-07-03 1997-01-17 Seiko Epson Corp Character recognition method and system
JP5344338B2 (en) * 2008-08-01 2013-11-20 国立大学法人東京農工大学 Program, information storage medium, and character string recognition device

Also Published As

Publication number Publication date
JP2013205922A (en) 2013-10-07

Similar Documents

Publication Publication Date Title
CN102449640B (en) Recognizing handwritten words
CN111931710B (en) Online handwritten character recognition method and device, electronic equipment and storage medium
EP1564675B1 (en) Apparatus and method for searching for digital ink query
WO2006091155A1 (en) Segmentation-based recognition
CN108701215B (en) System and method for identifying multi-object structures
CN114730241B (en) Gesture and stroke recognition in touch user interface input
KR102694644B1 (en) Extract text lines
JP6055065B1 (en) Character recognition program and character recognition device
Kumar et al. Recognition of multi-stroke based online handwritten Gurmukhi aksharas
JP5807342B2 (en) Character recognition device and program
JP6081606B2 (en) Electronic apparatus and method
Tappert et al. English language handwriting recognition interfaces
JP5867227B2 (en) Learning data generation device for character recognition, character recognition device, and program
US9342739B2 (en) Character recognition apparatus, non-transitory computer readable medium, and character recognition method
JP5974576B2 (en) Character recognition learning device, character recognition device, and program
JP5712415B2 (en) Form processing system and form processing method
JP6575116B2 (en) Character recognition device, character recognition processing system, and program
Abuzaraida et al. Online recognition system for handwritten arabic chemical symbols
JP6437208B2 (en) Handwritten music symbol recognition apparatus and handwritten music symbol recognition program
CN116959000A (en) Handwriting recognition method, handwriting recognition device, computer equipment and storage medium
CN117935352A (en) Gesture recognition method, electronic device, and computer-readable storage medium
CN110647245A (en) Handwriting input method based on DTW algorithm
Rakate et al. Integrated approach to handwritten character recognition using ANN and it's implementation on ARM
JP2014179024A (en) Information processing device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151221

R150 Certificate of patent or registration of utility model

Ref document number: 5867227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350