JP7581645B2 - 情報処理装置、文字認識システムおよびプログラム - Google Patents
情報処理装置、文字認識システムおよびプログラム Download PDFInfo
- Publication number
- JP7581645B2 JP7581645B2 JP2020069827A JP2020069827A JP7581645B2 JP 7581645 B2 JP7581645 B2 JP 7581645B2 JP 2020069827 A JP2020069827 A JP 2020069827A JP 2020069827 A JP2020069827 A JP 2020069827A JP 7581645 B2 JP7581645 B2 JP 7581645B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- character string
- symbol
- same
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
- H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
- H04N1/00331—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing optical character recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/226—Character recognition characterised by the type of writing of cursive writing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
- G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
- G06V30/2445—Alphabet recognition, e.g. Latin, Kanji or Katakana
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
- G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
- G06V30/2455—Discrimination between machine-print, hand-print and cursive writing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
- G06V30/274—Syntactic or semantic context, e.g. balancing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Character Discrimination (AREA)
- Character Input (AREA)
Description
本発明は、情報処理装置、データ構造、文字認識システム、プログラムに関する。
従来より、文書中の記入欄に記載された手書きの文字を、ＯＣＲ（Optical Character Recognition）を使用して文字認識する技術が存在する。そして、文字認識の結果が正しいが否かをユーザに確認させる処理を行うことがある。
特許文献１には、文字処理装置が開示されている。この文字処理装置では、入力手段から入力された文書データをデータ記憶手段に記憶し、一致判断手段によって、データ記憶手段に記憶されたデータ間において、部分的に前方一致する文字列がある場合に、文字列置換手段によって、特定文字列記憶手段から特定文字列を読みだして置換し、さらに置換によって空白挿入手段により空白を補完する。また、データ内の特定文字列を元の文字列に復元する。
複数の記入欄に同じ文字列が入る場合、既に記入した文字列と同じ文字列が入ることを意味する、「同上」、「同左」、「〃」などの文字や記号を記載することがある。ところが、ＯＣＲが、この文字や記号を、そのまま文字認識を行うと、ユーザは、これらが指す文字列を文書中から探し出し、確認しなければならない。この場合、ユーザの負担が増大する。
本発明は、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が存在しても、文字認識の結果を確認するユーザの負担が増大しにくい情報処理装置等を提供することを目的とする。
本発明は、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が存在しても、文字認識の結果を確認するユーザの負担が増大しにくい情報処理装置等を提供することを目的とする。
請求項１に記載の発明は、プロセッサを備え、前記プロセッサは、手書きの文字列に対する文字認識の結果を取得し、文字認識をした文字列が、既に記入した文字列と同じ文字列が入ることを意味する文字または記号であるときに、当該文字または記号に応じて定まる方向の文字列を探索し、当該文字または記号が記載される枠の情報と、当該方向に存在する枠の情報とを比較し、枠内に記載される内容の属性が同じ場合に、当該文字または記号が指す文字列の候補とし、当該文字または記号を、探索により得られた文字列に置換する情報処理装置である。
請求項２に記載の発明は、前記プロセッサは、前記属性として、文字認識をしたときに使用した辞書が同じであるときに、内容の属性が同じであるとすることを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、前記候補が複数になったときは、前記文字または記号から位置が最も近いものを選択することを特徴とする請求項１に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、置換した文字列を、ユーザに対し確認させる確認画面を表示することを特徴とする請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記確認画面として、前記文字または記号および当該文字または記号が指す文字列として手書きのもの、並びに当該文字または記号が指す文字列の文字認識の結果を並べて表示することを特徴とする請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記確認画面に加え、手書きの文字列が記載された文書の画像をさらに表示し、前記文書の画像中で、前記文字または記号の箇所および当該文字または記号が指す文字列の箇所の位置を表示することを特徴とする請求項４に記載の情報処理装置である。
請求項７に記載の発明は、前記プロセッサは、ユーザが確認画面の中の何れかを選択したときに、前記文書の画像中で、前記文字または記号の箇所および当該文字または記号が指す文字列の箇所の位置を示すことを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、手書きの文字列が記載された文書を画像として読み取る読取装置と、手書きの文字列を文字認識する文字認識装置と、前記文字認識装置による文字認識の結果をユーザに確認させる確認画面を表示する表示装置と、前記確認画面の画像を作成する画像作成装置と、を備え、前記画像作成装置は、プロセッサを備え、前記プロセッサは、前記文字認識装置から文字認識の結果を取得し、文字認識をした文字列が、既に記入した文字列と同じ文字列が入ることを意味する文字または記号であるときに、当該文字または記号に応じて定まる方向の文字列を探索し、当該文字または記号が記載される枠の情報と、当該方向に存在する枠の情報とを比較し、枠内に記載される内容の属性が同じ場合に、当該文字または記号が指す文字列の候補とし、当該文字または記号を、探索により得られた文字列に置換する文字認識システムである。
請求項９に記載の発明は、コンピュータに、手書きの文書に対する文字認識の結果を取得する取得機能と、文字認識をした文字列が、既に記入した文字列と同じ文字列が入ることを意味する文字または記号であるときに、当該文字または記号に応じて定まる方向の文字列を探索し、当該文字または記号が記載される枠の情報と、当該方向に存在する枠の情報とを比較し、枠内に記載される内容の属性が同じ場合に、当該文字または記号が指す文字列の候補とし、当該文字または記号を、探索により得られた文字列に置換する置換機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、前記プロセッサは、前記属性として、文字認識をしたときに使用した辞書が同じであるときに、内容の属性が同じであるとすることを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、前記候補が複数になったときは、前記文字または記号から位置が最も近いものを選択することを特徴とする請求項１に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、置換した文字列を、ユーザに対し確認させる確認画面を表示することを特徴とする請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記確認画面として、前記文字または記号および当該文字または記号が指す文字列として手書きのもの、並びに当該文字または記号が指す文字列の文字認識の結果を並べて表示することを特徴とする請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記確認画面に加え、手書きの文字列が記載された文書の画像をさらに表示し、前記文書の画像中で、前記文字または記号の箇所および当該文字または記号が指す文字列の箇所の位置を表示することを特徴とする請求項４に記載の情報処理装置である。
請求項７に記載の発明は、前記プロセッサは、ユーザが確認画面の中の何れかを選択したときに、前記文書の画像中で、前記文字または記号の箇所および当該文字または記号が指す文字列の箇所の位置を示すことを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、手書きの文字列が記載された文書を画像として読み取る読取装置と、手書きの文字列を文字認識する文字認識装置と、前記文字認識装置による文字認識の結果をユーザに確認させる確認画面を表示する表示装置と、前記確認画面の画像を作成する画像作成装置と、を備え、前記画像作成装置は、プロセッサを備え、前記プロセッサは、前記文字認識装置から文字認識の結果を取得し、文字認識をした文字列が、既に記入した文字列と同じ文字列が入ることを意味する文字または記号であるときに、当該文字または記号に応じて定まる方向の文字列を探索し、当該文字または記号が記載される枠の情報と、当該方向に存在する枠の情報とを比較し、枠内に記載される内容の属性が同じ場合に、当該文字または記号が指す文字列の候補とし、当該文字または記号を、探索により得られた文字列に置換する文字認識システムである。
請求項９に記載の発明は、コンピュータに、手書きの文書に対する文字認識の結果を取得する取得機能と、文字認識をした文字列が、既に記入した文字列と同じ文字列が入ることを意味する文字または記号であるときに、当該文字または記号に応じて定まる方向の文字列を探索し、当該文字または記号が記載される枠の情報と、当該方向に存在する枠の情報とを比較し、枠内に記載される内容の属性が同じ場合に、当該文字または記号が指す文字列の候補とし、当該文字または記号を、探索により得られた文字列に置換する置換機能と、を実現させるためのプログラムである。
請求項１の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が存在しても、文字認識の結果を確認するユーザの負担が増大しにくい情報処理装置を提供することができ、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が指す文字列をより的確に探索でき、枠中に記入される文字列の属性を考慮して探索を行うことができる。
請求項２の発明によれば、枠中に記入される文字列の内容を考慮して探索を行うことができる。
請求項３の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が指す文字列として、最も的確なものを抽出できる。
請求項４の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が指す文字列を、ユーザが確認することができる。
請求項５の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号とこれらが指す文字列とを、比較して確認することができる。
請求項６の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号およびこれらが指す文字列の、元の紙文書中での位置を確認することができる。
請求項７の発明によれば、確認したい文字列を、ユーザが選択することができる。
請求項８の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が存在しても、文字認識の結果を確認するユーザの負担が増大しにくい情報処理システムを提供することができ、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が指す文字列をより的確に探索でき、枠中に記入される文字列の属性を考慮して探索を行うことができる。
請求項９の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が存在しても、文字認識の結果を確認するユーザの負担が増大しにくい機能をコンピュータにより実現でき、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が指す文字列をより的確に探索でき、枠中に記入される文字列の属性を考慮して探索を行うことができる。
請求項２の発明によれば、枠中に記入される文字列の内容を考慮して探索を行うことができる。
請求項３の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が指す文字列として、最も的確なものを抽出できる。
請求項４の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が指す文字列を、ユーザが確認することができる。
請求項５の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号とこれらが指す文字列とを、比較して確認することができる。
請求項６の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号およびこれらが指す文字列の、元の紙文書中での位置を確認することができる。
請求項７の発明によれば、確認したい文字列を、ユーザが選択することができる。
請求項８の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が存在しても、文字認識の結果を確認するユーザの負担が増大しにくい情報処理システムを提供することができ、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が指す文字列をより的確に探索でき、枠中に記入される文字列の属性を考慮して探索を行うことができる。
請求項９の発明によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が存在しても、文字認識の結果を確認するユーザの負担が増大しにくい機能をコンピュータにより実現でき、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が指す文字列をより的確に探索でき、枠中に記入される文字列の属性を考慮して探索を行うことができる。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜文字認識システム全体の説明＞
図１は、本実施の形態における文字認識システム１の構成例を示す図である。
図示するように本実施の形態の文字認識システム１は、画像形成装置１０と、管理サーバ２０と、端末装置３０とが、ネットワーク７０、ネットワーク８０を介して接続されることにより構成されている。
なお、図１では、画像形成装置１０および端末装置３０は、それぞれ１つずつしか示していないが、それぞれを複数設けてもよい。
図１は、本実施の形態における文字認識システム１の構成例を示す図である。
図示するように本実施の形態の文字認識システム１は、画像形成装置１０と、管理サーバ２０と、端末装置３０とが、ネットワーク７０、ネットワーク８０を介して接続されることにより構成されている。
なお、図１では、画像形成装置１０および端末装置３０は、それぞれ１つずつしか示していないが、それぞれを複数設けてもよい。
画像形成装置１０は、紙等の記録媒体に画像を形成し、印刷媒体として出力する装置である。画像形成装置１０は、プリンタ機能を備えるが、これに加えて、例えば、スキャナ機能、ファクシミリ機能等の他の画像処理機能を備えている。
図２は、画像形成装置１０のハードウェア構成例を示した図である。
図示するように、画像形成装置１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）１２と、ＲＯＭ（Read Only Memory）１３と、ＨＤＤ（Hard Disk Drive）１４と、操作パネル１５と、画像読み取り部１６と、画像形成部１７と、通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）１８とを備える。そして、これらがバスＢを介して必要なデータのやりとりを行う。
図２は、画像形成装置１０のハードウェア構成例を示した図である。
図示するように、画像形成装置１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）１２と、ＲＯＭ（Read Only Memory）１３と、ＨＤＤ（Hard Disk Drive）１４と、操作パネル１５と、画像読み取り部１６と、画像形成部１７と、通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）１８とを備える。そして、これらがバスＢを介して必要なデータのやりとりを行う。
ＣＰＵ１１は、ＲＯＭ１３等に記憶された各種プログラムをＲＡＭ１２にロードして実行することにより、後述する各機能を実現する。
ＲＡＭ１２は、ＣＰＵ１１の作業用メモリ等として用いられるメモリである。
ＲＯＭ１３は、ＣＰＵ１１が実行する各種プログラム等を記憶するメモリである。
ＨＤＤ１４は、画像読み取り部１６が読み取った画像情報や画像形成部１７における画像形成にて用いる画像情報等を記憶する例えば磁気ディスク装置である。
操作パネル１５は、各種情報の表示やユーザからの操作入力の受付を行う、例えばタッチパネルである。そのため表示機構は、予め定められた領域でコンテンツ（情報内容）を画像として表示する液晶パネル等の表示部を備えるとともに、液晶パネルに人の指、スタイラスペンに代表される接触物が接触したときに、接触物が液晶パネルに接触した位置を検知する機能を備えている。本実施の形態においてタッチパネルは、特に限定されるものではなく、抵抗膜方式や静電容量方式など種々の方式のものを使用することができる。
ＲＯＭ１３は、ＣＰＵ１１が実行する各種プログラム等を記憶するメモリである。
ＨＤＤ１４は、画像読み取り部１６が読み取った画像情報や画像形成部１７における画像形成にて用いる画像情報等を記憶する例えば磁気ディスク装置である。
操作パネル１５は、各種情報の表示やユーザからの操作入力の受付を行う、例えばタッチパネルである。そのため表示機構は、予め定められた領域でコンテンツ（情報内容）を画像として表示する液晶パネル等の表示部を備えるとともに、液晶パネルに人の指、スタイラスペンに代表される接触物が接触したときに、接触物が液晶パネルに接触した位置を検知する機能を備えている。本実施の形態においてタッチパネルは、特に限定されるものではなく、抵抗膜方式や静電容量方式など種々の方式のものを使用することができる。
画像読み取り部１６は、読取装置の一例であり、原稿に記録された画像を読み取る。本実施の形態では、原稿として、手書きの文字列が記載された文書を画像として読み取る。
画像読み取り部１６は、例えばスキャナであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。
画像読み取り部１６は、例えばスキャナであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。
画像形成部１７は、記録媒体に画像を形成する印刷機構の一例である。ここで、画像形成部１７は、例えばプリンタであり、感光体に付着させたトナーを用紙等の記録媒体に転写して像を形成する電子写真方式や、インクを記録媒体上に吐出して像を形成するインクジェット方式のものを用いるとよい。
通信Ｉ／Ｆ１８は、ネットワーク７０、８０を介して他の装置との間で各種情報の送受信を行う。
通信Ｉ／Ｆ１８は、ネットワーク７０、８０を介して他の装置との間で各種情報の送受信を行う。
管理サーバ２０は、文字認識システム１の全体の管理をするサーバコンピュータである。また、管理サーバ２０がクラウド上に設けられる場合、管理サーバ２０は、クラウドサーバであると言うこともできる。管理サーバ２０は、例えば、画像形成装置１０や端末装置３０を操作するユーザの認証を行い、電子情報を画像形成装置１０や端末装置３０との間で電子情報の送受信を行う。ここで、「電子情報」とは、何らかの情報を電子化したものである。この「電子情報」は、画像形成装置１０、管理サーバ２０および端末装置３０のそれぞれで扱うことができるものであれば、情報の種類、形式およびデータ構造等について特に限られるものではない。ただし、本実施の形態の文字認識システム１で扱う電子情報としては、例えば、文字情報や画像情報等である。
また、詳しくは後述するが、管理サーバ２０は、文字認識装置の一例であり、画像形成装置１０の画像読み取り部１６で読み取られた手書きの文字列を文字認識する。
また、詳しくは後述するが、管理サーバ２０は、文字認識装置の一例であり、画像形成装置１０の画像読み取り部１６で読み取られた手書きの文字列を文字認識する。
管理サーバ２０は、演算手段であるＣＰＵと、記憶手段であるメインメモリ、およびＨＤＤやＳＳＤ（Solid State Drive）等のストレージを備える。ＣＰＵは、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ストレージは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
さらに、管理サーバ２０は、外部との通信を行うための通信Ｉ／Ｆと、キーボード、マウス、タッチパネル、スタイラスペン等の入力デバイスとを備える。また、管理サーバ２０は、液晶ディスプレイ等の表示デバイスを備えてもよい。
さらに、管理サーバ２０は、外部との通信を行うための通信Ｉ／Ｆと、キーボード、マウス、タッチパネル、スタイラスペン等の入力デバイスとを備える。また、管理サーバ２０は、液晶ディスプレイ等の表示デバイスを備えてもよい。
端末装置３０は、管理サーバ２０で文字認識された文字認識の結果を、ユーザが確認する装置である。端末装置３０は、例えば、汎用のパーソナルコンピュータ（ＰＣ）である。そして、端末装置３０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、電子情報の作成等が行われるようになっている。なお、この文字認識の結果を、以後、「ＯＣＲ結果」と言うことがある。
端末装置３０は、管理サーバ２０と同様に、ＣＰＵ、メインメモリ、ストレージ、通信Ｉ／Ｆ、入力デバイスを備える。これらは、情報処理装置あるいは画像作成装置の一例であり、管理サーバ２０によるＯＣＲ結果をユーザに確認させる確認画面を作成する。そして、ＣＰＵは、プロセッサの一例である。また、端末装置３０は、この確認画面を表示する表示装置の一例である表示デバイスを備える。
ネットワーク７０は、画像形成装置１０、管理サーバ２０および端末装置３０の間の情報通信に用いられる通信手段であり、例えば、インターネットである。
ネットワーク８０も、ネットワーク７０と同様に、画像形成装置１０、管理サーバ２０および端末装置３０の間の情報通信に用いられる通信手段であり、例えば、ＬＡＮ（Local Area Network）である。
ネットワーク８０も、ネットワーク７０と同様に、画像形成装置１０、管理サーバ２０および端末装置３０の間の情報通信に用いられる通信手段であり、例えば、ＬＡＮ（Local Area Network）である。
＜文字認識システム１の動作の概略説明＞
図３は、文字認識システム１の概略動作について示した図である。
なお、この例では、画像形成装置１０を操作するユーザは、ユーザＡであり、端末装置３０を操作するユーザは、ユーザＢであるとする。また、ユーザＡおよびユーザＢは、予め管理サーバ２０に対し、ユーザの認証を行っているものとする。
図３は、文字認識システム１の概略動作について示した図である。
なお、この例では、画像形成装置１０を操作するユーザは、ユーザＡであり、端末装置３０を操作するユーザは、ユーザＢであるとする。また、ユーザＡおよびユーザＢは、予め管理サーバ２０に対し、ユーザの認証を行っているものとする。
まず、ユーザＡが、紙文書Ｂｋを、画像形成装置１０を用いて、スキャンする（１Ａ）。スキャンは、画像形成装置１０の画像読み取り部１６を用いて行われ、画像情報からなる電子情報として、管理サーバ２０に送られる（１Ｂ）。
紙文書は、文書の一例であり、予め定められた書式で印刷した印刷文書Ｂｐに、ユーザＡ等が手書きで記入を行ったものである。紙文書Ｂｋは、特に限られるものではなく、例えば、帳票、アンケート用紙、伝票、申請書、届出書、稟議書などである。
図４は、本実施の形態の紙文書Ｂｋの一例を示した図である。
図示する紙文書Ｂｋは、帳票であり、予め定められた書式で印刷された印刷文書Ｂｐに、ユーザＡが、手書きの文字列Ｍｔとして記入した場合を示している。印刷文書Ｂｐには、例えば、氏名、住所等の記入欄Ｒａが予め印刷され、ユーザＡが、この記入欄Ｒａに、自己の氏名、住所を、手書きの文字列Ｍｔとして記入した場合を示している。この記入欄Ｒａは、ユーザＡが記入する枠、あるいは文字認識を行う対象となる認識枠であると把握することもできる。
図示する紙文書Ｂｋは、帳票であり、予め定められた書式で印刷された印刷文書Ｂｐに、ユーザＡが、手書きの文字列Ｍｔとして記入した場合を示している。印刷文書Ｂｐには、例えば、氏名、住所等の記入欄Ｒａが予め印刷され、ユーザＡが、この記入欄Ｒａに、自己の氏名、住所を、手書きの文字列Ｍｔとして記入した場合を示している。この記入欄Ｒａは、ユーザＡが記入する枠、あるいは文字認識を行う対象となる認識枠であると把握することもできる。
図３に戻り、管理サーバ２０は、スキャンした電子情報を受け取ると、ＯＣＲによる文字認識を行う（１Ｃ）。これは、例えば、予め管理サーバ２０に、印刷文書Ｂｐ中の記入欄Ｒａを登録しておく（１Ｄ）。そして、登録された記入欄Ｒａを基に、手書きの文字Ｍｔの部分を抽出し、抽出した手書きの文字Ｍｔについて、ＯＣＲによる文字認識を行う。
そして、管理サーバ２０は、ＯＣＲ結果を、端末装置３０に送信する（１Ｅ）。
端末装置３０では、詳しくは後述するが、ユーザＢに対し、ＯＣＲ結果が正しいか否かを確認させる確認画面Ｇａを表示する（１Ｆ）。即ち、この場合、ユーザＢは、ＯＣＲ結果が正しいか否かを確認する担当者や管理者である。
ユーザＢは、確認画面Ｇａにより確認を行い、訂正がある場合は、ユーザは、ＯＣＲ結果を訂正する（１Ｇ）。そして、ユーザＢが確認後は、確認訂正結果として出力される（１Ｈ）。また、確認訂正結果は、管理サーバ２０に送られ、保存される（１Ｉ）。
そして、管理サーバ２０は、ＯＣＲ結果を、端末装置３０に送信する（１Ｅ）。
端末装置３０では、詳しくは後述するが、ユーザＢに対し、ＯＣＲ結果が正しいか否かを確認させる確認画面Ｇａを表示する（１Ｆ）。即ち、この場合、ユーザＢは、ＯＣＲ結果が正しいか否かを確認する担当者や管理者である。
ユーザＢは、確認画面Ｇａにより確認を行い、訂正がある場合は、ユーザは、ＯＣＲ結果を訂正する（１Ｇ）。そして、ユーザＢが確認後は、確認訂正結果として出力される（１Ｈ）。また、確認訂正結果は、管理サーバ２０に送られ、保存される（１Ｉ）。
図５（ａ）～（ｃ）は、ＯＣＲ結果に対し、図３の１Ｇで行われる確認作業として、従来の作業の例を示した図である。
このうち、図５（ａ）は、図３の１Ａでスキャンした紙文書Ｂｋを示している。
この紙文書Ｂｋは、伝票であり、送付先および送り主情報として、それぞれ住所の欄Ｒａ１、Ｒａ２が設けられる。そして、ユーザＡが、この記入欄Ｒａ１に、送付先の住所を、文字列Ｍｔ１として記入した場合を示している。また、送り主の住所を、手書きの文字列Ｍｔ２として記入した場合を示している。ただし、図示する例では、送付先の住所および送り主の住所が同じであったため、前者は、実際の住所を、文字列Ｍｔ１として記入しているが、後者は、文字列Ｍｔ２として、「同上」と記入し、既に記入した住所と同じであることを示している。
このうち、図５（ａ）は、図３の１Ａでスキャンした紙文書Ｂｋを示している。
この紙文書Ｂｋは、伝票であり、送付先および送り主情報として、それぞれ住所の欄Ｒａ１、Ｒａ２が設けられる。そして、ユーザＡが、この記入欄Ｒａ１に、送付先の住所を、文字列Ｍｔ１として記入した場合を示している。また、送り主の住所を、手書きの文字列Ｍｔ２として記入した場合を示している。ただし、図示する例では、送付先の住所および送り主の住所が同じであったため、前者は、実際の住所を、文字列Ｍｔ１として記入しているが、後者は、文字列Ｍｔ２として、「同上」と記入し、既に記入した住所と同じであることを示している。
図５（ｂ）は、図５（ａ）で示した紙文書ＢｋのＯＣＲ結果を示している。
これは、図３の１Ｆで表示される確認画面Ｇａの一部である。図示するＯＣＲ結果は、送付先の住所について、ユーザＡが記入した手書きの文字列Ｍｔ１が、文字列Ｍｃ１に文字認識されたことを示している。また、送り主の住所についても、ユーザＡが記入した手書きの文字列Ｍｔ２が、文字列Ｍｃ２に文字認識されたことを示している。
これは、図３の１Ｆで表示される確認画面Ｇａの一部である。図示するＯＣＲ結果は、送付先の住所について、ユーザＡが記入した手書きの文字列Ｍｔ１が、文字列Ｍｃ１に文字認識されたことを示している。また、送り主の住所についても、ユーザＡが記入した手書きの文字列Ｍｔ２が、文字列Ｍｃ２に文字認識されたことを示している。
また、図５（ｃ）は、図３の１Ｈで保存される確認訂正結果の例を示している。
この例では、確認訂正結果は、ＣＳＶ形式で出力される。そして、出力データが、「送付先＿住所、送り主＿住所、○○県△△市◇◇町１－２－３４、同上」であることを示している。
この例では、確認訂正結果は、ＣＳＶ形式で出力される。そして、出力データが、「送付先＿住所、送り主＿住所、○○県△△市◇◇町１－２－３４、同上」であることを示している。
しかしながら、図５（ｂ）で示したように、ＯＣＲ結果として、文字列Ｍｃ２である「同上」を、そのまま確認画面Ｇａに表示した場合、確認を行うユーザＢは、この「同上」に対応する文字列Ｍｔ１を、元の紙文書Ｂｋから探し出し、その内容を手入力する必要がある。この場合、ユーザＢは、確認画面Ｇａの中に、文字列Ｍｃ２である「同上」を発見した場合、紙文書Ｂｋを表示するイメージ画像の中の文字列Ｍｔ２を探し出す。そして、これからさらに、このイメージ画像の中の文字列Ｍｔ１を探し出し、文字列Ｍｃ２の内容を、「同上」から「○○県△△市◇◇町１－２－３４」へ修正する。この場合、ＯＣＲ結果を確認するユーザＢの負担が増大する。
なお、図５（ａ）～（ｃ）では、「同上」の場合について、示したが、「同左」、「〃」などの文字や記号が、紙文書Ｂｋに記入された場合も同様である。
そこで、本実施の形態では、文字認識システム１を、以下のような構成とし、ユーザＢの負担の軽減を図っている。
そこで、本実施の形態では、文字認識システム１を、以下のような構成とし、ユーザＢの負担の軽減を図っている。
＜文字認識システム１の構成の説明＞
図６は、本実施の形態における文字認識システム１の機能構成例を示したブロック図である。
なお、ここでは、文字認識システム１が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図６は、本実施の形態における文字認識システム１の機能構成例を示したブロック図である。
なお、ここでは、文字認識システム１が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
文字認識システム１の画像形成装置１０は、送受信部１１０と、印刷部１２０と、スキャンを行う読取部１３０と、制御部１４０とを備える。
送受信部１１０は、管理サーバ２０との間で電子情報の送受信を行う。送受信部１１０は、スキャンした紙文書Ｂｋの画像情報を管理サーバ２０に送信する。送受信部１１０は、例えば、通信Ｉ／Ｆ１８に対応する。
印刷部１２０は、印刷機構であり、用紙等の記録媒体に印刷を行う。印刷部１２０は、例えば、画像形成部１７に対応する。
読取部１３０は、紙文書Ｂｋをスキャンして読み取り、画像情報とする。読取部１３０は、例えば、画像読み取り部１６に対応する。
制御部１４０は、画像形成装置１０全体の制御を行う。制御部１４０は、例えば、ＣＰＵ１１、ＲＡＭ１２、およびＲＯＭ１３に対応する。
送受信部１１０は、管理サーバ２０との間で電子情報の送受信を行う。送受信部１１０は、スキャンした紙文書Ｂｋの画像情報を管理サーバ２０に送信する。送受信部１１０は、例えば、通信Ｉ／Ｆ１８に対応する。
印刷部１２０は、印刷機構であり、用紙等の記録媒体に印刷を行う。印刷部１２０は、例えば、画像形成部１７に対応する。
読取部１３０は、紙文書Ｂｋをスキャンして読み取り、画像情報とする。読取部１３０は、例えば、画像読み取り部１６に対応する。
制御部１４０は、画像形成装置１０全体の制御を行う。制御部１４０は、例えば、ＣＰＵ１１、ＲＡＭ１２、およびＲＯＭ１３に対応する。
管理サーバ２０は、送受信部２１０と、文字認識部２２０と、記憶部２３０とを備える。
送受信部２１０は、画像形成装置１０および端末装置３０との間で電子情報の送受信を行う。送受信部２１０は、画像形成装置１０でスキャンした紙文書Ｂｋの画像情報を受け取る、また、紙文書ＢｋのＯＣＲ結果を端末装置３０に送る。
送受信部２１０は、画像形成装置１０および端末装置３０との間で電子情報の送受信を行う。送受信部２１０は、画像形成装置１０でスキャンした紙文書Ｂｋの画像情報を受け取る、また、紙文書ＢｋのＯＣＲ結果を端末装置３０に送る。
文字認識部２２０は、ＯＣＲであり、紙文書Ｂｋ中の手書きの文字列Ｍｔの文字認識を行う。また、記憶部２３０は、送受信部２１０が受け付けた紙文書Ｂｋの画像情報、文字認識の結果であるＯＣＲ結果、および記入欄Ｒａの定義情報を記憶する。
定義情報は、紙文書Ｂｋ中の各記入欄Ｒａの属性、位置、大きさの情報を含む。属性の情報としては、各記入欄Ｒａの名称であり文字認識を行う対象となる枠の名称である認識枠名、各記入欄Ｒａで使用する辞書の名称である辞書名である。この辞書は、文字認識の際に使用される辞書であり、各記入欄Ｒａに記入された文字列Ｍｔの内容によって、予め適用する辞書が定められている。例えば、記入欄Ｒａが、氏名を記入する欄であった場合、名前辞書が適用される。即ち、名前辞書は、例えば、人の名前を集めた辞書であり、氏名の文字認識を行うのに適した内容となっている。また、記入欄Ｒａが、住所を記入する記入欄Ｒａであった場合、住所辞書が適用される。辞書としては、他に、日付を記入する記入欄Ｒａに対して使用される日付辞書なとが挙げられる。また、各記入欄Ｒａの位置、大きさの情報は、各記入欄Ｒａの紙文書Ｂｋ中での座標情報として表される。
そして、文字認識部２２０は、定義情報に基づき、手書きの文字列Ｍｔの文字認識を行う。
そして、文字認識部２２０は、定義情報に基づき、手書きの文字列Ｍｔの文字認識を行う。
記憶部２３０は、紙文書Ｂｋの画像情報、記入欄Ｒａの定義情報、文字認識部２２０によるＯＣＲ結果を関連付け、文字認識データとして記憶する。
図７は、記憶部２３０で記憶される文字認識データのデータ構造を示した図である。
図示するデータ構造は、送受信部２１０が受け付けた紙文書Ｂｋの画像情報と、文字認識した結果を格納するためのテーブルＴとの組み合わせとして表すことができる。このテーブルＴは、「認識枠名」、「ＯＣＲ結果」、「辞書名」、「座標ｘ」、「座標ｙ」、「幅ｗ」、「高さｈ」の各カラムに対するレコードからなる。
「認識枠名」は、各記入欄Ｒａの名称である。また、認識枠名は、この記入欄Ｒａに記入される文字列の内容を表す情報でもある。つまり、氏名、住所１、生年月日などの名称が付与され、それぞれ氏名、住所、生年月日が記入されることがわかる。また、「ＯＣＲ結果」は、各記入欄Ｒａに記入された文字列ＭｔのＯＣＲ結果である。さらに、「辞書名」は、各記入欄Ｒａで使用する辞書の名称である。この場合、辞書名は、文字列の内容を表す情報に対応して用意される辞書であり、文字認識の際に使用した辞書の名称であると言うこともできる。そして、「座標ｘ」、「座標ｙ」、「幅ｗ」、「高さｈ」は、各記入欄Ｒａの紙文書Ｂｋ中での座標情報であり、記入欄Ｒａのｘ座標、ｙ座標、幅、高さにそれぞれ対応する。つまり座標情報は、紙文書Ｂｋ中での記入欄Ｒａの位置および記入欄Ｒａの大きさを表す。なお、ｘ座標およびｙ座標は、紙文書Ｂｋの左上端を原点（０、０）とし、記入欄Ｒａの左上角の位置を表したものである。
また、記憶部２３０は、文字認識の際に使用する辞書を記憶する。
図７は、記憶部２３０で記憶される文字認識データのデータ構造を示した図である。
図示するデータ構造は、送受信部２１０が受け付けた紙文書Ｂｋの画像情報と、文字認識した結果を格納するためのテーブルＴとの組み合わせとして表すことができる。このテーブルＴは、「認識枠名」、「ＯＣＲ結果」、「辞書名」、「座標ｘ」、「座標ｙ」、「幅ｗ」、「高さｈ」の各カラムに対するレコードからなる。
「認識枠名」は、各記入欄Ｒａの名称である。また、認識枠名は、この記入欄Ｒａに記入される文字列の内容を表す情報でもある。つまり、氏名、住所１、生年月日などの名称が付与され、それぞれ氏名、住所、生年月日が記入されることがわかる。また、「ＯＣＲ結果」は、各記入欄Ｒａに記入された文字列ＭｔのＯＣＲ結果である。さらに、「辞書名」は、各記入欄Ｒａで使用する辞書の名称である。この場合、辞書名は、文字列の内容を表す情報に対応して用意される辞書であり、文字認識の際に使用した辞書の名称であると言うこともできる。そして、「座標ｘ」、「座標ｙ」、「幅ｗ」、「高さｈ」は、各記入欄Ｒａの紙文書Ｂｋ中での座標情報であり、記入欄Ｒａのｘ座標、ｙ座標、幅、高さにそれぞれ対応する。つまり座標情報は、紙文書Ｂｋ中での記入欄Ｒａの位置および記入欄Ｒａの大きさを表す。なお、ｘ座標およびｙ座標は、紙文書Ｂｋの左上端を原点（０、０）とし、記入欄Ｒａの左上角の位置を表したものである。
また、記憶部２３０は、文字認識の際に使用する辞書を記憶する。
端末装置３０は、外部装置との間で電子情報の送受信を行う送受信部３１０と、ユーザからの指示を受け付ける受付部３２０と、「同上」等の文字列の有無を判定する判定部３３０と、「同上」等が指す文字列を探索する探索部３４０と、表示データを作成する表示制御部３５０と、確認画面Ｇａを表示する表示部３６０と、文字列を置換する置換部３７０とを備える。
送受信部３１０は、管理サーバ２０との間で電子情報の送受信を行う。送受信部３１０は、管理サーバ２０から、記憶部２３０が記憶するデータである、紙文書Ｂｋの画像情報、記入欄Ｒａの定義情報、文字認識部２２０によるＯＣＲ結果を取得する。
受付部３２０は、ユーザの指示を受け付ける。ユーザの指示は、例えば、確認画面Ｇａで行われ、例えば、紙文書Ｂｋの選択や、ＯＣＲ結果の修正などである。
受付部３２０は、ユーザの指示を受け付ける。ユーザの指示は、例えば、確認画面Ｇａで行われ、例えば、紙文書Ｂｋの選択や、ＯＣＲ結果の修正などである。
判定部３３０は、文字認識をした文字列が、既に記入した文字列と同じ文字列が入ることを意味する文字または記号であるか否かを判定する。即ち、判定部３３０は、記入欄Ｒａに記入した文字列Ｍｔが、「同上」、「同左」、「〃」などの文字や記号であるか否かを、ＯＣＲ結果に基づき判定する。
探索部３４０は、「同上」、「同左」、「〃」などの文字または記号が指す文字列を探索する。つまり、紙文書Ｂｋ中で、これらが指し示す文字列を探し出す。また、これは、「同上」、「同左」、「〃」などの文字または記号が引用する文字列を探索する、と言うこともできる。
探索部３４０は、「同上」、「同左」、「〃」などの文字または記号が指す文字列を探索する。つまり、紙文書Ｂｋ中で、これらが指し示す文字列を探し出す。また、これは、「同上」、「同左」、「〃」などの文字または記号が引用する文字列を探索する、と言うこともできる。
表示制御部３５０は、表示部３６０で表示する画面の表示データを作成する。また、表示部３６０は、表示制御部３５０で作成された表示データに基づき、画像を表示する。
ここで表示する画像は、上述した確認画面Ｇａである。
置換部３７０は、「同上」、「同左」、「〃」などの文字または記号を、これらの文字または記号が指す文字列に置換する。つまり、「同上」、「同左」、「〃」などの文字または記号は、これらが指し示す文字列に修正される。
ここで表示する画像は、上述した確認画面Ｇａである。
置換部３７０は、「同上」、「同左」、「〃」などの文字または記号を、これらの文字または記号が指す文字列に置換する。つまり、「同上」、「同左」、「〃」などの文字または記号は、これらが指し示す文字列に修正される。
＜確認画面Ｇａの詳細説明＞
次に、確認画面Ｇａについて詳細に説明を行う。
図８（ａ）～（ｂ）は、確認画面Ｇａの第１の例について示した図である。
このうち、図８（ａ）は、確認画面Ｇａ全体を示した図である。図示する確認画面Ｇａでは、図中左側に、紙文書Ｂｋの画像情報によるイメージ画像Ｇａ１を表示する。即ち、このイメージ画像Ｇａ１は、画像形成装置１０でスキャンした紙文書Ｂｋの画像である。
また、図示する確認画面Ｇａでは、図中右側に、ＯＣＲ結果を認識結果一覧Ｇａ２として表示する。
次に、確認画面Ｇａについて詳細に説明を行う。
図８（ａ）～（ｂ）は、確認画面Ｇａの第１の例について示した図である。
このうち、図８（ａ）は、確認画面Ｇａ全体を示した図である。図示する確認画面Ｇａでは、図中左側に、紙文書Ｂｋの画像情報によるイメージ画像Ｇａ１を表示する。即ち、このイメージ画像Ｇａ１は、画像形成装置１０でスキャンした紙文書Ｂｋの画像である。
また、図示する確認画面Ｇａでは、図中右側に、ＯＣＲ結果を認識結果一覧Ｇａ２として表示する。
図８（ｂ）は、認識結果一覧Ｇａ２の一部を拡大した図である。図示する例では、３つの記入欄Ｒａに対する認識結果Ｎｋ１～Ｎｋ３を、図中上下方向に並べた場合を示す。このうち、上から１つ目の認識結果Ｎｋ１と２つ目の認識結果Ｎｋ２は、記入欄Ｒａに、「同上」、「同左」、「〃」などの文字または記号が記入されていない場合を示している。この場合、認識結果Ｎｋ１の上段には、手書きの文字列Ｍｔ１１が表示される。そして、下段には、この文字列Ｍｔ１１のＯＣＲ結果として文字列Ｍｃ１１が表示される。同様に、認識結果Ｎｋ２の上段には、手書きの文字列Ｍｔ２１が表示される。そして、下段には、この文字列Ｍｔ２１のＯＣＲ結果として文字列Ｍｃ２１が表示される。
一方、３つ目の認識結果Ｎｋ３は、記入欄Ｒａに、「同上」の文字が記入されていた場合を示している。この場合、認識結果Ｎｋ３の中段には、手書きの文字列Ｍｔ３１が表示される。ここでは、記入欄Ｒａには、「同上」の文字列が記入されていたことを示している。そして、上段には、この「同上」が指す文字列として、手書きの文字列Ｍｔ３２が表示される。ここでは、この「同上」が指す手書きの文字列Ｍｔ３２が、「愛知市 〇－△－□」であったことを示している。さらに、下段には、この文字列Ｍｔ３２のＯＣＲ結果として文字列Ｍｃ３２が表示される。
つまりここでは、確認画面Ｇａとして、文字または記号および文字または記号が指す文字列として手書きのもの（この場合、それぞれ文字列Ｍｔ３１、文字列Ｍｔ３２）、並びに文字または記号が指す文字列のＯＣＲ結果（この場合、文字列Ｍｃ３２）を並べて表示する。
これにより、ＯＣＲ結果を確認するユーザＢは、ＯＣＲ結果が正しいか否かを判断するのが容易になる。
これにより、ＯＣＲ結果を確認するユーザＢは、ＯＣＲ結果が正しいか否かを判断するのが容易になる。
また、本実施の形態では、ユーザＢが、マウス等の入力デバイスにより、認識結果Ｎｋ３の箇所を選択することができる。この場合、イメージ画像Ｇａ１で、「同上」の文字列Ｍｔ３１が記入された記入欄Ｒａの位置Ｐｊ３１と、この「同上」が指す文字列Ｍｔ３２（図では「引用元」と記載）が記入欄Ｒａの位置Ｐｊ３２とが、ハイライト表示される。この場合、「同上」の文字列Ｍｔ３１が指す文字列Ｍｔ３２は、文字列Ｍｔ３１に対し上方向に位置する。なお、文字列Ｍｔ３１が、「〃」の記号であった場合も、文字列Ｍｔ３１と文字列Ｍｔ３２との位置関係は同様となる。
これは、確認画面Ｇａに加え、手書きの文字列Ｍｔ３１、Ｍｔ３２が記載された紙文書Ｂｋの画像をさらに表示し、紙文書Ｂｋの画像中で、「同上」の文字列Ｍｔ３１の箇所および「同上」が指す文字列Ｍｔ３２の箇所の位置を表示する、と言うこともできる。
これにより、ＯＣＲ結果を確認するユーザＢは、紙文書Ｂｋ中での、文字列Ｍｔ３１および文字列Ｍｔ３２の位置を確認することができ、ＯＣＲ結果が正しいか否かを判断するのがさらに容易になる。
これにより、ＯＣＲ結果を確認するユーザＢは、紙文書Ｂｋ中での、文字列Ｍｔ３１および文字列Ｍｔ３２の位置を確認することができ、ＯＣＲ結果が正しいか否かを判断するのがさらに容易になる。
なお、ユーザＢが、認識結果Ｎｋ１の箇所を選択した場合は、イメージ画像Ｇａ１で、文字列Ｍｔ１１が記入された記入欄Ｒａの位置がハイライト表示される。同様に、ユーザＢが、認識結果Ｎｋ２の箇所を選択した場合は、イメージ画像Ｇａ１で、文字列Ｍｔ２１が記入された記入欄Ｒａの位置がハイライト表示される。
図９（ａ）～（ｂ）は、確認画面Ｇａの第２の例について示した図である。
このうち、図９（ｂ）に示す例は、図８（ｂ）に示した例に比較して、文字列Ｍｔ３１が、「同上」から「同左」になったこと以外は、同様である。
また、図９（ａ）では、イメージ画像Ｇａ１で、「同左」の文字列Ｍｔ３１が記入された記入欄Ｒａの位置Ｐｊ３１と、この「同左」が指す文字列Ｍｔ３２（図では「引用元」と記載）が記載された記入欄Ｒａの位置Ｐｊ３２とが、ハイライト表示される場合を示している。この場合、「同左」の文字列Ｍｔ３１が指す文字列Ｍｔ３２は、文字列Ｍｔ３１に対し左方向に位置する。
このうち、図９（ｂ）に示す例は、図８（ｂ）に示した例に比較して、文字列Ｍｔ３１が、「同上」から「同左」になったこと以外は、同様である。
また、図９（ａ）では、イメージ画像Ｇａ１で、「同左」の文字列Ｍｔ３１が記入された記入欄Ｒａの位置Ｐｊ３１と、この「同左」が指す文字列Ｍｔ３２（図では「引用元」と記載）が記載された記入欄Ｒａの位置Ｐｊ３２とが、ハイライト表示される場合を示している。この場合、「同左」の文字列Ｍｔ３１が指す文字列Ｍｔ３２は、文字列Ｍｔ３１に対し左方向に位置する。
＜端末装置３０の動作の詳細説明＞
次に、端末装置３０の動作について詳細に説明する。
図１０～図１４は、端末装置３０の動作について示したフローチャートである。
このうち、図１０は、図９の確認画面の認識結果一覧Ｇａ２を表示するための表示リストを作成する手順を示した図である。
まず、送受信部３１０が、管理サーバ２０の記憶部２３０から文字認識データのテーブルＴから１つ目のレコードを取得する（ステップ１０１）。これは、図７に示す例では、「氏名、てすと 太郎、名前、３０、５０、１００、３０」となる。
次に、端末装置３０の動作について詳細に説明する。
図１０～図１４は、端末装置３０の動作について示したフローチャートである。
このうち、図１０は、図９の確認画面の認識結果一覧Ｇａ２を表示するための表示リストを作成する手順を示した図である。
まず、送受信部３１０が、管理サーバ２０の記憶部２３０から文字認識データのテーブルＴから１つ目のレコードを取得する（ステップ１０１）。これは、図７に示す例では、「氏名、てすと 太郎、名前、３０、５０、１００、３０」となる。
次に、判定部３３０は、取得したレコードのＯＣＲ結果が、「同上」、「同左」、「〃」などの文字または記号であるか否かを判定する（ステップ１０２）。
そして、ＯＣＲ結果が、「同上」、「同左」、「〃」などの文字または記号であった場合（ステップ１０２でＹｅｓ）、探索部３４０が、これらの文字または記号が指す文字列を紙文書Ｂｋの中から検索し、表示制御部３５０が、表示リストを更新する。（ステップ１０３）。ステップ１０３の処理については、後で詳しく説明する。
対して、ＯＣＲ結果が、「同上」、「同左」、「〃」などの文字または記号でなかった場合（ステップ１０２でＮｏ）、表示制御部３５０が、これに基づき、表示リストを更新する。具体的には、表示リストに、手書きの文字列Ｍｋと、この文字列ＭｋのＯＣＲ結果を追加する（ステップ１０４）。即ち、図８（ｂ）の認識結果Ｎｋ１や認識結果Ｎｋ２のような表示を行う設定が追加される。
そして、ＯＣＲ結果が、「同上」、「同左」、「〃」などの文字または記号であった場合（ステップ１０２でＹｅｓ）、探索部３４０が、これらの文字または記号が指す文字列を紙文書Ｂｋの中から検索し、表示制御部３５０が、表示リストを更新する。（ステップ１０３）。ステップ１０３の処理については、後で詳しく説明する。
対して、ＯＣＲ結果が、「同上」、「同左」、「〃」などの文字または記号でなかった場合（ステップ１０２でＮｏ）、表示制御部３５０が、これに基づき、表示リストを更新する。具体的には、表示リストに、手書きの文字列Ｍｋと、この文字列ＭｋのＯＣＲ結果を追加する（ステップ１０４）。即ち、図８（ｂ）の認識結果Ｎｋ１や認識結果Ｎｋ２のような表示を行う設定が追加される。
ステップ１０３およびステップ１０４の後は、送受信部３１０が、次のレコードがあるか否かを判断する（ステップ１０５）。
その結果、次のレコードがある場合（ステップ１０５でＹｅｓ）、送受信部３１０は、次のレコードを取得し（ステップ１０６）、ステップ１０２に戻る。
対して、次のレコードがない場合（ステップ１０５でＮｏ）、一連の処理を終了する。
その結果、次のレコードがある場合（ステップ１０５でＹｅｓ）、送受信部３１０は、次のレコードを取得し（ステップ１０６）、ステップ１０２に戻る。
対して、次のレコードがない場合（ステップ１０５でＮｏ）、一連の処理を終了する。
図１１および図１２は、図１０のステップ１０３の処理についてさらに詳しく説明したフローチャートである。
このうち、図１１は、探索部３４０が、「同上」が指す文字列を紙文書Ｂｋの中から検索する処理について示した図である。なお、「〃」が指す文字列を紙文書Ｂｋの中から検索する処理についても同様となる。
まず、送受信部３１０が、管理サーバ２０の記憶部２３０から文字認識データのテーブルＴから１つ目のレコードを取得する（ステップ２０１）。
このうち、図１１は、探索部３４０が、「同上」が指す文字列を紙文書Ｂｋの中から検索する処理について示した図である。なお、「〃」が指す文字列を紙文書Ｂｋの中から検索する処理についても同様となる。
まず、送受信部３１０が、管理サーバ２０の記憶部２３０から文字認識データのテーブルＴから１つ目のレコードを取得する（ステップ２０１）。
そして、探索部３４０が、ステップ２０１で取得したレコードの座標ｘが、「同上」が記入されたレコードの座標ｘと同じであるか否かを判断する（ステップ２０２）。つまり、探索部３４０は、ステップ２０１で取得した記入欄Ｒａのｘ座標と、「同上」が記入された記入欄Ｒａのｘ座標とが同じであるか否かを判断する。
その結果、同じであった場合（ステップ２０２でＹｅｓ）、探索部３４０は、ステップ２０１で取得したレコードの座標ｙが、「同上」が記入されたレコードの座標ｙより小さいか否かを判断する（ステップ２０３）。つまり、探索部３４０は、ステップ２０１で取得した記入欄Ｒａが、「同上」が記入された記入欄Ｒａよりも上側に位置するか否かを判断する。
その結果、同じであった場合（ステップ２０２でＹｅｓ）、探索部３４０は、ステップ２０１で取得したレコードの座標ｙが、「同上」が記入されたレコードの座標ｙより小さいか否かを判断する（ステップ２０３）。つまり、探索部３４０は、ステップ２０１で取得した記入欄Ｒａが、「同上」が記入された記入欄Ｒａよりも上側に位置するか否かを判断する。
そして、小さかった場合（ステップ２０２でＹｅｓ）、即ち、上側に位置した場合、探索部３４０は、ステップ２０１で取得したレコードの辞書名と、「同上」が記入されたレコードの辞書名とが同じであるか否かを判断する（ステップ２０４）。つまり、ここでは、使用した辞書により、記入欄Ｒａの内容が、同じであるか否かを判断する。具体的には、辞書名が、例えば、双方で同じ名前辞書であった場合、双方の記入欄Ｒａには、同種の内容である氏名が入ると考えられる。対して、辞書名が異なる場合、氏名と住所など互いに異なる内容が入ると考えられる。
その結果、同じだった場合（ステップ２０４でＹｅｓ）、探索部３４０は、ステップ２０１で取得したレコードのＯＣＲ結果が、「同上」、「同左」、「〃」であるか否かを判断する（ステップ２０５）。つまり、探索部３４０は、「同上」が指す文字列が、「同上」、「同左」、「〃」であるか否かを判断する。
そして、「同上」、「同左」、「〃」でない場合（ステップ２０５でＹｅｓ）、ステップ２０１で取得したレコードを、表示候補リストに加える（ステップ２０６）。
そして、「同上」、「同左」、「〃」でない場合（ステップ２０５でＹｅｓ）、ステップ２０１で取得したレコードを、表示候補リストに加える（ステップ２０６）。
よってここでは、探索部３４０は、ステップ２０２～ステップ２０３で、ステップ２０１で取得したレコードの記入欄Ｒａが、「同上」が記入されたレコードの記入欄Ｒａの直上にあるか否かを、まず判断する。そしてさらに、探索部３４０は、ステップ２０４で、同種の内容が入る場合に、ステップ２０１で取得した記入欄Ｒａの文字列Ｍｔが、「同上」が指す文字列の候補であると判断する。
そして、ステップ２０６の後は、送受信部３１０が、次のレコードがあるか否かを判断する（ステップ２０７）。なお、ステップ２０５で「同上」、「同左」、「〃」だった場合（ステップ２０５でＮｏ）、およびステップ２０２、ステップ２０３、ステップ２０４でＮｏの場合もステップ２０７の処理を行う。
その結果、次のレコードがある場合（ステップ２０７でＹｅｓ）、送受信部３１０は、次のレコードを取得し（ステップ２０８）、ステップ２０２に戻る。
対して、次のレコードがない場合（ステップ２０７でＮｏ）、表示制御部３５０は、表示候補リスト内に候補となるレコードが、１つ以上存在するか否かを判断する（ステップ２０９）。
その結果、次のレコードがある場合（ステップ２０７でＹｅｓ）、送受信部３１０は、次のレコードを取得し（ステップ２０８）、ステップ２０２に戻る。
対して、次のレコードがない場合（ステップ２０７でＮｏ）、表示制御部３５０は、表示候補リスト内に候補となるレコードが、１つ以上存在するか否かを判断する（ステップ２０９）。
その結果、存在した場合（ステップ２０９でＹｅｓ）、表示制御部３５０は、予め定められた方法により上記表示リストを更新する（ステップ２１０）。この内容については、後述する。
対して、存在しない場合（ステップ２０９でＮｏ）、即ち、「同上」が指す文字列Ｍｔが記入された記入欄Ｒａが発見できなかった場合、表示制御部３５０は、これに基づき、上記表示リストの設定を更新する。具体的には、表示リストに、手書きの文字列Ｍｋと、この文字列ＭｋのＯＣＲ結果を追加する（ステップ２１１）。即ち、図８（ｂ）の認識結果Ｎｋ３で、文字列Ｍｔ３２がない表示を行う設定が追加される。
対して、存在しない場合（ステップ２０９でＮｏ）、即ち、「同上」が指す文字列Ｍｔが記入された記入欄Ｒａが発見できなかった場合、表示制御部３５０は、これに基づき、上記表示リストの設定を更新する。具体的には、表示リストに、手書きの文字列Ｍｋと、この文字列ＭｋのＯＣＲ結果を追加する（ステップ２１１）。即ち、図８（ｂ）の認識結果Ｎｋ３で、文字列Ｍｔ３２がない表示を行う設定が追加される。
また、図１２は、探索部３４０が、「同左」が指す文字列を紙文書Ｂｋの中から検索する処理について示した図である。
図１２で、ステップ３０１およびステップ３０４～ステップ３１１は、図１１のステップ２０１およびステップ２０４～ステップ２１１と同様である。
よって、ここでは、図１１とは異なるステップ３０２～ステップ３０３について主に説明を行なう。
ステップ３０２では、探索部３４０が、ステップ３０１で取得したレコードの座標ｙが、「同左」が記入されたレコードの座標ｙと同じであるか否かを判断する（ステップ３０２）。つまり、探索部３４０は、ステップ３０１で取得した記入欄Ｒａのｙ座標と、「同左」が記入された記入欄Ｒａのｙ座標とが同じであるか否かを判断する。
その結果、同じであった場合（ステップ３０２でＹｅｓ）、探索部３４０は、ステップ３０１で取得したレコードの座標ｘが、「同左」が記入されたレコードの座標ｘより小さいか否かを判断する（ステップ３０３）。つまり、探索部３４０は、ステップ３０１で取得した記入欄Ｒａが、「同左」が記入された記入欄Ｒａよりも左側に位置するか否かを判断する。
図１２で、ステップ３０１およびステップ３０４～ステップ３１１は、図１１のステップ２０１およびステップ２０４～ステップ２１１と同様である。
よって、ここでは、図１１とは異なるステップ３０２～ステップ３０３について主に説明を行なう。
ステップ３０２では、探索部３４０が、ステップ３０１で取得したレコードの座標ｙが、「同左」が記入されたレコードの座標ｙと同じであるか否かを判断する（ステップ３０２）。つまり、探索部３４０は、ステップ３０１で取得した記入欄Ｒａのｙ座標と、「同左」が記入された記入欄Ｒａのｙ座標とが同じであるか否かを判断する。
その結果、同じであった場合（ステップ３０２でＹｅｓ）、探索部３４０は、ステップ３０１で取得したレコードの座標ｘが、「同左」が記入されたレコードの座標ｘより小さいか否かを判断する（ステップ３０３）。つまり、探索部３４０は、ステップ３０１で取得した記入欄Ｒａが、「同左」が記入された記入欄Ｒａよりも左側に位置するか否かを判断する。
そして、小さかった場合（ステップ３０２でＹｅｓ）、即ち、左側に位置した場合、探索部３４０は、ステップ３０１で取得したレコードの辞書名と、「同左」が記入されたレコードの辞書名とが同じであるか否かを判断する（ステップ３０４）。
よってここでは、探索部３４０は、ステップ３０２～ステップ３０３で、ステップ３０１で取得したレコードの記入欄Ｒａが、「同左」が記入されたレコードの記入欄Ｒａの左側にあるか否かを、まず判断する。そしてさらに、探索部３４０は、ステップ３０４で、同種の内容が入る場合に、ステップ３０１で取得した記入欄Ｒａの文字列Ｍｔが、「同左」が指す文字列の候補であると判断する。
図１１および図１２で説明したように、探索部３４０は、「同上」、「同左」、「〃」などの文字または記号に応じて定まる方向の文字列を探索する。即ち、「同上」や「〃」の場合、これらが記入された記入欄Ｒａに対し、上方向にこれらが挿す文字列Ｍｔが記入された記入欄Ｒａがある。よって、探索部３４０は、上方向に対し検索を行う。また、「同左」の場合、これらが記入された記入欄Ｒａに対し、左方向にこれらが挿す文字列Ｍｔが記入された記入欄Ｒａがある。よって、探索部３４０は、左方向に対し検索を行う。この際、探索部３４０は、文字列Ｍｔが記入される記入欄Ｒａのｘ座標およびｙ座標を利用し、記入欄Ｒａの位置に基づき方向を判断する。
また、探索部３４０は、「同上」、「同左」、「〃」などの文字または記号が記載される記入欄Ｒａの情報と、これらの方向に存在する記入欄Ｒａの情報とを比較し、記入欄Ｒａ内に記載される内容の属性が同じ場合に、文字または記号が指す文字列の候補とする。この場合、探索部３４０は、属性として、文字認識をしたときに使用した辞書が同じであるときに、内容の属性が同じであるとする。
図１３（ａ）は、図１１のステップ２１０の処理について、さらに詳しく説明したフローチャートである。
ここでは、まず表示制御部３５０は、表示候補リスト内に存在するレコードについて、ｙ座標降順に並び換える（ステップ４０１）。
次に、表示制御部３５０は、並び換えた後のレコードの中で、先頭のレコードを、表示リストに加える項目として設定する（ステップ４０２）。即ち、複数のレコードが、表示候補リスト内に存在した場合、「同上」が記入された記入欄Ｒａから位置が最も近いものが選択される。
さらに、表示制御部３５０は、表示リストにレコード内の値を反映させ、更新する（ステップ４０３）。
そして、表示制御部３５０は、図８（ｂ）で示した認識結果Ｎｋ３を表示する画像を表示するために、表示リストを基に、画像を合成する（ステップ４０４）。
また、表示制御部３５０は、合成した画像を認識結果一覧Ｇａ２に加える（ステップ４０５）。
ここでは、まず表示制御部３５０は、表示候補リスト内に存在するレコードについて、ｙ座標降順に並び換える（ステップ４０１）。
次に、表示制御部３５０は、並び換えた後のレコードの中で、先頭のレコードを、表示リストに加える項目として設定する（ステップ４０２）。即ち、複数のレコードが、表示候補リスト内に存在した場合、「同上」が記入された記入欄Ｒａから位置が最も近いものが選択される。
さらに、表示制御部３５０は、表示リストにレコード内の値を反映させ、更新する（ステップ４０３）。
そして、表示制御部３５０は、図８（ｂ）で示した認識結果Ｎｋ３を表示する画像を表示するために、表示リストを基に、画像を合成する（ステップ４０４）。
また、表示制御部３５０は、合成した画像を認識結果一覧Ｇａ２に加える（ステップ４０５）。
また、図１３（ｂ）は、図１２のステップ３１０の処理について、さらに詳しく説明したフローチャートである。
ここでは、表示制御部３５０は、表示候補リスト内に存在するレコードについて、ｘ座標降順に並び換える（ステップ５０１）。
そして、以後のステップ５０２～ステップ５０５は、図１３（ａ）のステップ４０２～ステップ４０５と同様である。よってここでも、複数のレコードが、表示候補リスト内に存在した場合、「同左」が記入された記入欄Ｒａから位置が最も近いものが選択される。
ここでは、表示制御部３５０は、表示候補リスト内に存在するレコードについて、ｘ座標降順に並び換える（ステップ５０１）。
そして、以後のステップ５０２～ステップ５０５は、図１３（ａ）のステップ４０２～ステップ４０５と同様である。よってここでも、複数のレコードが、表示候補リスト内に存在した場合、「同左」が記入された記入欄Ｒａから位置が最も近いものが選択される。
図１４は、ユーザが、マウス等の入力デバイスにより、認識結果一覧Ｇａ２の認識結果の箇所を選択するときの、端末装置３０の動作を示した図である。
まず、ユーザが選択した、認識結果一覧Ｇａ２中の位置情報を取得する（ステップ６０１）。
そして、表示制御部３５０は、この箇所に、認識結果を表示しているか否かを判断する（ステップ６０２）。
そして、認識結果を表示している場合（ステップ６０２でＹｅｓ）、イメージ画像Ｇａ１で、「同上」、「同左」、「〃」などの文字や記号が記入された記入欄Ｒａのハイライト表示を行う（ステップ６０３）。さらに、これらが指す記入欄Ｒａのハイライト表示を行う（ステップ６０４）。
対して、認識結果を表示していない場合（ステップ６０２でＮｏ）、一連の処理を終了する。
まず、ユーザが選択した、認識結果一覧Ｇａ２中の位置情報を取得する（ステップ６０１）。
そして、表示制御部３５０は、この箇所に、認識結果を表示しているか否かを判断する（ステップ６０２）。
そして、認識結果を表示している場合（ステップ６０２でＹｅｓ）、イメージ画像Ｇａ１で、「同上」、「同左」、「〃」などの文字や記号が記入された記入欄Ｒａのハイライト表示を行う（ステップ６０３）。さらに、これらが指す記入欄Ｒａのハイライト表示を行う（ステップ６０４）。
対して、認識結果を表示していない場合（ステップ６０２でＮｏ）、一連の処理を終了する。
図１５（ａ）～（ｃ）は、置換部３７０の動作を示した図である。
ユーザＢが、確認画面Ｇａで、文字認識の結果を確認した後は、置換部３７０が、「同上」、「同左」、「〃」などの文字や記号は、これらの文字または記号が指す文字列に置換する。
このうち、図１５（ａ）は、図３の１Ａでスキャンした紙文書Ｂｋを示している。
この紙文書Ｂｋは、図５（ａ）で示した紙文書Ｂｋと同様であり、送付先および送り主情報として、それぞれ住所の欄Ｒａ１、Ｒａ２が設けられる。そして、ユーザＡが、この記入欄Ｒａ１に、送付先の住所を、文字列Ｍｔ１として記入した場合を示している。
ユーザＢが、確認画面Ｇａで、文字認識の結果を確認した後は、置換部３７０が、「同上」、「同左」、「〃」などの文字や記号は、これらの文字または記号が指す文字列に置換する。
このうち、図１５（ａ）は、図３の１Ａでスキャンした紙文書Ｂｋを示している。
この紙文書Ｂｋは、図５（ａ）で示した紙文書Ｂｋと同様であり、送付先および送り主情報として、それぞれ住所の欄Ｒａ１、Ｒａ２が設けられる。そして、ユーザＡが、この記入欄Ｒａ１に、送付先の住所を、文字列Ｍｔ１として記入した場合を示している。
図１５（ｂ）は、図１５（ａ）で示した紙文書ＢｋのＯＣＲ結果を示している。
図示するＯＣＲ結果は、送付先の住所について、ユーザＡが記入した手書きの文字列Ｍｔ１が、文字列Ｍｃ１に文字認識されたことを示している。また、送り主の住所についても、ユーザＡが記入した手書きの文字列Ｍｔ２が、文字列Ｍｃ３に文字認識されたことを示している。ただし、文字列Ｍｃ３は、置換部３７０により、文字列Ｍｃ２から置換されている。つまり、図５（ｂ）で示したように、文字列Ｍｔ２は、まず文字列Ｍｃ２である「同上」として文字認識されるが、置換部３７０により、「同上」が指す文字列Ｍｃ３に置換される。この場合、文字列Ｍｃ２である「同上」は、文字列Ｍｃ３である「○○県△△市◇◇町１－２－３４」へ置換される。
図示するＯＣＲ結果は、送付先の住所について、ユーザＡが記入した手書きの文字列Ｍｔ１が、文字列Ｍｃ１に文字認識されたことを示している。また、送り主の住所についても、ユーザＡが記入した手書きの文字列Ｍｔ２が、文字列Ｍｃ３に文字認識されたことを示している。ただし、文字列Ｍｃ３は、置換部３７０により、文字列Ｍｃ２から置換されている。つまり、図５（ｂ）で示したように、文字列Ｍｔ２は、まず文字列Ｍｃ２である「同上」として文字認識されるが、置換部３７０により、「同上」が指す文字列Ｍｃ３に置換される。この場合、文字列Ｍｃ２である「同上」は、文字列Ｍｃ３である「○○県△△市◇◇町１－２－３４」へ置換される。
また、図１５（ｃ）は、確認訂正結果の例を示している。
この例では、確認訂正結果は、ＣＳＶ形式で出力される。そして、出力データが、「送付先＿住所、送り主＿住所、○○県△△市◇◇町１－２－３４、○○県△△市◇◇町１－２－３４」であることを示している。
この例では、確認訂正結果は、ＣＳＶ形式で出力される。そして、出力データが、「送付先＿住所、送り主＿住所、○○県△△市◇◇町１－２－３４、○○県△△市◇◇町１－２－３４」であることを示している。
以上詳述した例によれば、既に記入した文字列と同じ文字列が入ることを意味する文字や記号が存在しても、文字認識の結果を確認するユーザの負担が増大しにくい情報処理装置を提供することができる。
なお、上述した例では、日本語にて、「同上」、「同左」、「〃」などの文字や記号が記載された場合について説明したが、他の言語でも適用できる。例えば、英語で記載された紙文書Ｂｋで、「同上」を意味する「Same as above」、「同左」を意味する「Same as left」などの文字列が記入された場合も、同様の処理ができる。
＜プログラムの説明＞
なお、本実施の形態における端末装置３０が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、端末装置３０の内部に設けられたＣＰＵが、端末装置３０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。
なお、本実施の形態における端末装置３０が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、端末装置３０の内部に設けられたＣＰＵが、端末装置３０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。
よって、画像形成装置１０が行う処理は、コンピュータに、手書きの文書に対する文字認識の結果を取得する取得機能と、文字認識をした文字列が、既に記入した文字列と同じ文字列が入ることを意味する文字または記号であるときに、文字または記号を、文字または記号が指す文字列に置換する置換機能と、を実現させるためのプログラムとして捉えることもできる。
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
１…文字認識システム、１０…画像形成装置、１６…画像読み取り部、２０…管理サーバ、３０…端末装置、Ｂｋ…紙文書、Ｇａ…確認画面、Ｍｔ、Ｍｃ…文字列、Ｔ…テーブル
Claims (9)
- プロセッサを備え、
前記プロセッサは、
手書きの文字列に対する文字認識の結果を取得し、
文字認識をした文字列が、既に記入した文字列と同じ文字列が入ることを意味する文字または記号であるときに、当該文字または記号に応じて定まる方向の文字列を探索し、当該文字または記号が記載される枠の情報と、当該方向に存在する枠の情報とを比較し、枠内に記載される内容の属性が同じ場合に、当該文字または記号が指す文字列の候補とし、当該文字または記号を、探索により得られた文字列に置換する
情報処理装置。 - 前記プロセッサは、前記属性として、文字認識をしたときに使用した辞書が同じであるときに、内容の属性が同じであるとすることを特徴とする請求項１に記載の情報処理装置。
- 前記プロセッサは、前記候補が複数になったときは、前記文字または記号から位置が最も近いものを選択することを特徴とする請求項１に記載の情報処理装置。
- 前記プロセッサは、置換した文字列を、ユーザに対し確認させる確認画面を表示することを特徴とする請求項１に記載の情報処理装置。
- 前記プロセッサは、前記確認画面として、前記文字または記号および当該文字または記号が指す文字列として手書きのもの、並びに当該文字または記号が指す文字列の文字認識の結果を並べて表示することを特徴とする請求項４に記載の情報処理装置。
- 前記プロセッサは、前記確認画面に加え、手書きの文字列が記載された文書の画像をさらに表示し、
前記文書の画像中で、前記文字または記号の箇所および当該文字または記号が指す文字列の箇所の位置を表示することを特徴とする請求項４に記載の情報処理装置。 - 前記プロセッサは、ユーザが確認画面の中の何れかを選択したときに、前記文書の画像中で、前記文字または記号の箇所および当該文字または記号が指す文字列の箇所の位置を示すことを特徴とする請求項６に記載の情報処理装置。
- 手書きの文字列が記載された文書を画像として読み取る読取装置と、
手書きの文字列を文字認識する文字認識装置と、
前記文字認識装置による文字認識の結果をユーザに確認させる確認画面を表示する表示装置と、
前記確認画面の画像を作成する画像作成装置と、
を備え、
前記画像作成装置は、プロセッサを備え、
前記プロセッサは、
前記文字認識装置から文字認識の結果を取得し、
文字認識をした文字列が、既に記入した文字列と同じ文字列が入ることを意味する文字または記号であるときに、当該文字または記号に応じて定まる方向の文字列を探索し、当該文字または記号が記載される枠の情報と、当該方向に存在する枠の情報とを比較し、枠内に記載される内容の属性が同じ場合に、当該文字または記号が指す文字列の候補とし、当該文字または記号を、探索により得られた文字列に置換する
文字認識システム。 - コンピュータに、
手書きの文書に対する文字認識の結果を取得する取得機能と、
文字認識をした文字列が、既に記入した文字列と同じ文字列が入ることを意味する文字または記号であるときに、当該文字または記号に応じて定まる方向の文字列を探索し、当該文字または記号が記載される枠の情報と、当該方向に存在する枠の情報とを比較し、枠内に記載される内容の属性が同じ場合に、当該文字または記号が指す文字列の候補とし、当該文字または記号を、探索により得られた文字列に置換する置換機能と、
を実現させるためのプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020069827A JP7581645B2 (ja) | 2020-04-08 | 2020-04-08 | 情報処理装置、文字認識システムおよびプログラム |
| CN202011397775.9A CN113496224B (zh) | 2020-04-08 | 2020-12-03 | 信息处理装置与方法、数据结构、识别系统以及可读介质 |
| US17/123,046 US11659106B2 (en) | 2020-04-08 | 2020-12-15 | Information processing apparatus, non-transitory computer readable medium, and character recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020069827A JP7581645B2 (ja) | 2020-04-08 | 2020-04-08 | 情報処理装置、文字認識システムおよびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021166000A JP2021166000A (ja) | 2021-10-14 |
| JP7581645B2 true JP7581645B2 (ja) | 2024-11-13 |
Family
ID=77995073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020069827A Active JP7581645B2 (ja) | 2020-04-08 | 2020-04-08 | 情報処理装置、文字認識システムおよびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11659106B2 (ja) |
| JP (1) | JP7581645B2 (ja) |
| CN (1) | CN113496224B (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002063197A (ja) | 2000-06-06 | 2002-02-28 | Matsushita Electric Ind Co Ltd | 検索装置、記録媒体およびプログラム |
| JP2007140632A (ja) | 2005-11-15 | 2007-06-07 | Tosho Inc | 処方箋受付装置 |
| JP2008225895A (ja) | 2007-03-13 | 2008-09-25 | Oki Electric Ind Co Ltd | Ｏｃｒシステム |
| JP2013109690A (ja) | 2011-11-24 | 2013-06-06 | Oki Electric Ind Co Ltd | 帳票データ入力装置及び帳票データ入力方法 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6275885A (ja) * | 1985-09-30 | 1987-04-07 | Toshiba Corp | 文字読取装置 |
| US5077811A (en) * | 1990-10-10 | 1991-12-31 | Fuji Xerox Co., Ltd. | Character and picture image data processing system |
| JPH05181837A (ja) * | 1991-11-01 | 1993-07-23 | Sony Corp | 文字変換装置 |
| JPH09134357A (ja) * | 1995-11-13 | 1997-05-20 | Sharp Corp | 文字処理装置 |
| CN1304988C (zh) * | 1996-10-16 | 2007-03-14 | 夏普公司 | 字符输入装置 |
| US6233545B1 (en) * | 1997-05-01 | 2001-05-15 | William E. Datig | Universal machine translator of arbitrary languages utilizing epistemic moments |
| JP4742404B2 (ja) * | 2000-05-17 | 2011-08-10 | コニカミノルタビジネステクノロジーズ株式会社 | 画像認識装置、画像形成装置、画像認識方法および画像認識プログラムを記憶したコンピュータ読取り可能な記録媒体 |
| JP4247138B2 (ja) * | 2004-02-25 | 2009-04-02 | 株式会社リコー | ネットワーク複合機 |
| WO2008083982A1 (en) * | 2007-01-10 | 2008-07-17 | Tomtom International B.V. | Address input function for portable navigation device |
| US7546955B2 (en) * | 2007-03-16 | 2009-06-16 | Intermec Ip Corp. | Systems, devices, and methods for reading machine-readable characters and human-readable characters |
| KR100878191B1 (ko) * | 2007-10-27 | 2009-01-13 | 주식회사 자코드 | 통신단말기의 문자/숫자 입력장치 및 입력방법 |
| US8996351B2 (en) * | 2011-08-24 | 2015-03-31 | Ricoh Company, Ltd. | Cloud-based translation service for multi-function peripheral |
| KR101613155B1 (ko) * | 2011-12-12 | 2016-04-18 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 콘텐트에 기초한 자동 입력 프로토콜 선택 |
| DE102012020608B4 (de) * | 2012-10-19 | 2018-10-25 | Audi Ag | Kraftwagen mit einer Eingabevorrichtung zur Handschrifterkennung |
| US9037450B2 (en) * | 2012-12-14 | 2015-05-19 | Microsoft Technology Licensing, Llc | Text overlay techniques in realtime translation |
| JP6303622B2 (ja) * | 2014-03-06 | 2018-04-04 | ブラザー工業株式会社 | 画像処理装置 |
| US9589185B2 (en) * | 2014-12-10 | 2017-03-07 | Abbyy Development Llc | Symbol recognition using decision forests |
| US9557936B2 (en) * | 2014-12-31 | 2017-01-31 | Texas Instruments Incorporated | Protection of memories, datapath and pipeline registers, and other storage elements by distributed delayed detection and correction of soft errors |
| US9665786B2 (en) * | 2015-02-20 | 2017-05-30 | Conduent Business Services, Llc | Confirming automatically recognized handwritten answers |
| US10963651B2 (en) * | 2015-06-05 | 2021-03-30 | International Business Machines Corporation | Reformatting of context sensitive data |
| US10318613B2 (en) * | 2015-08-25 | 2019-06-11 | Myscript | System and method of digital note taking |
| CN107092902B (zh) * | 2016-02-18 | 2021-04-06 | 富士通株式会社 | 字符串的识别方法和系统 |
| US10248635B2 (en) * | 2016-02-29 | 2019-04-02 | Myscript | Method for inserting characters in a character string and the corresponding digital service |
| JP7000671B2 (ja) * | 2016-10-05 | 2022-01-19 | 株式会社リコー | 情報処理システム、情報処理装置、及び情報処理方法 |
| CN110799236A (zh) * | 2016-10-25 | 2020-02-14 | 玛芬股份有限公司 | 血管锚固引入器护套 |
| US10936862B2 (en) * | 2016-11-14 | 2021-03-02 | Kodak Alaris Inc. | System and method of character recognition using fully convolutional neural networks |
| JP6852666B2 (ja) * | 2017-12-26 | 2021-03-31 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置 |
| CN110138992A (zh) * | 2018-02-08 | 2019-08-16 | 精工爱普生株式会社 | 收据处理装置、程序的存储介质以及报告的制作方法 |
| US10423852B1 (en) * | 2018-03-20 | 2019-09-24 | Konica Minolta Laboratory U.S.A., Inc. | Text image processing using word spacing equalization for ICR system employing artificial neural network |
| US10462326B2 (en) * | 2018-03-28 | 2019-10-29 | Xerox Corporation | Machine readable security mark and process for generating same |
| JP7277128B2 (ja) * | 2018-12-25 | 2023-05-18 | キヤノン株式会社 | 画像処理システム、画像処理方法、プログラム、画像処理装置、情報処理装置 |
-
2020
- 2020-04-08 JP JP2020069827A patent/JP7581645B2/ja active Active
- 2020-12-03 CN CN202011397775.9A patent/CN113496224B/zh active Active
- 2020-12-15 US US17/123,046 patent/US11659106B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002063197A (ja) | 2000-06-06 | 2002-02-28 | Matsushita Electric Ind Co Ltd | 検索装置、記録媒体およびプログラム |
| JP2007140632A (ja) | 2005-11-15 | 2007-06-07 | Tosho Inc | 処方箋受付装置 |
| JP2008225895A (ja) | 2007-03-13 | 2008-09-25 | Oki Electric Ind Co Ltd | Ｏｃｒシステム |
| JP2013109690A (ja) | 2011-11-24 | 2013-06-06 | Oki Electric Ind Co Ltd | 帳票データ入力装置及び帳票データ入力方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210319273A1 (en) | 2021-10-14 |
| US11659106B2 (en) | 2023-05-23 |
| CN113496224A (zh) | 2021-10-12 |
| CN113496224B (zh) | 2025-07-25 |
| JP2021166000A (ja) | 2021-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5712487B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
| JP7608065B2 (ja) | 情報処理装置 | |
| US8675260B2 (en) | Image processing method and apparatus, and document management server, performing character recognition on a difference image | |
| US11620840B2 (en) | Image processing apparatus for extracting a desired character string from a scanned image | |
| US12022043B2 (en) | Image processing device and image forming apparatus capable of detecting and correcting mis-converted character in text extracted from document image | |
| JP7532085B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US20220201146A1 (en) | Information processing apparatus, information processing system, control method of the same, and storage medium | |
| CN120729996A (zh) | 信息处理系统、程序产品及信息处理方法 | |
| US20150261735A1 (en) | Document processing system, document processing apparatus, and document processing method | |
| US11887391B2 (en) | Information processing system, data output system, image processing method, and recording medium | |
| JP2014179831A (ja) | 情報表示装置及び情報編集方法並びに情報編集プログラム | |
| JP7581645B2 (ja) | 情報処理装置、文字認識システムおよびプログラム | |
| US11637937B2 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
| JP2024003769A (ja) | 文字認識システム、コンピュータによる文字の認識方法、および文字検索システム | |
| JP6142769B2 (ja) | 情報処理装置及びプログラム | |
| JP2022111122A (ja) | サーバ、制御方法、プログラム | |
| JP2021114040A (ja) | 情報処理装置、情報処理システムおよびプログラム | |
| JP7124859B2 (ja) | データ出力システム、情報処理システム、データ出力方法、プログラム | |
| US20230325126A1 (en) | Information processing apparatus and method and non-transitory computer readable medium | |
| JP5935376B2 (ja) | 複写装置 | |
| JP2021018520A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP5988149B2 (ja) | 項目記入装置、項目記入システム及びプログラム | |
| JP7484176B2 (ja) | 情報処理装置、情報処理システムおよびプログラム | |
| US10609246B1 (en) | System and method for ascertaining and printing supplemental forms identified from content of a scanned base form | |
| JP2022166166A (ja) | データ出力システム、情報処理システム、データ出力方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241001 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241014 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7581645 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |