JP7298330B2 - 情報処理装置、及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、及び情報処理プログラムに関する。

読み取った帳票の文字認識結果に対してユーザが訂正した訂正内容を分析するシステムが知られている。

特許文献１には、業務システムにおける業務データの訂正内容を示す訂正データと、ユーザが定義した分析ルールとが記憶されている記憶部と、前記訂正データを前記業務システムより取得し、前記記憶部に記憶させる訂正データ保存手段と、前記記憶部に記憶されている分析ルールに基づいて前記記憶部に記憶されている訂正データを集計し、集計データを作成する集計手段と、を備えることを特徴とする訂正データ分析システムが開示されている。

特開２０１１－１０７８２０号公報

新たに読み取った帳票にこれまで訂正が行われた文字列が含まれていれば、文字列の訂正内容を分析し、当該文字列に対する訂正後の文字列を訂正候補として表示することで、確認訂正作業を行うユーザの支援が可能になる。

しかしながら、帳票の種類が異なると帳票の利用用途も異なり、利用用途の分野で使用頻度の高い文字列が異なる場合、一方の分野で用いられる文字列が、必ずしも他方の分野でも用いられるとは限られない。したがって、帳票の利用用途を特定することなく、単に文字列の形状の類似性や、帳票に対する過去の訂正実績に応じて文字列の訂正候補を表示した場合、確認訂正作業中の帳票に適さない訂正候補が表示され、意図せず誤った文字列で確認訂正対象の文字列を訂正してしまうことがある。

本発明は、帳票が用いられる分野、または帳票の記載者に関する属性を表す帳票特徴に関係なく、帳票の文字列の認識結果に対する訂正候補を提示する場合と比較して、ユーザによる確認訂正の精度を高めることができる情報処理装置、及び情報処理プログラムを提供することを目的とする。

第１態様に係る情報処理装置はプロセッサを備え、前記プロセッサは、帳票の文字列の認識結果から、帳票が用いられる分野、または帳票の記載者に関する属性の少なくとも一方を表す帳票特徴を特定し、特定した前記帳票特徴を有する帳票の文字列認識結果に対する過去の訂正傾向を蓄積し、特定した前記帳票特徴と同じ特徴を有する帳票の訂正傾向を、蓄積した訂正傾向の中から取得し、取得した訂正傾向に従って、帳票の文字列認識結果に対する訂正候補を表示する制御を行う。

第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサは、文字列が記載された帳票の枠毎に前記帳票特徴を特定し、文字列認識結果に対する過去の訂正傾向を帳票の各々の枠と対応付けて蓄積した上で、受け付けた帳票と同じ種類の帳票の各枠にそれぞれ対応付けられた文字列の訂正傾向を取得し、取得した訂正傾向に従って、受け付けた帳票の枠毎に前記訂正候補を表示する制御を行う。

第３態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記プロセッサは、帳票の枠毎に特定した前記帳票特徴を組み合わせることで推定される組み合わせ特徴を特定し、前記組み合わせ特徴を有する帳票の文字列認識結果に対する過去の訂正傾向を蓄積した上で、受け付けた帳票に前記組み合わせ特徴が含まれる場合、蓄積した訂正傾向の中から前記組み合わせ特徴と対応付けられた文字列の訂正傾向を取得し、取得した訂正傾向に従って、前記組み合わせ特徴の推定に用いられた前記帳票特徴が対応付けられた枠の文字列に対して、前記訂正候補を表示する制御を行う。

第４態様に係る情報処理装置は、第１態様～第３態様の何れかの態様に係る情報処理装置において、前記プロセッサは、前記訂正候補を２文字以上の文字列で表示する制御を行う。

第５態様に係る情報処理装置は、第４態様に係る情報処理装置において、前記プロセッサは、前記訂正候補を単語単位で表示する制御を行う。

第６態様に係る情報処理装置は、第１態様～第５態様の何れかの態様に係る情報処理装置において、前記プロセッサは、前記訂正候補の表示理由を表示する制御を行う。

第７態様に係る情報処理プログラムは、コンピュータに、帳票の文字列の認識結果から、帳票が用いられる分野、または帳票の記載者に関する属性の少なくとも一方を表す帳票特徴を特定する処理と、特定した前記帳票特徴を有する帳票の文字列認識結果に対する過去の訂正傾向を蓄積する処理と、特定した前記帳票特徴と同じ特徴を有する帳票の訂正傾向を、蓄積した訂正傾向の中から取得し、取得した訂正傾向に従って、帳票の文字列認識結果に対する訂正候補を表示する制御を行う処理を実行させるためのプログラムである。

第１態様及び第７態様によれば、帳票が用いられる分野、または帳票の記載者に関する属性を表す帳票特徴に関係なく、帳票の文字列の認識結果に対する訂正候補を提示する場合と比較して、ユーザによる確認訂正の精度を高めることができる、という効果を有する。

第２態様によれば、帳票毎に帳票特徴を特定する場合と比較して、ユーザによる確認訂正の精度を高めることができる、という効果を有する。

第３態様によれば、単独の枠に対応付けられた帳票特徴のみから訂正候補を表示する場合と比較して、ユーザによる確認訂正の精度を高めることができる、という効果を有する。

第４態様によれば、訂正候補を１文字毎に表示する場合と比較して、文字列の訂正回数を減少させることができる、という効果を有する。

第５態様によれば、訂正候補を１文字毎に表示する場合と比較して、ユーザが文脈を考慮しながら確認訂正を行うことができる、という効果を有する。

第６態様によれば、訂正候補の表示理由を表示することなく、単に訂正候補の文字列を表示する場合と比較して、ユーザによる確認訂正の精度を高めることができる、という効果を有する。

情報処理装置の機能構成例を示すブロック図である。 確認訂正画面の一例を示す図である。 帳票特徴テーブルの一例を示す図である。 訂正傾向テーブルの一例を示す図である。 情報処理装置における電気系統の要部構成例を示す図である。 確認訂正処理の一例を示すフローチャートである。 訂正候補の第１の表示例を示す図である。 訂正候補の第２の表示例を示す図である。 訂正候補の第３の表示例を示す図である。 訂正候補の第４の表示例を示す図である。

以下、本実施の形態について図面を参照しながら説明する。なお、機能が同じ構成要素及び処理には全図面を通して同じ符合を付与し、重複する説明を省略する。

図１は、例えばスキャナ装置等により帳票の内容を光学的に読み取ることで生成された帳票の画像を受け付け、帳票の画像から読み取った文字列の認識結果に対する確認訂正を、本実施の形態に係るユーザの一例である帳票の確認者に促す情報処理装置１０の機能構成例を示すブロック図である。図１に示すように、情報処理装置１０は、ＯＣＲ(Optical Character Recognition)認識部１１、特定部１２、制御部１３、ＵＩ(User Interface)部１４、及び訂正情報ＤＢ１５を含む。

「帳票」とは、予め定められた書式に従って、特定の事柄についての情報が記録される書類のことであり、例えば項目毎に記載者が内容を記載する枠や領域が含まれる。「項目」とは、例えば記載者の住所や名前といった、記載内容を表す文字列のことである。記載者による枠等への文字列の記載方法は、手書きであってもプリンタ等を用いた印字であってもよい。また、情報処理装置１０で処理される帳票の種類に制約はなく、例えば申込書、契約書、及び問診表等、記載者が何らかの内容を記載するようなものであればよい。

以降では一例として、帳票には記載者が内容を記載する枠が項目毎に設けられており、記載者が項目と対応付けられた枠に手書きで項目に対応した内容を記載する例について説明する。記載者が内容を記載する各項目の枠のことを「項目に対応した枠」ということがある。

また、ここでいう「文字列」とは、１文字以上の文字の連なりを意味する。特に１文字からなる文字列のことを「文字」ということにする。

なお、帳票には、記載者が記載する文字列の他、例えば項目名や帳票のタイトルのように予め帳票に印刷されている文字列も存在する。

ＯＣＲ認識部１１は、受け付けた帳票の画像に対してＯＣＲ処理を実行し、ＯＣＲ処理による文字列の認識結果、すなわち文字列認識結果を特定部１２に通知する。

図２は、情報処理装置１０で受け付ける帳票の画像の一例と、受け付けた帳票の画像に対するＯＣＲ認識部１１での文字列認識結果を表した確認訂正画面２の一例を示す図である。

確認訂正画面２は例えば帳票画像領域４と確認訂正領域６の２つの領域に分割され、帳票画像領域４には受け付けた帳票の画像が表示され、確認訂正領域６には受け付けた帳票の画像に対する文字列認識結果が表示される。図２に示す確認訂正画面２では、何らかの会員に登録するための会員登録申込用紙を受け付けた例が示されている。

ＯＣＲ認識部１１は、帳票の項目毎に記載者が記載した文字列を認識し、ＯＣＲ認識部１１による文字列認識結果が帳票の項目毎に確認訂正領域６に表示される。

確認訂正領域６において、設問名欄は帳票の項目を表し、スキャン画像／認識結果欄８は項目に対応した枠内の文字列の画像と、当該枠内の文字列の画像からＯＣＲ認識部１１が認識した文字列認識結果が表示される。スキャン画像／認識結果欄８は上下２段に分かれ、図２の確認訂正画面２の例では、項目に対応した枠内の文字列の画像が上段に表示され、下段には上段に表示された帳票の画像からＯＣＲ認識部１１が認識した文字列認識結果が表示されている。当然のことながら、枠内の文字列の画像の表示位置と文字列認識結果の表示位置に制約はなく、枠内の文字列の画像を下段に表示し、文字列認識結果を上段に表示してもよい。

スキャン画像／認識結果欄８は、枠内の文字列の画像と文字列認識結果を表示するだけでなく、後述するように、文字列認識結果の確認訂正を行う領域としても利用される。

特定部１２は、ＯＣＲ認識部１１から帳票の文字列認識結果を受け付けると、公知の自然言語分析手法を用いて帳票の文字列認識結果を分析して、後述する帳票特徴を特定する。

「帳票特徴」とは、帳票の文字列認識結果から得られる帳票の特徴全般のことであり、受け付けた帳票の記載内容に関する特徴、または帳票の記載者に関する特徴の少なくとも一方が含まれる。

帳票の記載内容に関する特徴とは、帳票のフォーマットや記載内容から推定される帳票の特徴のことであり、具体的には帳票が用いられる分野、項目に対応した枠の配置、及び枠に記載される内容の種類等が含まれる。枠に記載される内容の種類とは、例えばアンケートの回答が記載されているのか、それとも部品の種類を表す部品番号が記載されているのかというように、記載された文字列を内容面から分類した分類結果のことである。

また、帳票の記載者に関する特徴とは、帳票に文字列を記載した記載者全般に関する属性のことであり、例えば帳票の記載者名や、記載者の職業、記載者の居住地、記載者の年齢、及び記載者が属するグループ（例えばジョギングの同好会等）等が含まれる。帳票の記載者に関する特徴は、帳票の文字列認識結果から特定される。例えば帳票に記載者の住所を記入する枠が設けられている場合、特定部１２は、住所に対応した枠内の文字列認識結果から記載者の居住地を特定する。このように、特定部１２は、帳票の記載者に関する特徴が記載されている項目に対応した枠内の文字列認識結果から、帳票の記載者に関する特徴を特定すればよい。

なお、帳票特徴の特定方法はこれに限られない。例えば帳票の確認者が、後述するＵＩ部１４から帳票の記載内容に関する特徴や帳票の記載者に関する特徴を入力してもよい。帳票の記載者に関する特徴が記載されている項目が帳票に存在しない場合には、例えば枠内に記載された文字列の筆跡、内容、及び文章の言葉遣い等から帳票の記載者の年齢、性別、職業、及び居住地といった帳票の記載者に関する特徴を特定してもよい。

また、特定部１２は後述するＵＩ部１４を介して、帳票の確認者から帳票の文字列認識結果に対する訂正指示を受け付け、帳票の文字列認識結果に対する訂正傾向を特定する。

具体的には、特定部１２は訂正前の文字列と訂正後の文字列を対応付けた上で、公知のデータ解析手法を用いて帳票の文字列認識結果に対する訂正傾向を特定する。公知のデータ解析手法としては、例えばクラスタ分析や頻度分析の他、人工知能(Artificial Intelligence:AI)を用いた機械学習や深層学習が利用される。

帳票の文字列認識結果に対する訂正傾向（以降、「帳票の訂正傾向」という）とは、他の文字列の訂正と比較して統計的な有意差が認められるような訂正が見られる場合に、訂正に関するどのような有意差が認められるのかを表した情報である。

帳票の訂正傾向には、例えば文字列の訂正候補、訂正候補として挙げた文字列の候補理由、及び候補理由の分類が含まれる。

文字列の訂正候補には、例えば帳票の確認者が訂正した訂正後の文字列や、特定した訂正傾向から推定した、訂正後の文字列として利用されやすい文字列が含まれる。

文字列の候補理由には、訂正候補が例えば特定の分野の専門用語で用いられやすい文字列であるという情報や、他の文字列に比べて訂正頻度が高い文字列であるといった、訂正候補として表示する表示理由が含まれる。

候補理由の分類には、候補理由がどのような内容を表しているのかを示す情報が含まれる。

特定部１２は、特定した帳票特徴及び訂正傾向を訂正情報ＤＢ１５に通知する。なお、特定部１２における帳票特徴及び訂正傾向の特定単位に制約はなく、例えば帳票単位で帳票特徴及び訂正傾向を特定しても、複数の枠を１つの単位として帳票特徴及び訂正傾向を特定してもよい。以降では一例として、項目に対応した枠毎に帳票特徴及び訂正傾向を特定するものとして説明する。したがって、ＯＣＲ認識部１１は、帳票に記載されている項目と項目に対応した枠に記載されている文字列認識結果を対応付けた上で、当該対応付けを識別する識別子（例えば帳票内で一意に割り当てた番号）と共に特定部１２に通知する。当該識別子は枠毎に割り当てられるため、「枠番号」ともいう。

訂正情報ＤＢ１５は、特定部１２から受け付けた帳票特徴及び訂正傾向を蓄積する蓄積部の一例である。

訂正情報ＤＢ１５では、帳票特徴及び帳票の確認者が行った文字列の訂正を管理する帳票特徴テーブル１６と、帳票特徴毎における帳票の訂正傾向を管理する訂正傾向テーブル１７が蓄積される。

図３は帳票特徴テーブル１６の一例を示す図であり、図４は訂正傾向テーブル１７の一例を示す図である。

図３に示すように、帳票特徴テーブル１６では受け付けた各帳票の枠毎に、例えば辞書名、帳票種類、認識枠位置、認識枠種類、訂正の有無、訂正前文字列、及び訂正後文字列が対応付けられて管理される。このうち、辞書名、帳票種類、認識枠位置、及び認識枠種類が帳票特徴を表し、訂正の有無、訂正前文字列、及び訂正後文字列が文字列の訂正記録を表す。

辞書名には、例えば文字列の訂正候補を特定する上で使用する辞書の名前が設定される。情報処理装置１０は複数の辞書を備え、各々の辞書には特定の帳票の種類で使われやすい文字列が登録されている。したがって、帳票の種類が特定されれば、帳票の種類に特化した辞書を用いることで、他の帳票の種類に対応した辞書を用いる場合よりも、当該帳票で用いられやすい文字列が訂正候補として提示されることになる。

また、ＯＣＲ認識部１１は特定部１２と連携して、例えば予め定めた辞書を用いて仮のＯＣＲ処理を行い、文字列認識結果を特定部１２に通知した後、特定部１２で帳票の種類から用いるべき辞書が特定された場合に、特定された辞書を用いて改めてＯＣＲ処理を実行し直すようにしてもよい。この場合、特定部１２で特定された辞書以外の辞書を用いてＯＣＲ処理を行う場合に比べて、文字列の認識率が向上することがある。

図３の帳票特徴テーブル１６の例では辞書名として「一般」、「医療」、及び「英数字」が設定されている。医療辞書は、受け付けた帳票が医療に関する帳票である場合に用いられる辞書であり、英数字辞書は、受け付けた帳票が英数字の文字列で表されているような帳票に用いられる辞書である。医療辞書には、他の辞書に比べて医療で用いられる文字列が多く登録されており、英数字辞書には、英単語や数字が登録されている。

一般辞書は、例えば受け付けた帳票に適した辞書が見当たらない場合に用いられる辞書である。

帳票種類には、文字列認識結果から特定した帳票の種類が設定される。帳票の種類は、例えば帳票のタイトルや項目名により特定される。

図３の帳票特徴テーブル１６の例では帳票種類として「四半期報告」、「手術証明書」、「申込書」、及び「部品検査表」が設定されている。例えば帳票のタイトルや項目名に「四半期」や「報告」といった文字列が含まれている場合、公知の自然言語分析手法により、帳票種類が「四半期報告」に特定される。他の帳票についても同様の手法により帳票種類が特定される。

認識枠位置には、帳票に含まれる各項目に対応した枠を一意に特定する情報が設定される。認識枠位置は、特定部１２が枠毎に帳票特徴及び訂正傾向を特定するため、内部的に使用する情報であり、例えば枠毎にＯＣＲ認識部１１が割り当てた枠番号が設定される。

認識枠種類には、認識枠位置で示される枠内に記載される内容の種類が設定される。認識枠種類は、例えば枠内の文字列認識結果から特定される。

図３の帳票特徴テーブル１６の例では認識枠種類として「承認条件」、「術式」、「アンケート」、及び「部品番号」が設定されている。例えば枠内の文字列認識結果に「～することを条件に承認する。」といった、何らかの条件を満たすことと引き換えに承認を行うような文字列が含まれる場合、公知の自然言語分析手法により、帳票枠種類が「承認条件」に特定される。認識枠種類の他の例についても、同様の手法により枠内に記載された内容が分析され、帳票枠種類が特定される。

なお、上記では一例として、情報処理装置１０が公知の自然言語分析手法を用いて、項目名や、項目に対応した枠内の文字列認識結果から帳票特徴を特定する例を示したが、帳票の確認者が設定してもよい。

訂正の有無には、帳票の確認者によって、認識枠位置で示される枠内の文字列認識結果が訂正されたか否かが設定される。

訂正前文字列には、ＯＣＲ認識部１１で認識された、帳票の確認者が文字列を訂正する前における認識枠位置で示される枠内の文字列認識結果が設定される。なお、訂正前文字列は、帳票の確認者によって文字列の訂正が行われなかった場合であっても設定される。

訂正後文字列には、認識枠位置で示される枠内の文字列認識結果のうち、帳票の確認者によって訂正された訂正後の文字列が、訂正前の文字列と対応付けられて設定される。例えば帳票の確認者が単語単位で文字列を訂正した場合、訂正後文字列では、訂正後の文字列が訂正前の単語と対応付けられて管理される。具体的には「期来」という単語が「期末」に訂正された場合、「期来」と「期末」が対応付けられて管理される。すなわち、訂正後の単語が訂正前文字列の何れか単語を訂正した文字列であるのかわかるように管理される。なお、説明の便宜上、単語と単語に挟まれるような助詞も例えばひらがな２文字以上で構成される場合があることから、本実施の形態では「単語」ということにする。

一方、図４に示すように、訂正傾向テーブル１７では受け付けた各帳票の枠毎に、例えば辞書名、帳票種類、認識枠位置、認識枠種類、訂正候補、分類、及び候補理由が対応付けられて管理される。このうち辞書名、帳票種類、認識枠位置、及び認識枠種類については、既に帳票特徴テーブル１６で説明した帳票特徴の各項目が設定され、訂正候補、分類、及び候補理由が帳票の訂正傾向として帳票特徴に対応付けられている。

訂正候補には、認識枠位置で示される枠内の訂正前の文字列認識結果に対して表示される訂正候補の文字列が設定される。図３に示した帳票特徴テーブル１６の訂正後文字列と同じく、訂正候補の文字列も訂正前の文字列と対応付けられて設定される。訂正候補が単語単位で設定されていれば、訂正候補に対応する訂正前の単語と対応付けられて管理される。なお、訂正候補の文字列の単位に制約はなく、単語単位の他、文字単位、句単位、または節単位であってもよい。訂正候補の文字列の単位にあわせて、訂正候補が訂正前の文字列と対応付けられて管理される。

また、既に説明したように、分類には候補理由の分類が設定され、候補理由には、訂正候補として設定された文字列が訂正前の対応する文字列の訂正候補として挙げられた理由が設定される。

制御部１３は、特定部１２で特定された、受け付けた帳票の帳票特徴と同じ帳票特徴を有する帳票の訂正傾向が訂正傾向テーブル１７に記録されている場合、受け付けた帳票の帳票特徴と対応付けられている訂正傾向を訂正情報ＤＢ１５から取得し、取得した訂正傾向に従って、訂正前の文字列認識結果に対する訂正候補を表示するようにＵＩ部１４を制御する。

ＵＩ部１４は、帳票の確認者に図２に示した確認訂正画面２を表示すると共に、ＯＣＲ認識部１１での文字列認識結果に対する帳票の確認者からの訂正指示及び確認指示を受け付ける。

したがって、ＵＩ部１４は帳票の確認者からの指示を受け付ける入力ユニット１４Ａと、確認訂正画面２を表示する表示ユニット１４Ｂを備える。

なお、確認指示とは、帳票の確認者が、文字列認識結果が正しいことを確認したことを示す指示であり、文字列認識結果に対する訂正が行われなかったことを表す。以降では、確認指示と訂正指示をあわせて「確認訂正指示」という場合がある。確認訂正指示は帳票特徴及び訂正傾向の特定単位毎に行われるため、本実施の形態のように帳票特徴及び訂正傾向が項目に対応した枠毎に特定される場合、項目に対応した枠毎に確認訂正指示が行われる。

入力ユニット１４Ａに確認訂正指示が入力されると、確認訂正指示は特定部１２に通知され、帳票特徴テーブル１６の訂正の有無、訂正後文字列が設定される。なお、文字列認識結果の訂正が行われなかった場合には訂正の有無には「無」が設定され、設定後文字列は空欄となる。

次に、情報処理装置１０における電気系統の要部構成例について説明する。

図５は、情報処理装置１０における電気系統の要部構成例を示す図である。情報処理装置１０は例えばコンピュータ２０を用いて構成される。

コンピュータ２０は、情報処理装置１０に係る各機能部を担うプロセッサの一例であるＣＰＵ(Central Processing Unit)２１、コンピュータ２０を図１に示した各機能部として機能させる情報処理プログラムを記憶するＲＯＭ(Read Only Memory)２２、ＣＰＵ２１の一時的な作業領域として使用されるＲＡＭ(Random Access Memory)２３、不揮発性メモリ２４、及び入出力インターフェース(Ｉ／Ｏ)２５を備える。そして、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、不揮発性メモリ２４、及びＩ／Ｏ２５がバス２６を介して各々接続されている。

不揮発性メモリ２４は、不揮発性メモリ２４に供給される電力が遮断されても、記憶した情報が維持される記憶装置の一例であり、例えば半導体メモリが用いられるがハードディスクを用いてもよい。不揮発性メモリ２４は、必ずしもコンピュータ２０に内蔵されている必要はなく、例えばメモリカードのようにコンピュータ２０に着脱される可搬型の記憶装置であってもよい。

Ｉ／Ｏ２５には、例えば通信ユニット２７、入力ユニット１４Ａ、及び表示ユニット１４Ｂが接続される。

通信ユニット２７は図示しない通信回線に接続され、図示しない通信回線に接続される外部装置との間でデータ通信を行う通信プロトコルを備える。帳票の内容を光学的に読み取るスキャナ装置とは、例えば通信ユニット２７を介して図示しない通信回線で接続され、情報処理装置１０は、図示しない通信回線を通じてスキャナ装置から帳票の画像を取得する。

入力ユニット１４Ａは、帳票の確認者からの指示を受け付けてＣＰＵ２１に通知する装置であり、例えばボタン、タッチパネル、キーボード、及びマウス等が用いられる。帳票の確認者の指示が音声で行われる場合、入力ユニット１４Ａとしてマイクが用いられることがある。

表示ユニット１４Ｂは、ＣＰＵ２１によって処理された情報を表示する装置であり、例えば液晶ディスプレイ、及び有機ＥＬ(Electro Luminescence)ディスプレイ等が用いられる。

なお、Ｉ／Ｏ２５に接続されるユニットは図５に示した各ユニットに限定されず、例えば用紙等の記録媒体に画像を形成する画像形成ユニットのような他のユニットを接続してもよい。また、図示しない通信回線を通じてスキャナ装置から帳票の画像を取得せず、例えばメモリカードやＵＳＢ(Universal Serial Bus)メモリ等の半導体メモリを媒介して帳票の画像を取得する場合、情報処理装置１０は必ずしも通信ユニット２７を備える必要はない。

次に、ＯＣＲ処理が行われた帳票の文字列認識結果に対して、帳票の確認者が確認訂正を行う場合の情報処理装置１０の動作について説明する。

図６は、確認訂正の対象となる帳票の画像を受け付けた場合に、情報処理装置１０のＣＰＵ２１によって実行される確認訂正処理の一例を示すフローチャートである。確認訂正処理を規定する情報処理プログラムは、例えば情報処理装置１０のＲＯＭ２２に予め記憶されている。情報処理装置１０のＣＰＵ２１は、ＲＯＭ２２に記憶される情報処理プログラムを読み込み、確認訂正処理を実行する。

なお、訂正情報ＤＢ１５が構築される不揮発性メモリ２４には、図３及び図４に示したような帳票特徴テーブル１６と訂正傾向テーブル１７が記憶され、項目に対応した枠毎に各帳票の帳票特徴と訂正傾向が蓄積されているものとする。なお、不揮発性メモリ２４には、１つの種類の帳票について１０００枚以上の帳票を確認訂正することで学習された帳票の訂正傾向が帳票特徴と対応付けられて蓄積されていることが好ましい。

ステップＳ１０において、ＣＰＵ２１は受け付けた帳票の画像に対してＯＣＲ処理を実行し、帳票に含まれる各項目に対応した枠毎の文字列認識結果を取得する。

ステップＳ２０において、ＣＰＵ２１は、各項目に対応した枠毎の文字列認識結果を用いて、帳票特徴を枠毎に特定する。

ステップＳ３０において、ＣＰＵ２１は、受け付けた帳票の中から選択していない何れかの枠を１つ選択する。説明の便宜上、ステップＳ３０で選択した枠を「選択枠」ということにする。

ステップＳ４０において、選択枠の訂正傾向が訂正傾向テーブル１７に存在するか否かを判定する。選択枠の訂正傾向が訂正傾向テーブル１７に存在するとは、選択枠に対応する帳票特徴と同じ帳票特徴に対して訂正傾向が設定されていることをいう。選択枠の訂正傾向が存在する場合にはステップＳ５０に移行する。

ステップＳ５０において、ＣＰＵ２１は、選択枠の訂正傾向を訂正傾向テーブル１７から取得してステップＳ７０に移行する。

一方、ステップＳ４０の判定処理で、選択枠の訂正傾向が存在しないと判定された場合にはステップＳ６０に移行する。

ステップＳ６０において、ＣＰＵ２１は、選択枠に対応する帳票特徴と類似する帳票特徴に対して対応付けられている訂正傾向を訂正傾向テーブル１７から取得して、ステップＳ７０に移行する。選択枠に対応する帳票特徴と類似する帳票特徴とは、ステップＳ２０で特定した選択枠の帳票特徴を構成する全ての項目（図４の例で言えば、辞書名、帳票種類、認識枠位置、及び認識枠種類）についてそれぞれ同じ内容が設定された帳票特徴は存在しないが、帳票特徴を構成する少なくとも１つ以上の項目について同じ内容が設定された帳票特徴のことをいう。

なお、選択枠に対応する帳票特徴と類似する帳票特徴が訂正傾向テーブル１７に複数含まれる場合、ＣＰＵ２１は、他の帳票特徴よりも選択枠の帳票特徴と同じ特徴を含む項目の数が多い帳票特徴に対応付けられている訂正傾向を訂正傾向テーブル１７から取得すればよい。

これにより、例えば初めて受け付けた種類の帳票や、過去に受け付けたことのある種類の帳票であっても選択枠の記載内容の相違から、認識枠種類が前回とは異なる種類に特定されてしまったような場合であっても、訂正傾向テーブル１７から訂正傾向が取得されることになる。

ステップＳ７０において、ＣＰＵ２１は表示ユニット１４Ｂを制御して、受け付けた帳票の画像に対する文字列認識結果が正しいかどうかを帳票の確認者に確認させ、文字列認識結果が帳票に記載されている文字列と異なる場合には訂正を行うように促す確認訂正画面２を表示ユニット１４Ｂに表示する。

図７は、例えば図４に示した訂正傾向テーブル１７の１行目の帳票特徴に対応付けられている訂正傾向を取得した場合に、選択枠のスキャン画像／認識結果欄８に表示される表示例を示す図である。なお、図７及び以降で説明する図８～図１０では説明の便宜上、スキャン画像／認識結果欄８の下段に選択枠内の文字列の画像を表示し、上段には、下段に表示した文字列の画像から認識した文字列認識結果を表示している。

ＣＰＵ２１は、訂正候補の単位にあわせて、訂正候補が設定されている文字列に相当する文字列の画像部分に下線を表示し、表示した各々の下線に対して、下線で表される文字列の訂正候補を表示した吹き出し３２を表示する。したがって、本実施の形態のように訂正候補を単語単位で管理している例の場合、訂正候補が単語単位で表示される。

図７の表示例では、「期来」と認識された文字列に対して、「期末」及び「末期」を含む訂正候補を表示した吹き出し３２Ａと、「してな」と認識された文字列に対して、「には」及び「では」を含む訂正候補を表示した吹き出し３２Ｂが表示されている。

帳票の確認者が例えばマウスのカーソル３４のように、確認訂正画面２の選択位置を指し示す指示体を訂正候補に近づけた場合、ＣＰＵ２１は、カーソル３４で指し示された訂正候補の候補理由をポップアップ領域３６に表示して、文字列認識結果が記載者によって枠内に記載された本来の正しい文字列となるように訂正するための参考情報を帳票の確認者に提供する。なお、ＣＰＵ２１は、帳票の確認者が訂正候補からカーソル３４を遠ざけた場合には、候補理由を表示したポップアップ領域３６の表示を中止する。

図８は、例えば図４に示した訂正傾向テーブル１７の２行目の帳票特徴に対応付けられている訂正傾向を取得した場合に、選択枠のスキャン画像／認識結果欄８に表示される表示例を示す図である。

図７で説明したように、ＣＰＵ２１は、訂正候補が設定されている文字列に相当する文字列の画像部分に下線を表示し、表示した各々の下線に対して、下線で表される文字列の訂正候補を表示した吹き出し３２を表示する。

図４に示した訂正傾向テーブル１７の２行目の帳票特徴には、「右願」に対して「右顎」、「下線」に対して「下腺」と「下膽」、及び「睡石」に対して「唾石」の文字列が訂正候補として設定されている。したがって、ＣＰＵ２１は枠内の文字列の画像においてそれぞれ「右願」、「下線」、「睡石」と認識された箇所に下線を表示してもよいが、訂正候補に設定されている文字列のうち、認識された文字列と表記の異なる文字列だけに下線を表示してもよい。

図８はこうした訂正候補の表示方法に対応した場合の表示例を示しており、このうち「右願」の文字列について説明すれば、訂正候補の「右顎」と異なる「願」と認識された箇所にのみ下線が表示され、訂正候補を表示する際も、認識結果と異なる訂正候補の文字列、すなわち「顎」だけが訂正候補として表示されている。「下線」及び「睡石」についても同様の表示方法が適用されている。

図８では、カーソル３４が「下線」に対する訂正候補を指し示していることから、ポップアップ領域３６には「術式では糸偏でなく、月偏の可能性が高い。」といった「下線」に対する訂正候補の候補理由が表示される。

図９は、例えば図４に示した訂正傾向テーブル１７の３行目の帳票特徴に対応付けられている訂正傾向を取得した場合に、選択枠のスキャン画像／認識結果欄８に表示される表示例を示す図である。図９の表示例も図８の表示例と同じく、訂正候補として設定されている文字列のうち、認識された文字列と表記の異なる文字列だけの訂正候補を表示する表示方法がとられている。

図９では、カーソル３４が「単悟」に対する訂正候補を指し示していることから、ポップアップ領域３６には「言偏の略字。」といった、例えば対応する文字列の画像から得られる手書き文字の特徴と共に、「単悟」に対する訂正候補の候補理由が表示されている。この場合、ＣＰＵ２１は単に訂正傾向テーブル１７に設定されている候補理由を表示するだけでなく、候補理由を補足する補足情報３８をポップアップ領域３６に表示してもよい。図９の表示例の場合、候補理由が言偏の略字であるということから、文字列の画像のどの箇所が言偏の略字となっているのか、該当する箇所の画像を補足情報３８に表示している。

図１０は、例えば図４に示した訂正傾向テーブル１７の４行目の帳票特徴に対応付けられている訂正傾向を取得した場合に、選択枠のスキャン画像／認識結果欄８に表示される表示例を示す図である。

図１０では、枠内に記載された先頭の２文字が“２８”と認識されているが、当該枠には部品番号が記載されるという帳票特徴、及び部品番号は先頭の２文字が英文字で始まるという訂正傾向の学習結果に基づいて、「部品番号では先頭２文字が英文字から始まるのでは？」という候補理由と共に、訂正候補の「ＺＢ」が表示されている。

文字列認識結果の訂正が必要な場合、帳票の確認者は訂正候補をカーソル３４で選択することで、訂正前の文字列が、選択された訂正候補に置き換えられて訂正が完了する。文字列の訂正が行われると、選択枠に対応したスキャン画像／認識結果欄８に表示される文字列認識結果が訂正後の文字列で置き換えられる。その上で、帳票の確認者は、選択枠の文字列認識結果の確認が終了したことをＣＰＵ２１に通知するため、図２の確認訂正画面２における選択枠に対応した確認欄のチェックボックスをカーソル３４で選択し、チェックボックスにチェックマークを入力する。

一方、文字列認識結果の訂正が不要な場合、帳票の確認者は、選択枠に対応したスキャン画像／認識結果欄８に表示される文字列認識結果を訂正することなく、確認訂正画面２における選択枠に対応した確認欄のチェックボックスにチェックマークを入力する。

なお、表示された訂正候補の中に、訂正前の文字列に対する正しい訂正候補が存在しない場合、帳票の確認者は、文字列認識結果を正しい文字列に書き換えればよい。

このように、選択枠の文字列認識結果に対して訂正候補を表示した後、ステップＳ８０において、ＣＰＵ２１は、選択枠に対応したスキャン画像／認識結果欄８に表示される文字列認識結果に対して訂正が行われたか否かを判定する。訂正が行われた場合にはステップＳ９０に移行する。

ステップＳ９０において、ＣＰＵ２１は、訂正前の文字列と訂正後の文字列を対応付けた上で、公知のデータ解析手法を用いて、例えば訂正頻度、誤りの傾向、手書きされた文字列の崩し方の特徴と本来の正しい文字列の対比、訂正後の文字列が使われやすい分野といった文字列の訂正傾向を分析する。

ステップＳ１００において、ＣＰＵ２１は、ステップＳ９０で分析した文字列の訂正傾向を訂正傾向テーブル１７に反映する。

ＣＰＵ２１は、選択枠に対応する帳票特徴と同じ帳票特徴が訂正傾向テーブル１７に存在する場合には、当該帳票特徴と対応付けられた訂正傾向に、ステップＳ９０で分析した文字列の訂正傾向を反映する。一方、選択枠に対応する帳票特徴と類似する帳票特徴しか訂正傾向テーブル１７に存在しない場合には、新たな行を訂正傾向テーブル１７に追加して、選択枠に対応する帳票特徴とステップＳ９０で分析した文字列の訂正傾向を追加した行に設定する。

また、ＣＰＵ２１は帳票特徴テーブル１６に新たな行を追加して、追加した行にステップＳ２０で特定した選択枠の帳票特徴を設定すると共に、追加した行の訂正の有無に「有」を設定した上で、訂正前文字列と訂正後文字列にそれぞれ訂正前の文字列と訂正後の文字列を設定して、ステップＳ１１０に移行する。

一方、ステップＳ８０の判定処理で、選択枠に対応したスキャン画像／認識結果欄８に表示される文字列認識結果に対して訂正が行われていないと判定された場合には、ＣＰＵ２１は帳票特徴テーブル１６に新たな行を追加して、追加した行にステップＳ２０で特定した選択枠の帳票特徴を設定すると共に、追加した行の訂正の有無に「無」を設定した上で、訂正後文字列を空欄にしたまま訂正前文字列に訂正前の文字列を設定して、ステップＳ１１０に移行する。

ステップＳ１１０において、ＣＰＵ２１は受け付けた帳票の中に、まだステップＳ３０で選択していない未選択の枠が存在するか否かを判定する。未選択の枠が存在する場合にはステップＳ３０に移行する。すなわち、未選択の枠が存在しなくなるまでステップＳ３０～Ｓ１１０の処理を繰り返し実行することで、帳票の確認者によって、受け付けた帳票に含まれる各項目に対応した枠内の文字列認識結果の確認訂正が行われると共に、訂正結果に基づき、文字列の訂正傾向が分析されることになる。

一方、ステップＳ３０で帳票に含まれる各項目に対応した全ての枠が選択された場合には、図６に示す確認訂正処理を終了する。

図６に示す確認訂正処理では、各項目に対応した枠毎に帳票特徴を特定したが、ＣＰＵ２１は、複数の項目に対応した各々の枠と対応付けられた帳票特徴を組み合わせることで得られる帳票の特徴、すなわち、組み合わせ特徴を特定し、組み合わせ特徴を有する文字列認識結果の訂正傾向を分析してもよい。

例えば項目が「部署名」と記載された枠に「人事部」と記載され、項目が「署名欄」と記載された枠に手書きの署名が記載されている場合、部署名の帳票特徴と署名欄の帳票特徴を組み合わせることで、例えば署名欄には人事部の人物で、かつ、署名権限のある人物、すなわち人事部長が署名を行ったという組み合わせ特徴が特定される。

こうした組み合わせ特徴に対して、人事部長の手書き文字のくせを予め機械学習している辞書等を参照することで文字列の訂正傾向が得られ、人事部長の手書き文字に対応した訂正候補が表示されることになる。

また、例えば手書き文字や文字列の使用頻度に地域独特の特徴が現れる場合がある。例えば新潟では他の地域に比べて「潟」の略字が用いられやすい傾向があり、「隅」の文字は他の地域に比べて九州の地名や人名に使われる頻度が多いといった特徴がある。

したがって、「住所」の項目に記載者の住所が記載されている場合、記載者の居住地を考慮して、各項目に対応した枠の文字列認識結果に対する訂正傾向を分析すればよい。

受け付けた帳票に訂正傾向を分析した組み合わせ特徴が含まれる場合、当該組み合わせ特徴と対応付けられた文字列の訂正傾向を取得して、組み合わせ特徴が適用される枠内の文字列認識結果に対して訂正候補を表示すれば、１つの項目に対応した枠内の文字列認識結果に対する訂正結果を用いて分析された訂正傾向から得られる訂正候補を表示する場合に比べて、本来の文字列に対応する正しい訂正候補が提示されることになる。

このように本実施の形態に係る情報処理装置１０によれば、帳票の文字列認識結果から帳票特徴を特定し、特定した帳票特徴と同じ帳票特徴、または類似する帳票特徴と対応付けられている文字列の訂正傾向に従って、文字列に対する訂正候補を表示する。

訂正傾向の特定には、例えば人工知能を用いた機械学習や深層学習といった公知のデータ解析手法が用いられるため、文字の形状の類似性のみから推定される訂正候補を１文字ずつ表示するのではなく、単語単位または句単位といった単位での訂正候補の表示、及び候補理由の提示が可能となる。すなわち、文章の文脈を考慮した上で訂正候補の表示が行われることになる。また、訂正候補の文字列の長さが長くなれば、文字列を１文字ずつ訂正する場合に比べて訂正回数が減少することにもなる。

以上、実施の形態を用いて本発明について説明したが、本発明は実施の形態に記載の範囲には限定されない。本発明の要旨を逸脱しない範囲で実施の形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。例えば、本発明の要旨を逸脱しない範囲で処理の順序を変更してもよい。

本実施の形態では、一例として確認訂正処理をソフトウェアで実現する形態について説明したが、図６に示した各フローチャートと同等の処理を、例えばＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field Programmable Gate Array)、またはＰＬＤ(Programmable Logic Device)に実装し、ハードウェアで処理させるようにしてもよい。この場合、確認訂正処理をそれぞれソフトウェアで実現した場合と比較して、処理の高速化が図られる。

このように、ＣＰＵ２１を、例えばＡＳＩＣ、ＦＰＧＡ、ＰＬＤ、ＧＰＵ(Graphics Processing Unit)、及びＦＰＵ(Floating Point Unit)といった特定の処理に特化した専用のプロセッサに置き換えてもよい。

実施形態におけるＣＰＵ２１の動作は、１つのＣＰＵ２１によって実現される形態の他、複数のＣＰＵ２１によって実現されてもよい。更に、実施形態におけるＣＰＵ２１の動作は、物理的に離れた位置に存在する複数のコンピュータ２０におけるＣＰＵ２１の協働によって実現されるものであってもよい。

また、上述した実施の形態では、情報処理プログラムがＲＯＭにインストールされている形態を説明したが、これに限定されるものではない。本発明に係る情報処理プログラムは、コンピュータで読み取り可能な記憶媒体に記録された形態で提供することも可能である。例えば、本発明に係る情報処理プログラムを、ＣＤ(Compact Disc)－ＲＯＭ、又はＤＶＤ(Digital Versatile Disc)－ＲＯＭ等の光ディスクに記録した形態で提供してもよい。また、本発明に係る情報処理プログラムを半導体メモリに記録した形態で提供してもよい。

更に、情報処理装置１０は図示しない通信回線を通じて、外部装置から本発明に係る情報処理プログラムを取得するようにしてもよい。

２・・・確認訂正画面、４・・・帳票画像領域、６・・・確認訂正領域、８・・・スキャン画像／認識結果欄、１０・・・情報処理装置、１１・・・ＯＣＲ認識部、１２・・・特定部、１３・・・制御部、１４・・・ＵＩ部、１４Ａ・・・入力ユニット、１４Ｂ・・・表示ユニット、１５・・・訂正情報ＤＢ、１６・・・帳票特徴テーブル、１７・・・訂正傾向テーブル、２０・・・コンピュータ、２１・・・ＣＰＵ、２２・・・ＲＯＭ、２３・・・ＲＡＭ、２４・・・不揮発性メモリ、２７・・・通信ユニット、３２（３２Ａ、３２Ｂ、３２Ｃ）・・・吹き出し、３４・・・カーソル、３６・・・ポップアップ領域、３８・・・補足情報

Claims (7)

1. プロセッサを備え、
   前記プロセッサは、帳票の文字列の認識結果から、帳票が用いられる分野、または帳票の記載者に関する属性の少なくとも一方を表す帳票特徴を特定すると共に、帳票に記載されていない記載者に関する属性を帳票に記載された文字列の筆跡、及び帳票に記載された文字列が表す内容の言葉遣いから特定して前記帳票特徴に加え、
   特定した前記帳票特徴を有する帳票の文字列認識結果に対する過去の訂正傾向を蓄積し、
   特定した前記帳票特徴と同じ特徴を有する帳票の訂正傾向を、蓄積した訂正傾向の中から取得し、取得した訂正傾向に従って、帳票の文字列認識結果に対する訂正候補を表示する制御を行う
   情報処理装置。
2. 前記プロセッサは、文字列が記載された帳票の枠毎に前記帳票特徴を特定し、文字列認識結果に対する過去の訂正傾向を帳票の各々の枠と対応付けて蓄積した上で、
   受け付けた帳票と同じ種類の帳票の各枠にそれぞれ対応付けられた文字列の訂正傾向を取得し、取得した訂正傾向に従って、受け付けた帳票の枠毎に前記訂正候補を表示する制御を行う
   請求項１記載の情報処理装置。
3. 前記プロセッサは、帳票の枠毎に特定した前記帳票特徴を組み合わせることで推定される組み合わせ特徴を特定し、前記組み合わせ特徴を有する帳票の文字列認識結果に対する過去の訂正傾向を蓄積した上で、
   受け付けた帳票に前記組み合わせ特徴が含まれる場合、蓄積した訂正傾向の中から前記組み合わせ特徴と対応付けられた文字列の訂正傾向を取得し、取得した訂正傾向に従って、前記組み合わせ特徴の推定に用いられた前記帳票特徴が対応付けられた枠の文字列に対して、前記訂正候補を表示する制御を行う
   請求項２記載の情報処理装置。
4. 前記プロセッサは、前記訂正候補を２文字以上の文字列で表示する制御を行う
   請求項１～請求項３の何れか１項に記載の情報処理装置。
5. 前記プロセッサは、前記訂正候補を単語単位で表示する制御を行う
   請求項４記載の情報処理装置。
6. 前記プロセッサは、前記訂正候補の表示理由を表示する制御を行う
   請求項１～請求項５の何れか１項に記載の情報処理装置。
7. コンピュータに、
   帳票の文字列の認識結果から、帳票が用いられる分野、または帳票の記載者に関する属性の少なくとも一方を表す帳票特徴を特定すると共に、帳票に記載されていない記載者に関する属性を帳票に記載された文字列の筆跡、及び帳票に記載された文字列が表す内容の言葉遣いから特定して前記帳票特徴に加える処理と、
   特定した前記帳票特徴を有する帳票の文字列認識結果に対する過去の訂正傾向を蓄積する処理と、
   特定した前記帳票特徴と同じ特徴を有する帳票の訂正傾向を、蓄積した訂正傾向の中から取得し、取得した訂正傾向に従って、帳票の文字列認識結果に対する訂正候補を表示する制御を行う処理を実行させるための情報処理プログラム。

Images