JP7243097B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP7243097B2
JP7243097B2 JP2018172454A JP2018172454A JP7243097B2 JP 7243097 B2 JP7243097 B2 JP 7243097B2 JP 2018172454 A JP2018172454 A JP 2018172454A JP 2018172454 A JP2018172454 A JP 2018172454A JP 7243097 B2 JP7243097 B2 JP 7243097B2
Authority
JP
Japan
Prior art keywords
confirmation
correction
character recognition
recognition result
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018172454A
Other languages
English (en)
Other versions
JP2020046721A (ja
Inventor
貴慎 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2018172454A priority Critical patent/JP7243097B2/ja
Publication of JP2020046721A publication Critical patent/JP2020046721A/ja
Application granted granted Critical
Publication of JP7243097B2 publication Critical patent/JP7243097B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
特許文献1に開示された情報処理装置の分類手段は、文字認識対象を3種類のいずれかに分類し、抽出手段は、前記分類手段によって第1の種類に分類された場合に、前記文字認識対象の文字認識結果を抽出し、第1の制御手段は、前記分類手段によって第2の種類に分類された場合に、前記文字認識対象の文字認識結果を抽出し、該文字認識対象を人手で入力させるように制御し、第2の制御手段は、前記分類手段によって第3の種類に分類された場合に、前記文字認識対象を複数人の人手で入力させるように制御する。
特開2016-212812号公報
株式会社ハンモック、"TeleForm"、[online]、[平成30年8月23日]、インターネット(URL:https://www.hammock.jp/ocr/kinou/reader.html)
上記特許文献1では、第1及び第2の各制御手段は、文字認識対象を人手で入力させるように制御するものの、どのように入力させるかという具体的な手法については提案していない。
本発明は、文書に含まれている複数の項目に対する文字認識結果の認識確度に応じて、確認訂正対象が一致していない第1及び第2の確認訂正者それぞれに対して訂正不要な文字認識結果を訂正させない確認訂正用画面を提供することを目的とする。
本発明に係る情報処理装置は、文書に含まれている複数の項目に対する文字認識結果及び各文字認識結果の認識確度を取得する取得手段と、確認訂正対象となる文字認識結果第1及び第2の確認訂正者がそれぞれ利用する文字認識結果の確認訂正用画面を、文字認識結果の認識確度に応じて表示制御する制御手段と、を有することを特徴とする。
また、前記制御手段は、認識確度が第1閾値以上の文字認識結果に対する訂正を受け付けず、認識確度が第1閾値未満の文字認識結果に対する訂正を受け付けるように第1の確認訂正者が利用する第1の確認訂正用画面からの入力制御を行い、認識確度が第1閾値より小さい第2閾値以上の文字認識結果に対する訂正を受け付けず、認識確度が第2閾値未満の文字認識結果に対する訂正を受け付けるように第2の確認訂正者が利用する第2の確認訂正用画面からの入力制御を行うことを特徴とする。
また、前記取得手段は、更に前記複数の項目に記された文字の読取画像を取得し、前記制御手段は、各確認訂正用画面に各項目の読取画像を表示させる共に、前記第1の確認訂正用画面には、第1の確認訂正者の確認訂正対象となる文字認識結果に対応する読取画像に対応させて当該文字認識結果の訂正内容を第1の確認訂正者に入力させるための入力欄を表示させ、前記第2の確認訂正用画面には、第2の確認訂正者の確認訂正対象となる文字認識結果に対応する読取画像に対応させて当該文字認識結果の訂正内容を第2の確認訂正者に入力させるための入力欄を表示させることを特徴とする。
また、前記制御手段は、前記第1の確認訂正用画面には、第1の確認訂正者の確認訂正対象とならない文字認識結果に対応する読取画像に対応させて前記入力欄を表示させず、前記第2の確認訂正用画面には、第2の確認訂正者の確認訂正対象とならない文字認識結果に対応する読取画像に対応させて前記入力欄を表示させないことを特徴とする。
また、前記制御手段は、第1の確認訂正者に確認訂正対象となる文字認識結果がない場合、前記第1の確認訂正用画面を表示させないよう制御し、第2の確認訂正者に確認訂正対象となる文字認識結果がない場合、前記第2の確認訂正用画面を表示させないよう制御することを特徴とする。
また、前記制御手段は、第1の確認訂正者による前記第1の確認訂正用画面からの入力を受け付けた後に前記第2の確認訂正用画面を表示させる場合において、文字認識結果に対する第1の確認訂正者により入力された訂正内容が当該文字認識結果と合致する場合、当該文字認識結果を第2の確認訂正者による確認訂正対象外とすることを特徴とする。
また、前記各確認訂正用画面には、前記項目毎に表示領域が設定されており、前記制御手段は、文字認識結果の認識確度に応じて各項目の表示領域の表示を制御することを特徴とする。
また、前記取得手段は、更に前記複数の項目に記された文字の読取画像を取得し、前記制御手段は、前記各表示領域に当該項目の読取画像を表示させると共に、各確認訂正用画面において当該確認訂正者の訂正対象となる文字認識結果に対応する読取画像に対応させて当該文字認識結果の訂正内容を入力させるための入力欄を表示させることを特徴とする。
また、前記制御手段は、各確認訂正用画面において当該確認訂正者が訂正対象としない文字認識結果に対応する読取画像に対応させて前記入力欄を表示させないことを特徴とする。
また、前記制御手段は、読取画像に対応させて当該文字認識結果を表示させることを特徴とする。
また、前記制御手段は、確認訂正者による前記入力欄の入力を省略可能とすることを特徴とする。
また、前記制御手段は、各確認訂正用画面において当該確認訂正者が訂正対象としない文字認識結果に対応する項目の表示領域を表示させないことを特徴とする。
また、前記各項目の表示領域には、コメント欄が設けられていることを特徴とする。
また、前記各項目の表示領域には、確認訂正者が当該項目に対する確認訂正作業が終了した旨を入力させるチェック欄が設けられていることを特徴とする。
本発明に係るプログラムは、コンピュータを、文書に含まれている複数の項目に対する文字認識結果及び各文字認識結果の認識確度を取得する取得手段、確認訂正対象となる文字認識結果第1及び第2の確認訂正者がそれぞれ利用する文字認識結果の確認訂正用画面を、文字認識結果の認識確度に応じて表示制御する制御手段、として機能させる。
請求項1に記載の発明によれば、文書に含まれている複数の項目に対する文字認識結果の認識確度に応じて、確認訂正対象が一致していない第1及び第2の確認訂正者それぞれに対して訂正不要な文字認識結果を訂正させない確認訂正用画面を提供することができる。
請求項2に記載の発明によれば、認識確度と各閾値との大小関係によって各確認訂正者が訂正可能な文字認識結果に対してのみ訂正内容を各確認訂正者に入力させることができる。
請求項3に記載の発明によれば、各確認訂正者が訂正対象とする文字認識結果に対してのみ訂正内容を入力させることができる。
請求項4に記載の発明によれば、訂正対象とならない文字認識結果に対しては、訂正内容を入力させないようにすることができる。
請求項5に記載の発明によれば、確認訂正対象となる文字認識結果がない確認訂正者に対応する確認訂正用画面を表示させないようすることができる。
請求項6に記載の発明によれば、文字認識結果と第1の確認訂正者による訂正内容が合致した場合、第2の確認訂正者による訂正内容の入力を省略させることができる。
請求項7に記載の発明によれば、文字認識結果の認識確度毎に異なる表示形態にて各表示領域を表示させることができる。
請求項8に記載の発明によれば、各確認訂正者が訂正対象とする文字認識結果に対して訂正内容を入力させることができる。
請求項9に記載の発明によれば、訂正対象とならない文字認識結果に対しては、訂正内容を入力させないようにすることができる。
請求項10に記載の発明によれば、文字認識結果を参照させて訂正内容を確認訂正者に入力させることができる。
請求項11に記載の発明によれば、確認訂正者が読取画像と文字認識結果を見比べた結果、文字認識結果が正しいと判断した場合、訂正内容の入力を当該確認訂正者に省略させることができる。
請求項12に記載の発明によれば、訂正対象とならない文字認識結果に対応する項目に関しては当該項目に関する情報を当該確認訂正者に提示させずに済む。
請求項13に記載の発明によれば、各項目に対応する文字認識結果に対するコメントを確認訂正者に入力させることができる。
請求項14に記載の発明によれば、各項目に対応する文字認識結果を確認訂正者が確認したことを確認することができる。
請求項15に記載の発明によれば、文書に含まれている複数の項目に対する文字認識結果の認識確度に応じて、確認訂正対象が一致していない第1及び第2の確認訂正者それぞれに対して訂正不要な文字認識結果を訂正させない確認訂正用画面を提供することができる。
本実施の形態における情報処理システムの全体構成及び本実施の形態における情報処理装置を示すブロック構成図である。 本実施の形態における情報処理装置を形成するコンピュータのハードウェア構成図である。 本実施の形態における確認訂正処理を示すフローチャートである。 本実施の形態における確認訂正処理者数決定処理を示すフローチャートである。 本実施の形態における第1確認訂正用画面の一例を示す図である。 本実施の形態における第2確認訂正用画面の一例を示す図である。 本実施の形態における第1確認訂正用画面の他の例を示す図である。 本実施の形態における第2確認訂正用画面の他の例を示す図である。 本実施の形態における第2確認訂正用画面の他の例を示す図である。 本実施の形態における第1確認訂正用画面の他の例を示す図である。
以下、図面に基づいて、本発明の好適な実施の形態について説明する。
図1は、本実施の形態において帳票の確認訂正を行うための情報処理システムの全体構成及び本発明に係る情報処理装置の一実施の形態を示すブロック構成図である。図1には、第1確認訂正者用クライアント1、第2確認訂正者用クライアント2、承認者用クライアント3及び情報処理装置10がネットワーク4で接続された構成が示されている。
本実施の形態における情報処理システムでは、帳票に手書きにより入力された文字に対して文字認識処理を施すことで手書き文字を認識するが、この認識された文字をユーザ(確認訂正者)により確認訂正させ、更に承認者(確認者)に文字認識処理による認識結果及び確認訂正者による確認訂正の内容を確認させることで、手書き文字の認識結果を最終的に確認させるためのシステムである。「確認訂正」とは、文字認識対象となる文字の読取画像(手入力された文字の画像)を確認して、正しい文字を入力することをいう。文字認識結果を表示させずに、単に文字の読取画像を確認して、正しい文字を入力させる場合もあるし、読取画像と文字認識処理の結果を比較することで文字認識処理の結果が正しいかどうかを確認させ、正しくないと判断した場合には文字認識処理の結果を訂正させる、つまり正しいと考えられる文字を入力させる場合もある。本実施の形態では、正しいと判断した場合に入力させない場合(単なる確認のみ)、更に正しいと判断した場合でも文字認識処理の結果と同じ文字を入力させる場合も含めて「確認訂正」と称することにする。なお、ここでいう「文字」というのは、厳密にいうと1又は複数の文字から成る文字列のことをいうが、説明の便宜上、本実施の形態では、単に「文字」と称することもある。
第1確認訂正者用クライアント1は、帳票への記載内容を確認訂正するユーザ(第1確認訂正者)によって使用されるクライアントコンピュータである。第2確認訂正者用クライアント2は、帳票への記載内容を確認訂正するユーザ(第2確認訂正者)によって使用されるクライアントコンピュータである。承認者用クライアント3は、文字認識処理の結果(文字認識結果)、ユーザにより訂正入力がされていた場合にはその入力された内容を見て、文字認識対象に対する文字認識結果の最終的な確認を行うユーザ(承認者)によって使用されるクライアントコンピュータである。第1確認訂正者、第2確認訂正者及び承認者のうち第1確認訂正者と第2確認訂正者は、少なくとも異なる人物である。
なお、本実施の形態では、第1確認訂正者用クライアント1と第2確認訂正者用クライアント2を相互に区別する必要はない場合は、「確認訂正者用クライアント」と総称する。同様に、第1確認訂正者と第2確認訂正者を相互に区別する必要はない場合は、「確認訂正者」と総称する。また、第1確認訂正者は、第1確認訂正者用クライアント1に表示される第1確認訂正用画面から文字認識対象の確認訂正を行い、第2確認訂正者は、第2確認訂正者用クライアント2に表示される第2確認訂正用画面から文字認識対象の確認訂正を行うが、第1確認訂正用画面と第2確認訂正用画面を相互に区別する必要はない場合は、「確認訂正用画面」と総称する。
本実施の形態における情報処理システムでは、2人の確認訂正者に帳票の確認訂正をさせるようにしている。いわゆるダブルエントリーといって帳票を2人体制でチェックする。また、後述するように、条件によっては1人のみで帳票の確認訂正をさせる場合もある。なお、確認訂正者の数は2人に限る必要はなくそれ以上の人数がいてもよい。
本実施の形態では、各コンピュータ1~3,10を接続するネットワーク4としてLANを想定しているが、例えばインターネットを利用して外部にあるクライアント1,2を接続するよう構成してもよい。
情報処理装置10は、各クライアント1~3と連携して、帳票の項目の入力欄に手書き入力された文字の正しい認識結果を得るために全体的な制御を行うコンピュータである。図2は、本実施の形態における情報処理装置10を形成するコンピュータのハードウェア構成図である。本実施の形態における情報処理装置10は、パーソナルコンピュータ(PC)等の従前から存在する汎用的なハードウェア構成で実現できる。すなわち、情報処理装置10は、図2に示すCPU21、ROM22、RAM23、ハードディスクドライブ(HDD)24、ネットワーク4を接続し、各クライアント1~3との間でデータ通信を行うためのネットワークコントローラ25を内部バス26に接続して構成される。また、必要により、ユーザインタフェースとしてマウス27、キーボード28及びディスプレイ29をそれぞれ接続する入出力コントローラ30を内部バス26に接続して構成してもよい。
各クライアント1~3も情報処理装置10と同じコンピュータであることから、図2に示すハードウェア構成を有している。
図1に戻り、本実施の形態における情報処理装置10は、帳票画像取得部11、認識処理部12、画面生成処理部13、確認訂正処理制御部14、最終確認処理制御部15及び最終結果出力部16を有している。
帳票画像取得部11は、処理対象とする帳票の画像を取得する。認識処理部12は、取得された帳票画像に含まれる文字認識対象(帳票の項目の記入欄に手書き入力された文字)に対して文字認識処理を実行することで得られる文字認識結果(文字を示すテキストコード)と認識確度との組を出力する。認識処理部12は、文字認識処理として、例えば文字認識対象となる文字の読取画像(入力画像データ)に対して公知のOCR(光学文字認識)処理を行い、これにより入力画像データ内に含まれる文字(文字列)を認識する。「認識確度」は、文字認識結果(以下、単に「認識結果」ともいう)のテキストコードがその入力画像データに含まれる文字列(手書きの場合もある)を正しく表している確からしさを示す度合いである。認識確度が高いほど、認識結果のテキストコードが正解である(すなわち入力画像データ中の文字を正しく表している)可能性が高い。認識確度は、既存の文字認識技術を用いて算出してもよい。
画面生成処理部13は、認識処理部12による認識結果を確認訂正させるための確認訂正用画面を生成する。また、文字認識対象に対する認識結果の最終的な確認を承認者にさせるための最終確認用画面を生成する。確認訂正処理制御部14は、確認訂正処理の全体制御を行う。例えば、認識処理部12が出力する認識結果と認識確度の組を取得すると、確認訂正処理制御部14は、認識確度に応じて確認訂正者用クライアント1,2に表示される確認訂正用画面を画面生成処理部13に生成させると共に、生成された確認訂正用画面の表示制御を行う。最終確認処理制御部15は、文字認識対象に対する認識結果の最終的な確認を承認者にさせるための処理を実行する。最終結果出力部16は、帳票画像取得部11が取得した帳票画像に含まれる各文字認識対象の最終的な認識結果を出力する。
情報処理装置10における各構成要素11~16は、情報処理装置10を形成するコンピュータと、コンピュータに搭載されたCPU21で動作するプログラムとの協調動作により実現される。
また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、CD-ROMやUSBメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのCPU21がプログラムを順次実行することで各種処理が実現される。
本実施の形態における情報処理システムでは、帳票を2人体制で確認訂正できるようにしている。但し、本実施の形態においては、認識処理部12による認識結果(1つの文字認識対象に対する認識結果)を、2人の確認訂正者に確認訂正せる場合、1人の確認訂正者のみに確認訂正させる場合、あるいは確認訂正者による確認訂正を不要とする場合と、認識確度に応じて当該認識結果に対して確認訂正を行う確認訂正者の人数を決定している。この3つのパターンの中では、認識処理部12による認識結果を2人の確認訂正者で確認訂正を行うのが最終的な文字認識結果の精度(正解率)が最も高いと考えられる。しかしながら、常に2人体制で確認訂正を行うと、1人体制で行う場合に比して人的コストがかかるし、確認訂正者における作業量を軽減できない。確認訂正に要する時間も長くなる。
そこで、本実施の形態においては、1つの帳票に対して1つのフォーム形式の確認訂正用画面を生成するものの、各確認訂正者が使用する確認訂正用画面においては当該確認訂正者が確認訂正対象とする文字認識対象に対してのみ訂正入力できるようにした。
以下、本実施の形態において帳票に対して実施する確認訂正処理について図3に示すフローチャートを用いて説明する。
帳票画像取得部11は、外部から送られてきた帳票の画像を受け付ける(ステップ101)。続いて、認識処理部12は、取得された帳票画像から抽出対象の項目の領域に記載されている文字の読取画像(以下、「文字画像」)を切り出す(ステップ102)。抽出対象となる項目の領域は、通常、帳票設計時などで定義される。このようにして切り出された文字画像が文字認識対象となる。続いて、認識処理部12は、文字画像に対して文字認識処理を実行することで各文字画像の認識結果及び認識確度を取得する(ステップ103)。
続いて、確認訂正処理制御部14は、変数Nを0に初期化し(ステップ104)、その後、Nを1ずつインクリメントすることになるが(ステップ107)、Nがステップ102において切り出した文字画像の数に達するまで(ステップ105でY)、確認訂正処理者数決定処理を繰り返し実行する(ステップ106)。以下、本実施の形態における確認訂正処理者数決定処理について図4に示すフローチャートを用いて説明する。
確認訂正処理者数決定処理は、処理対象の文字画像(文字認識対象)の確認訂正に要する確認訂正者の数を決定する処理である。そのために、確認訂正処理制御部14は、各文字画像の認識結果及び認識確度の組を認識処理部12から順次取得することになるが(ステップ1061)、このうち取得した認識確度に基づき当該文字画像に対する確認訂正者の数を決定する。すなわち、前述した3つのパターン(確認訂正者の数が0,1又は2)のいずれかであるかを決定するために、本実施の形態では、2種類の閾値A,Bを用意している。閾値A(第1閾値)には、認識処理部12による当該文字画像に対する認識結果が信頼できると判断するための値が設定される。例えば、認識確度が閾値A以上である場合(ステップ1062で“認識確度≧A”)、認識処理部12は文字認識対象を正しく文字認識していることから認識処理部12による認識結果は信頼できると判断し、当該認識結果に対する確認訂正者による確認訂正は不要と判定する(ステップ1063)。例えば、閾値Aに90%と設定する。
閾値B(第2閾値)には、認識処理部12による当該文字画像に対する認識結果が信頼できないと判断するための値が設定される。例えば、認識確度が閾値B未満である場合(ステップ1062で“認識確度<B”)、認識処理部12は文字認識対象を正しく文字認識している可能性が低いと自ら認めていることから認識処理部12による認識結果は信頼できないと判断し、当該認識結果に対して2人の確認訂正者が必要と判定する(ステップ1064)。例えば、閾値Bに50%と設定する。
以上のように、本実施の形態では、認識処理部12による当該文字画像の認識結果が信頼できるか否かを示す2種類の閾値を設定するが、この閾値A,Bの間、すなわち認識確度が閾値B以上閾値A未満である場合(ステップ1062で“B≦認識確度<A”)、認識処理部12による認識結果はあまり信頼できないものの認識確度が閾値B未満である場合より信頼できると判断し、当該認識結果に対して1人の確認訂正者が必要と判定する(ステップ1065)。
以上のようにして、各文字画像(文字認識対象)に対して必要な確認訂正者の数が決定されると(ステップ105でN)、確認訂正処理制御部14は、帳票画像に対して必要な確認訂正者の数を決定する(ステップ108)。すなわち、少なくとも1つの文字画像の認識結果に対し2人の確認訂正者が必要と判定されている場合、確認訂正者数は2と決定する。全ての文字画像の認識結果に対し確認訂正者は不要と判定されている場合、確認訂正者数は0と決定する。それ以外の、2人の確認訂正者が必要と判定された文字画像の認識結果はなく、かつ全ての文字画像の認識結果に対し確認訂正者は不要と判定されていない場合、確認訂正者数は1と決定する。
確認訂正者数が0の場合(ステップ109で“0”)、認識処理部12による全ての文字画像に対する認識結果は信頼できるので、確認訂正処理制御部14は、第1及び第2の各確認訂正用画面を表示させないように制御する。そして、最終結果出力部16は、承認者による最終確認を受けることなく、認識処理部12による認識結果を最終的な認識結果として出力する(ステップ117)。最終結果出力部16における出力先は、特に限定する必要はない。例えば、帳票画像の提供元、印刷装置、HDD24等の記憶手段、ネットワーク4を介して接続されているコンピュータ等でよい。
なお、本実施の形態では、承認者による最終確認を受けないように処理するが、認識確度は90%以上であるものの全てが100%であるとは限らない。従って、承認者による確認処理(ステップ116)を受けるようにしてもよい。
確認訂正者数が1の場合(ステップ109で“1”)、確認訂正処理制御部14は、第1確認訂正者のみに確認訂正させるために第1確認訂正用画面を画面生成処理部13に生成させる(ステップ110)。そして、確認訂正処理制御部14は、第1確認訂正者に確認訂正を依頼する(ステップ111)。依頼の方法は、特に限定する必要はなく、例えば電子メールや専用のアプリケーション等を利用して第1確認訂正者用クライアント1に通知するようにしてもよい。この場合、確認訂正処理制御部14は、第2の確認訂正用画面を表示させないように制御する。
確認訂正者数が2の場合(ステップ109で“2”)、確認訂正処理制御部14は、第1及び第2の各確認訂正者に確認訂正させるために第1及び第2の各確認訂正用画面を画面生成処理部13に生成させる(ステップ112)。そして、確認訂正処理制御部14は、第1及び第2の各確認訂正者に確認訂正を依頼する(ステップ113)。この場合、確認訂正処理制御部14は、第1及び第2の各確認訂正用画面を表示させるように制御する。
図5は、本実施の形態における第1確認訂正用画面の一例を示す図である。また、図6は、本実施の形態における第2確認訂正用画面の一例を示す図である。図5,6は、確認訂正者が2人と判定された場合に生成される確認訂正用画面であり、1つの帳票を2人の確認訂正者で確認訂正を行うダブルエントリー用の確認訂正用画面である。確認訂正用画面は、確認訂正処理制御部14による表示制御のもとに各クライアント1,2に表示される。ウェブページにて生成されてもよい。
確認訂正用画面は、図5,6に例示するように1つの帳票に対して共通のフォームにて形成されるが、確認訂正対象となる認識結果が異なってくるため第1の確認訂正用画面と第2の確認訂正用画面の表示内容は一致しない。確認訂正用画面には、帳票画像取得部11が取得した帳票画像31と、確認訂正作業を行うための作業用テーブル32との各表示領域が形成される。帳票画像31の表示領域には、帳票画像の取得時に合わせて取得された帳票画像を識別する識別情報(帳票ID)が合わせて表示される。作業用テーブル32は、項目名、文字画像/認識結果、認識確度の各項目が対応付けられている。また、作業用テーブル32には、帳票に含まれる項目毎に表示領域が設定される。
項目名は、帳票に含まれる項目であって、帳票上文字が手入力される記入欄が対応付けられている項目の名称である。文字画像/認識結果には、文字画像と認識結果が表示される。文字画像33は、帳票上の当該項目に対応する記入欄に手入力された文字の読取画像である。認識結果は、当該文字画像の認識処理部12による文字認識結果であるが、図5,6では表示させていない。文字画像/認識結果には、更に、文字画像に対応させて確認訂正者により訂正内容を入力させる入力欄34が表示される。認識確度は、認識処理部12による認識結果に対する認識確度である。
図5,6において、認識確度が閾値A(90%)以上の場合、認識処理部12による認識結果は信頼できるので確認訂正者による訂正は不要とする。このために、認識確度が95%の項目「氏名1」に対応させて入力欄34は表示されない。このため、確認訂正者は、当該項目に対する確認訂正作業は不要と認識できる。
閾値B(50%)≦認識確度<閾値A(90%)の場合、1人の確認訂正者のみによる確認訂正が必要である。そのため、その1人の確認訂正者に該当する第1確認訂正者が使用する第1確認訂正用画面には、認識確度が75%である項目「生年月日1」に対応させて入力欄34は表示される。このため、第1確認訂正者は、当該項目が確認訂正対象と認識できる。これに対し、第2確認訂正用画面には入力欄34は表示されない。このため、第2確認訂正者は、当該項目に対する確認訂正作業は不要と認識できる。
認識確度<閾値B(50%)の場合、2人の確認訂正者による確認訂正が必要である。そのため、第1及び第2の各確認訂正者が使用する第1及び第2の各確認訂正用画面の双方には、認識確度が40%、45%である項目「氏名2」、「生年月日2」に対応させて入力欄34は表示される。このため、各確認訂正者共に当該項目が確認訂正対象と認識できる。
図5,6に示す確認訂正用画面の例によると、帳票IDが001の帳票に対し、第1確認訂正者は、項目「生年月日1」、「氏名2」、「生年月日2」が確認訂正対象であることがわかる。項目「氏名1」は確認訂正対象外であることから確認訂正作業を省略できる。一方、第2確認訂正者は、項目「氏名2」、「生年月日2」が確認訂正対象であることがわかる。項目「氏名1」、「生年月日1」は確認訂正対象外であることから確認訂正作業を省略できる。
本実施の形態においては、以上説明したように確認訂正者が確認訂正を要する項目の文字画像に対応させて入力欄34が表示されるよう確認訂正用画面を生成し、確認訂正処理制御部14は、各クライアント1,2に対して確認訂正用画面の表示制御を行う。
確認訂正者は、確認訂正用画面の文字画像33を見て記載されている文字を認識し、その認識した文字を入力欄34に入力する。このように、図5,6に示す確認訂正用画面を用いた確認訂正作業では、認識処理部12による認識結果を確認することなく入力が要求される。
なお、確認訂正者が作業用テーブル32内において項目行を選択すると、その項目行の表示形態を他の項目行と異ならせて選択されたことを視認しやすくしてもよい。例えば、図5おける項目行「氏名1」に例示するように背景色を付けたり、ハイライト表示してもよい。また、帳票画像上において、選択された項目行の項目に該当する項目の表示形態を他の項目と異ならせることによって、確認訂正者がどの項目を確認訂正作業の対象としているかが視認しやすくしてもよい。例えば、図5に例示するように囲み線(破線)を付けたり、該当する項目の枠を強調表示したりしてもよい。
その他にも、認識確度がどの範囲(認識確度<B、B≦認識確度<A、A≦認識確度)に入るかが視認しやすいように認識確度(の値)に応じて作業用テーブル32内における項目行若しくは認識確度(項目欄)を異なる表示形態にて表示させてもよい。例えば認識確度(の値)毎に予め設定されている色で項目行若しくは認識確度(項目欄)を塗りつぶしてもよい。あるいは、認識確度(文字)部分のみを塗りつぶしてもよい。
また、本実施の形態では、作業用テーブル32に表示する項目数が多い場合、画面内に全ての項目を表示できない可能性が生じてくる。この場合、選択ボタン35を操作して、例えば所望の範囲の認識確度を選択的に表示させるようにしてもよい。
確認訂正者は、確認すべき文字画像に対応する全ての入力欄34に入力すると、画面下方の確定ボタン36を選択して作業終了を情報処理装置10に通知する。全ての入力欄34に文字が入力されていないと、確定ボタン36が選択できないように制御してもよい。あるいは、未入力項目がある場合には確認ダイアログを表示させるようにしてもよい。
全ての確認訂正者が確定ボタン36を選択することで全ての確認訂正者による確認訂正作業が終了したことを認識すると、確認訂正処理制御部14は、各クライアント1,2から入力欄34に入力されている認識結果を取得する(ステップ114)。なお、認識処理部12による認識結果との違いを明確にするために、確認訂正者が入力欄34に入力されている認識結果を「作業結果」と称することにする。
確認訂正者による確認訂正作業が終了すると、最終確認処理制御部15は、文字画像、認識処理部12による認識結果、確認訂正処理制御部14が取得した確認訂正者による作業結果を表示する最終確認用画面を画面生成処理部13に生成させる(ステップ115)。そして、最終確認処理制御部15は、文字画像に対する認識文字の最終確認を承認者に依頼する(ステップ116)。依頼の方法は、特に限定する必要はなく、例えば電子メールや専用のアプリケーション等を利用して承認者用クライアント3に通知するようにしてもよい。
承認者は、文字画像と、認識処理部12による認識結果、確認訂正者による作業結果を照合して、正しい文字画像の認識結果を最終的に確認する。この際、承認者は、必要により認識結果を訂正してもよい。
以上のようにして承認者による最終確認が終了すると、最終結果出力部16は、承認者による最終確認の結果を最終的な認識結果として出力する(ステップ117)。
以上がダブルエントリーの場合であるが、確認訂正者数が1の場合、すなわち1つの帳票を1人の確認訂正者のみで確認訂正を行うシングルエントリーの場合も図5,6に例示したような確認訂正用画面を第1確認訂正者用に生成して、画面の表示制御を行うことになる。
以下、確認訂正用画面の変形例について説明する。
図7は、本実施の形態における第1確認訂正用画面の他の例を示す図である。また、図8は、本実施の形態における第2確認訂正用画面の他の例を示す図である。図5,6と異なる点は、各項目行の文字画像/認識結果の欄に、当該文字画像33の認識処理部12による認識結果37を表示させたことである。図5,6に示す確認訂正用画面では、認識処理部12による認識結果の正誤に関係なく確認訂正者に入力させるようにしたので、認識処理部12による認識結果に影響されることなく入力させるために認識結果を表示しないようにした。これに対し、図7,8に示す確認訂正用画面を用いると、確認訂正者は、文字画像33及び認識結果37を参照して入力欄34に入力することが可能となる。
また、図7,8に示す確認訂正用画面を用いた場合、確認訂正者は、認識処理部12による認識結果37が正しいと判断した場合、入力欄34への入力を省略できるようにしてもよい。すなわち、図5,6に示す確認訂正用画面では、文字が入力されていない入力欄34があれば、確定ボタン36を選択できないようにしたが、図7,8に示す確認訂正用画面では、入力欄34に文字が入力されていなくても確定ボタン36を選択できるようにした。入力が省略されている場合、確認訂正処理制御部14は、確認訂正者は認識処理部12による認識結果37と同じ内容を作業結果として入力したものとみなす。
図9は、本実施の形態における第2確認訂正用画面の他の例を示す図である。図6と異なる点は、「生年月日2」における文字画像/認識結果の欄に入力欄を表示させないようにしたことである。
図3におけるステップ112,113では、第1確認訂正者及び第2確認訂正者に対して、同時並行して確認訂正用画面を生成し、確認訂正を依頼するように説明した。ただ、必ずしも同時並行して処理させる必要はなく、どちらかを先に処理対象としてもよい。例えば、第1確認訂正者に対して先に依頼をし、第1確認訂正者から作業結果を受けたとする。ここで、認識処理部12による認識結果と第1確認訂正者による作業結果が一致している場合、認識処理部12による認識結果は、認識確度が閾値A以上ある場合と同様に、正しい確率が極めて高いといえる。この場合、第2確認訂正者による当該項目の確認訂正作業を省略させるために入力欄を表示させないように第2確認訂正用画面を生成し、確認訂正を依頼する。このように、当該項目を第2確認訂正者による確認訂正対象外としたことにより、第2確認訂正者における作業効率を向上させることが可能となる。
なお、図8のように、該当する項目行に認識処理部12による認識結果(第1確認訂正者による作業結果)37を表示させるようにしてもよい。
図10は、本実施の形態における第1確認訂正用画面の他の例を示す図である。図5と異なる点は、作業用テーブル32に対し、コメント欄38及び確認フラグ欄39を追加したことである。コメント欄38には、項目行毎にコメントを記入するためのコメント領域40が設けられている。また、確認フラグ欄39には、項目行毎にチェックボックス41が設けられている。
第1確認訂正者が帳票上の項目や当該項目の文字画像等に対して何らかのコメントをしたい場合、当該項目のコメント領域40にコメントを書き込む。また、項目行に対する確認訂正作業が終了した旨を第1確認訂正者に入力させるために、作業が終了した項目に対応するチェックボックス41にチェックを入れさせる。全ての項目のチェックボックス41にチェックがされてはじめて確定ボタン36が選択できるようになる。
なお、作業用テーブル32に含まれる項目数が多いと、全ての項目のチェックボックス41にチェックをさせると作業効率が悪化するかもしれないので、確認フラグ欄39の先頭に設けられているチェックボックス42にチェックを入れることで、全ての項目のチェックボックス41がチェックされたこととしてもよい。
また、コメント欄38は、各項目に対するコメントを記入させるために設けられているが、複数の項目に該当するコメントが記入できるようにコメント欄43を第1確認訂正用画面に設けている。
なお、図10を用いて第1確認訂正用画面に対する変形例を説明したが、第2確認訂正用画面に対しても適用可能である。
また、確認訂正用画面の変形例について図面を用いて説明しないが、その他にも作業用テーブル32に表示する項目数が多い場合、画面内に全ての項目を表示できない可能性が生じてくるので、確認訂正対象外とする帳票上の項目に関しては、作業用テーブル32に表示させないようにしてもよい。例えば、図6に示す第2確認訂正用画面においては、項目「氏名1」、「生年月日1」を表示させないようにする。
本実施の形態においては、複数の確認訂正者により重複して確認訂正させるダブルエントリーを想定して説明したが、ダブルエントリーに限る必要はない。例えば、帳票に含まれる7項目のうち項目1~4は第1確認訂正者に、項目5~7は第2確認訂正者に、それぞれ確認訂正させるような場合にも適用可能である。この場合、第1確認訂正用画面には、項目5~7に対応させて入力欄を表示させない、すなわち訂正させないようにする。一方、第2確認訂正用画面には、項目1~4に対応させて入力欄を表示させない、すなわち訂正させないようにする。このように、帳票に含まれる項目を分割させて確認訂正させる場合にも適用可能である。
また、本実施の形態においては、確認訂正者が確認訂正対象とする文字画像に対してのみ作業結果(文字画像の認識結果)を入力させることができるよう確認訂正用画面を生成、表示するようにした。上記説明では、確認訂正用画面に入力欄を設けないことによって訂正不要な文字認識結果を訂正させないようにしたが、この入力制御に限る必要はない。例えば、第1及び第2の各確認訂正用画面を共通化し、各項目行に入力欄を表示する。そして、確認訂正処理制御部14は、訂正不要な文字認識結果に対して訂正入力された内容を破棄するなど受け付けないようにしてもよい。
1 第1確認訂正者用クライアント、2 第2確認訂正者用クライアント、3 承認者用クライアント、4 ネットワーク、10 情報処理装置、11 帳票画像取得部、12 認識処理部、13 画面生成処理部、14 確認訂正処理制御部、15 最終確認処理制御部、16 最終結果出力部、21 CPU、22 ROM、23 RAM、24 ハードディスクドライブ(HDD)、25 ネットワークコントローラ、26 内部バス、27 マウス、28 キーボード、29 ディスプレイ、30 入出力コントローラ、31 帳票画像、32 作業用テーブル、33 文字画像、34 入力欄、35 選択ボタン、36 確定ボタン、37 認識結果、38,43 コメント欄、39 確認フラグ欄、40 コメント領域、41,42 チェックボックス。

Claims (15)

  1. 文書に含まれている複数の項目に対する文字認識結果及び各文字認識結果の認識確度を取得する取得手段と、
    認訂正対象となる文字認識結果第1及び第2の確認訂正者がそれぞれ利用する文字認識結果の確認訂正用画面を、文字認識結果の認識確度に応じて表示制御する制御手段と、
    を有することを特徴とする情報処理装置。
  2. 前記制御手段は、
    認識確度が第1閾値以上の文字認識結果に対する訂正を受け付けず、認識確度が第1閾値未満の文字認識結果に対する訂正を受け付けるように第1の確認訂正者が利用する第1の確認訂正用画面からの入力制御を行い、
    認識確度が第1閾値より小さい第2閾値以上の文字認識結果に対する訂正を受け付けず、認識確度が第2閾値未満の文字認識結果に対する訂正を受け付けるように第2の確認訂正者が利用する第2の確認訂正用画面からの入力制御を行うことを特徴とする請求項1に記載の情報処理装置。
  3. 前記取得手段は、更に前記複数の項目に記された文字の読取画像を取得し、
    前記制御手段は、各確認訂正用画面に各項目の読取画像を表示させる共に、
    前記第1の確認訂正用画面には、第1の確認訂正者の確認訂正対象となる文字認識結果に対応する読取画像に対応させて当該文字認識結果の訂正内容を第1の確認訂正者に入力させるための入力欄を表示させ、
    前記第2の確認訂正用画面には、第2の確認訂正者の確認訂正対象となる文字認識結果に対応する読取画像に対応させて当該文字認識結果の訂正内容を第2の確認訂正者に入力させるための入力欄を表示させることを特徴とする請求項2に記載の情報処理装置。
  4. 前記制御手段は、
    前記第1の確認訂正用画面には、第1の確認訂正者の確認訂正対象とならない文字認識結果に対応する読取画像に対応させて前記入力欄を表示させず、
    前記第2の確認訂正用画面には、第2の確認訂正者の確認訂正対象とならない文字認識結果に対応する読取画像に対応させて前記入力欄を表示させないことを特徴とする請求項3に記載の情報処理装置。
  5. 前記制御手段は、
    第1の確認訂正者に確認訂正対象となる文字認識結果がない場合、前記第1の確認訂正用画面を表示させないよう制御し、
    第2の確認訂正者に確認訂正対象となる文字認識結果がない場合、前記第2の確認訂正用画面を表示させないよう制御することを特徴とする請求項2に記載の情報処理装置。
  6. 前記制御手段は、第1の確認訂正者による前記第1の確認訂正用画面からの入力を受け付けた後に前記第2の確認訂正用画面を表示させる場合において、文字認識結果に対する第1の確認訂正者により入力された訂正内容が当該文字認識結果と合致する場合、当該文字認識結果を第2の確認訂正者による確認訂正対象外とすることを特徴とする請求項2に記載の情報処理装置。
  7. 前記各確認訂正用画面には、前記項目毎に表示領域が設定されており、
    前記制御手段は、文字認識結果の認識確度に応じて各項目の表示領域の表示を制御することを特徴とする請求項1に記載の情報処理装置。
  8. 前記取得手段は、更に前記複数の項目に記された文字の読取画像を取得し、
    前記制御手段は、前記各表示領域に当該項目の読取画像を表示させると共に、各確認訂正用画面において当該確認訂正者の訂正対象となる文字認識結果に対応する読取画像に対応させて当該文字認識結果の訂正内容を入力させるための入力欄を表示させることを特徴とする請求項7に記載の情報処理装置。
  9. 前記制御手段は、各確認訂正用画面において当該確認訂正者が訂正対象としない文字認識結果に対応する読取画像に対応させて前記入力欄を表示させないことを特徴とする請求項8に記載の情報処理装置。
  10. 前記制御手段は、読取画像に対応させて当該文字認識結果を表示させることを特徴とする請求項8に記載の情報処理装置。
  11. 前記制御手段は、確認訂正者による前記入力欄の入力を省略可能とすることを特徴とする請求項10に記載の情報処理装置。
  12. 前記制御手段は、各確認訂正用画面において当該確認訂正者が訂正対象としない文字認識結果に対応する項目の表示領域を表示させないことを特徴とする請求項7に記載の情報処理装置。
  13. 前記各項目の表示領域には、コメント欄が設けられていることを特徴とする請求項7に記載の情報処理装置。
  14. 前記各項目の表示領域には、確認訂正者が当該項目に対する確認訂正作業が終了した旨を入力させるチェック欄が設けられていることを特徴とする請求項7に記載の情報処理装置。
  15. コンピュータを、
    文書に含まれている複数の項目に対する文字認識結果及び各文字認識結果の認識確度を取得する取得手段、
    認訂正対象となる文字認識結果第1及び第2の確認訂正者がそれぞれ利用する文字認識結果の確認訂正用画面を、文字認識結果の認識確度に応じて表示制御する制御手段、
    として機能させるためのプログラム。
JP2018172454A 2018-09-14 2018-09-14 情報処理装置及びプログラム Active JP7243097B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018172454A JP7243097B2 (ja) 2018-09-14 2018-09-14 情報処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018172454A JP7243097B2 (ja) 2018-09-14 2018-09-14 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2020046721A JP2020046721A (ja) 2020-03-26
JP7243097B2 true JP7243097B2 (ja) 2023-03-22

Family

ID=69901275

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018172454A Active JP7243097B2 (ja) 2018-09-14 2018-09-14 情報処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP7243097B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308478A (ja) 2002-04-12 2003-10-31 Canon Sales Co Inc 帳票認識装置、記憶媒体、及びプログラム
JP2016212812A (ja) 2015-05-14 2016-12-15 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06131493A (ja) * 1992-10-22 1994-05-13 Matsushita Electric Ind Co Ltd 文字認識装置及び文字認識方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308478A (ja) 2002-04-12 2003-10-31 Canon Sales Co Inc 帳票認識装置、記憶媒体、及びプログラム
JP2016212812A (ja) 2015-05-14 2016-12-15 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
JP2020046721A (ja) 2020-03-26

Similar Documents

Publication Publication Date Title
US20200089987A1 (en) Video capture in data capture scenario
JP4504702B2 (ja) 文書処理装置、文書処理方法、および文書処理プログラム
US9275307B2 (en) Method and system for automatic selection of one or more image processing algorithm
JP6528147B2 (ja) 会計データ入力支援システム、方法およびプログラム
US8041139B2 (en) Method and apparatus for calculating the background color of an image
RU2634194C1 (ru) Верификация результатов оптического распознавания символов
US20090196501A1 (en) Method and Apparatus for Modifying the Histogram of an Image
US11227154B2 (en) Ledger recognition system
US11321559B2 (en) Document structure identification using post-processing error correction
JP4694613B2 (ja) 原稿方向判定装置、原稿方向判定方法、プログラムおよびその記録媒体
EP3555809B1 (en) Digitized handwriting sample ingestion systems and methods
CN112509661B (zh) 用于识别体检报告的方法、计算设备和介质
CN111783761A (zh) 证件文本的检测方法、装置及电子设备
CN113568965A (zh) 一种结构化信息的提取方法、装置、电子设备及存储介质
JP7243409B2 (ja) 情報処理装置及びプログラム
JP2010061471A (ja) 文字認識装置およびプログラム
JP7243097B2 (ja) 情報処理装置及びプログラム
JP2020087112A (ja) 帳票処理装置および帳票処理方法
US20220207900A1 (en) Information processing apparatus, information processing method, and storage medium
JP7234554B2 (ja) 情報処理装置及びプログラム
US20150019436A1 (en) Methods and systems for processing electronic documents
US11335108B2 (en) System and method to recognise characters from an image
US20210019554A1 (en) Information processing device and information processing method
JP7268316B2 (ja) 情報処理装置及びプログラム
JP5213338B2 (ja) 文字認識装置、文字認識方法、コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230220

R150 Certificate of patent or registration of utility model

Ref document number: 7243097

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150