JP7338230B2 - 情報処理装置、及び情報処理プログラム - Google Patents

情報処理装置、及び情報処理プログラム Download PDF

Info

Publication number
JP7338230B2
JP7338230B2 JP2019090904A JP2019090904A JP7338230B2 JP 7338230 B2 JP7338230 B2 JP 7338230B2 JP 2019090904 A JP2019090904 A JP 2019090904A JP 2019090904 A JP2019090904 A JP 2019090904A JP 7338230 B2 JP7338230 B2 JP 7338230B2
Authority
JP
Japan
Prior art keywords
confirmation
item
correction
product
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019090904A
Other languages
English (en)
Other versions
JP2020187493A (ja
Inventor
千尋 河邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2019090904A priority Critical patent/JP7338230B2/ja
Priority to US16/659,676 priority patent/US11210506B2/en
Publication of JP2020187493A publication Critical patent/JP2020187493A/ja
Application granted granted Critical
Publication of JP7338230B2 publication Critical patent/JP7338230B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Description

本発明は、情報処理装置、及び情報処理プログラムに関する。
読み取った帳票の文字認識結果をユーザが確認し、必要があるならば訂正した上で、その確認訂正結果を、帳票の文字認識結果として出力するシステムがある。
情報処理装置が読み取る帳票には様々な形式が存在するが、帳票内の第1項目と第2項目が依存関係にあるものがある。例えば予め単価が決められている商品に対して、購入する数量を記入する記入欄と、記入した数量の商品の購入に必要となる合計金額を記入する記入欄を含む商品の発注表における商品の数量と商品の合計金額は、一方の内容によって他方が変化するため依存関係にあると言える。
例えば、特許文献1には、帳票において計算式の変数に該当する項目の文字認識結果を用いて演算を行った演算結果と、演算結果に対応する項目の文字認識結果を比較し、比較結果が異なる場合には、当該項目の該当箇所の背景色を変化させる帳票データ入力処理装置が開示されている。
特開2005-18678号公報
しかし、変数に該当する項目の文字認識結果は、ユーザによる確認訂正が完了していないため、変数に該当する項目の文字認識結果が誤っている可能性がある。誤っている可能性がある文字認識結果を用いて演算を行い、演算結果と演算結果に対応する項目の文字認識結果を比較した場合、演算に用いた変数に該当する項目の文字認識結果が間違っているのか、演算結果値に対応する項目の文字認識結果が間違っているのかを判別することが困難になる。
このような場合、帳票の確認訂正を行う確認担当者は、何れの項目の文字認識結果が間違っているのか把握し辛くなり、確認訂正作業が煩わしくなってしまう。
本発明では、依存関係にある第1項目と第2項目を含む帳票の文字認識を行う情報処理装置において、第1項目の確認訂正結果を用いることなく、第2項目の文字認識結果の整合性をユーザに示す場合と比較して、ユーザが依存関係にある第1項目と第2項目の文字認識結果を確認訂正するのに要する手間を削減することができる情報処理装置及び情報処理プログラムを提供することを目的とする。
第1態様に係る情報処理装置は、特定の依存関係にある第1項目と第2項目を含む帳票において、前記第1項目の文字認識結果である、第1文字認識結果を表示する制御を行う第1表示制御部と、前記第1文字認識結果に対する確認訂正結果を受け付ける受付部と、前記確認訂正結果と、前記第2項目の文字認識結果である第2文字認識結果が前記依存関係を満たさない場合、その旨を表示する制御を行う第2表示制御部と、を備える。
第2態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記第2表示制御部が、前記第2文字認識結果の確信度に応じて、前記依存関係を満たさない原因に関する示唆を表示する制御を行う。
第3態様に係る情報処理装置は、第2態様に係る情報処理装置において、前記第2表示制御部が、前記確信度が予め定めた基準値よりも高い場合、前記第2項目に対する記入内容に誤りがあるとの示唆を表示する制御を行う。
第4態様に係る情報処理装置は、第2態様に係る情報処理装置において、前記第2表示制御部が、前記確信度が予め定めた基準値以下の場合、前記第2文字認識結果に誤りがあるとの示唆を表示する制御を行う。
第5態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記第2表示制御部が、前記確認訂正結果と、前記第2文字認識結果が前記依存関係を満たさず、かつ、前記第2項目に対する記入が空欄である場合は、記入者の記入漏れであるとの示唆を表示する制御を行う。
第6態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記第2表示制御部が、前記第1文字認識結果から推定した、前記第2項目に対する記入内容を表示する制御を行う。
第7態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記依存関係が、前記第1項目が、前記第2項目を構成する計算式の変数であることを特徴とする。
第8態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記依存関係が、前記第1項目の記入内容ごとに、予め前記第2項目の記入内容が関連付けられていることを特徴とする。
第9態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記受付部が、前記第1項目と前記第2項目の指定をユーザから受け付け、前記受付部が受け付けた前記第1項目と前記第2項目に依存関係を設定する設定部を更に備える。
第10態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記第1文字認識結果に対する確認訂正結果をユーザから受け付けていない場合、前記第2文字認識結果に対する確認訂正を受け付けないように制御する受付制御部を更に備える。
第11態様に係る情報処理プログラムは、コンピュータを、第1態様~第10態様の何れかの態様に係る情報処理装置の各部として機能させるためのプログラムである。
第1態様、及び第11態様によれば、依存関係にある第1項目と第2項目を含む帳票の文字認識を行う情報処理装置において、第1項目の確認訂正結果を用いることなく、第2項目の文字認識結果の整合性をユーザに示す場合と比較して、ユーザが依存関係にある第1項目と第2項目の文字認識結果を確認訂正するのに要する手間を削減することができる、という効果を有する。
第2態様によれば、項目の依存関係が満たされない原因を示唆することができる、という効果を有する。
第3態様によれば、項目の依存関係が満たされない原因が、ユーザによる記入内容の誤りにあるとの示唆を行うことができる、という効果を有する。
第4態様によれば、項目の依存関係が満たされない原因が、OCR処理の認識結果の誤りにあるとの示唆を行うことができる、という効果を有する。
第5態様によれば、帳票に空欄が存在する場合、当該空欄が記入者の記入漏れによるものであるかを示唆することができる、という効果を有する。
第6態様によれば、内容が記入されていない項目に対して、推定される記入内容を表示することができる、という効果を有する。
第7態様によれば、第1項目の内容の確認訂正が完了すれば、第2項目に記入されるべき内容を確定することができる、という効果を有する。
第8態様によれば、第1項目の内容の確認訂正が完了すれば、第2項目に記入されるべき内容の範囲を確定することができる、という効果を有する。
第9態様によれば、依存関係を設定する項目を指定することができる、という効果を有する。
第10態様によれば、第1項目と第2項目の何れに記入内容の誤りがあるのか推定することができる、という効果を有する。
情報処理システムのシステム構成例を示す図である。 情報処理装置の機能構成例を示すブロック図である。 商品テーブルの一例を示す図である。 商品の番号を選択した場合に表示される帳票設計画面の一例を示す図である。 商品の価格を選択した場合に表示される帳票設計画面の一例を示す図である。 商品の数量を選択した場合に表示される帳票設計画面の一例を示す図である。 商品の合計金額を選択した場合に表示される帳票設計画面の一例を示す図である。 帳票定義データの一例を示す図である。 情報処理装置における電気系統の要部構成例を示す図である。 確認訂正処理の一例を示すフローチャートである。 商品の番号に対する確認訂正画面の一例を示す図である。 表示処理の一例を示すフローチャートである。 商品の数量に対する確認訂正画面の一例を示す図である。 確認訂正画面生成処理の一例を示すフローチャートである。 商品の合計金額に対する確認訂正画面の一例を示す図である。 指示受付処理の一例を示すフローチャートである。 詳細画面の一例を示す図である。 問診表に対する確認訂正画面の一例を示す図である。 問診表に対する確認訂正画面での示唆の一例を示す図である。
以下、本実施の形態について図面を参照しながら説明する。なお、機能が同じ構成要素及び処理には全図面を通して同じ符合を付与し、重複する説明を省略する。
図1は、帳票に関する処理を行う情報処理システム1のシステム構成例を示す図である。情報処理システム1は情報処理装置10及び画像形成装置20を含み、情報処理装置10と画像形成装置20は、例えば通信回線2で接続されている。
情報処理装置10は帳票の作成指示を受け付けると、受け付けた帳票のフォーマットや記入項目に従って、帳票の印刷、並びに、印刷した帳票に対してユーザが記入した内容の確認及び訂正に用いられる帳票定義データを作成する。また、情報処理装置10は帳票の印刷指示を受け付けると、作成した帳票定義データを用いて指定された帳票を画像形成装置20で用紙等の記録媒体に印刷させる。
ここで「帳票」とは、予め定められた書式に従って、特定の事柄についての情報が記録される書類であり、ユーザが内容を記入する記入欄が含まれる。ユーザによる記入欄への文字の記入方法は、手書きであってもプリンタ等を用いた印字であってもよい。帳票に記録される情報の内容に制約はなく、例えば商品の注文表、契約書、履歴書、問診表、及び各種アンケート等、ユーザが手書きで内容を記入する記入欄を含む様々な種類の書類が帳票に含まれる。ここでは商品の注文表を帳票の例にして、本実施の形態に係る情報処理装置10の動作について説明する。
画像形成装置20で印刷された帳票は帳票を必要とする各ユーザに配布され、帳票を受け取ったユーザは、配布された帳票に必要事項を手書きで記入して、帳票の配布元に返却する。
ユーザから返却された帳票の内容は、画像形成装置20によって光学的に読み取られ、帳票の内容を表す画像(以降、「帳票の画像」という)が生成される。
情報処理装置10は各々の帳票の画像を、例えば通信回線2を経由して画像形成装置20から受け付けると、各々の帳票の画像に対してOCR(Optical Character Recognition)処理を行い、帳票の画像から文字列を表す領域を特定する。そして、情報処理装置10は、特定した領域に含まれる文字列を認識して、帳票の画像に含まれる文字列を文字コードで表される文字列に変換すると共に、帳票における各々の文字列の記入位置を文字列と対応付けて記録する。
OCR処理は、文字列が存在すると推定される画像であれば文字コードに変換することから、ユーザが記入した手書きの文字だけでなく、帳票定義データに従って帳票に印刷された文字列も文字コードに変換される。なお、ここでいう「文字列」とは、1文字以上の文字の連なりを意味し、1文字であっても文字列と称する。
また、文字列は、文字列が記入された項目の内容を表していることから、「内容」ともいう。
OCR処理によって帳票の内容が100%正しく認識されることが好ましいが、実際には文字列のかすれ等により、帳票に記入されている内容が本来の内容と異なる誤った内容に認識されてしまうことがある。また、ユーザが帳票に数字の“1”を手書きで記入しようとしたところ、自分でも意識せず“2”と記入してしまったため、OCR処理では帳票の内容が正しく認識されたが(この場合“2”と認識)、そもそもユーザが帳票に誤った内容を記入したため、帳票に記入された他の領域の内容と辻褄が合わないような論理的矛盾が発生することがある。
したがって、帳票の確認担当者は、情報処理装置10でOCR処理が行われた帳票の内容を帳票毎に確認し、OCR処理が行われた帳票に、文字の誤認識が生じたと推定される内容や論理的矛盾が認められる内容が含まれる場合には、該当する内容の訂正を行う。これにより、OCR処理された帳票の内容を訂正しなかった場合よりもユーザの意図する意思が帳票に正しく反映されることになるため、帳票を利用した各種サービスがユーザの要望に沿って提供されることになる。
一方、画像形成装置20は、記録媒体に画像を形成する画像形成機能を備えており、通信回線2を経由して情報処理装置10から印刷指示に伴う帳票の印刷データを受け付けた場合、受け付けた印刷データに従って記録媒体に帳票を印刷する。画像形成装置20における印字方式はどのような方式であってもよく、例えば電子写真方式であってもインクジェット方式であってもよい。
また、画像形成装置20は、帳票に記入された内容を光学的に読み取るスキャン機能を用いて帳票の画像を生成し、生成した帳票の画像を、通信回線2を経由して情報処理装置10に送信する。
本実施の形態では、画像形成装置20が画像形成機能及びスキャン機能を備える例を示しているが、何れか一方の機能を有する画像形成装置20を用いてもよい。この場合、通信回線2には画像形成機能を備えた画像形成装置20と、スキャン機能を備えた画像形成装置20がそれぞれ接続される。また、画像形成機能及びスキャン機能を備えた情報処理装置10を用いてもよい。この場合、画像形成装置20は不要となる。
なお、情報処理システム1において、情報処理装置10と画像形成装置20は必ずしも通信回線2で接続されている必要はない。情報処理装置10と画像形成装置20が通信回線2で接続されていない場合、帳票の印刷データを例えばUSB(Universal Serial Bus)メモリ及びメモリカード等の半導体メモリに記憶し、帳票の印刷データが記憶された半導体メモリを画像形成装置20のメモリスロットに挿入することで、帳票の印刷データを画像形成装置20に入力すればよい。同様に、画像形成装置20で生成された帳票の画像を情報処理装置10へ受け渡す場合も、半導体メモリ等を介して行えばよい。
また、情報処理システム1における通信回線2は有線回線であっても無線回線であってもよく、有線回線と無線回線が混在した回線であってもよい。更に、通信回線2は専用回線であっても、インターネットのように不特定多数の装置と回線を共有する公衆回線であってもよい。
図2は、情報処理装置10の機能構成例を示すブロック図である。図2に示すように、情報処理装置10は、帳票設計部11、OCR処理部12、確認訂正制御部13、及びユーザインターフェース(User Interface:UI)部14の各機能部と、商品データDB(Database)15及び帳票定義データDB16を含む。
帳票設計部11は、帳票の設計担当者の指示に従って、ユーザに配布する帳票のフォーマット、及びフォーマットに従い帳票に配置されるオブジェクト毎の属性を記録した帳票定義データを生成し、生成した帳票定義データを帳票定義データDB16に記憶する。また、帳票設計部11は、帳票の設計担当者が選択した帳票定義データを帳票定義データDB16から読み込んで帳票の設計担当者に提示し、帳票定義データの更新を受け付ける。
ここで帳票における「オブジェクト」とは帳票を構成する部品の総称であり、帳票を構成する部品には、例えば文字、線、図、及び何らかの内容が記入される領域等が存在する。
帳票として商品の発注表を設計する例の場合、販売予定の商品は既に決定しているため、販売予定の商品に関する情報が商品データDB15で管理されている。
図3は、商品データDB15で管理される商品テーブル4の一例を示す図である。商品テーブル4には、例えば商品のID(Identification)、番号、品名、及び価格が商品毎に対応付けられて予め登録されている。
IDは、商品データDB15が各々の商品を識別するために一意に割り当てた識別情報であり、商品データDB15における主キーとなる。
番号はIDと異なり、帳票の設計担当者が商品を識別するために一意に割り当てた識別情報であり、帳票の設計担当者が帳票を設計する際に、商品を指定する情報として選択される。
品名は、番号で表された商品の品名を表す。また、価格は、番号で表された商品1つあたりの価格(単価)を表す。
帳票の設計担当者から帳票の設計指示を受け付けた帳票設計部11は、商品データDB15から商品テーブル4を取得して、帳票の設計担当者が設計した帳票のフォーマットの指定された領域に、指定された商品の情報を表示する。
図4は、帳票の設計担当者による帳票の設計時に、情報処理装置10の画面に表示される帳票設計画面30の一例を示す図である。
帳票設計画面30は大別して、帳票の設計担当者が設計した帳票の見た目のイメージを表示する帳票領域31と、帳票領域31に表示された設計中の帳票に備えられた各領域の属性を設定する属性設定領域32に分かれている。
領域の属性とは、帳票において何らかの内容が記入される領域が有する特徴のことであり、領域毎に属性が設定される。
帳票領域31に表示される商品の発注表には、例えば商品の番号、品名、価格、数量、及び合計金額の各項目が記入される領域が商品毎に設けられている。
図4における帳票設計画面30の属性設定領域32には、帳票領域31で選択された商品の番号が記入された領域(例えば“A001”と記入された領域)の属性の例が表示されている。
属性設定領域32の名前とは、選択された領域を識別するために設定される属性であり、例えば領域に記入する内容を表す文字列が設定される。図4の例の場合、商品の番号を表示する領域が選択されていることから、領域と関連付けられた商品の番号を用いて「A001番号」という名前が設定されている。
書式は、選択した領域における文字列の表示形態を設定する属性である。文字列の表示形態とは、例えば文字列の記入行数、文字の大きさ、文字の書体、及び文字の太さ等、文字列の視覚的特徴のことである。図4の例の場合、選択した領域の内容(具体的には商品の番号)を1行で表示する「1行文字列枠」が設定されている。なお、書式に文字の大きさ、書体、及び太さ等が設定されていない場合、予め定められた大きさ、書体、及び太さを有する標準の文字が用いられる。
機械学習モジュール名は、帳票の画像に対するOCR処理で用いる文字列の認識モジュールを設定する属性である。図4の例の場合、商品の番号は英数字で表示されていることから、商品の番号が記入された領域における文字列の認識率が高くなるように、例えば英数字の認識に特化してAI(Artificial Intelligence)学習を行った認識モジュールで文字列を認識する「英数字」用の認識モジュールが設定されている。
照合型は、対応する領域の内容がどのように決定されるのかを表す属性である。図4の例の場合、照合型に「候補」が設定されているが、「候補」とは、対応する領域に、予め用意されている複数の内容の中から帳票の設計担当者が選択した内容が設定されることを表している。
具体的には、商品の番号が記入される領域には、商品テーブル4の番号欄に予め登録されている何れか1つの商品の番号が記入されるため、「候補」が設定される。なお、領域の照合型には「候補」以外に複数の種類が存在するが、各々の詳細については後ほど説明する。
列は、選択した領域に記入される商品の番号が、商品データDB15で管理されている商品テーブル4のどの商品の番号であるのか、その参照先を表す属性である。商品テーブル4のファイル名が“PRODUCTS_TABLE”の場合、商品の番号は商品テーブル4の番号欄に記入されているため、例えば“[PRODUCTS_TABLE].[番号]”というような値が設定される。
値(主キー)は、商品テーブル4に登録された商品を指定する属性であり、この場合、商品データDB15を介して商品を指定することから、値(主キー)には商品の番号ではなく、商品データDB15が商品テーブル4を参照する場合に用いるIDが設定される。図4の例の場合、「001」が設定されていることから、設定された列の属性と組み合わせることで、商品テーブル4から商品の番号として「A001」が得られることになる。
流し込みは、商品テーブル4から取得した情報を、選択した領域に文字列として表示するか否かを選択する属性である。流し込みには“TRUE”または“FALSE”が設定され、“TRUE”が設定された場合には、列及び値(主キー)の各属性を用いて商品テーブル4から取得した情報が、選択した領域に表示される。
また、“FALSE”が設定された場合には、商品テーブル4から取得した情報は選択した領域に表示されない。この場合、帳票の設計担当者は選択した領域に、商品テーブル4に登録されている商品の番号に代わる適切な文字列を入力すればよい。
座標は、選択した領域の帳票における位置を表す属性であり、例えば選択した領域を囲む枠の左上の頂点の座標が設定される。座標は、設計された帳票のフォーマットに従って帳票設計部11が自動的に設定するが、帳票の設計担当者は、帳票設計部11によって設定された座標を修正することも可能である。
大きさは、選択した領域の範囲を表す属性であり、領域が矩形で表される場合、領域の横方向の長さ、及び領域の縦方向の長さが設定される。大きさは、設計された帳票のフォーマットに従って帳票設計部11が自動的に設定するが、帳票の設計担当者は、帳票設計部11によって設定された大きさを修正することも可能である。
領域の座標及び大きさが設定されることで、後述するOCR処理部12で帳票の画像に対してOCR処理を行う範囲が指定されると共に、OCR処理によって認識した内容と領域との対応付けが規定されることになる。
図5は、帳票の設計担当者が、帳票領域31で商品の価格が記入される領域を選択した場合に、情報処理装置10の画面に表示される帳票設計画面30の一例を示す図である。この場合、属性設定領域32には、選択された領域(例えば商品001の“1,480”と記入された領域)の属性が表示される。
図5の例の場合、商品の価格を表示する領域が選択されていることから、選択された領域には、領域と関連付けられた商品の番号を用いて「A001価格」という名前が設定されている。
商品の価格は、商品の番号と異なり数字のみで表されることから、機械学習モジュール名には「英数字」用の認識モジュールではなく、「数字」用の認識モジュールが設定されている。
商品の価格は、商品テーブル4の価格欄に記入されているため、列には、例えば“[PRODUCTS_TABLE].[価格]”というような値が設定される。
また、照合型は「自動」に設定される。照合型が「自動」であるとは、照合型が「候補」に設定された領域の内容が決定することで、予め用意されている複数の内容の中から適切な内容が自動的に決定されるといった特徴を有することを意味する。
具体的には、商品の番号が設定された場合、商品テーブル4を参照すれば、設定された商品の番号に対応する価格は自動的に決定されるため、商品の価格が記入される領域の照合型は「自動」に設定される。例えば商品テーブル4を参照すれば、番号が“A001”で表される商品の価格は1480円であるため、番号が“A001”で表される商品の価格が記入される領域には、“1,480”が記入されることになる。
したがって、照合型が「自動」に設定された領域の参照属性には、内容を決定するために参照する領域の名前が設定される。上記の例の場合、設定された商品の番号に応じて価格が決定されることから、参照には「A001番号」が設定される。
図5の例で属性設定領域32に表示される属性のうち、特に説明を行わなかった属性は、図4に示した帳票設計画面30を用いて説明した属性の説明と同じである。
なお、商品の品名も商品の番号が設定された場合、商品テーブル4を参照すれば自動的に決定されるため、商品の品名が記入される領域の照合型も「自動」に設定される。
したがって、例えば「商品001」のように商品の品名が記入される領域を帳票の設計担当者が選択した場合、属性設定領域32には、図5に示したような照合型が自動に設定された属性が表示されることになる。
この場合、商品の品名が記入される領域が選択されていることから、属性設定領域32の名前には、例えば領域と関連付けられた商品の品名を用いて「A001品名」という値を設定すればよい。
商品の品名には漢字、ひらがな、カタカナ、数字、及び英文字等が用いられる場合があることから、機械学習モジュール名には、帳票に用いられる全ての文字の種類を認識する認識モジュール(例えば「一般_印刷文字」)を設定すればよい。
また、商品の品名は、商品テーブル4の品名欄に記入されているため、列には、例えば“[PRODUCTS_TABLE].[品名]”というような値を設定すればよい。
図6は、帳票の設計担当者が、帳票領域31で商品の数量が記入される領域を選択した場合に、情報処理装置10の画面に表示される帳票設計画面30の一例を示す図である。この場合、属性設定領域32には、選択された領域(例えば図6の影付きで表された商品001の数量が記入される領域)の属性が表示される。
図6の例の場合、商品001の数量が記入される領域が選択されていることから、選択された領域には、領域と関連付けられた商品の番号を用いて「A001数量」という名前が設定されている。
商品の数量は、商品の番号と異なり数字のみで表されることから、機械学習モジュール名には「英数字」用の認識モジュールではなく、「数字」用の認識モジュールが設定されている。
商品の数量は、帳票の設計担当者が記入する内容ではなく、商品を発注するユーザが手書きで記入する情報であることから、照合型には「記入」が設定される。すなわち、照合型が「記入」であるとは、記入内容が予め商品テーブル4に登録されておらず、帳票の設計時点では記入される内容が確定していないという特徴を有する照合型である。したがって、照合型が「記入」に設定された領域を空欄にするため、流し込みは“FALSE”に設定される。
流し込みが“FALSE”に設定されるため、当然のことながら、商品テーブル4における情報の参照先を設定する列及び値(主キー)には値が設定されない。また、照合型が「自動」の領域のように、照合型が「候補」の領域に設定された内容に応じて自動的に内容が決定されることがないため、参照の属性にも値が設定されない。
ユーザが手書きで内容を記入する商品の数量は、本実施の形態に係る第1項目の一例である。
図6の例で属性設定領域32に表示される属性のうち、特に説明を行わなかった属性は、図4に示した帳票設計画面30を用いて説明した属性の説明と同じである。
図7は、帳票の設計担当者が帳票領域31において、ユーザが発注した商品の合計金額が記入される領域を選択した場合に、情報処理装置10の画面に表示される帳票設計画面30の一例を示す図である。この場合、属性設定領域32には、選択された領域(例えば図7の影付きで表された商品001の合計金額が記入される領域)の属性が表示される。商品の合計金額は商品の数量と同じく、商品を発注するユーザが発注する数量に応じて手書きで記入する情報である。
図7の例の場合、ユーザによって発注された商品の合計金額が記入される領域が選択されていることから、選択された領域には、領域と関連付けられた商品の番号を用いて「A001合計金額」という名前が設定されている。
商品の合計金額も数量と同じく、商品の番号と異なり数字のみで表されることから、機械学習モジュール名には「英数字」用の認識モジュールではなく、「数字」用の認識モジュールが設定されている。
商品の合計金額は、帳票の設計担当者が記入する内容ではなく、商品を発注するユーザが手書きで記入する情報であるが、記入される内容が他の項目の内容に依存することから、照合型として「計算」が設定される。
照合型が「計算」であるとは、照合型が「記入」である領域のうち、少なくとも1つの他の領域の内容から、記入される内容が推定されるような依存関係が存在するという特徴を有する領域のことをいう。
例えば、商品の合計金額は、商品の単価と発注した数量の積で表されることから、発注された商品の価格が記入されている領域の内容と、発注された商品の数量が記入されている領域の内容に基づいて、商品の合計金額が推定される。したがって、ユーザによって商品の合計金額が記入される領域の照合型には「計算」が設定され、照合型が「計算」に設定された領域は空欄となり、流し込みも“FALSE”に設定される。
流し込みが“FALSE”に設定されるため、当然のことながら、商品テーブル4における情報の参照先を設定する列及び値(主キー)も値が設定されず空欄となる。また、照合型が「自動」の領域のように、商品テーブル4に予め登録された情報だけで自動的に内容が決定されるものではないため、参照の属性にも値が設定されず空欄となる。
計算式は、当該領域に設定される内容を算出する計算式を定義する属性である。計算式には計算に用いる領域の名前が含まれる。例えば商品001の合計金額が記入される領域の計算式には、商品001の価格と、発注された商品001の数量の積で表されるため“「A001価格」×「A001数量」”が設定される。
商品の合計金額を導出する計算式に商品の数量が含まれるように、一方の項目が他方の項目を規定する計算式の変数となるような関係を有する項目同士は、本実施の形態に係る依存関係を有する項目の一例であり、帳票設計部11は、指定された項目間に依存関係を設定する。すなわち、帳票設計部11は、本実施の形態に係る設定部の一例である。
商品の数量に応じて設定される内容が推定される商品の合計金額は、本実施の形態に係る第2項目の一例である。
図7の例で属性設定領域32に表示される属性のうち、特に説明を行わなかった属性は、図4に示した帳票設計画面30を用いて説明した属性の説明と同じである。
帳票設計部11は、帳票設計画面30を通じて設計された帳票を定義した帳票定義データを生成する。生成された帳票定義データは帳票定義データDB16で管理される。
なお、図4~図7に示した属性設定領域32に表示される領域の属性は一例であり、帳票に含まれる領域の属性が、図4~図7に示した属性に限定されるものではない。
図8は、図3に示した商品テーブル4を参照して設計された商品の発注表に対する帳票定義データの一例を示す図である。
帳票定義データは、帳票定義データDB16内で例えば2つのテーブルによって管理される。1つ目のテーブルはフォームテーブル6であり、2つ目のテーブルは属性テーブル8である。図8(A)にフォームテーブル6の例を示し、図8(B)に属性テーブル8の例を示す。
フォームテーブル6は、帳票定義データDB16で管理されている帳票の一覧を示すテーブルであり、帳票毎に例えばID、番号、及び帳票名がそれぞれ対応付けられている。
フォームテーブル6におけるIDは、帳票定義データDB16が各々の帳票を内部的に識別するために一意に割り当てた識別情報である。
フォームテーブル6における番号は、属性テーブル8との関連付けのために用いられる識別情報であり、例えば帳票の設計担当者が帳票に対応付けた値が設定される。
フォームテーブル6における帳票名には、例えば帳票の設計担当者が帳票に対応付けた名前が設定される。
一方、属性テーブル8は、帳票設計画面30で設定された帳票に含まれる領域毎の属性を管理するテーブルであり、領域毎に例えばID、番号、帳票ID、名前、書式、照合型、計算式、機械学習モジュール名、流し込み、値(主キー)、列、座標、及び大きさがそれぞれ対応付けられている。
属性テーブル8におけるIDは、帳票定義データDB16が各々の領域を内部的に識別するために一意に割り当てた識別情報である。
属性テーブル8における番号は、帳票設計画面30で領域に対して設定された番号であり、帳票設計画面30で領域を識別するために用いられる識別情報である。
属性テーブル8における帳票IDは、フォームテーブル6との関連付けのために用いられる識別情報であり、フォームテーブル6における何れかの帳票の番号が設定される。すなわち、帳票IDを参照すれば、当該領域がどの帳票に含まれる領域であるのかが判明する。
属性テーブル8における名前、書式、照合型、計算式、機械学習モジュール名、流し込み、値(主キー)、列、座標、及び大きさには、それぞれ帳票設計画面30で設定された対応する属性が設定される。
したがって、帳票設計部11は、帳票の設計担当者がフォームテーブル6で帳票と対応付けられた番号を指定した場合、帳票定義データDB16から指定された帳票の帳票定義データを取得する。これにより、帳票の設計担当者は、一旦設計を終了した帳票に対して訂正等を加えることができる。
図2におけるOCR処理部12は、画像形成装置20で生成された帳票の画像に対してOCR処理を実行し、OCR処理による文字の認識結果(以下、「帳票のOCR結果」ということがある)を確認訂正制御部13に通知する。
なお、帳票のOCR結果では、帳票に含まれる領域の内容が領域毎に対応付けられているものとする。具体的には、OCR処理部12はOCR処理によって帳票に記入されている帳票名を認識し、帳票定義データDB16の帳票名に対応した帳票定義データを参照することで、認識した領域の内容と、内容が記入されている領域の属性を対応付ける。帳票に帳票名が記入されていない場合には、例えば帳票の確認担当者がOCR処理の対象となる帳票の帳票名をOCR処理部12に入力してもよい。言うまでもないが、帳票の設計担当者と帳票の確認担当者は同一人物であってもそれぞれ異なる人物であってもよい。
また、OCR処理部12は、認識した内容毎に認識の確信度を対応付ける。すなわち、OCR処理部12は、帳票に含まれる領域毎に認識した内容の確信度を対応付け、当該対応付けを帳票のOCR結果に含めて確認訂正制御部13に通知する。
ここで内容の確信度とは、帳票の画像に含まれる文字列を帳票に記入されている通りに正しく認識したか否かといった、文字列の認識精度の高さを示す値である。例えば確信度が100%の場合、帳票に記入されている通りに文字列を認識したことを表し、確信度が50%の場合、2回のうち1回は帳票に記入されている文字列とは異なる文字列に認識した可能性があることを表している。
確認訂正制御部13は、OCR処理部12から帳票のOCR結果を受け付けると、確認訂正画面33に帳票のOCR結果を表示する。後述するように、確認訂正画面33では、領域に設定された照合型に従って領域の内容を予め定めた表示順序で表示する。この際、確認訂正画面33は、認識した内容の確信度及び内容が記入されている領域の属性に基づいて、帳票の確認担当者が内容を確認した方がよいと考えられる項目について、依存関係の誤りに関する原因の示唆を行う。
これに対して、確認訂正画面33を見た帳票の確認訂正者から内容の訂正指示があった場合、確認訂正制御部13は、訂正指示のあった領域の内容を指定された内容に訂正する。
依存関係にある項目の認識結果を表示し、依存関係の誤りに関する原因の示唆を行う確認訂正制御部13は、本実施の形態に係る第1表示制御部の一例であり、かつ、第2表示制御部の一例でもある。
UI部14は、帳票の設計担当者の指示を受け付け、帳票設計部11に通知すると共に、帳票設計部11の指示に従って、表示ユニット49に帳票設計画面30を表示する。また、UI部14は、OCR処理の実行に関する指示を受け付け、受け付けた指示をOCR処理部12に通知すると共に、OCR処理に係る処理状況を表示ユニット49に表示する。また、UI部14は、帳票の確認担当者の指示を受け付け、確認訂正制御部13に通知すると共に、確認訂正制御部13の指示に従って、表示ユニット49に確認訂正画面33を表示する。
確認訂正画面33に表示された認識結果に対する確認訂正結果を受け付けるUI部14は、本実施の形態に係る受付部の一例である。
次に、情報処理装置10における電気系統の要部構成例について説明する。
図9は、情報処理装置10における電気系統の要部構成例を示す図である。情報処理装置10は例えばコンピュータ40を用いて構成される。
コンピュータ40は、情報処理装置10に係る各機能部を担うCPU(Central Processing Unit)41、コンピュータ40を図2に示した各機能部として機能させる情報処理プログラムを記憶するROM(Read Only Memory)42、CPU41の一時的な作業領域として使用されるRAM(Random Access Memory)43、不揮発性メモリ44、及び入出力インターフェース(I/O)45を備える。そして、CPU41、ROM42、RAM43、不揮発性メモリ44、及びI/O45がバス46を介して各々接続されている。
不揮発性メモリ44は、不揮発性メモリ44に供給される電力が遮断されても、記憶した情報が維持される記憶装置の一例であり、例えば半導体メモリが用いられるがハードディスクを用いてもよい。不揮発性メモリ44は、必ずしもコンピュータ40に内蔵されている必要はなく、例えばメモリカードのようにコンピュータ40に着脱される可搬型の記憶装置であってもよい。
I/O45には、例えば通信ユニット47、入力ユニット48、及び表示ユニット49が接続される。
通信ユニット47は通信回線2に接続され、例えば画像形成装置20のように、通信回線2に接続される各装置との間でデータ通信を行う通信プロトコルを備える。
入力ユニット48は、ユーザからの指示を受け付けてCPU41に通知する装置であり、例えばボタン、タッチパネル、キーボード、及びマウス等が用いられる。ユーザの指示が音声で行われる場合、入力ユニット48としてマイクが用いられることがある。
表示ユニット49は、CPU41によって処理された情報を表示する装置であり、例えば液晶ディスプレイ、及び有機EL(Electro Luminescence)ディスプレイ等が用いられる。
次に、ユーザから回収した帳票のOCR結果に対して、帳票の確認担当者が確認訂正を行う場合の情報処理装置10の動作について説明する。
図10は、画像形成装置20で生成された帳票の画像に対するOCR結果が得られた場合に、情報処理装置10のCPU41によって実行される確認訂正処理の一例を示すフローチャートである。確認訂正処理を規定する情報処理プログラムは、例えば情報処理装置10のROM42に予め記憶されている。情報処理装置10のCPU41は、ROM42に記憶される情報処理プログラムを読み込み、確認訂正処理を実行する。
ユーザは、商品の発注表に記入されている商品のうち必要な商品だけを発注するため、必要ない商品の数量欄及び合計金額欄は、共に内容が記入されずに空欄となっている。したがって、商品の発注表に記入されている商品のうち、商品の数量及び合計金額が共に空欄であると認識された商品は、注文されていない商品であると推定されることから、帳票の確認担当者による内容の確認対象から除いた方が好ましい。
そのため、ステップS10において、CPU41は帳票のOCR結果及び帳票定義データを参照して、商品の発注表に掲載されている商品のうち、商品の数量及び合計金額が共に空欄であると認識された商品以外の商品(以降、「確認対象商品」という)の項目だけを抽出するスキップ処理を実行する。
ステップS20において、CPU41は、ステップS10で取得した確認対象商品の中から、領域の照合型が「候補」に設定された項目を取得する。
ステップS30において、CPU41は、ステップS20で取得した照合型が「候補」に設定された項目の認識結果を含む確認訂正画面33を、表示ユニット49に表示する。
図11は、照合型が「候補」に設定された項目の確認訂正画面33の例を示す図である。
確認訂正画面33は、OCR処理が行われた帳票の画像を表示する帳票画像領域34と、帳票のOCR結果に対して確認及び訂正を行う確認訂正領域35と、確認訂正領域35に表示されている各項目の照合型を表示する照合型表示領域36を含む。
図11に示す確認訂正画面33は、照合型が「候補」に設定された項目を表示する確認訂正画面33であるため、照合型表示領域36では「候補」が選択されている。
確認訂正領域35には、指定された照合型を有する項目毎に設問名、スキャン画像/認識結果、確認必須、及び確認の各欄が表示される。
設問名欄には、確認訂正領域35に表示されている項目が記入されている領域の名前が表示される。
スキャン画像/認識結果欄は上下2段に分かれ、上段には帳票の画像から切り出した設問名で表される項目の画像が表示され、下段には上段に表示した項目の画像をOCR処理によって認識した認識結果が表示される。認識結果はエディットボックスに表示されるため、認識結果がスキャン画像欄に表示される画像の内容と異なる場合や、ユーザが記入した内容に誤りがあると認められる場合には、帳票の確認担当者は認識結果を正しい内容に訂正可能である。
確認必須欄には、帳票の確認担当者に設問名で表される項目の内容を確認するように注意喚起を促すアイコンが表示される。
確認欄には、設問名で表される項目の内容が正しいことを帳票の確認担当者が確認した場合、または帳票の確認担当者が正しい内容に訂正した場合にチェックマークを入れるチェックボックス37が表示される。確認欄のチェックボックス37にチェックマークが入れられると、CPU41に対して、チェックマークが入れられた項目に対する内容の確認が完了したことが通知される。
上述したように、図11に示す確認訂正画面33の確認訂正領域35には、確認対象商品に関連する項目の認識結果しか表示されないため、図11の帳票画像領域34に表示される帳票のうち、数量及び合計金額が共に空欄となっている商品に関連する項目は確認訂正領域35に表示されないことになる。
図12は、ステップS30で表示ユニット49に確認訂正画面33を表示する場合に、CPU41が実行する表示処理の一例を示すフローチャートである。
ステップS200において、CPU41は、確認訂正画面33に表示する特定の照合型の項目(図11の確認訂正画面33を表示する例の場合、照合型が「候補」の項目)を1つ選択する。
ステップS210において、CPU41は、ステップS200で選択した項目の認識結果に対応付けられている確信度をOCR結果から取得し、取得した確信度が基準値以下であるか否かを判定する。
ここで「基準値」とは、OCR処理の認識結果が項目内容を正しく表しているか否かの基準となる閾値であり、信頼度が基準値以下であれば、OCR処理の認識結果が項目内容を正しく表していない可能性があることを示している。したがって、取得した確信度が基準値以下の場合には、ステップS220に移行する。
ステップS220において、CPU41は、ステップS200で選択した項目の認識結果に誤りがある可能性があるとの注意喚起を促すアイコンを、ステップS200で選択した項目の確認必須欄に表示してステップS230に移行する。この場合、CPU41は注意喚起を促すアイコンに加えて、例えば「認識結果が違う場合があります。」といった、認識結果に誤りの可能性があることを示唆する注意文をステップS200で選択した項目と対応付けて確認訂正領域35に表示してもよい。
一方、ステップS210の判定処理で、取得した確信度が基準値を超えると判定された場合には、OCR処理の認識結果は項目内容を正しく表していると推定されるため、ステップS220の処理を実行することなくステップS230に移行する。
ステップS230において、CPU41は、確認訂正画面33に表示する確認対象商品における特定の照合型の項目を全て選択したか否かを判定する。未選択の項目が存在する場合にはステップS200に移行する。これにより、特定の照合型が設定された全ての項目が選択されるまで、ステップS200~S230の処理が繰り返し実行される。したがって、確認訂正領域35に表示される各々の項目の認識結果に対して、認識結果の確信度に応じた示唆が行われることになる。
一方、ステップS230の判定処理で、特定の照合型が設定された全ての項目が選択されたと判定された場合、図12に示す表示処理を終了する。
確認訂正画面33には、帳票画像領域34における帳票の画像の表示や、確認訂正領域35における項目の確認訂正に関する操作アイテムが配置されている。
例えば図11の切り換え選択アイテム50は、帳票画像領域34に表示する帳票の画像の範囲を選択する操作アイテムである。「全体表示」が選択された場合には、CPU41は、帳票の画像全体が帳票画像領域34に表示されるように、帳票の画像サイズを調整する。切り換え選択アイテム50には「全体表示」の他、例えば帳票の画像を部分的に表示する「部分表示」等の選択肢が用意されている。
拡大縮小選択アイテム51は、帳票画像領域34に表示される帳票の画像の表示倍率を選択する。
ページ切り換えアイテム52は、確認訂正領域35に表示される各項目が1ページに表示しきれない場合に、ページ切り替えを行う。
帳票の確認担当者は、確認訂正領域35に表示される項目のスキャン画像と認識結果を見比べたり、確認必須欄のアイコンを確認したりして、項目の認識結果に誤りが見られる場合には、認識結果欄に表示される内容を正しい内容に訂正して、確認欄のチェックボックス37にチェックマークを入れる。また、帳票の確認担当者は、項目の認識結果が正しいことを確認した場合には、確認欄のチェックボックス37にチェックマークを入れる。帳票の確認担当者はこうした確認訂正操作を、確認訂正領域35に表示される項目毎に実行し、最後に確認訂正完了ボタン38を押下して、確認訂正領域35に表示される各項目の確認訂正が完了したことをCPU41に通知する。
なお、項目毎に確認欄のチェックボックス37にチェックマークを入れる操作が煩わしい場合、帳票の確認担当者は、確認項目選択アイテム53から「すべての項目」を選択して、確認訂正完了ボタン38を押下してもよい。この場合、商品の番号毎に用意されている各確認欄のチェックボックス37にチェックマークが入れられたものとしてCPU41に通知される。各々のチェックボックス37にチェックマークを入れてから確認訂正完了ボタン38を押下する場合、確認項目選択アイテム53で例えば「個別確認」を選択すれば、チェックボックス37にチェックマークが入れられた項目に関して確認訂正が完了したことがCPU41に通知される。
また、キャンセルボタン39が押下されると、既にチェックマークが入れられたチェックボックス37からチェックマークが外される。
したがって、図10のステップS40において、CPU41は帳票の確認担当者によって確認訂正完了ボタン38が押下されたか否かを判定する。確認訂正完了ボタン38が押下されていない場合には、ステップS40の判定処理を繰り返し実行して、確認訂正完了ボタン38の押下状況を監視する。一方、確認訂正完了ボタン38が押下された場合には、ステップS50に移行する。
ステップS50において、CPU41は、確認訂正領域35に表示された照合型が「候補」の各項目のうち、確認訂正の完了が通知された項目に対して「確認訂正完了」の状態ステータスを設定する。換言すれば、確認訂正が完了していない項目には、「確認訂正完了」の状態ステータスが設定されないことになる。これにより、何れの項目の確認がまだ終了していないかが明確になる。
ステップS60において、CPU41は、ステップS10で取得した確認対象商品の中から、照合型が「自動」に設定された項目を取得する。これにより、図11の確認訂正画面33に表示される商品の発注表の場合、確認対象商品における商品の品名と価格が取得される。
照合型が「自動」の項目は、参照先となる照合型が「候補」の項目(本実施の形態の場合、商品の番号)の確認訂正が行われていれば、自ずと正しい内容が設定される。したがって、ステップS70において、CPU41は、照合型が「自動」に設定された各項目に対して「確認訂正完了」の状態ステータスを設定する。しかしながら、場合によっては照合型が「候補」の項目の中に、帳票の確認担当者が確認訂正を忘れている項目が存在することもある。
したがって、CPU41は、参照先の属性に設定された項目に「確認訂正完了」の状態ステータスが設定されていない場合には、「確認訂正が完了していません」というメッセージと共に、「確認訂正完了」の状態ステータスが設定されていない参照先の項目における識別情報(例えば参照先の項目の名前)を確認訂正画面33に表示するようにしてもよい。
このように、CPU41は、内容に影響を与える他の項目の確認訂正が完了しないうちは、当該他の項目の内容に影響を受ける項目の確認訂正が行えないように制御する。
ステップS80において、CPU41は、ステップS10で取得した確認対象商品の中から、照合型が「記入」に設定された項目を取得する。
ステップS90において、CPU41は、ステップS80で取得した照合型が「記入」に設定された項目の認識結果を含む確認訂正画面33を、表示ユニット49に表示する。この場合も、CPU41は図12に示した表示処理を実行して、確認訂正領域35に表示される各々の項目の認識結果に対して、認識結果の確信度に応じた示唆を確認必須欄に表示する。
図13は、照合型が「記入」に設定された項目の確認訂正画面33の例を示す図である。図13の確認訂正画面33に表示される商品の発注表の場合、商品の数量が確認訂正領域35に表示されることになる。
図13の確認訂正画面33における確認訂正領域35には、「A004数量」の項目の内容について確認するように注意喚起を促すアイコンが確認必須欄に表示されている。「A004数量」の項目のスキャン画像には“1”が表示されているが、認識結果として“7”が表示されていることから、帳票の確認担当者は認識結果を“1”に訂正すればよい。
このようにして帳票の確認担当者は、照合型が「記入」に設定された各々の項目についても、照合型が「候補」に設定された項目と同じように記入内容の確認を行い、確認訂正が完了した場合には、確認訂正完了ボタン38を押下する。
したがって、ステップS100において、CPU41は帳票の確認担当者によって確認訂正完了ボタン38が押下されたか否かを判定する。確認訂正完了ボタン38が押下されていない場合には、ステップS100の判定処理を繰り返し実行して、確認訂正完了ボタン38の押下状況を監視する。一方、確認訂正完了ボタン38が押下された場合には、ステップS110に移行する。
ステップS110において、CPU41は、確認訂正領域35に表示された照合型が「記入」の各項目のうち、確認訂正の完了が通知された項目に対して「確認訂正完了」の状態ステータスを設定する。
ステップS120において、CPU41は、ステップS10で取得した確認対象商品の中から、照合型が「計算」に設定された項目を取得する。
ステップS130において、CPU41は、ステップS120で取得した照合型が「計算」に設定された項目の認識結果を含む確認訂正画面33を生成する確認訂正画面生成処理を実行する。
図14は、ステップS130で実行される確認訂正画面生成処理の一例を示すフローチャートである。
まず、ステップS300において、CPU41は、ステップS120で取得した照合型が「計算」に設定された項目の中から、まだ選択していない何れか1つの項目を選択する。
ステップS310において、CPU41はステップS300で選択した項目(以降、「選択項目」という)に設定された計算式を取得し、計算式に含まれる各項目(以降、「依存先項目」という)の状態ステータスを参照することで、依存先項目の確認訂正が完了しているか否かを判定する。なお、計算式に含まれる依存先項目は、本実施の形態に係る第1項目の一例であり、照合型が「計算」に設定された項目は、本実施の形態に係る第2項目の一例である。
計算式に含まれる各依存先項目のうち、少なくとも1つの項目に「確認訂正完了」の状態ステータスが設定されていない場合、ステップS390に移行する。
この場合、依存先項目の確認訂正が完了していないため、依存先項目の内容が訂正された場合、それに伴い選択項目に記入されるべき正しい内容も変化することになる。すなわち、こうした状況で帳票の確認担当者が選択項目の内容を確認したとしても、その後、依存先項目の訂正が行われると選択項目の内容を再度確認する必要が生じて2度手間になることも考えられる。
したがって、ステップS390において、CPU41は確認訂正領域35に表示した選択項目の認識結果に対する確認訂正を受け付けないように、選択項目の表示をグレーアウトに設定し、ステップS400に移行する。これにより、選択項目と対応付けられた計算式に含まれる各依存先項目の状態ステータスに「確認訂正完了」が設定されるまで、選択項目の認識結果の確認訂正が行えないようになる。このように依存先項目の確認訂正が完了するまで選択項目の認識結果の確認訂正を受け付けないように制御する確認訂正制御部13は、本実施の形態に係る受付制御部の一例でもある。
なお、帳票の確認担当者による確認訂正が完了する前の依存先項目の認識結果は、本実施の形態に係る第1文字認識結果の一例であり、選択項目の認識結果、すなわち、照合型が「計算」に設定された項目の認識結果は、本実施の形態に係る第2文字認識結果の一例である。
一方、ステップS310の判定処理で、選択項目に対応付けられた計算式に含まれる各依存先項目の状態ステータスが「確認訂正完了」に設定されていると判定された場合、ステップS320に移行する。確認訂正が完了している依存先項目は、本実施の形態に係る確認訂正結果の一例である。
ステップS320において、CPU41は、選択項目に対応付けられている計算式に含まれる各依存先項目の値を参照して計算式を実行し、計算結果を取得する。
ステップS330において、CPU41は、選択項目の認識結果とステップS320で取得した選択項目の計算結果が同じであるか否かを判定する。
選択項目の認識結果と計算結果が異なる場合、依存先項目の内容と選択項目の認識結果が依存関係を満たしていないことになる。したがって、CPU41は依存関係が満たされない原因を推定し、まだ確認訂正が行われていない選択項目に対して、推定した原因を表示する確認訂正画面33を生成する。
そのため、選択項目の認識結果と計算結果が異なる場合、ステップS340に移行し、ステップS340において、CPU41は、まず選択項目の認識結果が何れの文字列も記入されていない空欄であるか否かを判定する。そして、選択項目の認識結果が空欄である場合にはステップS380に移行する。
この場合、選択項目に何らかの内容が記入されなければ依存関係が満たされることがない。したがって、ステップS380において、CPU41は、選択項目に対する記入漏れがあることを示唆するメッセージを含んだ確認訂正画面33を生成して、ステップS400に移行する。この場合、CPU41は選択項目の確認必須欄に、内容を確認するように注意喚起を促すアイコンを配置する。
なお、CPU41は、記入漏れがあることを示唆するメッセージと共に、後ほど説明する詳細表示ボタン55を含んだ確認訂正画面33を生成してもよい。
一方、ステップS340の判定処理で、選択項目の認識結果が空欄ではないと判定された場合にはステップS350に移行する。
選択項目の認識結果が空欄ではない場合は、選択項目の認識結果の確信度に応じて、依存関係が満たされない原因の示唆を行う。
したがって、ステップS350において、CPU41は選択項目の認識結果に対応付けられている確信度をOCR結果から取得し、取得した確信度が基準値より高いか否かを判定する。当該基準値は、図12のステップS210の判定処理で用いる基準値と同じ値であっても、異なる値であってもよい。
選択項目の認識結果の確信度が基準値よりも高い場合、ステップS360に移行する。この場合、帳票に記入された選択項目の内容がOCR処理によって誤った内容に認識されたと推定するよりも、ユーザが選択項目に誤った内容を記入する記入ミスがあったと推定した方が状況に合致する。したがって、ステップS360において、CPU41は、選択項目の記入内容に誤りがあることを示唆するメッセージを含んだ確認訂正画面33を生成して、ステップS400に移行する。この場合、CPU41は選択項目の確認必須欄に、内容を確認するように注意喚起を促すアイコンを配置する。
なお、CPU41は、記入内容に誤りがあることを示唆するメッセージと共に、後ほど説明する自動計算実行ボタン54を含んだ確認訂正画面33を生成してもよい。
一方、選択項目の認識結果の確信度が基準値以下の場合、ステップS370に移行する。この場合には、ユーザが選択項目に誤った内容を記入する記入ミスがあったと推定するよりも、帳票に記入された選択項目の内容がOCR処理によって誤った内容に認識されたと推定した方が状況に合致する。したがって、ステップS370において、CPU41は、選択項目の認識結果に誤りがあることを示唆するメッセージを含んだ確認訂正画面33を生成して、ステップS400に移行する。この場合、CPU41は選択項目の確認必須欄に、内容を確認するように注意喚起を促すアイコンを配置する。
なお、CPU41は、選択項目の認識結果に誤りがあることを示唆するメッセージと共に、後ほど説明する自動計算実行ボタン54を含んだ確認訂正画面33を生成してもよい。また、CPU41は、確信度を表示するようにしてもよい。確信度を表示することで、帳票の確認担当者は認識結果の誤りの程度を知ることができるため、確信度が分からずに訂正する場合と比較して、訂正精度の向上につながることが考えられる。
一方、ステップS330の判定処理で選択項目の認識結果と計算結果が同じであると判定された場合には、選択項目の認識結果は論理的矛盾のない正しい内容を表していると推定されるため、確認訂正画面33に選択項目の認識結果に対して訂正を促すメッセージを含めることなくステップS400に移行する。
ステップS400において、CPU41は、図10のステップS120で取得した照合型が「計算」に設定された項目の中に、まだステップS300で選択されていない未選択の項目が存在するか否かを判定する。未選択の項目が存在する場合にはステップS300に移行し、未選択の項目を選択する。ステップS120で取得した照合型が「計算」に設定された項目が全て選択されるまでステップS300~S400の処理を繰り返し実行することで、確認対象商品における照合型が「計算」に設定された各々の項目について、記入内容の訂正が必要か否か依存関係に基づいて判定されることになる。そして、記入内容の訂正が必要な項目については、訂正にあたり確認すべき事柄が示唆される。
ステップS400の判定処理で、ステップS120で取得した照合型が「計算」に設定された項目が全て選択されたと判定された場合には、図14に示す確認訂正画面生成処理を終了する。
図10のステップS130で実行される確認訂正画面生成処理が終了すると、ステップS140が実行される。
ステップS140において、CPU41はステップS130で生成した、照合型が「計算」に設定された項目の認識結果を含む確認訂正画面33を表示ユニット49に表示する。
図15は、ステップS140で表示ユニット49に表示される確認訂正画面33の一例を示す図である。
図15に示す確認訂正画面33の確認訂正領域35には、帳票画像領域34に表示された商品の発注表のうち、発注された商品に関する項目で、かつ、照合型が「計算」に設定された項目(本実施の形態例の場合には商品の合計金額)と、同じく照合型が「計算」に設定された項目である、各商品の合計金額を合計した総合計金額が表示される。
図7を用いて商品の合計金額に対する属性の設定について説明したように、各商品の合計金額の計算式が、“「商品の価格」×「商品の数量」”に設定されているとすれば、商品の発注表において商品の番号が「A001」で表される商品001の価格は1480円で数量は“2”であるため、商品の合計金額は2960円が正しい。しかしながら、設問名が「A001合計金額」で表される項目の認識結果は「2860」となっており、かつ、「A001合計金額」の項目における認識結果の確信度が基準値より高かったことから図14のステップS360の処理が実行され、「A001合計金額」の項目に対して「ユーザの記入間違いである可能性があります。」といった依存関係の誤りに関する原因の示唆と、自動計算実行ボタン54が確認訂正画面33に表示されることになる。
帳票の確認担当者は、表示された示唆に従い、まず商品の合計金額を計算し直すことで「A001合計金額」の正しい値は2960円であると気付いて、商品の合計金額を訂正することになる。すなわち、帳票の確認担当者は、スキャン画像欄に表示される項目の画像と認識結果を見比べて、OCR処理の認識結果に間違いがあるのではないかと確認したり、商品の価格や数量に対するOCR処理の認識結果の間違いや記入ミスの可能性を確認したりする前に、最初に確認すべき事柄を把握することができるため、確認訂正に要する手間が軽減される。
また、商品の発注表において商品の番号が「A004」で表される商品004の価格は950円で数量は“1”であるため、商品の合計金額は950円となり、スキャン画像欄にも“950”の文字列が認められる。しかしながら、設問名が「A004合計金額」の項目における認識結果の確信度が基準値以下であったため、図14のステップS370の処理が実行され、「A004合計金額」の項目に対して「認識結果が違う可能性があります。」といった依存関係の誤りに関する原因の示唆と、自動計算実行ボタン54が確認訂正画面33に表示されることになる。
この場合、帳票の確認担当者は、まずスキャン画像欄に表示される項目の画像と認識結果を見比べればよい。図15の例では認識結果が“750”となっているため、“950”に訂正すればよいことがわかる。
また、設問名が「A006合計金額」の項目における認識結果欄は空欄となっているため、図14のステップS380の処理が実行され、「A006合計金額」の項目に対して「ユーザの記入漏れの可能性があります。」といった依存関係の誤りに関する原因の示唆と、詳細表示ボタン55が確認訂正画面33に表示されることになる。
この場合、帳票の確認担当者は、OCR処理による文字列の誤認識の可能性や、ユーザによる合計金額の記入間違いの可能性を確認するよりも、商品の合計金額を計算して認識結果欄に記入することを優先して行えばよいことがわかる。
設問名が「総合計金額」の項目に、例えば各商品の合計金額の総和を計算する計算式が対応付けられている場合、確認訂正領域35に表示されている各商品の合計金額の確認訂正が完了して、各々の確認欄のチェックボックス37にチェックマークが入れられるまでは、図14のステップS390の処理が実行されることになるため、「総合計金額」の表示がグレーアウトされる。
なお、商品の数量及び合計金額が共に空欄である確認対象商品以外の商品については、内部的に商品の合計金額が0円に設定され、各項目に「確認訂正完了」の状態ステータスが設定されているものとする。
図15に示す、照合型が「計算」に設定された項目を表示する確認訂正画面33には、照合型が「候補」、「自動」、及び「記入」の各項目が表示される確認訂正領域35には存在しなかった、自動計算実行ボタン54や詳細表示ボタン55が表示される。
したがって、図10のステップS150において、CPU41は、照合型が「計算」の項目が表示される確認訂正画面33でのユーザの指示を処理する指示受付処理を実行する。
図16は、図15に示す確認訂正画面33を通じて、ユーザから何らかの指示を受け付けた場合に実行される指示受付処理の一例を示すフローチャートである。
ステップS500において、CPU41は、ユーザから何らかの指示を受け付けたか否かを判定し、何れの指示も受け付けていない場合には、ステップS500の判定処理を繰り返し実行して、ユーザからの指示を監視する。ユーザから何らかの指示を受け付けた場合には、ステップS510に移行する。
ステップS510において、CPU41は受け付けた指示が、ユーザが自動計算実行ボタン54を押下した場合に通知される自動計算指示であるか否かを判定する。受け付けた指示が自動計算指示である場合にはステップS520に移行する。
ステップS520において、CPU41は、押下された自動計算実行ボタン54と対応付けられた項目の計算式に従って項目の内容を計算し、計算結果を確認訂正画面33に表示してステップS620に移行する。すなわち、帳票の確認担当者は、自ら商品の合計金額の計算式に従って商品の合計金額を計算しなくても、自動計算実行ボタン54を押下すれば正しい内容が表示されるため、確認訂正に要する手間が軽減されることになる。
なお、CPU41は、帳票の確認担当者によって自動計算実行ボタン54が押下されなくても、依存先項目との依存関係が満たされていない場合は、自律的に計算結果を確認訂正画面33に表示するようにしてもよい。こうした動作を行う場合、CPU41は自動計算実行ボタン54を確認訂正画面33に表示しなくてもよい。
ステップS510の判定処理で、受け付けた指示が自動計算指示ではないと判定された場合にはステップS530に移行する。
ステップS530において、CPU41は受け付けた指示が、ユーザが詳細表示ボタン55を押下した場合に通知される詳細表示指示であるか否かを判定する。受け付けた指示が詳細表示指示である場合にはステップS540に移行する。
ステップS540において、CPU41は詳細画面56を表示ユニット49に表示する。
図17は、詳細画面56の一例を示す図であり、詳細画面56は、例えば確認訂正画面33の前に重畳して表示されるポップアップ画面である。図17に示す詳細画面56は、図15に示した確認訂正画面33の「A006合計金額」の項目に対応した詳細表示ボタン55が押下された場合に表示される詳細画面56の一例である。
詳細画面56には、例えば帳票から読み取った依存先項目の内容のスキャン画像を用いて表した計算式とその計算結果が記入される領域の画像を表す第1計算領域57と、依存先項目の確認訂正結果を用いて表した計算式を表す第2計算領域58が存在する。商品006の合計金額は、商品006の価格と商品006の数量で定義されるため、第1計算領域57には「A006価格」のスキャン画像、「A006数量」のスキャン画像、及び「A006合計金額」のスキャン画像を用いて表された計算式と計算結果が表示される。図15の例では「A006合計金額」のスキャン画像が空欄であることから、第1計算領域57における計算結果も空欄で表示される。
一方、第2計算領域58には、「A006価格」の確認訂正結果と「A006数量」の確認訂正結果を用いて表された計算式が表示され、計算結果表示領域59には、第2計算領域58に表示された計算式に従って計算された計算結果が表示される。したがって、帳票の確認担当者は、例えば第1計算領域57及び第2計算領域58の表示を参考にしながら、計算結果表示領域59に表示された計算結果が「A006合計金額」の内容として正しいと判定した場合には、「OK」ボタンを押下して、CPU41に了承指示を通知する。
一方、計算結果表示領域59に表示された計算結果が正しくない場合、帳票の確認担当者は詳細画面56の「キャンセル」ボタンを押下して、CPU41に不採用指示を通知する。
したがって、図16のステップS550において、CPU41は了承指示または不採用指示を受け付けたか否かを判定する。了承指示または不採用指示の何れも受け付けていない場合には、ステップS550の判定処理を繰り返し実行して、帳票の確認担当者からの指示を待ち受ける。了承指示または不採用指示を受け付けた場合には、ステップS560に移行する。
なお、CPU41は、ユーザが詳細表示ボタン55を押下しなくとも、内容が空欄であると認識された項目の認識結果に、自動計算した計算式の計算結果を表示するようにしてもよい。
ステップS560において、CPU41は、受け付けた指示が了承指示であるか否かを判定する。
了承指示である場合にはステップS570に移行し、ステップS570において、CPU41は内容が空欄であると認識した項目、すなわち「A006合計金額」の内容を、計算結果表示領域59に表示した計算結果の値に設定してステップS580に移行する。
また、受け付けた指示が了承指示ではない場合、すなわち、不採用指示を受け付けた場合には、ステップS570の処理を実行することなく、ステップS580に移行する。すなわち、「A006合計金額」の内容は設定されず空欄のままとなる。
そして、ステップS580において、CPU41は、詳細画面56の表示を終了して、ステップS620に移行する。
帳票の確認担当者が詳細画面56の「キャンセル」ボタンを押下して、CPU41が計算式に基づいて自動計算した内容を訂正対象となっている項目に設定しなかった場合、帳票の確認担当者は、確認訂正画面33における訂正対象となっている項目の認識結果を、自らが計算した適切な内容に訂正すればよい。
一方、ステップS530の判定処理で、受け付けた指示が詳細表示指示ではないと判定された場合には、ステップS590に移行する。
ステップS590において、CPU41は受け付けた指示が、ユーザが確認欄のチェックボックス37にチェックマークを入れた場合に通知される確認完了指示であるか否かを判定する。受け付けた指示が確認完了指示である場合にはステップS600に移行する。
ステップS600において、CPU41は、チェックマークが入れられたチェックボックス37に対応する項目の状態ステータスを「確認訂正完了」に設定して、ステップS620に移行する。
ステップS590の判定処理で、受け付けた指示が確認完了指示ではないと判定された場合には、ステップS610に移行する。具体的には、例えばページ切り換えアイテム52のように自動計算実行ボタン54、詳細表示ボタン55、及びチェックボックス37以外のアイテムが操作された場合、ステップS610が実行される。
ステップS610において、CPU41は、受け付けた指示に対応した処理を実行してステップS620に移行する。例えばページ切り換えアイテム52が操作された場合には、確認訂正画面33の確認訂正領域35に表示される項目のページ切り替えを行う。
ステップS620において、CPU41は、確認訂正画面33の確認訂正領域35に表示されている各項目の状態ステータスが「確認訂正完了」に設定されているか否かを判定する。少なくとも1つの項目の状態ステータスがまだ「確認訂正完了」に設定されていない場合には、確認訂正領域35に表示されている各項目の確認訂正が完了するまで、図16の指示受付処理を終了することなくステップS630に移行する。
ステップS630において、CPU41は、確認訂正領域35で表示がグレーアウトに設定されている項目の計算式を参照し、表示がグレーアウトに設定されている項目の中に、計算式に含まれる全ての依存先項目の状態ステータスが「確認訂正完了」に設定された項目が存在するか否かを判定する。
計算式に含まれる全ての依存先項目の状態ステータスが「確認訂正完了」に設定されている項目が存在する場合にはステップS640に移行して、ステップS640において、CPU41は当該項目に対するグレーアウト表示を解除して、確認訂正が行える状態にする。
図15の確認訂正画面33における設問名が「総合計金額」の項目には、既に説明したように各商品の合計金額の総和を計算する計算式が設定されている。したがって、図15に示す例の場合、「A001合計金額」、「A004合計金額」、及び「A006合計金額」の確認訂正が終了するまでは、「総合計金額」の項目はグレーアウトで表示されることになるが、「A001合計金額」、「A004合計金額」、及び「A006合計金額」の確認訂正が完了すれば、「総合計金額」の項目に対するグレーアウト表示が解除される。
ステップS630の判定処理で、確認訂正領域35で表示がグレーアウトに設定されている項目の中で、計算式に含まれる全ての依存先項目の状態ステータスが「確認訂正完了」に設定された項目は存在しないと判定された場合、及び、ステップS640の処理が実行された場合にはステップS500に移行して、帳票の確認担当者からの指示を待ち受ける。
以上の処理を繰り返し実行し、ステップS620の判定処理で、確認訂正領域35に表示されている各項目の状態ステータスが「確認訂正完了」に設定されたと判定された場合には、図16に示した指示受付処理を終了する。
以上により、確認対象商品の全ての照合型における各々の項目の確認訂正が完了することから、商品の発注表に記入された内容をファイルに出力するため、帳票の確認担当者は、例えば確認訂正画面33に配置される図示しない出力ボタンを押下する。
したがって、図10のステップS160において、CPU41は、図示しない出力ボタンが押下されたか否かを判定し、図示しない出力ボタンが押下されていない場合はステップS160の判定処理を繰り返し実行して、図示しない出力ボタンの押下状況を監視する。一方、図示しない出力ボタンが押下された場合にはステップS170に移行する。
ステップS170において、CPU41は、確認訂正が終了した商品の発注表に含まれる各項目の内容をファイルに出力する。出力するファイルの形式に制約はなく、CPU41は、例えばCSVファイルやXMLファイル等、この後に実行される商品の配送処理といった後工程で利用されるファイルの形式に合わせたファイルを出力する。手書きで記入された内容を含む商品の発注表をファイル化することで、ファイル化された商品の発注表のデータがコンピュータで利用できるようになるため、用紙形態の商品の発注表を用いて後工程を実行するよりも作業効率が向上することになる。
以上により、図10に示した確認訂正処理を終了する。
このように本実施の形態に係る情報処理装置10によれば、帳票の確認担当者が内容を確認する場合、項目の依存関係に基づいて項目の表示順序を決定し、表示した項目の確認訂正が完了するまでは、新たな項目を表示しないように制御する。したがって、依存関係を有する項目の内容が予め規定された依存関係を満足していないと判定された場合、どの項目の内容を訂正すればよいか明確になる。
なお、本実施の形態に係る計算式は演算子で明確に定義されるものに限られず、例えば、依存先項目を入力とする学習モデルによって算出されるものであってもよい。例えば照合型が「計算」に設定された項目の内容が、機械学習が行われた学習モデルに依存先項目の内容を入力した場合に得られるような形態も計算式の例に含まれる。
具体的には、帳票にのどが痛いとか関節痛があるといった体の症状をユーザに記入してもらい、記入された症状から推定した病名を医師が記入した帳票のOCR結果を用いて、症状から病名を推定するように予め学習された学習モデルに帳票に記入された症状を入力して病名を推定するような形態も計算式の一例である。
この場合、学習モデルが推定した病名と医師が帳票に記入した病名が異なる場合には、医師に診断の再検討を促すような示唆を表示するといった適用が考えられる。
また、上記では照合型が「計算」の項目に設定される依存関係が計算式で表される例について説明したが、項目の依存関係は計算式で表されるものに限られない。例えば、一方の項目の内容によって、他方の項目に記入される内容の範囲が限定されるような関係も、本実施の形態に係る依存関係に含まれる。
図18は、こうした依存関係を説明する確認訂正画面33の図である。図18の確認訂正画面33における帳票画像領域34には、例えば患者が病院で記入した問診表の画像の一部分が表示されている。
問診表には自覚症状と詳細の項目が含まれ、患者は自覚症状欄に予め記入されている選択肢の中から該当する自覚症状を1つ選択し、詳細欄に、選択した自覚症状の詳細を手書きで記入する。
なお、帳票設計画面30によって、自覚症状欄には「記入」の照合型が設定され、詳細欄には「計算」の照合型が設定されているものとする。そして、詳細欄には計算式の代わりに、自覚症状欄に記入されている選択肢毎の依存関係が設定されている。例えば自覚症状として「体の疲れ」が選択された場合、詳細欄には疲れが認められる体の部位が記入されるはずであるから、詳細には体の部位を対応付ける依存関係を設定する。
したがって、自覚症状として「体の疲れ」が選択され、詳細欄に「目」と記入されていれば、CPU41は、自覚症状の内容と詳細の内容との依存関係が満たされていると判定し、確認訂正画面33で詳細の内容に対する訂正の示唆を表示しない。
しかしながら、自覚症状として「体の疲れ」が選択され、詳細欄に「寝付きが悪い」と記入されていれば、設定された依存関係から推定される記入内容の範囲を超えるため、自覚症状の項目と詳細の項目との依存関係が満たされないことになる。したがってCPU41は、図19に示すように詳細の確認訂正を行う確認訂正画面33の確認必須欄に、内容を確認するように注意喚起を促すアイコンを表示すると共に、例えば「ユーザの記入間違いである可能性があります。」といった依存関係の誤りに関する原因の示唆を表示してもよい。
なお、自覚症状が不眠に対しては、詳細欄の内容に例えば「寝付きが悪い」や「何度も起きる」といった不眠の状態を対応付ける依存関係が設定される。
このように、一方の項目の記入内容毎に、他方の項目の記入内容が関連付けられているような関係も依存関係の一例である。
以上、実施の形態を用いて本発明について説明したが、本発明は実施の形態に記載の範囲には限定されない。本発明の要旨を逸脱しない範囲で実施の形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。例えば、本発明の要旨を逸脱しない範囲で処理の順序を変更してもよい。
本実施の形態では、一例として各処理をソフトウェアで実現する形態について説明したが、図10、図12、図14、及び図16に示した各フローチャートと同等の処理を、例えばASIC(Application Specific Integrated Circuit)に実装し、ハードウェアで処理させるようにしてもよい。この場合、各処理をそれぞれソフトウェアで実現した場合と比較して、処理の高速化が図られる。
また、上述した実施の形態では、情報処理プログラムがROMにインストールされている形態を説明したが、これに限定されるものではない。本発明に係る情報処理プログラムは、コンピュータで読み取り可能な記憶媒体に記録された形態で提供することも可能である。例えば、本発明に係る情報処理プログラムを、CD(Compact Disc)-ROM、又はDVD(Digital Versatile Disc)-ROM等の光ディスクに記録した形態で提供してもよい。また、本発明に係る情報処理プログラムを半導体メモリに記録した形態で提供してもよい。
更に、情報処理装置10は通信回線2を通じて、通信回線2と接続される外部装置から本発明に係る情報処理プログラムを取得するようにしてもよい。
1・・・情報処理システム、2・・・通信回線、4・・・商品テーブル、6・・・フォームテーブル、8・・・属性テーブル、10・・・情報処理装置、11・・・帳票設計部、12・・・OCR処理部、13・・・確認訂正制御部、14・・・UI部、15・・・商品データDB、16・・・帳票定義データDB、20・・・画像形成装置、30・・・帳票設計画面、31・・・帳票領域、32・・・属性設定領域、33・・・確認訂正画面、34・・・帳票画像領域、35・・・確認訂正領域、36・・・照合型表示領域、37・・・チェックボックス、38・・・確認訂正完了ボタン、39・・・キャンセルボタン、40・・・コンピュータ、41・・・CPU、42・・・ROM、43・・・RAM、44・・・不揮発性メモリ、45・・・I/O、46・・・バス、47・・・通信ユニット、48・・・入力ユニット、49・・・表示ユニット、50・・・切り換え選択アイテム、51・・・拡大縮小選択アイテム、52・・・ページ切り換えアイテム、53・・・確認項目選択アイテム、54・・・自動計算実行ボタン、55・・・詳細表示ボタン、56・・・詳細画面、57・・・第1計算領域、58・・・第2計算領域、59・・・計算結果表示領域

Claims (2)

  1. 特定の依存関係にある第1項目と第2項目を含む帳票において、
    前記第1項目の文字認識結果である、第1文字認識結果を表示する制御を行う第1表示制御部と、
    前記第1文字認識結果に対する確認訂正結果を受け付ける受付部と、
    前記確認訂正結果と、前記第2項目の文字認識結果である第2文字認識結果が前記依存関係を満たさない場合、その旨を表示する制御を行う第2表示制御部と、
    を備え、
    前記第2表示制御部は、前記第2文字認識結果の確信度が予め定めた基準値よりも高い場合、前記第2項目に対する記入内容に誤りがあるとの示唆を表示する制御を行う
    情報処理装置。
  2. コンピュータを、請求項1記載の情報処理装置の各部として機能させるための情報処理プログラム。
JP2019090904A 2019-05-13 2019-05-13 情報処理装置、及び情報処理プログラム Active JP7338230B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019090904A JP7338230B2 (ja) 2019-05-13 2019-05-13 情報処理装置、及び情報処理プログラム
US16/659,676 US11210506B2 (en) 2019-05-13 2019-10-22 Information processing apparatus and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019090904A JP7338230B2 (ja) 2019-05-13 2019-05-13 情報処理装置、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2020187493A JP2020187493A (ja) 2020-11-19
JP7338230B2 true JP7338230B2 (ja) 2023-09-05

Family

ID=73223506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019090904A Active JP7338230B2 (ja) 2019-05-13 2019-05-13 情報処理装置、及び情報処理プログラム

Country Status (2)

Country Link
US (1) US11210506B2 (ja)
JP (1) JP7338230B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7434001B2 (ja) * 2020-03-13 2024-02-20 キヤノン株式会社 情報処理装置、プログラム、情報処理方法
JP7161257B1 (ja) 2021-05-17 2022-10-26 弁理士法人Ipx 情報処理システム、情報処理方法及びプログラム
US11816182B2 (en) * 2021-06-07 2023-11-14 Sap Se Character encoding and decoding for optical character recognition
US11829701B1 (en) * 2022-06-30 2023-11-28 Accenture Global Solutions Limited Heuristics-based processing of electronic document contents

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092546A (ja) 2000-09-20 2002-03-29 Oki Software Kk 文字認識方法
JP2005018678A (ja) 2003-06-30 2005-01-20 Casio Comput Co Ltd 帳票データ入力処理装置、帳票データ入力処理方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050108625A1 (en) * 2003-11-13 2005-05-19 International Business Machines Corporation Method and system for selecting rules to validate information submitted on an electronic form
US7639876B2 (en) * 2005-01-14 2009-12-29 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
US9430453B1 (en) * 2012-12-19 2016-08-30 Emc Corporation Multi-page document recognition in document capture
US9639767B2 (en) * 2014-07-10 2017-05-02 Lenovo (Singapore) Pte. Ltd. Context-aware handwriting recognition for application input fields
US9934432B2 (en) * 2015-03-31 2018-04-03 International Business Machines Corporation Field verification of documents
US11386513B2 (en) * 2017-08-04 2022-07-12 Aviv Sarah Bliwas Computer assisted benefits application

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092546A (ja) 2000-09-20 2002-03-29 Oki Software Kk 文字認識方法
JP2005018678A (ja) 2003-06-30 2005-01-20 Casio Comput Co Ltd 帳票データ入力処理装置、帳票データ入力処理方法及びプログラム

Also Published As

Publication number Publication date
US20200364449A1 (en) 2020-11-19
JP2020187493A (ja) 2020-11-19
US11210506B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
JP7338230B2 (ja) 情報処理装置、及び情報処理プログラム
JP2012059248A (ja) フォーム・フィールドを検出および生成するシステム、方法およびプログラム
US8989497B2 (en) Handwritten character input device, remote device, and electronic information terminal
JP2012009005A (ja) 帳票処理システム、ocr装置、ocr処理プログラム、帳票作成装置、帳票作成プログラム、および帳票処理方法
JP6264949B2 (ja) 画像処理装置及びプログラム
JP5532715B2 (ja) 画像処理装置、画像処理システム及びプログラム
US20230306193A1 (en) Information processing apparatus, non-transitory computer readable medium, and method for processing information
JP2004013813A (ja) 情報管理システムおよび情報管理方法
US20100030751A1 (en) Operations information management system
US11588945B2 (en) Data input support apparatus that displays a window with an item value display area, an overview image display area, and an enlarged image display area
JPH10275196A (ja) データ入力装置
US10970483B2 (en) Information processing apparatus and non-transitory computer readable medium storing program
JP2022010994A (ja) データ入力支援装置、データ入力支援方法及びプログラム
JP7035474B2 (ja) 文書処理装置およびプログラム
JP6316913B1 (ja) Fax受注システムおよびプログラム
JP2021144469A (ja) データ入力支援システム、データ入力支援方法、及びプログラム
JP6497003B2 (ja) 帳票処理装置、帳票処理システム及びプログラム
JP2017102526A (ja) 情報処理装置及び情報処理プログラム
JP4633773B2 (ja) 文書画像処理装置および方法
JP7271889B2 (ja) 情報処理装置及びプログラム
JP7247725B2 (ja) 帳票処理装置及びモバイル端末装置
JP2023071067A (ja) 表示データ生成システム
JP2003308478A (ja) 帳票認識装置、記憶媒体、及びプログラム
JP2023031036A (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法及びプログラム
JP5598388B2 (ja) 書類作成装置、書類作成方法、書類作成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230807

R150 Certificate of patent or registration of utility model

Ref document number: 7338230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150