JP7358838B2 - 情報処理装置、及び情報処理プログラム - Google Patents

情報処理装置、及び情報処理プログラム Download PDF

Info

Publication number
JP7358838B2
JP7358838B2 JP2019151505A JP2019151505A JP7358838B2 JP 7358838 B2 JP7358838 B2 JP 7358838B2 JP 2019151505 A JP2019151505 A JP 2019151505A JP 2019151505 A JP2019151505 A JP 2019151505A JP 7358838 B2 JP7358838 B2 JP 7358838B2
Authority
JP
Japan
Prior art keywords
item
information processing
character string
setting information
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019151505A
Other languages
English (en)
Other versions
JP2021033534A (ja
Inventor
拓己 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2019151505A priority Critical patent/JP7358838B2/ja
Priority to CN202010162996.1A priority patent/CN112417936A/zh
Priority to US16/822,464 priority patent/US11574490B2/en
Publication of JP2021033534A publication Critical patent/JP2021033534A/ja
Application granted granted Critical
Publication of JP7358838B2 publication Critical patent/JP7358838B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/416Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置、及び情報処理プログラムに関する。
特許文献1には、帳票に記載された文字列を認識する帳票認識装置において、データの属性を表す文字列である項目名と、前記項目名に対するデータの文字列である項目値を含む帳票画像を入力する画像入力部と、前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が前記項目値である確率を表す項目値表記スコアを計算する項目値表記スコア計算部と、前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算する項目値単語スコア計算部と、前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア(Sv)とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、選択された項目値候補に対する項目値候補スコア(Sc)として前記項目値スコア(Sv)を与える項目値候補選択部と、前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各項目値グループの項目値として妥当であるか否かを表す項目値候補配置スコア(Sca)を計算する項目値候補配置スコア計算部と、前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア(Sv)、前記項目値候補配置スコア(Sca)を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア(Scp)を計算する項目値候補ペアスコア計算部と、前記項目値候補ペアスコア(Scp)により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識する項目値グループ評価部と、前記帳票画像内の文字列の認識結果を出力する出力部とを有する帳票認識装置が開示されている。
特開2016-051339号公報
例えば、ユーザによって記入された書類を読み取ることで、記入された書類から設定した項目を検出し、検出した項目に関連付けられる文字列を書類から認識して出力する情報処理装置がある。
しかし、例えば、記入された書類の中に名前等の同一の項目が複数個ある場合、設定情報に設定された一つの項目に対して、複数の文字列が認識されることがある。同一の項目が複数個ある書類を読み取った結果、設定情報に設定された項目に対して、検出された複数の文字列を識別することができない。その場合、項目に対して認識された複数の文字列が識別可能な状態になるよう、ユーザが手作業で編集作業を行っており、ユーザの作業を軽減させることができるとは限らなかった。
本発明は、同一の項目が複数個ある書類を読み取って、設定した項目に対して、検出された複数の文字列を識別できない場合と比較して、認識結果に対するユーザの作業を軽減させることができる情報処理装置、及び情報処理プログラムを提供することを目的とする。
第1の態様の情報処理装置は、プロセッサを備え、プロセッサは、項目に対して記載欄が設けられた書類から第一の項目を表す第一の文字列が複数個検出された場合、複数の第一の文字列の各々について、第一の項目に関連付けられる第二の項目を表す第二の文字列を検出し、検出した第二の文字列の少なくとも1つを第二の項目として、第一の項目と関連付けて設定情報に設定する。
第2の態様の情報処理装置は、第1の態様に係る情報処理装置において、プロセッサは、検出された複数の第一の文字列を第一の項目の候補として表示する処理、及び複数の第二の文字列を第二の項目の候補として表示する処理の少なくとも一方を実行する。
第3の態様の情報処理装置は、第2の態様に係る情報処理装置において、プロセッサは、検出された複数の第一の文字列から第一の項目を選択させる処理、及び複数の第二の文字列から第二の項目を選択させる処理の少なくとも一方を実行する。
第4の態様の情報処理装置は、第1の態様から第3の態様までのいずれか1つの態様に係る情報処理装置において、プロセッサは、書類における第一の項目と第二の項目との位置情報、又は第一の項目と第二の項目との語義の従属関係に基づいて、第一の項目と第二の項目とを関連付ける。
第5の態様の情報処理装置は、第1の態様から第4の態様までのいずれか1つの態様に係る情報処理装置において、プロセッサは、設定情報に対応する記載欄に記載された文字列である第三の文字列を検出し、設定情報に関連付けて第三の文字列を出力する。
第6の態様の情報処理装置は、第5の態様に係る情報処理装置において、プロセッサは、設定情報に含まれる第一の項目、設定情報に含まれる第二の項目、及び第三の文字列をそれぞれ分けて出力する第一の形式、及び設定情報に含まれる第一の項目及び第二の項目を連結して一意の項目として設定し、一意の項目及び第三の文字列を出力する第二の形式の何れかの出力形式に従って出力する。
第7の態様の情報処理装置は、第6の態様に係る情報処理装置において、プロセッサは、出力形式の選択を受け付ける。
第8の態様の情報処理装置は、第6の態様又は第7の態様に係る情報処理装置において、プロセッサは、複数かつ同一の第一の項目、又は複数かつ同一の第二の項目が設定情報に設定された場合、設定された第一の項目又は第二の項目の各々に、一意となる文字を付して設定情報に設定する。
第9の態様の情報処理プログラムは、項目に対して記載欄が設けられた書類から第一の項目を表す第一の文字列が複数個検出された場合、複数の第一の文字列の各々について、第一の項目に関連付けられる第二の項目を表す第二の文字列を検出する検出ステップと、検出した第二の文字列の少なくとも1つを第二の項目として、第一の項目と関連付けて設定情報に設定する設定ステップと、をコンピュータに実行させる。
第1の態様の情報処理装置及び第9の態様の情報処理プログラムによれば、同一の項目が複数個ある書類を読み取って、設定した項目に対して、検出された複数の文字列を識別できない場合と比較して、認識結果に対するユーザの作業を軽減させることができる。
第2の態様の情報処理装置によれば、検出された第一の項目及び第二の項目の少なくとも一方の候補を確認することができる。
第3の態様の情報処理装置によれば、検出された第一の項目及び第二の項目の少なくとも一方の候補から必要な情報のみを抽出することができる。
第4の態様の情報処理装置によれば、位置関係又は従属関係に基づいて第一の項目及び第二の項目の関連付けを行わない場合と比較して、第一の項目に関連付けられる第二の項目をより適切に検出することができる。
第5の態様の情報処理装置によれば、同一の項目が複数個あっても、各々の項目に対する手書きの文字列を識別することができる。
第6の態様の情報処理装置によれば、設定情報と第三の文字列との対応関係を確認することができる。
第7の態様の情報処理装置によれば、出力形式を選択できない場合と比較して、状況に応じた出力データを取得することができる。
第8の態様の情報処理装置によれば、一意の文字を付さない場合と比較して、検出した文字列をより識別することができる。
各実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 各実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 第1実施形態に係る未記入書類の一例を示す図である。 各実施形態に係る関連項目データベースの一例を示す模式図である。 各実施形態に係る同一のグループキーが設定される説明に供する未記入書類の一例を示す図である。 第1実施形態に係る情報処理の一例を示すフローチャートである。 第2実施形態に係る未記入書類の一例を示す図である。 第2実施形態に係る情報処理の一例を示すフローチャートである。
[第1実施形態]
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。なお、本実施形態に係る情報処理装置1は、一例として、書類及び帳票等を読み取ったデータを管理するサーバである形態について説明する。しかし、これに限定されない。情報処理装置1は、例えばプリント機能、コピー機能、スキャン機能、及びファクシミリ機能等の機能を有する複合機に搭載されてもよいし、パーソナルコンピュータ等の端末でもよい。
図1は、本実施形態に係る情報処理装置1のハードウェア構成の一例を示すブロック図である。図1に示すように、本実施形態に係る情報処理装置1は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、入力部15、表示部16、及び通信インターフェース(通信I/F)17を含んで構成されている。CPU11、ROM12、RAM13、ストレージ14、入力部15、表示部16、及び通信I/F17の各々はバス18により相互に接続されている。なお、本実施形態に係るCPU11は、プロセッサの一例である。
CPU11は、情報処理装置1の全体を統括し、制御する。ROM12は、本実施形態で用いる情報処理プログラムを含む各種プログラム及びデータ等を記憶している。RAM13は、各種プログラムの実行時のワークエリアとして用いられるメモリである。CPU11は、ROM12に記憶されたプログラムをRAM13に展開して実行することにより、文字列の検出、及び検出した文字列を関連付けて記憶する処理を行う。ストレージ14は、一例としてHDD(Hard Disk Drive)、SSD(Solid State Drive)、又はフラッシュメモリ等である。なお、ストレージ14には、情報処理プログラム等を記憶してもよい。入力部15は、検出する文字列、及び文字列の選択等の入力を受け付けるキーボード及びマウス等である。表示部16は、検出した文字列を設定する候補として表示するモニター等である。通信I/F17は、データの送受信を行う。
次に、情報処理装置1の機能構成について説明する。図2は、本実施形態に係る情報処理装置1の機能的な構成の一例を示すブロック図である。
図2に示すように、情報処理装置1は、設定情報作成部21、画像入力部22、書類認識処理部23、確認訂正部24、及び結果出力部25を有する。CPU11が情報処理プログラムを実行することで、設定情報作成部21、画像入力部22、書類認識処理部23、確認訂正部24、及び結果出力部25として機能する。
設定情報作成部21は、未記入の書類データ、及び書類に含まれ、検出する対象となる項目(以下、「第一の項目」という。)の入力を受け付け、項目に対して記載欄が設けられた書類から第一の項目を表す文字列(以下、「第一の文字列」という。)を検出する。設定情報作成部21は、第一の文字列が複数個検出された場合、複数の第一の文字列の各々について、第一の項目に関連付けられる項目(以下、「第二の項目」という。)を表す文字列(以下、「第二の文字列」という。)を検出する。設定情報作成部21は、検出した第二の文字列の少なくとも1つを第二の項目として、第一の項目と関連付けて設定情報に設定する。
つまり、設定情報作成部21は、未記入の書類データから入力された第一の項目を検出し、第一の項目と関連付けられる第二の項目を検出して、第一の項目及び第二の項目を設定情報に設定する。第一の項目と、第二の項目との関連付けにおいて、設定情報作成部21は、書類における第一の項目と、第二の項目との位置情報、又は第一の項目と、第二の項目との語義の従属関係に基づいて、第一の項目と第二の項目とを関連付けて、設定情報に設定される。設定情報には、ユーザによって手書きで記入される文字列(以下、「第三の文字列」という。)が記入される相対位置が設定される。相対位置は、第一の項目及び第二の項目を基準とした第三の文字列が記入される方向である。
設定情報作成部21は、検出された複数の第一の文字列を第一の項目の候補として表示する処理、又は複数の第二の文字列を第二の項目の候補として表示する処理を実行する。設定情報作成部21は、検出された複数の第一の文字列から第一の項目を選択させる処理、又は複数の第二の文字列から第二の項目を選択させる処理を実行する。設定情報作成部21は、複数かつ同一の第一の項目、又は複数かつ同一の第二の項目が設定情報に設定された場合、設定された第一の項目又は第二の項目の各々に、一意となる文字を付して設定情報に設定する。
本実施形態に係る設定情報作成部21は、未記入の書類データの入力を受け付けて、設定情報を設定する形態について、説明した。しかし、これに限定されない。記入済書類を読み取る際に、記入済書類から文字列を読み取って設定情報を設定してもよい。
画像入力部22は、ユーザによって記入された記入済み書類を画像として読み取る処理を行う。書類認識処理部23は、画像入力部22によって記入済み書類を読み取られた画像から設定情報に基づいて、OCR(Optical Character Recognition)処理によって、第三の文字列を認識する。確認訂正部24は、認識した文字列を、表示部16に表示し、文字列の修正を受け付ける。
結果出力部25は、書類から認識した文字列を項目ごとに出力する。結果出力部25は、検出した文字列を、設定情報に含まれる第一の項目、設定情報に含まれる第二の項目、及び第三の文字列をそれぞれ分けて出力する形式(以下、「JSON形式」という。)で文字列を出力する。また、結果出力部25は、設定情報に含まれる第一の項目及び第二の項目を連結して一意の項目として設定し、一意の項目及び第三の文字列を出力する形式(以下、「キーバリュー形式」という。)で文字列を出力する。結果出力部25は、JSON形式、又はキーバリュー形式の何れかの出力形式に従って、第一の項目、第二の項目、及び第三の文字列を出力する。上記の出力形式は、設定情報作成部21によって、出力形式の選択を受け付け、設定情報に設定される。なお、JSON形式は、第一の形式の一例である。しかし、第一の形式は、JSON形式に限定されるものではない。また、キーバリュー形式は、第二の形式の一例である。しかし、これに限定されるものではない。
なお、本実施形態では、設定情報を設定する機能と、画像入力部22、書類認識処理部23、確認訂正部24、及び結果出力部25等のOCR処理を実行する機能とが、一体の装置に含まれている形態について説明した。しかし、これに限定されない。OCR処理を実行する際に、設定情報が読み込まれるのであれば、設定情報を設定する機能と、OCR処理を実行する機能とが、異なる装置に組み込まれていてもよい。
次に、情報処理装置1の作用について説明する前に、図3から図6を参照して、情報処理装置1が行う設定情報を設定するための手法について説明する。なお、本実施形態に係る書類は、「氏名」及び「住所」等の項目(以下、「キー」という。)と、「本人」及び「代理人」等の複数のキーをまとめる所属を示す項目(以下、「グループキー」という。)と、を含んでいる。第1実施形態では、第一の項目としてグループキー、第二の項目としてキーを示す形態について説明する。
まず、図3を参照して、グループキーを入力して、設定情報を設定する手法について説明する。図3は、本実施形態に係る未記入書類の一例を示す図である
一例として、図3に示すように、情報処理装置1に入力された未記入の書類データである委任状には、「代理人」の「住所」、「氏名」、及び「生年月日」を記入する項目が設けられている。また、委任状には、「本人」の「住所」、「氏名」、及び「生年月日」を記入する項目が設けられている。
例えば、情報処理装置1には、委任状の書類データ、及び検出する対象として、グループキーである「代理人」が入力される。情報処理装置1は、図3に示すように、第一の項目の候補として、一点鎖線によって囲まれた第一の文字列31を検出し、表示部16に表示し、第一の項目として設定する。具体的には、入力された書類データから「代理人」を検出し、表示部16にハイライトして表示する。検出された第一の文字列31が1つである場合、第一の文字列31を第一の項目として、設定情報に設定する。また、検出された第一の文字列31が複数である場合、複数の第一の文字列31を表示部16に表示し、ユーザによって選択された第一の文字列31を第一の項目として、設定情報に設定する。なお、選択される第一の文字列は、1つであってもよいし、複数選択されてもよい。
情報処理装置1は、第一の項目が設定された場合、第一の項目に関連付けられる第二の項目の候補として、点線によって囲まれた第二の文字列32を検出し、表示部16に表示して、第二の項目として設定する。具体的には、「代理人」の周囲に位置する「住所」、「氏名」、及び「生年月日」を検出し、表示部16にハイライトして表示する。検出した第二の文字列32が1つである場合、第二の文字列32を第二の項目として、設定情報に設定する。また、検出された第二の文字列32が複数である場合、複数の第二の文字列32を表示部16に表示し、ユーザによって選択された第二の文字列32を第二の項目として、設定情報に設定する。なお、選択される第二の文字列は、1つであってもよいし、複数選択されてもよい。
情報処理装置1は、第二の項目が設定された場合、第二の項目(キー)の位置を基準とした第三の文字列が位置する相対位置を、ユーザに選択させ、設定情報に設定する。情報処理装置1は、第三の文字列を認識した際の出力形式をユーザに選択させ、設定情報に設定する。
情報処理装置1は、記入済書類を読み込む際に、読み込んだ書類と同一の書類の設定情報を取得し、設定情報に含まれる第一の項目及び第二の項目に対応する第三の文字列を書き込んだ書類から認識する。情報処理装置1は、設定情報に設定されている出力形式に基づいて、第一の項目、第二の項目、及び第三の文字列を出力する。
本実施形態では、第一の項目の周囲に位置する第二の文字列を第二の項目として、関連付ける形態について説明した。しかし、これに限定されない。第一の項目を基準として、第二の文字列32を検出する方向を指定してもよい。具体的には、情報処理装置1は、第一の項目を基準とした相対位置(方向)に基づいて、第二の文字列32の検出を行ってもよいし第一の項目と、第二の項目との語義の従属関係に基づいて、第一の項目及び第二の項目の関連付けを行ってもよい。
次に、図4を参照して、語義の従属関係に基づいて、第一の項目及び第二の項目の関連付けについて説明する。図4は、本実施形態に係る関連項目データベース(以下、「関連項目DB」という。)40の一例を示す模式図である。
一例として、図4に示すように、関連項目DB40は、第一の項目と第二の項目との語義の従属関係を示す情報として、グループキーと、キーが記憶されている。関連項目DB40のグループキーは、複数のキーをまとめる所属を示す項目が記憶され、関連項目DB40のキーは、グループキーに属して関係が認められる項目の候補が記憶されている。つまり、関連項目DB40には、従属関係が認められるグループキー及びキーが定義され、予め記憶されている。例えば、グループキーである「保証人」には、「保証人」に従属するキーである「氏名」、「住所」、「電話番号」、「名前」、「番号」、「現住所」等の候補が関連付けられて記憶されている。情報処理装置1は、書類に含まれる項目と、関連項目DBから取得した情報を比較して、第二の文字列32の検出を行う。
具体的には、情報処理装置1は、語義の従属関係に基づいて、第二の文字列32を検出する場合、第一の項目に設定したグループキーに関連付けられるキーを関連項目DB40から検索して取得する。情報処理装置1は、書類に含まれる項目と、取得したキーとを比較し、一致する項目があった場合、一致した項目を第二の文字列32として、ハイライトして表示する。
なお、本実施形態では、関連項目DB40は、予め記憶されている形態について説明した。しかし、これに限定されない。設定情報に設定された第一の項目及び第二の項目を関連項目DB40に記憶して、語義の従属関係を示す情報として蓄積してもよい。
次に、図5を参照して、設定情報に同一のグループキーが設定される場合について説明する。図5は、本実施形態に係る同一のグループキーが設定される説明に供する未記入書類の一例を示す図である。
一例として、図5に示すように、情報処理装置1に入力された未記入の書類データである身元保証書には、「保証人」の「現住所」、「職業」、「氏名」、及び「本人との続柄」を記入する項目が設けられている。
情報処理装置1は、身元保証書の書類データ、及び検出する対象として、グループキーである「保証人」が入力される。情報処理装置1は、図5に示すように、第一の項目の候補として、一点鎖線によって囲まれた第一の文字列33、及び第一の文字列34を検出し、表示部16に表示する。ユーザによって、第一の文字列33及び第一の文字列34が選択された場合、情報処理装置1は、第一の文字列33及び第一の文字列34を第一の項目に設定する。情報処理装置1は、第一の文字列33及び第一の文字列34に関連付けられる第二の項目の候補として、第二の文字列32を検出し、表示部16に表示して、ユーザに選択された第二の文字列32を第二の項目として、設定情報に設定する。
情報処理装置1は、第一の項目、又は第二の項目として、複数のグループキーが選択され、かつ選択されたグループキーが同一である場合、グループキーが一意となるように、各々のグループキーに一意となる文字を付して、設定情報に設定する。具体的には、図5に示すように、書類データである身元保証書には、グループキーとして「保証人」が複数含まれ、第一の文字列33及び第一の文字列34として検出される。ユーザによって、第一の文字列33及び第一の文字列34が選択された場合、第一の文字列33を示す「保証人」に「1」を付し、第一の文字列34を示す「保証人」に「2」を付して、設定情報に設定する。つまり、上記の設定情報に基づいて、OCR処理を行った場合、「保証人1」の「現住所」、「職業」、「氏名」、及び「本人との続柄」と、「保証人2」の「現住所」、「職業」、「氏名」、及び「本人との続柄」とが出力される。なお、本実施形態では、グループキーが同一であった場合、一意となる文字を付す形態について説明した。しかし、これに限定されない。キーが同一であった場合、一意となる文字を付してもよい。また、本実施形態では、一意となる文字として、数字を付す形態について説明した。しかし、これに限定されない。一意となる記号を付してもよいし、一意となる数字及び記号を組み合わせた文字を付してもよい。
次に、図6を参照して、本実施形態に係る情報処理プログラムの作用について説明する。まず、図6は、本実施形態に係る情報処理の一例を示すフローチャートである。CPU11がROM12又はストレージ14から情報処理プログラムを読み出し、実行することによって、図6に示す情報処理が実行される。図6に示す情報処理は、例えば、書類データが入力され、情報処理プログラムの実行指示が入力された場合、情報処理が実行される。
ステップS101において、CPU11は、何らかの書類データが入力されたか否かの判定を行う。書類データが入力された場合(ステップS101:YES)、CPU11は、ステップS102に移行する。一方、書類データが入力されていない場合(ステップS101:NO)、CPU11は、書類データが入力されるまで待機する。ここで、ユーザによって、書類データの入力と共に、設定情報を設定する指示又はOCR処理を行う指示の何れか一方の指示と、JSON形式又はキーバリュー形式のいずれか一方の出力形式とが入力される。
ステップS102において、CPU11は、ユーザによって、設定情報を設定する指示、又はOCR処理を行う指示のどちらの指示が入力されたかの判定を行う。設定情報の設定する指示が入力された場合(ステップS102:YES)、CPU11は、ステップS103に移行する。一方、OCR処理を行う指示が入力された場合(ステップS102:NO)、CPU11は、ステップS116に移行する。
ステップS103において、CPU11は、入力された書類データを取得する。
ステップS104において、CPU11は、入力された第一の項目の候補を取得する。
ステップS105において、CPU11は、入力された第一の項目の候補を用いて、書類データに含まれる第一の文字列を検出する。
ステップS106において、CPU11は、検出した第一の文字列をハイライトして表示する。ここで、ユーザは、第一の文字列を選択する。
ステップS107において、CPU11は、ユーザによって選択された第一の文字列を第一の項目として、設定する。
ステップS108において、CPU11は、複数の第一の項目が設定されたか否かの判定を行う。複数の第一の項目が設定された場合(ステップS108:YES)、CPU11は、ステップS109に移行する。一方、複数の第一の項目が設定されていない場合(ステップS108:NO)、CPU11は、ステップS110に移行する。
ステップS109において、CPU11は、設定した複数の第一の項目に、一意となる文字を付して記憶する。
ステップS110において、CPU11は、入力された書類データから第一の項目に関連付けられる第二の項目の候補である第二の文字列を検出する。
ステップS111において、CPU11は、検出した第二の文字列をハイライトして表示する。ここで、ユーザは、第二の文字列を選択し、第二の文字列(キー)を基準とした第三の文字列が位置する相対位置を入力する。なお、本実施形態では、相対位置を入力する形態について説明した。しかし、これに限定されない。相対位置を入力しない形態としてもよい。相対位置を入力しない場合、CPU11は、第二の文字列(キー)を基準として、第三の文字列の検出を全方位に行う。
ステップS112において、CPU11は、ユーザによって選択された第二の文字列を第二の項目として設定する。
ステップS113において、CPU11は、第二の項目(キー)を基準とした第三の文字列が位置する相対位置を取得する。
ステップS114において、CPU11は、ユーザによって選択されたJSON形式、又はキーバリュー形式のいずれか一方の出力形式を取得する。
ステップS115において、CPU11は、第一の項目、第二の項目、相対位置、及び出力形式を設定情報に設定し、記憶する。
ステップS116において、CPU11は、OCR処理を行うか否かの判定を行う。OCR処理を行う場合(ステップS116:YES)、CPU11は、ステップS117に移行する。一方、OCR処理を行わない場合(ステップS116:NO)、CPU11は、情報処理を終了する。
ステップS117において、CPU11は、設定情報を取得する。
ステップS118において、CPU11は、設定情報から相対位置を取得する。
ステップS119において、CPU11は、取得した相対位置に基づいて、書類データに記入されている第三の文字列を検出する。
ステップS120において、CPU11は、設定情報に設定されている出力形式がキーバリュー形式か否かの判定を行う。キーバリュー形式の場合(ステップS120:YES)、CPU11は、ステップS121に移行する。一方、JSON形式の場合(ステップS120:NO)、CPU11は、ステップS122に移行する。
ステップS121において、CPU11は、設定情報に設定されている第一の項目、及び第二の項目を取得し、連結する。
ステップS122において、CPU11は、設定情報に設定されている第一の項目、及び第二の項目を取得する。
ステップS123において、CPU11は、第一の項目、第二の項目、及び第三の文字列を出力形式に基づいて出力する。
以上説明したように、本実施形態によれば、グループキー及びキーを設定することで、書類に含まれる同一の項目を識別することができる。したがって、同一の項目が複数個ある書類を読み取っても、設定した項目に対して、検出された複数の文字列を識別することができる設定情報を生成することができる。
[第2実施形態]
第1実施形態では、第一の項目にグループキーを設定し、第二の項目にキーを設定する形態について説明した。本実施形態では、第一の項目にキーを設定し、第二の項目にグループキーを設定する形態について説明する。なお、本実施形態に係る情報処理装置1のハードウェア構成を示すブロック図(図1参照)、情報処理装置1の機能的な構成を示すブロック図(図2参照)、第1実施形態と同様であるため、説明を省略する。また、本実施形態に係る関連項目DB40を示す模式図(図4参照)、及び同一のグループキーが設定される説明に供する未記入書類を示す図である(図5参照)は、第1実施形態と同様であるため、説明を省略する。
図7を参照して、第2実施形態に係るキーを入力して、設定情報を設定する手法について説明する。図7は、第2実施形態に係る未記入書類の一例を示す図である。なお、図7に示す未記入書類は、図3における同一の構成要素については、図3と同一の符号を付して、その説明を省略する。
一例として、図7に示すように、情報処理装置1に入力された未記入の書類データである委任状には、「代理人」の「住所」、「氏名」、及び「生年月日」を記入する項目が設けられている。また、委任状には、「本人」の「住所」、「氏名」、及び「生年月日」を記入する項目が設けられている。
情報処理装置1には、委任状の書類データ、及び検出する対象として、キーである「氏名」が入力されたとする。情報処理装置1は、図7に示すように、第一の項目の候補として、一点鎖線によって囲まれた第一の文字列31を検出し、表示部16に表示し、第一の項目として設定する。具体的には、入力された書類データから「氏名」を検出し、表示部16にハイライトして表示する。検出された第一の文字列31が1つである場合、第一の文字列31を第一の項目として、設定情報に設定する。また、検出された第一の文字列31が複数である場合、複数の第一の文字列31を表示部16に表示し、ユーザによって選択された第一の文字列31を第一の項目として、設定情報に設定する。なお、選択される第一の文字列は、1つであってもよいし、複数選択されてもよい。
情報処理装置1は、第一の項目が設定された場合、第一の項目に関連付けられる第二の項目の候補として、点線によって囲まれた第二の文字列32を検出し、表示部16に表示して、第二の項目として設定する。具体的には、「氏名」の周囲に位置する「代理人」、及び「本人」を検出し、表示部16にハイライトして表示する。検出した第二の文字列32が1つである場合、第二の文字列32を第二の項目として、設定情報に設定する。また、検出された第二の文字列32が複数である場合、複数の第二の文字列32を表示部16に表示し、ユーザによって選択された第二の文字列32を第二の項目として、設定情報に設定する。なお、選択される第二の文字列は、1つであってもよいし、複数選択されてもよい。
情報処理装置1は、第二の項目が設定された場合、第一の項目(キー)の位置を基準とした第三の文字列が位置する相対位置を、ユーザに選択させ、設定情報に設定する。情報処理装置1は、第三の文字列を認識した際の出力形式をユーザに選択させ、設定情報に設定する。
情報処理装置1は、記入済書類を読み込む際に、読み込んだ書類と同一の書類の設定情報を取得し、設定情報に含まれる第一の項目及び第二の項目に対応する第三の文字列を書見込んだ書類から認識する。情報処理装置1は、設定情報に設定されている出力形式に基づいて、第一の項目、第二の項目、及び第三の文字列を出力する。
次に、図8を参照して、本実施形態に係る情報処理プログラムの作用について説明する。図8は、第2実施形態に係る情報処理の一例を示すフローチャートである。CPU11がROM12又はストレージ14から情報処理プログラムを読み出し、実行することによって、図8に示す情報処理が実行される。図8に示す情報処理は、例えば、情報処理装置1を起動した場合、情報処理プログラムの実行指示が入力され、情報処理が実行される。なお、図8における図6に示す識別処理と同一のステップについては、図6と同一の符号を付して、その説明を省略する。
ステップS124において、CPU11は、複数の第二の項目(グループキー)が設定され、かつ同一であるか否かの判定を行う。複数の第二の項目(グループキー)が設定され、かつ同一である場合(ステップS124:YES)、CPU11は、ステップS125に移行する。一方、複数の第二の項目(グループキー)が設定されていない、又は同一でない場合(ステップS124:NO)、CPU11は、ステップS113に移行する。
ステップS125において、CPU11は、設定した複数の第二の項目に、一意となる文字を付して記憶する。
本実施形態によれば、キーを入力することで、設定情報を設定することができる。以上説明したように、本実施形態によれば、第1実施形態と同様の効果を奏することができる。
その他、上記実施形態で説明した情報処理装置1の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
なお、上記各実施形態において、プロセッサとは、広義的なプロセッサを指し、例えば CPU( Central Processing Unit)等の汎用的なプロセッサや、例えば GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、及びプログラマブル論理デバイス等の専用のプロセッサを含むものである。
また、上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
また、上記各実施形態では、情報処理のプログラムがストレージ14に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
1 情報処理装置
11 CPU
12 ROM
13 RAM
14 ストレージ
15 入力部
16 表示部
17 通信I/F
18 バス
21 設定情報作成部
22 画像入力部
23 書類認識処理部
24 確認訂正部
24 結果出力部
25 結果出力部
31、32、33、34 文字列
40 関連項目DB

Claims (8)

  1. プロセッサを備え、前記プロセッサは、
    項目に対して記載欄が設けられた書類から第一の項目を表す第一の文字列が複数個検出された場合、複数の前記第一の文字列の各々について、第一の項目に関連付けられる第二の項目を表す第二の文字列を検出し、
    検出した前記第二の文字列の少なくとも1つを前記第二の項目として、前記第一の項目と関連付けて設定情報に設定
    前記設定情報に対応する記載欄に記載された文字列である第三の文字列を検出し、前記設定情報に関連付けて前記第三の文字列を出力する、
    情報処理装置。
  2. 前記プロセッサは、検出された複数の前記第一の文字列を前記第一の項目の候補として表示する処理、及び複数の前記第二の文字列を前記第二の項目の候補として表示する処理の少なくとも一方を実行する請求項1に記載の情報処理装置。
  3. 前記プロセッサは、検出された複数の前記第一の文字列から前記第一の項目を選択させる処理、及び複数の前記第二の文字列から前記第二の項目を選択させる処理の少なくとも一方を実行する請求項2に記載の情報処理装置。
  4. 前記プロセッサは、前記書類における前記第一の項目と前記第二の項目の位置情報、又は前記第一の項目と前記第二の項目の語義の従属関係に基づいて、前記第一の項目と前記第二の項目とを関連付ける請求項1から請求項3の何れか1項に記載の情報処理装置。
  5. 前記プロセッサは、前記設定情報に含まれる前記第一の項目、前記設定情報に含まれる前記第二の項目、及び前記第三の文字列をそれぞれ分けて出力する第一の形式、及び前記設定情報に含まれる前記第一の項目及び前記第二の項目を連結して一意の項目として設定し、前記一意の項目及び前記第三の文字列を出力する第二の形式の何れかの出力形式に従って出力する請求項に記載の情報処理装置。
  6. 前記プロセッサは、前記出力形式の選択を受け付ける請求項に記載の情報処理装置。
  7. 前記プロセッサは、複数かつ同一の前記第一の項目、又は複数かつ同一の前記第二の項目が前記設定情報に設定された場合、設定された前記第一の項目又は前記第二の項目の各々に、一意となる文字を付して前記設定情報に設定する請求項又は請求項に記載の情報処理装置。
  8. 項目に対して記載欄が設けられた書類から第一の項目を表す第一の文字列が複数個検出された場合、複数の前記第一の文字列の各々について、第一の項目に関連付けられる第二の項目を表す第二の文字列を検出する検出ステップと、
    検出した前記第二の文字列の少なくとも1つを前記第二の項目として、前記第一の項目と関連付けて設定情報に設定する設定ステップと、
    前記設定情報に対応する記載欄に記載された文字列である第三の文字列を検出し、前記設定情報に関連付けて前記第三の文字列を出力するステップと、
    をコンピュータに実行させる情報処理プログラム。
JP2019151505A 2019-08-21 2019-08-21 情報処理装置、及び情報処理プログラム Active JP7358838B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019151505A JP7358838B2 (ja) 2019-08-21 2019-08-21 情報処理装置、及び情報処理プログラム
CN202010162996.1A CN112417936A (zh) 2019-08-21 2020-03-10 信息处理装置及记录媒体
US16/822,464 US11574490B2 (en) 2019-08-21 2020-03-18 Information processing apparatus and non-transitory computer readable medium storing information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019151505A JP7358838B2 (ja) 2019-08-21 2019-08-21 情報処理装置、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2021033534A JP2021033534A (ja) 2021-03-01
JP7358838B2 true JP7358838B2 (ja) 2023-10-11

Family

ID=74646269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019151505A Active JP7358838B2 (ja) 2019-08-21 2019-08-21 情報処理装置、及び情報処理プログラム

Country Status (3)

Country Link
US (1) US11574490B2 (ja)
JP (1) JP7358838B2 (ja)
CN (1) CN112417936A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041388A (ja) 2011-08-15 2013-02-28 Fujitsu Marketing Ltd レシート定義データ作成装置およびそのプログラム
JP2014041442A (ja) 2012-08-22 2014-03-06 Fujitsu Marketing Ltd レシート定義データ作成装置およびプログラム
JP2019061550A (ja) 2017-09-27 2019-04-18 株式会社ミラボ 標準項目名設定装置、標準項目名設定方法及び標準項目名設定プログラム
JP6896292B2 (ja) 2016-07-21 2021-06-30 株式会社ミラボ 帳票入力フォーム生成装置、帳票入力フォーム生成方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740389B2 (en) * 2013-04-24 2017-08-22 Blackberry Limited Device, system and method for processing character data
JP6406932B2 (ja) 2014-08-29 2018-10-17 日立オムロンターミナルソリューションズ株式会社 帳票認識装置及び方法
US20180011921A1 (en) * 2016-07-10 2018-01-11 Paul Barclay System and method for mapping data fields between flat files and relational databases

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041388A (ja) 2011-08-15 2013-02-28 Fujitsu Marketing Ltd レシート定義データ作成装置およびそのプログラム
JP2014041442A (ja) 2012-08-22 2014-03-06 Fujitsu Marketing Ltd レシート定義データ作成装置およびプログラム
JP6896292B2 (ja) 2016-07-21 2021-06-30 株式会社ミラボ 帳票入力フォーム生成装置、帳票入力フォーム生成方法及びプログラム
JP2019061550A (ja) 2017-09-27 2019-04-18 株式会社ミラボ 標準項目名設定装置、標準項目名設定方法及び標準項目名設定プログラム

Also Published As

Publication number Publication date
JP2021033534A (ja) 2021-03-01
US11574490B2 (en) 2023-02-07
US20210056301A1 (en) 2021-02-25
CN112417936A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
JP5665125B2 (ja) 画像処理方法、及び、画像処理システム
US11475688B2 (en) Information processing apparatus and information processing method for extracting information from document image
JP7493937B2 (ja) 文書における見出しのシーケンスの識別方法、プログラム及びシステム
JP5316021B2 (ja) 清書支援プログラム及び清書支援方法
JP5629908B2 (ja) セキュア文書検出方法、セキュア文書検出プログラム、及び光学式文字読取装置
JP6603194B2 (ja) 画面認識装置、画面認識方法、および、画面認識プログラム
JP4470913B2 (ja) 文字列検索装置およびプログラム
JP7358838B2 (ja) 情報処理装置、及び情報処理プログラム
US20230306767A1 (en) Information processing apparatus, non-transitory computer readable medium, and method for processing information
US20230306193A1 (en) Information processing apparatus, non-transitory computer readable medium, and method for processing information
EP3985556A1 (en) Apparatus and method for document recognition
US11972208B2 (en) Information processing device and information processing method
JP2021140831A (ja) 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム
CN114611475A (zh) 信息处理装置、信息处理方法和计算机可读介质
JP3979288B2 (ja) 文書検索装置および文書検索プログラム
JP2010102734A (ja) 画像処理装置及びプログラム
JP4328511B2 (ja) パターン認識装置、パターン認識方法、プログラムおよび記憶媒体
JP5003837B2 (ja) 画像処理装置及びプログラム
JP6322291B2 (ja) 文書処理装置および項目抽出方法
US20210295032A1 (en) Information processing device and non-transitory computer readable medium
JP7421384B2 (ja) 情報処理装置、修正候補表示方法、及びプログラム
JP2006031129A (ja) 文書処理手法及び文書処理装置
WO2021117128A1 (ja) 帳票画像処理システム
WO2023062799A1 (ja) 情報処理システム、原稿種識別方法、モデル生成方法及びプログラム
JP2018063597A (ja) 文字認識装置、文字認識方法、文字認識プログラム、および帳票

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R150 Certificate of patent or registration of utility model

Ref document number: 7358838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150