JP2024084452A - 情報処理装置とその制御方法、及びプログラム - Google Patents
情報処理装置とその制御方法、及びプログラム Download PDFInfo
- Publication number
- JP2024084452A JP2024084452A JP2022198734A JP2022198734A JP2024084452A JP 2024084452 A JP2024084452 A JP 2024084452A JP 2022198734 A JP2022198734 A JP 2022198734A JP 2022198734 A JP2022198734 A JP 2022198734A JP 2024084452 A JP2024084452 A JP 2024084452A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- area
- setting
- character string
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 147
- 230000010365 information processing Effects 0.000 title claims abstract description 136
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000000873 masking effect Effects 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 75
- 239000013598 vector Substances 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Character Discrimination (AREA)
Abstract
【課題】認識した文字ブロックの外接矩形を墨消し領域として設定することで視認性の高い墨消し画像を生成できるが、墨消し領域の面積から墨消し対象の文字列が推測できてしまう。【解決手段】文書画像を取得してマスク処理を行って出力する情報処理装置であって、マスク対象の項目に含まれる文字列に対するマスク領域の設定方法を取得し、その取得したマスク領域の設定方法が、前記文字列を含む文字領域の外接矩形よりも広いマスク領域を設定する設定方法である場合、前記設定方法に基づいて設定されたマスク領域を前記文字列に対して設定する。そして、その設定された前記マスク領域に対してマスク処理を実施することで前記文書画像のマスク画像を生成する。【選択図】 図5
Description
本発明は、情報処理装置とその制御方法、及びプログラムに関する。
従来、スキャンやFAX等で入力された文書画像の中に個人情報や機密情報が含まれる場合に、その個人情報や機密情報に対応する項目の文字列が配置された画像領域を墨消しするように加工して出力する技術が知られている。一般に、入力された文書が定型文書の場合と非定型文書の場合で、有効な墨消し領域の指定方法が異なる。尚、定型文書とは、例えば、銀行の振込依頼書や団体への加入申請書などの、帳票レイアウトが固定の文書を指し、非定型文書とは定型文書ではない文書全般を指す。即ち、非定型文書には、他社から受け取った請求書や見積書のような、文書の種別が同一であっても、帳票レイアウトが互いに異なる様々な文書を含む。
入力された文書が定型文書の場合は、ユーザが事前に指定した領域を墨消し領域として指定する。一方、入力された文書が非定型文書の場合は、同一の項目(例:人名、金額)であっても、その記載位置が異なるため、定型文書と同様の指定方法をとることができない。そのため、システムが自動で文書中の文字を認識し、例えば人名欄の文字ブロックの外接矩形を墨消し領域として指定する。尚、非定型文書で有効な墨消し領域の指定方法は、定型文書で墨消し領域を指定する場合にも適用することができる。
特許文献1は、定型文書及び非定型文書の文書画像に対して、マスク対象の項目、マスク方法を指定することでマスク領域を求め、そのマスク領域を単一色で塗りつぶすことでマスク処理を施した帳票画像を出力する技術を記載している。
しかしながら上記従来の技術では、認識した文字ブロックをマスク領域として設定することで視認性のマスク画像を生成できるが、マスク領域の面積からマスク対象の文字列を推測できる課題があった。例えば、そのマスク領域が、金額などの文字列が含まれる金額欄である場合、周囲の文字やマスク領域の面積等から、その金額欄に含まれるマスク対象の文字列が何桁程度の金額を表しているか推測できてしまうという課題があった。
本発明の目的は、上記従来技術の課題の少なくとも一つを解決することにある。
本発明の目的は、マスク領域の面積から、マスク対象の文字列が推測されにくいマスク画像を生成できる技術を提供することにある。
上記目的を達成するために本発明の一態様に係る情報処理装置は以下のような構成を備える。即ち、
文書画像を取得してマスク処理を行って出力する情報処理装置であって、
マスク対象の項目に含まれる文字列に対するマスク領域の設定方法を取得する取得手段と、
前記取得手段により取得されたマスク領域の設定方法が、前記文字列を含む文字領域の外接矩形よりも広いマスク領域を設定する設定方法である場合、前記設定方法に基づいて設定されたマスク領域を前記文字列に対して設定する設定手段と、
前記設定手段により設定された前記マスク領域に対してマスク処理を実施することで前記文書画像のマスク画像を生成する生成手段と、とを有することを特徴とする。
文書画像を取得してマスク処理を行って出力する情報処理装置であって、
マスク対象の項目に含まれる文字列に対するマスク領域の設定方法を取得する取得手段と、
前記取得手段により取得されたマスク領域の設定方法が、前記文字列を含む文字領域の外接矩形よりも広いマスク領域を設定する設定方法である場合、前記設定方法に基づいて設定されたマスク領域を前記文字列に対して設定する設定手段と、
前記設定手段により設定された前記マスク領域に対してマスク処理を実施することで前記文書画像のマスク画像を生成する生成手段と、とを有することを特徴とする。
本発明によれば、マスク対象の文字列を含む文書画像にマスク処理を実施した際に、マスク領域の面積からマスク対象の文字列が推測されづらいマスク画像を生成できるというい効果がある。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。尚、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態1に係る情報処理システムの構成例を示す図。
実施形態1に係る情報処理システムに含まれる情報処理装置、学習装置及び画像処理サーバのハードウェア構成を説明するブロック図。
施形態1に係る情報処理システムにおける処理のシーケンス例を説明する図。
図3のS300において学習装置が、文字列抽出器を生成する処理を説明するフローチャート。
図3のS310で情報処理サーバが、文書画像に含まれる墨消し対象の文字列データを抽出して墨消し画像を生成する処理を説明するフローチャート。
実施形態1で墨消し対象項目となり得る項目名と、その項目名に対応する項目値である固有表現の文字列の具体例を示す図。
固有表現ラベルに対応した文字列群の特徴ベクトルを示す概念図。
実施形態と従来技術とを比較する図。
実施形態1において、ユーザ操作によって与えられた墨消し領域の指定を、S307で墨消し領域の設定として保存するための設定画面例を説明する図。
図3のS310で、実施形態2に係る情報処理サーバが文書画像に含まれる墨消し対象の文字列データを抽出して墨消し画像を生成する処理を説明するフローチャート。
実施形態2において、ユーザ操作によって与えられた墨消し領域の指定を、墨消し領域の設定として保存するための設定画面例を説明する図。
実施形態2において、「墨消し領域の詳細設定」ボタンが押下された場合に表示される墨消し領域の設定の指示を受け付けるオプション設定画面の一例を説明する図。
図12の設定画面において、選択ボタン「カスタム」が選択されたときに表示される画面例を説明する図。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これら複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。以下に説明する実施形態では、マスク処理の一例として、マスク対象領域を黒色で塗りつぶす墨消し処理を例に説明するが、例えば、マスク対象領域を黒以外のインクで塗りつぶしたり、或いは所定のパターンで上書きしても良く、本発明はこれに限定されるものではない。
[実施形態1]
図1は、本発明の実施形態1に係る情報処理システム100の構成例を示す図である。
図1は、本発明の実施形態1に係る情報処理システム100の構成例を示す図である。
この情報処理システム100は、例えば、情報処理装置101、学習装置102、情報処理サーバ103を含み、これらはネットワーク104を介して接続されている。情報処理システム100において、情報処理装置101、学習装置102、情報処理サーバ103は、ネットワーク104に対して、それぞれ単一で接続されるだけでなく、複数接続された構成であっても良い。例えば、情報処理サーバ103は、高速演算リソースを有する第1のサーバ装置(非図示)と大容量ストレージを有する第2のサーバ装置(非図示)を有し、ネットワーク104を介して接続された構成であっても良い。
情報処理装置101は、プリント、スキャン、FAXのように複数の機能を備えたMFP(Multi-Function Peripheral)等で実現されるものであって、ここでは画像取得部として機能する。情報処理装置101は、例えば、画像取得部によって、紙などの記憶媒体に画像や文書などが印刷された原稿111を光学的に読み取り、そのスキャン画像データに所定の画像処理を行うことで文書画像113を生成して情報処理サーバ103に送信する。また情報処理装置101は、例えば、画像取得部によって、不図示のFAX送信機から送信されたFAXデータ112を受信し、所定のFAX画像処理を行うことで文書画像113を生成して情報処理サーバ103に送信する。尚、情報処理装置101は、前述したスキャンやFAXの機能を備えたMFP以外に、PC(Personal Computer)などで実現される構成であっても良い。具体的には、例えば、情報処理装置101としてのPC上で動作する文書作成アプリケーションを用いて生成された、PDFやJPEG等の文書画像113を情報処理サーバ103に送信しても良い。
学習装置102は、エンジニアによって提供された複数の文書画像のサンプル114を基に、文書画像113に含まれる文字列群のうちの抽出対象の文字列に正解ラベルが付与された文書データを学習データとして生成する生成部として機能する。更に、学習装置102は、生成部で生成した文書データを学習データとして利用し、文書データに含まれる抽出対象の文字列を推定する文字列抽出器115の学習モデルを学習する学習部として機能する。
情報処理サーバ103は、情報処理装置101から受信した文書画像113のうちマスク対象の文字列データが存在する画像領域をマスク処理したマスク画像(墨消し画像)116を生成する情報処理部として機能する。更に、情報処理サーバ103は、生成した墨消し画像116を記憶する記憶部として機能する。
まず情報処理サーバ103の情報処理部は、文書画像113に対して文字認識処理(OCR)を実行し、OCR処理によって得られた文字認識結果としての複数の文字列データを取得する。更に、情報処理サーバ103の情報処理部は、文字列抽出器115を利用して文書画像113に含まれる文字列データの中から、予め設定された墨消し対象の文字列データを抽出する。そして、その文字列データが存在した画像領域を墨消し加工した墨消し画像116を生成する。その後、情報処理サーバ103の記憶部は、情報処理部によって生成された墨消し画像116を記憶し、ユーザの要求に従って、墨消し画像116を表示する。
ネットワーク104は、LANやWAN等で実現されるものであって、情報処理装置101、学習装置102、情報処理サーバ103の間を互いに接続して、装置間でデータを送受信するための通信部である。
図2は、実施形態1に係る情報処理システム100に含まれる情報処理装置101、学習装置102及び画像処理サーバ103のハードウェア構成を説明するブロック図である。
図2(A)は、実施形態1に係る情報処理装置101のハードウェア構成を説明するブロック図。
情報処理装置101は、CPU201、ROM202、RAM204、プリンタデバイス205、スキャナデバイス206、ストレージ208、外部インタフェース211等を有し、これらはバス203を介して互いに接続される。CPU201は、情報処理装置101における動作全体を制御するための制御部である。CPU201は、ROM202に記憶された起動プログラムを実行することで、情報処理装置101のシステムを起動し、ストレージ208に記憶された制御プログラムをRAM204に展開して実行する。こうしてCPU201は、情報処理装置101のプリント、スキャン、FAX等の機能を実現する。ROM202は不揮発性メモリで実現され、情報処理装置101を起動する起動プログラム等を格納するための記憶部である。バス203は、情報処理装置101を構成するデバイス間で相互にデータや制御信号等を送受信するための通信部である。RAM204は揮発性メモリで実現され、CPU201が制御プログラムを実行する際のワークメモリとして使用される記憶部である。プリンタデバイス205は画像出力デバイスであって、情報処理装置101の内部の文書画像を紙などの記憶媒体に印刷して出力するための処理部である。スキャナデバイス206は画像入力デバイスであって、文字や図表等が印刷された紙などの記憶媒体を光学的に読み取って文書画像として取得するための処理部である。原稿搬送デバイス207は、ADF(Auto Document Feeder)等で実現されるものであって、原稿台に載置された原稿を検知し、検知した原稿を1枚ずつスキャナデバイス206に搬送するための処理部である。ストレージ208は、HDD(Hard Disk Drive)等で実現され、前述の制御プログラムや文書画像を記憶するための記憶部である。入力デバイス209は、タッチパネルやハードキー等で実現され、ユーザからの情報処理装置101に対する操作入力を受け付けるための処理部である。表示デバイス210は、例えばタッチパネル機能付きのディスプレイ等で実現され、情報処理装置101の設定画面をユーザに対して表示出力する。外部インタフェース211は、情報処理装置101とネットワーク104との間を接続するもので、不図示のFAX送信機からFAXデータを受信したり、情報処理サーバ103に対して文書画像を送信したりするためのインタフェース部である。
図2(B)は、実施形態1に係る学習装置102のハードウェア構成を説明するブロック図である。
学習装置102は、CPU231、ROM232、RAM234、ストレージ235、入力デバイス236、表示デバイス237、外部インタフェース238、GPU239等を有し、これらはバス233を介して接続される。CPU231は、学習装置102における動作全体を制御するための制御部である。CPU231は、ROM232に記憶されたブートプログラムを実行することで、学習装置102のシステムを起動し、ストレージ208に記憶されたプログラムをRAM234に展開して実行することで、文書データを生成したり、文書データを学習して文字列抽出器115を生成したりする。ROM232は不揮発性メモリで実現され、学習装置102を起動するブートプログラム等を格納するための記憶部である。バス233は、学習装置102を構成するデバイス間で相互にデータや制御信号等を送受信するための通信部である。RAM234は揮発性メモリで実現され、CPU231が文書データ生成や学習を行うプログラムを実行する際のワークメモリとして使用される記憶部である。ストレージ235は、HDD(Hard Disk Drive)等で実現され、文書データや文字列抽出器115を記憶するための記憶部である。入力デバイス236は、ポインティングデバイスやキーボード等で実現され、エンジニアからの学習装置102に対する操作入力を受け付けるための処理部である。表示デバイス237は、例えばタッチパネル機能付きのディスプレイ等で実現され、学習装置102の設定画面をエンジニアに対して表示出力するための表示部である。外部インタフェース238は、学習装置102とネットワーク104との間を接続するものであって、不図示のPC等から文書画像114を受信したり、情報処理サーバ103に対して文字列抽出器115を送信したりするためのインタフェース部である。GPU239は、画像処理プロセッサで構成された演算部である。GPU239は、例えば、CPU231から与えられた制御コマンドに従って、与えられた文書画像に含まれる文字列データを基に、文字列抽出器115を生成するための演算を実行する。
図2(C)は、実施形態1に係る情報処理サーバ103のハードウェア構成を説明するブロック図である。
情報処理サーバ103は、CPU261、ROM262、RAM264、ストレージ265、入力デバイス266、表示デバイス267、外部インタフェース268等を有し、これらはバス263を介して接続される。CPU261は、情報処理サーバ103における動作全体を制御するための制御部である。CPU261は、ROM262に記憶されたブートプログラムを実行することで、情報処理サーバ103のシステムを起動し、ストレージ265に記憶された情報処理プログラムをRAM264に展開して実行することで、文字列の抽出、墨消し加工などの情報処理を実行する。ROM262は、例えば書き込み可能な不揮発性メモリで実現され、情報処理サーバ103を起動するブートプログラムを格納するための記憶部である。バス263は、情報処理サーバ103を構成するデバイス間で相互にデータや制御信号を送受信するための通信部である。RAM264は揮発性メモリで実現され、CPU261が情報処理プログラムを実行する際のワークメモリとして使用される記憶部である。ストレージ265は、HDD(Hard Disk Drive)等で実現され、前述の情報処理プログラム、文書画像113、文字列抽出器115、文字列データ116等を記憶するための記憶部である。入力デバイス266は、ポインティングデバイスやキーボード等を有し、ユーザ又はエンジニアから情報処理サーバ103に対する操作入力を受け付けるための処理部である。表示デバイス267は、例えばタッチパネル機能付きのディスプレイ等で実現され、情報処理サーバ103の設定画面をユーザ又はエンジニアに対して表示するための表示部である。外部インタフェース268は、情報処理サーバ103とネットワーク104との間を接続するものであって、学習装置102から文字列抽出器115を受信したり、情報処理装置101から文書画像113を受信したりするためのインタフェース部である。
図3は、実施形態1に係る情報処理システム100における処理のシーケンス例を説明する図である。
S300は、学習装置102が文字列抽出器115を生成する流れを示す。このS300の詳細な説明は、図4のフローチャートを参照して後述する。
S300では、まずS301で、情報処理システム100を開発するエンジニアは、文字列抽出器115を生成するために、学習装置102に対して、複数の文書画像のサンプル114を入力する。次にS302で学習装置102は、S301で入力された複数の文書画像のサンプル114に含まれる文字列データを取得し、取得した文字列データを、氏名、住所、日付、会社名、金額などの項目に分類して抽出する文字列抽出器115を生成する。その後、S303で学習装置102は、情報処理サーバ103に対して、生成した文字列抽出器115を送信して情報処理サーバ103に保存させる。
S310は、ユーザの指示に従い、情報処理サーバ103が、文書画像113における墨消し対象の文字列を墨消しするように加工した墨消し画像116を生成し、その墨消し画像116をユーザに対して送信する流れを示す。尚、このS310の詳細な説明は、図5のフローチャートを参照して後述する。
S310では、まずS304で情報処理システム100を利用するユーザは、情報処理装置101を用いて、原稿111に対するスキャン処理を指示する。この指示を受け取ると情報処理装置101は原稿111を読取り、S305で文書画像113を生成して情報処理サーバ103に送信する。次にS306で、情報処理システム100を利用するユーザは、送信済みの文書画像113における墨消し対象項目を指定する。この指定を受けて情報処理サーバ103はS307で、文書画像113に対する墨消し対象項目の設定を保存する。そしてS308で情報処理サーバ103は、文書画像113に対する墨消し画像116を生成する。その後S309で情報処理サーバ103は、情報処理システム100を利用するユーザからの要求に応じて、S308で生成した墨消し画像116を送信する。
まず文字列抽出器115の生成処理の説明に先立ち、図6及び図7を参照して、文書画像に含まれる文字列の中から特定する固有表現の文字列について説明する。
図6は、実施形態1で墨消し対象項目となり得る項目名と、その項目名に対応する項目値である固有表現の文字列の具体例を示す図である。
図6では、墨消し対象項目となり得る項目名として、固有表現の文字列を含む人名611、住所612、日付613、会社名614、金額615などの項目名610と、その項目名610に対応する項目値620の具体例を示している。ここで、図6で示した固有表現の文字列は、実施形態1における抽出対象の文字列の具体例を示したものであって、それぞれ、<ラベル:人名>、<ラベル:住所>、<ラベル:日付>、<ラベル:会社名>、<ラベル:金額>のように、固有表現ラベルを付与して扱うものとする。
図7は、固有表現ラベルに対応した文字列群の特徴ベクトルを示す概念図である。
図7(A)は、文書画像のサンプル114に含まれる文字列データを特徴ベクトルに変換する様子を示した概念図である。図7(A)に示すように、文書画像のサンプル114に含まれる文字列データ701は、例えば、学習済のBERTの言語モデルを用いることで、768次元の数値で表現された特徴ベクトル702に変換できる。ここで、文字列データを特徴ベクトルに変換する技術は、例えば、Word2Vec、GloVe、fastText、BERT,XLNet、ALBERTなどの公知の技術を用いれば良い。
図7(B)は、図7(A)で示した、複数の特徴ベクトルを機械学習によるクラスタリング手法を用いてグループ化した様子を示す概念図である。ここで、複数の特徴ベクトルをグループ化するクラスタリング手法としては、最短距離法、最長距離法などの階層クラスタリング手法や、K-means、X-meansなどの非階層クラスタリング手法などの公知の技術を用いれば良い。図7(B)は、図7(A)で示した768次元で表現される特徴ベクトルを、PCAやt-SNEなどの公知の技術を用いて2次元平面に次元圧縮するように変換して可視化したものである。
図7(B)に示すように、図7(A)で示した文字列データの特徴ベクトル702に対して、前述したクラスタリング手法を用いることで、固有表現のグループ711,713,715を獲得できる。ここで、図7(B)の固有表現のグループ711,713,715に対して、<ラベル:人名>、<ラベル:日付>、<ラベル:金額>という固有表現ラベルをエンジニアが付与する。これにより、文書画像のサンプル114に出現する固有表現の文字列群を獲得できる。尚、これらの固有表現ラベルが付与された文字列群をデータベースとして獲得する方法は、前述した方法に限らず、予め与えられた各種データベースを利用する方法であっても良い。具体的には、例えば、人名データベースに登録されたデータに対して、個人情報保護の観点から、姓・名をランダムに組み合わせた匿名化データを生成して利用しても良い。また或いは、例えば、地名データベースや組織名データベースに登録されたデータを取り込むようにして利用しても良い。或いは、例えば、金額や日付など、数字と記号の組み合わせの表記パターンが複数存在する場合に、取り得る数値の範囲内でこれらの表記パターンと組み合わせた文字列をランダムに生成した疑似生成データを利用しても良い。
次に、図4及び図8(A)を参照して、本発明の実施形態1に係る墨消し対象を特定するための文字列抽出器115を生成する処理を説明する。
図4は、図3のS300において学習装置102が、文字列抽出器115を生成する処理を説明するフローチャートである。尚、図4で示す各ステップの実行プログラムは、学習装置102のROM232、RAM234、ストレージ235のいずれかに記憶され、学習装置102のCPU231、GPU239のいずれかによって実行される。
まずS401でCPU231は、対象文書群として、S301でエンジニアから入力された複数の文書画像のサンプル114を取得する。具体的には、例えば、法律、会計、人事、医療などの事務職で扱う文書画像のサンプル114を取得する。ここで、文書画像サンプルの114は、例えば、図8(A)に例示した請求書801などの法律、会計、人事、医療の業務分野全般で扱う文書画像、というように、複数の異なる業務分野で扱う文書画像をまとめて対象として扱っても良い。或いは、カルテなどの医療系の事務職で扱う文書画像というように、特定業務分野で扱う文書画像のみを対象として扱っても良い。
次にS402に進みCPU231は、S401で取得した文書画像のサンプル114を用いて、抽出対象の文字列データに対する固有表現ラベルを正解ラベルとして付与した学習データを生成する。ここで正解ラベルは、エンジニアが手動で付与したものであっても良いし、文書画像のサンプル114に基づいて、例えば図6に示すような固有表現としての項目名に対応する項目値のデータベースを活用して自動生成したものであっても良い。
即ち、例えば、図8(A)の請求書801に含まれる金額を示す文字列802「¥33,990」などの金額の固有表現ラベルに対応した項目値を、図6の金額615に対応する項目値620のデータベースのいずれかのデータに置き換えて自動生成しても良い。同様に、図6の抽出対象項目の人名611,住所612、日付613、会社名614などの他の項目についても、文書画像のサンプル114に基づいて、固有表現ラベルに対応した項目値を、図6のそれぞれの項目名610に対する項目値620のデータベースのいずれかのデータに置き換えて自動生成しても良い。
次にS403に進みCPU231は、S402で生成した学習データを学習し、抽出対象の文字列の特徴を捉えて抽出するための文字列抽出器115を生成する。尚、S403で生成する文字列抽出器115は、一般に、NER(Named Entity Recognition)と呼ばれる分野の分類タスクとして扱われるものであって、画像や自然言語の特徴量を用いた機械学習によって実現されるものである。そしてS404に進みCPU231は、S403で生成した文字列抽出器115を情報処理サーバ103に送信して保存させて、この処理を終了する。
図5は、図3のS310で情報処理サーバ103が、文書画像113に含まれる墨消し対象の文字列データを抽出して墨消し画像を生成する処理を説明するフローチャートである。尚、図5で示す各ステップの実行プログラムは、情報処理サーバ103のROM262、RAM264、ストレージ265のいずれかに記憶され、情報処理サーバ103のCPU261によって実行される。
まずS501でCPU261は、図3のS303で学習装置102から送信された文字列抽出器115を取得する。次にS502に進みCPU261は、図3のS305で情報処理装置101から送信された文書画像113を取得する。尚、S305で送信された文書画像113が複数ページの場合は、その全てを取得する。次にS503に進みCPU261は、S502で取得した文書画像113に対して、ブロックセレクション(BS)処理で選択した文字領域に対してOCR処理を実行し、その文書画像113に含まれるOCR結果の文字列データを取得する。
ここで、ブロックセレクション処理とは、文書画像データを構成するオブジェクト単位で分割するようにブロック領域を選択し、各ブロック領域の属性を判定する処理である。具体的には、例えば、文字、写真、図表などのブロックの属性を判定し、異なる属性を持つブロック領域に分割する処理で、公知の領域判定技術を用いて実現できる。ここで、OCR結果として取得する文字列データは、例えば、文書画像を構成する、文書画像内で間隔を空けたり罫線で区切られたりして配置された単語区切りの文字列を、配置情報に基づく所定の読出し順序で連続的に読み出したものであっても良い。また、取得する文字列データは、例えば、文書画像を構成する文章に対して、形態素解析の手法を用いて分割された単語区切りの文字列を、配置情報に基づく所定の読出し順序で連続的に読み出したものであっても良い。尚、S305で送信された文書画像113が複数ページの場合には、それぞれのページごとにOCR結果の文字列データを取得する。
次にS504に進みCPU261は、S501で取得した文字列抽出器115を用いて、S503で取得した文字列データの中から、墨消し対象の項目の固有表現に対応する候補文字列を抽出することで墨消し対象の項目を特定する。尚、S503の固有表現を認識して抽出する技術は、一般に、NER(Named Entity Recognition)と呼ばれる分野の分類タスクとして扱われるものであって、画像や自然言語の特徴量を用いた機械学習によって実現される。尚、S305で送信された文書画像113が複数ページの場合には、それぞれのページごとに墨消し対象項目の固有表現に対応する候補文字列を抽出する。
次にS505に進みCPU261は、外部インターフェース268からのユーザの操作指示によって与えられた墨消し領域の設定方法を取得する。次にS506に進みCPU261は、S505で取得した墨消し領域の設方法定から、ブロックセレクション処理で選択した文字領域よりも広い範囲で墨消しを行うかどうか判定する。ここで、ユーザから受けた指示が、ブロックセレクション処理で取得した文字領域よりも広い範囲で墨消し領域を設定するものであればS507に遷移し、そうでなければS508に遷移する。
S507でCPU261は、図6のそれぞれの項目名610ごとに横幅が一定である墨消し領域(例えば、図8(C)の墨消し領域822~827)を生成してS509に進む。尚、項目名610ごとに設定した墨消し領域が、墨消しが可能となる領域をはみ出す場合、CPU261は、取得した墨消し領域以外の項目値を墨消ししないために、墨消しが可能となる領域に狭めた領域を墨消し領域として墨消し領域を生成する。尚、墨消しが可能となる領域とは、ブロックセレクション処理で選択した文字領域及び、文字領域に隣接した空白領域を総称した領域を指す。具体的に、空白領域とは、別の文字領域または罫線に重ならない領域を指す。
ここで、墨消し領域の横幅には、例えば、それぞれの項目名610に対する項目値620のうち、ブロックセレクション処理で選択した文字領域の横幅が最長のものに対し、墨消しが可能となる墨消し領域を特定し、その範囲内でランダムな長さを用いても良い。或いは、例えば、それぞれの項目名610に対する項目値620のうち、ブロックセレクション処理で選択した文字領域の文字数が最長のものに対し、墨消しが可能となる領域を特定し、その範囲内でランダムな長さを用いても良い。或いは、例えば、それぞれの項目名610に対し、事前に登録された最長の文字数と、ブロックセレクション処理で選択した文字領域から算出した文字幅を掛け合わせたものを用いても良い。
人名などのデータベースを別途所有する場合、そのデータベース上から、その項目における最長の文字数を求めても良い。尚、事前に登録された最長の文字数を、事前に登録された最長の横幅と読みかえても良い。またCPU261は、墨消し画像として保存した際の構成要員である墨消し領域の情報を、それぞれの項目名610に対して、情報処理サーバ103のROM262、RAM264、ストレージ265のいずれかに記憶しておいてもよい。そしてCPU261は、新たな文書画像113に対して墨消し領域を生成する際に、ブロックセレクション処理で選択した文字領域を、記憶した墨消し領域の情報と比較し、より広い領域を墨消し領域として選択しても良い。尚、S305で送信された文書画像113が複数ページの場合、項目値620は、それぞれのページで出現する項目名610に対応する項目値の集合体を指す。
またS506で、BS処理で選択した文字領域よりも広い範囲での墨消しでないと判定した場合はS508に進みでCPU261は、ブロックセレクション処理で選択した文字領域の外接矩形を墨消し領域とする墨消し領域を生成してS509に進む。
S509でCPU261は、S505で与えられた墨消し領域の設定を反映し、S507或いはS508で生成した墨消し領域を含む墨消し画像のプレビュー画面を表示する。そしてS510に進みCPU261は、S509でプレビュー表示した墨消し画像に対する墨消し領域の設定を確定させて保存するためのユーザからの操作指示を受け付けたかどうか判定する。S510でユーザから受け付けた指示が保存であると判定するとS511に進み、ユーザから受け付けた指示が墨消し領域の設定変更であればS505に遷移して、前述のS505~S509の処理を繰り返す。尚、S505~S510における墨消し領域の設定の表示及び操作については、図8(A)及び図9を参照して後述する。S511でCPU261は、墨消し領域の設定を含む墨消し画像116を保存して、この処理を終了する。
図9は、実施形態1において、ユーザ操作によって与えられた墨消し領域の指定を、S307で墨消し対象項目の設定として保存するための設定画面例を説明する図である。尚、図9は、S305で図8(A)の請求書801を文書画像113として取得している。
図8(A)に示すように、例えば、墨消し対象を指定するサンプルとしての請求書801には、金額を示す文字列802「¥33,990」、及び、金額を示す文字列803~807が含まれるものとする。このとき、図9の設定画面900では、例えば、請求書801のプレビュー表示901に対して、墨消し対象項目として予め定めた人名911、住所912、日付913、会社名914、金額915の項目を選択して指定できる操作入力902を受け付ける。ここで、ユーザからの操作入力によって、例えば、金額915が墨消し対象項目として選択された場合は、プレビュー表示901の中で、金額を示す文字列802~807が配置されていた画像領域に、墨消し領域枠922~927を表示するように制御する。これら墨消し領域枠は、S306で取得した墨消し対象の文字列と合わせて確認するために、プレビュー表示901では枠内は塗りつぶさなくても良い。
また例えば、墨消し対象として日付913が選択された場合も同様に、プレビュー表示901の中で、日付を示す文字列928「2022/03/15」が配置されていた画像領域に墨消し領域枠を表示するように制御する。
更にユーザは、墨消し領域に対して「各文字列の外接矩形で墨消し」905と「各項目ごとに一定の横幅で墨消し」906のいずれかを選択して設定できる。ユーザによるこれら選択に伴う設定は、リアルタイムでプレビュー表示901に反映される。尚、ユーザが、これら項目のいずれも選択しない場合は、CPU261は「各項目ごとに一定の横幅で墨消し」906を選択する。
こうしてユーザは、設定画面900のプレビュー表示901で、所望の墨消し結果が得られることを目視で確認できる。そして、その確認を行った後に「設定を保存」ボタン903を押下することで、墨消し領域の設定情報を保存できる。そして「終了」ボタン904を押下することで、墨消し領域の設定処理を終了する。尚、墨消し領域枠の枠内が塗りつぶされていない場合、CPU261は、「設定を保存」ボタン903が押下された時点で、墨消し領域枠の枠内を塗りつぶしてプレビュー表示901に表示する。
以上説明したように実施形態1によれば、墨消し対象の文字列を含む文書画像に墨消し処理を実施した際に、墨消しした領域の面積から墨消し対象の文字列が推測されにくい墨消し画像を生成できる。
具体的に、図8を参照して説明する。図8(B)は、墨消しを実施する前の文書画像である図8(A)に対して、従来技術により、金額を示す文字列の墨消しを実施した画像である。ここで、金額を示す文字列とは、文字列802~807を指す。また墨消しを実施した画像とは、金額を示す文字列802~807が配置されていた領域に対し、それぞれ墨消し領域812~817を墨消しして表示した画像を指す。例えば、墨消し領域815の面積は、小計の金額示す文字列805「30,900」の文字ブロックの外接矩形の面積と一致し、墨消し領域816の面積は、税の金額示す文字列806「3,090」の文字ブロックの外接矩形の面積と一致する。日本の税率は10%であることから、墨消し領域815と墨消し領域画像816の面積の差は数字1桁分の面積であることが容易に想像できる。加えて、小計の金額示す文字列805「30,900」の左側にある文字列818「小計」の文字サイズから、小計の金額示す文字列805「30,900」が5~6桁の金額であることが推測できる。即ち、図8(A)の請求書801の文書画像の金額に対して従来の墨消し処理を実施した場合、周囲の文字や墨消し領域の面積から、墨消し対象の文字列が何桁程度の金額かを推測できる。
これに対して図8(C)は、墨消しを実施する前の文書画像である図8(A)に対し、実施形態1に係る情報処理装101を用いて、金額を示す文字列の墨消しを実施した画像である。ここで、墨消しした画像とは、金額を示す文字列802~807が配置されていた領域に対し、それぞれ墨消し領域822~827を墨消しして表示した画像を指す。例えば、小計の金額を示す文字列805「30,900」に対する墨消し領域825の面積、及び、税の金額示す文字列806「3,090」に対する墨消し領域826の面積は同一である。即ち、墨消し対象の文字列805及び806の桁数が推測されづらい墨消し画像を生成できる。尚、ここでは墨消し対象の文字列として金額を示す文字列を例示したが、墨消し対象の項目は金額に限らない。
[実施形態2]
上述の実施形態1では、ユーザによる墨消し領域の設定において、「各文字列の外接矩形で墨消し」905と「各項目ごとに一定の横幅で墨消し」906のいずれかを設定して墨消し領域を生成した。これに対して実施形態2では、「全項目を一定の横幅で墨消し」1207、及び、「カスタム」1208の設定を選択の候補に追加する例を図10~図13を参照して説明する。尚、実施形態2において、これ以外の点は実施形態1と同様のため、それらの説明は省略する。
上述の実施形態1では、ユーザによる墨消し領域の設定において、「各文字列の外接矩形で墨消し」905と「各項目ごとに一定の横幅で墨消し」906のいずれかを設定して墨消し領域を生成した。これに対して実施形態2では、「全項目を一定の横幅で墨消し」1207、及び、「カスタム」1208の設定を選択の候補に追加する例を図10~図13を参照して説明する。尚、実施形態2において、これ以外の点は実施形態1と同様のため、それらの説明は省略する。
図10は、図3のS310で、実施形態2に係る情報処理サーバ103が文書画像113に含まれる墨消し対象の文字列データを抽出して墨消し画像を生成する処理を説明するフローチャートである。尚、図10で示す各ステップを実行するプログラムは、情報処理サーバ103のROM262、RAM264、ストレージ265のいずれかに記憶され、情報処理サーバ103のCPU261によって実行される。尚、図10において、前述の図5のフローチャートと同符号の処理は、実施形態1と同様のため説明は省略する。
S1006でCPU261は、S505で取得した墨消し領域の設定から、ブロックセレクション処理で選択した文字領域よりも広い範囲での墨消し領域の指定があるかどうか判定する。ここで、ユーザから受けた指示が、ブロックセレクション処理で選択した文字領域よりも広い範囲での墨消しを含むと判定するとS1007に遷移し、そうでなければS508に遷移する。尚、S508は、図5のフローチャートにおける同符号の処理と同様の処理である。
S1007でCPU261はまず、項目名610のうち、どの項目に対して、ブロックセレクション処理で選択した文字領域よりも広い範囲での墨消し領域が指定されたかを、取得した墨消し領域の設定から抽出する。ユーザにより指定される項目は、1つであっても良いし、複数であっても良いし、全てであっても良い。次に、墨消し領域の横幅を定める基準を、取得した墨消し領域から抽出する。墨消し領域の横幅を定める基準としては、例えば、それぞれの項目名610ごとに一定の横幅とすること、或いは、項目名610に依らず全項目で一定の横幅とすること、などが挙げられる。墨消し領域の横幅を定める基準が前者、かつ、ユーザにより指定される項目が項目名610の全ての場合は、CPU261は、図5のS507と同様の処理を実施する。
また、墨消し領域の横幅を定める基準は前者だが、ユーザにより指定される項目が項目名610の全てではない場合、CPU261は、ユーザにより指定された項目それぞれに対し、横幅の一定な墨消し領域を生成する。また、墨消し領域の横幅を定める基準が後者の場合、CPU261は、ユーザにより指定された項目内で横幅の一定な、墨消し領域を生成する。尚、横幅の一定な墨消し領域を生成する方法については、図5のS507で用いる方法と同様のため、その説明を割愛する。
図11は、実施形態2において、ユーザ操作によって与えられた墨消し領域の指定を、S307で墨消し領域の設定として保存するための設定画面例を説明する図である。尚、図11は、S305で図8(A)の文書画像を取得している。また図11は、図9における墨消し領域の設定方法の選択905,906を、「墨消し領域の詳細設定」1101で置き換えたものである。また図11では、図9で選択された墨消し領域の設定に対し、「日付」913と「会社名」914が追加されている。これにより選択された墨消し対象項目の追加に伴い、日付を示す文字列1122「2022/03/15」、及び、会社名を示す文字列1121「ABC 株式会社」に対して墨消し領域枠が付与されている。前述したこれら2点以外は、図9と同様のため、図11の画面の説明は省略する。
図12は、実施形態2において、図11の「墨消し領域の詳細設定」ボタン1101が押下された場合に表示される墨消し領域の設定の指示を受け付けるオプション設定画面1200の一例を説明する図である。図12は、実施形態1の図9の場合と同様に、「各項目ごとに一定の横幅で墨消し」を実施するよう選択された状態を示している。
図13は、図12の設定画面1200において、選択ボタン1208「カスタム」が選択されたときに表示される画面例を説明する図である。
図12の設定画面1200に示すように、例えば、墨消し領域をどのように指定するかの選択ボタン905,906,1207,1208を、予め選択肢として用意する。ユーザからの操作入力によって、選択ボタン906「各項目ごとに一定の横幅で墨消し」が選択されるとS1007の処理が実施される。尚、ユーザによる指定がない場合、設定画面1200は、選択ボタン906が選択された状態となる。
ここで、各選択肢について説明する。選択ボタン905は、図5のS508で示す処理を、選択ボタン906は、図5のS507の処理を指示するものである。また選択ボタン1207は、図6の項目名610に依らず全ての項目に対して、一定の横幅の墨消し領域を生成することを指示するものである。選択ボタン1207が選択されると、例えば、住所である「大阪府河内長野市aa-bb-cc」と会社名である「株式会社efg」が文書画像113中に存在した場合、「大阪府河内長野市aa-bb-cc」の文字領域よりも広い墨消し領域が設定される。即ち、文書画像113中で、ブロックセレクション処理で選択した文字領域よりも、より広い領域に合わせた墨消し領域が設定される。
また選択ボタン1208は、墨消し対象の項目のどの項目に対して、より広い墨消し領域を設定するかを、ユーザが自由に指定できるものである。具体的には、例えば、ユーザからの操作入力によって、選択ボタン1208「カスタム」が選択されると、墨消し対象の項目(図11の日付913、会社名914、金額915)中で、どの項目に対して墨消し領域の横幅を広げるかがユーザが選択できる。図13の設定画面では、墨消し対象の項目として日付1313、会社名1314、金額1315が選択でき、図13では、金額1315のみが一定の横幅で墨消しを行うように設定されている。このため、「日付」1313と「会社名」1314の項目値については、S508で文字列の外接矩形での墨消しが行われ、「金額」1315の項目値についてはS1007で一定の横幅で墨消し処理が実施される。
またユーザは、設定画面1200で、墨消し領域に対する所望の設定を指示した後に、「設定を保存」ボタン1203を押下することで、墨消し領域に対する所望の設定を保存できる。また「終了」ボタン1204を押下することで、墨消し領域の設定を終了する。ここで保存した設定は、情報処理サーバ103のROM262、RAM264、ストレージ265のいずれかに記憶され、図11のプレビュー表示901に反映される。尚、「設定を保存」ボタン1203を押下せずに「終了」ボタン1204を押下すると、墨消し領域の変更がないと見なし、墨消し領域の設定は保存されない。即ち、図11のプレビュー表示901は変更されない。尚、新たな文書画像113に対して墨消し領域の設定を行う場合、情報処理サーバ103中の記憶装置に記憶された設定を初期設定として定めても良い。
以上説明したように実施形態2によれば、墨消し対象の文字列を含む文書画像に対して実施形態1よりも柔軟に墨消し処理を実施しつつ、墨消しされた領域の面積から墨消し対象の文字列が推測されにくい墨消し画像を生成できる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本明細書及び図面は、以下の情報処理装置と、その制御方法及びプログラムを開示する。
[項目1]
文書画像を取得してマスク処理を行って出力する情報処理装置であって、
マスク対象の項目に含まれる文字列に対するマスク領域の設定方法を取得する取得手段と、
前記取得手段により取得されたマスク領域の設定方法が、前記文字列を含む文字領域の外接矩形よりも広いマスク領域を設定する設定方法である場合、前記設定方法に基づいて設定されたマスク領域を前記文字列に対して設定する設定手段と、
前記設定手段により設定された前記マスク領域に対してマスク処理を実施することで前記文書画像のマスク画像を生成する生成手段と、
とを有することを特徴とする情報処理装置。
文書画像を取得してマスク処理を行って出力する情報処理装置であって、
マスク対象の項目に含まれる文字列に対するマスク領域の設定方法を取得する取得手段と、
前記取得手段により取得されたマスク領域の設定方法が、前記文字列を含む文字領域の外接矩形よりも広いマスク領域を設定する設定方法である場合、前記設定方法に基づいて設定されたマスク領域を前記文字列に対して設定する設定手段と、
前記設定手段により設定された前記マスク領域に対してマスク処理を実施することで前記文書画像のマスク画像を生成する生成手段と、
とを有することを特徴とする情報処理装置。
[項目2]
前記マスク対象の項目の固有表現に対応する前記文書画像の文字列を抽出することで前記マスク対象の項目を特定する特定手段を、更に有することを特徴とする項目1に記載の情報処理装置。
前記マスク対象の項目の固有表現に対応する前記文書画像の文字列を抽出することで前記マスク対象の項目を特定する特定手段を、更に有することを特徴とする項目1に記載の情報処理装置。
[項目3]
前記特定手段は、複数の文書画像のサンプルに含まれる文字列データの特徴ベクトルを固有表現のグループに分け、各グループに固有表現ラベルを付与することで前記複数の文書画像のサンプルで出現する固有表現の文字列群を利用して、前記マスク対象の項目の固有表現に対応する文字列を特定することを特徴とする項目2に記載の情報処理装置。
前記特定手段は、複数の文書画像のサンプルに含まれる文字列データの特徴ベクトルを固有表現のグループに分け、各グループに固有表現ラベルを付与することで前記複数の文書画像のサンプルで出現する固有表現の文字列群を利用して、前記マスク対象の項目の固有表現に対応する文字列を特定することを特徴とする項目2に記載の情報処理装置。
[項目4]
前記取得手段は、マスク対象となる項目と前記設定方法をユーザに選択させる画面を表示し、当該画面を介した前記ユーザの選択に応じて前記マスク領域の設定方法を取得することを特徴とする項目1乃至3のいずれか1項目に記載の情報処理装置。
前記取得手段は、マスク対象となる項目と前記設定方法をユーザに選択させる画面を表示し、当該画面を介した前記ユーザの選択に応じて前記マスク領域の設定方法を取得することを特徴とする項目1乃至3のいずれか1項目に記載の情報処理装置。
[項目5]
前記文書画像に対してブロックセレクション処理で選択した文字領域に対して文字認識処理を実行して文字列を取得する文字認識手段と、
前記文字認識手段により取得された前記文字列が、前記項目に対応する項目値に対応することに応じて前記マスク対象の項目に含まれる文字列と前記文字列を含む文字領域の外接矩形を取得する手段と、を更に有することを特徴とする項目1乃至4のいずれか一項に記載の情報処理装置。
前記文書画像に対してブロックセレクション処理で選択した文字領域に対して文字認識処理を実行して文字列を取得する文字認識手段と、
前記文字認識手段により取得された前記文字列が、前記項目に対応する項目値に対応することに応じて前記マスク対象の項目に含まれる文字列と前記文字列を含む文字領域の外接矩形を取得する手段と、を更に有することを特徴とする項目1乃至4のいずれか一項に記載の情報処理装置。
[項目6]
前記項目と、前記項目に対応する項目値を記憶する記憶手段を、更に有することを特徴とする項目5に記載の情報処理装置。
前記項目と、前記項目に対応する項目値を記憶する記憶手段を、更に有することを特徴とする項目5に記載の情報処理装置。
[項目7]
前記設定手段は、前記取得手段により取得された前記マスク領域の設定方法が、前記外接矩形よりも広いマスク領域を設定する設定方法でない場合、前記文字列を含む文字領域の外接矩形を前記マスク領域として設定することを特徴とする項目1乃至6のいずれか一項に記載の情報処理装置。
前記設定手段は、前記取得手段により取得された前記マスク領域の設定方法が、前記外接矩形よりも広いマスク領域を設定する設定方法でない場合、前記文字列を含む文字領域の外接矩形を前記マスク領域として設定することを特徴とする項目1乃至6のいずれか一項に記載の情報処理装置。
[項目8]
前記マスク領域の設定方法は、前記項目ごとに一定の横幅で前記文字列をマスクする領域の設定を含むことを特徴とする項目1乃至7のいずれか一項に記載の情報処理装置。
前記マスク領域の設定方法は、前記項目ごとに一定の横幅で前記文字列をマスクする領域の設定を含むことを特徴とする項目1乃至7のいずれか一項に記載の情報処理装置。
[項目9]
前記マスク領域の設定方法は、全ての項目で、一定の横幅で前記文字列をマスクする領域の設定を含むことを特徴とする項目1乃至7のいずれか一項に記載の情報処理装置。
前記マスク領域の設定方法は、全ての項目で、一定の横幅で前記文字列をマスクする領域の設定を含むことを特徴とする項目1乃至7のいずれか一項に記載の情報処理装置。
[項目10]
前記マスク領域の設定方法は、前記項目を指定し、指定された前記項目で、一定の横幅で前記文字列をマスクする領域の設定を含むことを特徴とする項目1乃至7のいずれか一項に記載の情報処理装置。
前記マスク領域の設定方法は、前記項目を指定し、指定された前記項目で、一定の横幅で前記文字列をマスクする領域の設定を含むことを特徴とする項目1乃至7のいずれか一項に記載の情報処理装置。
[項目11]
前記一定の横幅は、前記項目における最長の文字数に基づく長さであることを特徴とする項目8乃至10のいずれか1項目に記載の情報処理装置。
前記一定の横幅は、前記項目における最長の文字数に基づく長さであることを特徴とする項目8乃至10のいずれか1項目に記載の情報処理装置。
[項目12]
前記文書画像に前記マスク領域が設定された画像をプレビュー表示する表示手段を、更に有することを特徴とする項目1乃至11のいずれか一項に記載の情報処理装置。
前記文書画像に前記マスク領域が設定された画像をプレビュー表示する表示手段を、更に有することを特徴とする項目1乃至11のいずれか一項に記載の情報処理装置。
[項目13]
前記表示手段は、前記マスク領域がマスク処理されていない状態で前記画像をプレビュー表示することを特徴とする項目12に記載の情報処理装置。
前記表示手段は、前記マスク領域がマスク処理されていない状態で前記画像をプレビュー表示することを特徴とする項目12に記載の情報処理装置。
[項目14]
前記表示手段は、更に、前記設定手段による設定を保存するか、前記設定を保存しないかを選択するボタンを表示することを特徴とする項目12又は13に記載の情報処理装置。
前記表示手段は、更に、前記設定手段による設定を保存するか、前記設定を保存しないかを選択するボタンを表示することを特徴とする項目12又は13に記載の情報処理装置。
[項目15]
前記設定手段による設定を保存することが選択されると、前記表示手段は、前記マスク領域がマスクされた状態で前記画像をプレビュー表示することを特徴とする項目14に記載の情報処理装置。
前記設定手段による設定を保存することが選択されると、前記表示手段は、前記マスク領域がマスクされた状態で前記画像をプレビュー表示することを特徴とする項目14に記載の情報処理装置。
[項目16]
前記マスク処理は、前記マスク領域を単一の色で塗りつぶす処理であることを特徴とする項目1乃至15のいずれか一項に記載の情報処理装置。
前記マスク処理は、前記マスク領域を単一の色で塗りつぶす処理であることを特徴とする項目1乃至15のいずれか一項に記載の情報処理装置。
[項目17]
前記マスク処理は、前記マスク領域を所定のパターンで上書きする処理であることを特徴とする項目1乃至15のいずれか一項に記載の情報処理装置。
前記マスク処理は、前記マスク領域を所定のパターンで上書きする処理であることを特徴とする項目1乃至15のいずれか一項に記載の情報処理装置。
[項目18]
文書画像を取得してマスク処理を行って出力する情報処理装置を制御する制御方法であって、
マスク対象の項目に含まれる文字列に対するマスク領域の設定方法を取得する取得工程と、
前記取得工程で取得されたマスク領域の設定方法が、前記文字列を含む文字領域の外接矩形よりも広いマスク領域を設定する設定方法である場合、前記設定方法に基づいて設定されたマスク領域を前記文字列に対して設定する設定工程と、
前記設定工程で設定された前記マスク領域に対してマスク処理を実施することで前記文書画像のマスク画像を生成する生成工程と、
とを有することを特徴とする制御方法。
文書画像を取得してマスク処理を行って出力する情報処理装置を制御する制御方法であって、
マスク対象の項目に含まれる文字列に対するマスク領域の設定方法を取得する取得工程と、
前記取得工程で取得されたマスク領域の設定方法が、前記文字列を含む文字領域の外接矩形よりも広いマスク領域を設定する設定方法である場合、前記設定方法に基づいて設定されたマスク領域を前記文字列に対して設定する設定工程と、
前記設定工程で設定された前記マスク領域に対してマスク処理を実施することで前記文書画像のマスク画像を生成する生成工程と、
とを有することを特徴とする制御方法。
[項目19]
コンピュータに、項目18に記載の制御方法の各工程を実行させることを特徴とするプログラム。
コンピュータに、項目18に記載の制御方法の各工程を実行させることを特徴とするプログラム。
本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
100…情報処理システム、101…情報処理装置、102…学習装置、103…情報処理サーバ、104…ネットワーク
Claims (19)
- 文書画像を取得してマスク処理を行って出力する情報処理装置であって、
マスク対象の項目に含まれる文字列に対するマスク領域の設定方法を取得する取得手段と、
前記取得手段により取得されたマスク領域の設定方法が、前記文字列を含む文字領域の外接矩形よりも広いマスク領域を設定する設定方法である場合、前記設定方法に基づいて設定されたマスク領域を前記文字列に対して設定する設定手段と、
前記設定手段により設定された前記マスク領域に対してマスク処理を実施することで前記文書画像のマスク画像を生成する生成手段と、
とを有することを特徴とする情報処理装置。 - 前記マスク対象の項目の固有表現に対応する前記文書画像の文字列を抽出することで前記マスク対象の項目を特定する特定手段を、更に有することを特徴とする請求項1に記載の情報処理装置。
- 前記特定手段は、複数の文書画像のサンプルに含まれる文字列データの特徴ベクトルを固有表現のグループに分け、各グループに固有表現ラベルを付与することで前記複数の文書画像のサンプルで出現する固有表現の文字列群を利用して、前記マスク対象の項目の固有表現に対応する文字列を特定することを特徴とする請求項2に記載の情報処理装置。
- 前記取得手段は、マスク対象となる項目と前記設定方法をユーザに選択させる画面を表示し、当該画面を介した前記ユーザの選択に応じて前記マスク領域の設定方法を取得することを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。
- 前記文書画像に対してブロックセレクション処理で選択した文字領域に対して文字認識処理を実行して文字列を取得する文字認識手段と、
前記文字認識手段により取得された前記文字列が、前記項目に対応する項目値に対応することに応じて前記マスク対象の項目に含まれる文字列と前記文字列を含む文字領域の外接矩形を取得する手段と、を更に有することを特徴とする請求項1に記載の情報処理装置。 - 前記項目と、前記項目に対応する項目値を記憶する記憶手段を、更に有することを特徴とする請求項5に記載の情報処理装置。
- 前記設定手段は、前記取得手段により取得された前記マスク領域の設定方法が、前記外接矩形よりも広いマスク領域を設定する設定方法でない場合、前記文字列を含む文字領域の外接矩形を前記マスク領域として設定することを特徴とする請求項1に記載の情報処理装置。
- 前記マスク領域の設定方法は、前記項目ごとに一定の横幅で前記文字列をマスクする領域の設定を含むことを特徴とする請求項1に記載の情報処理装置。
- 前記マスク領域の設定方法は、全ての項目で、一定の横幅で前記文字列をマスクする領域の設定を含むことを特徴とする請求項1に記載の情報処理装置。
- 前記マスク領域の設定方法は、前記項目を指定し、指定された前記項目で、一定の横幅で前記文字列をマスクする領域の設定を含むことを特徴とする請求項1に記載の情報処理装置。
- 前記一定の横幅は、前記項目における最長の文字数に基づく長さであることを特徴とする請求項8乃至10のいずれか一項に記載の情報処理装置。
- 前記文書画像に前記マスク領域が設定された画像をプレビュー表示する表示手段を、更に有することを特徴とする請求項1に記載の情報処理装置。
- 前記表示手段は、前記マスク領域がマスク処理されていない状態で前記画像をプレビュー表示することを特徴とする請求項12に記載の情報処理装置。
- 前記表示手段は、更に、前記設定手段による設定を保存するか、前記設定を保存しないかを選択するボタンを表示することを特徴とする請求項12又は13に記載の情報処理装置。
- 前記設定手段による設定を保存することが選択されると、前記表示手段は、前記マスク領域がマスクされた状態で前記画像をプレビュー表示することを特徴とする請求項14に記載の情報処理装置。
- 前記マスク処理は、前記マスク領域を単一の色で塗りつぶす処理であることを特徴とする請求項1に記載の情報処理装置。
- 前記マスク処理は、前記マスク領域を所定のパターンで上書きする処理であることを特徴とする請求項1に記載の情報処理装置。
- 文書画像を取得してマスク処理を行って出力する情報処理装置を制御する制御方法であって、
マスク対象の項目に含まれる文字列に対するマスク領域の設定方法を取得する取得工程と、
前記取得工程で取得されたマスク領域の設定方法が、前記文字列を含む文字領域の外接矩形よりも広いマスク領域を設定する設定方法である場合、前記設定方法に基づいて設定されたマスク領域を前記文字列に対して設定する設定工程と、
前記設定工程で設定された前記マスク領域に対してマスク処理を実施することで前記文書画像のマスク画像を生成する生成工程と、
とを有することを特徴とする制御方法。 - コンピュータに、請求項18に記載の制御方法の各工程を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022198734A JP2024084452A (ja) | 2022-12-13 | 2022-12-13 | 情報処理装置とその制御方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022198734A JP2024084452A (ja) | 2022-12-13 | 2022-12-13 | 情報処理装置とその制御方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024084452A true JP2024084452A (ja) | 2024-06-25 |
Family
ID=91590682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022198734A Pending JP2024084452A (ja) | 2022-12-13 | 2022-12-13 | 情報処理装置とその制御方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024084452A (ja) |
-
2022
- 2022-12-13 JP JP2022198734A patent/JP2024084452A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4118349B2 (ja) | 文書選択等の方法及び文書サーバ | |
JP4533273B2 (ja) | 画像処理装置及び画像処理方法、プログラム | |
JP2008234658A (ja) | テキスト検索エンジンにより検索されたページ番号付き文書全体を通してのコースツーファイン・ナビゲーション | |
CN108132762B (zh) | 图像处理装置以及图像形成装置 | |
US11243670B2 (en) | Information processing system, information processing apparatus, information processing method and non-transitory computer readable medium | |
KR20020081315A (ko) | 정적 컨텐츠 및 가변 데이터를 갖는 문서의 묘화 | |
JP2006065524A (ja) | 文書処理装置および方法 | |
US5887088A (en) | Inputting device and inputting method for information processing system | |
JP2017068635A (ja) | 選択肢問題作成装置 | |
US20130339002A1 (en) | Image processing device, image processing method and non-transitory computer readable recording medium | |
US20210287187A1 (en) | Image processing apparatus and non-transitory computer readable medium storing program | |
JP2004214991A (ja) | 文書画像データ管理システム、文書画像データ管理プログラム、文書画像データ管理装置及び文書画像データ管理方法 | |
JP2000322417A (ja) | 画像ファイリング装置及び方法及び記憶媒体 | |
JP4747828B2 (ja) | 履歴管理装置 | |
JP2024084452A (ja) | 情報処理装置とその制御方法、及びプログラム | |
JP4396205B2 (ja) | 帳票データ入力装置およびプログラム | |
US11064094B2 (en) | Image forming apparatus for forming image represented by image data on recording paper sheet | |
JP7271987B2 (ja) | 情報処理装置及びプログラム | |
JP2000099535A (ja) | 画像検索装置及びその方法、コンピュータ可読メモリ | |
JP2007048061A (ja) | 文字処理装置、文字処理方法及び記録媒体 | |
JP6190549B1 (ja) | 文書処理システム | |
JP2011008446A (ja) | 画像処理装置 | |
JP4501731B2 (ja) | 画像処理装置 | |
JP2023041243A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2001297114A (ja) | 文書処理装置 |