JP7197042B1 - 教師データ自動生成装置、教師データ自動生成方法および教師データ自動生成プログラム - Google Patents

Abstract

【課題】本開示は、申請用書類に関する教師データの生成を効率的且つ簡便に生成する行うことができ、審査効率を向上させることができる教師データ自動生成装置、教師データ自動生成方法および教師データ自動生成プログラムを提供することを目的とする。【解決手段】教師データ自動生成装置（情報処理装置１００）は、機械学習に用いられる教師データを自動で生成する教師データ自動生成装置であって、申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データ７および、申請用書類における固有の情報を模したデータである模擬固有情報データを多数登録した模擬固有情報リスト４１０を記憶する生成用データ記憶部４１と、雛形画像データ７と模擬固有情報リスト４１０に含まれる模擬固有情報データとに基づいて申請用書類を模した模擬書類画像を示す模擬書類画像データ７０を生成し、模擬書類画像データ７０を用いて教師データを生成する教師データ自動生成部４０と、を備える。【選択図】図２

Description

本開示は、教師データ自動生成装置、教師データ自動生成方法および教師データ自動生成プログラムに関する。

従来、例えば自治体に対する申請の際に、自治体において申請者からの申請用書類の受け付け及び申請用書類等の内容に不備があるか否かの審査が行われている。自治体は、例えば一申請者から申請書とともに本人確認書類の写しや申請内容の確認のための証明書類等の複数種類の書類を受け取り、これら複数の書類を対比して申請内容に不備がないかどうかの審査を行っている。同様の処理は、民間企業に対するサービス等の申し込みにおいても行われている。このとき、これら複数種類の申請用書類は紙媒体であることから、申請情報の確認作業や確認結果の入力作業の効率が悪くなる場合がある。そこで、例えば審査の前処理として、申請用書類をスキャナ等で読み取り、記入された文字を自動でデータ化して記憶装置に記憶することが行われる場合がある（例えば、特許文献１）。

特開２０１８―１０１３２７号公報

しかしながら、審査業務の種類は多様化しており、審査によっては膨大な確認事項が生じ、また、確認事項によって参照する申請用書類の組み合わせが異なる場合もある。このため、申請用書類を画像データ化しても、確認事項ごとに必要な申請用書類データを表示させる手間がかかり、審査効率が向上しない場合がある。

審査効率を向上するためには、例えば画像データ化した申請用書類（申請画像データ）に対し、申請用書類の種類や提出時の状態、確認事項等に応じた適切な画像処理を行うことが求められる。近年では、審査業務のデジタル化の進行に伴い、申請画像データの画像処理にＡＩ技術を用いることへのニーズが高まっている。ＡＩ技術による申請画像データの画像処理では、申請画像データを用いた学習済みモデルの構築が前提となる。このため、予め多くの申請画像データを収集して機械学習（例えば教師あり学習）に用いる教師データを生成することが必要となる。

しかしながら、機械学習の教師データの生成には大量の申請画像データが必要であり、申請画像データの収集には多大な時間を要する。したがって、申請画像データの収集を待って学習済みモデルの構築を行うと非常に長い期間が必要となるため、結果として審査業務へのＡＩ技術の適用により審査効率を向上することが困難であるという問題がある。
さらに、申請用書類には個人情報が含まれる場合があり、中でも本人確認書類は身分を証明するものである。このため、機械学習の教師データとして用いる大量の申請画像データを収集すること自体が困難である。また教師データの生成のために、オペレータの入力操作などにより申請用書類を作成して画像データ化し、さらに当該画像データにメタデータを付与して画像処理に係る画像情報の意味づけ（アノテーション）を行う場合、多大な時間と労力が生じる。このため、申請画像データの画像処理へのＡＩ技術の適用による審査効率の向上が十分に実現できていない。
そこで、本開示は、申請用書類に関する教師データを効率的且つ簡便に生成することができ、審査効率を向上させることができる教師データ自動生成装置、教師データ自動生成方法および教師データ自動生成プログラムを提供することを目的とする。

上記目的を達成するために、本開示の一態様に係る教師データ自動生成装置は、機械学習に用いられる教師データを自動で生成する教師データ自動生成装置であって、申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データおよび、前記申請用書類における固有の情報を模したデータである模擬固有情報データを多数登録した模擬固有情報リストを記憶するデータ記憶部と、前記雛形画像データと前記模擬固有情報リストに含まれる模擬固有情報データとに基づいて前記申請用書類を模した模擬書類画像を示す模擬書類画像データを生成し、前記模擬書類画像データを含んで構成される前記教師データを生成する生成部と、を備えることを特徴とする。
また上記目的を達成するために、本開示の他の一態様に係る教師データ自動生成装置は、機械学習に用いられる教師データを自動で生成する教師データ自動生成装置であって、申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データおよび、前記申請用書類における固有の情報を模したデータである模擬固有情報データを多数登録した模擬固有情報リストを記憶するデータ記憶部と、前記雛形画像データと前記模擬固有情報リストに含まれる模擬固有情報データとに基づいて前記申請用書類を模した模擬書類画像を示す模擬書類画像データを生成し、前記模擬書類画像データを用いて前記教師データを生成する生成部と、を備え、前記データ記憶部には、前記申請用書類が転写された転写紙の背景領域を模した背景画像を示す背景画像データが記憶され、前記生成部は、前記背景画像に対し前景画像として前記模擬書類画像データが示す模擬書類画像を合成し、前記教師データを構成する画像データとして転写書類学習画像データを生成することを特徴とする。

また、上記目的を達成するために、本開示の一態様に係る教師データ自動生成方法は、コンピュータが、機械学習に用いられる教師データを自動で生成する教師データ自動生成方法であって、申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データおよび、前記申請用書類における固有の情報を模したデータである模擬固有情報データを多数登録した模擬固有情報リストを記憶し、前記雛形画像データと前記模擬固有情報リストに含まれる模擬固有情報データとに基づいて前記申請用書類を模した模擬書類画像を示す模擬書類画像データを生成し、前記模擬書類画像データを含んで構成される前記教師データを生成することを特徴とする。

また、上記目的を達成するために、本開示の一態様に係る教師データ自動生成プログラムは、申機械学習に用いられる教師データを自動で生成する教師データ自動生成プログラムであって、申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データおよび、前記申請用書類における固有の情報を模したデータである模擬固有情報データを多数登録した模擬固有情報リストを記憶することと、前記雛形画像データと前記模擬固有情報リストに含まれる模擬固有情報データとに基づいて前記申請用書類を模した模擬書類画像を示す模擬書類画像データを生成し、前記模擬書類画像データを含んで構成される前記教師データを生成することと、をコンピュータに実行させることを特徴とする。

本開示によれば、申請用書類に関する教師データの生成を効率的且つ簡便に行うことができ、審査効率を向上させることができる教師データ自動生成装置、教師データ自動生成方法および教師データ自動生成プログラムを提供することができる。

本開示の一実施形態に係る教師データ自動生成装置を含む情報処理システムの一構成例を示す模式図である。 本開示の一実施形態に係る教師データ自動生成装置を含む情報処理システムの機能構成の一例を示す概略的な機能ブロック図である。 本開示の一実施形態における雛形画像データのうち免許証の雛形を示す画像データの一例を示す模式図である。 本開示の一実施形態における模擬固有情報リストの一例を示す模式図である。 本開示の一実施形態における模擬書類画像データの一例を示す模式図である。 本開示の一実施形態における背景画像データの一例を示す模式図である。 本開示の一実施形態における転写書類学習画像データの一例を示す模式図である。 本開示の一実施形態における転写書類学習画像データの他の例を示す模式図である。 本開示の一実施形態における転写書類学習画像データのさらに他の例を示す模式図である。 本開示の一実施形態における領域抽出データについて説明する図である。 本開示の一実施形態に係る教師データ自動生成装置のハードウェア構成の一例を示す概略図である。 本開示の一実施形態に係る教師データ自動生成装置で実行される教師データ自動生成方法を説明するフローチャートである。 本開示の一実施形態の第一変形例に係る教師データ自動生成方法を説明するフローチャートである。 本開示の一実施形態の第二変形例における撮影書類学習画像データの一例を示す模式図である。 本開示の一実施形態の第二変形例における撮影背景画像データの一例を示す模式図である

以下、図面を参照して本開示の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本開示は、その趣旨を逸脱しない範囲で種々変形（例えば各実施形態を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。

また、以下の教師データ自動生成装置は、汎用のコンピュータなどの情報処理端末装置であるハードウェアと、コンピュータプログラムであるソフトウェアとの協働によって実現される。コンピュータプログラムは、教師データ自動生成装置が備える一又は複数のプロセッサによって読み取り可能であり、ハードディスクにインストールされることによりプロセッサが教師データ自動生成装置の各部として機能する。

以下、本実施形態に係る教師データ自動生成装置と、教師データ自動生成装置で実行される画像処理方法及び画像処理プログラムについて、図１から図１２を参照して説明する。

１．情報処理システムの全体構成
図１に示すように、情報処理システム１は、申請者から申請された申請情報を取得し、申請内容の審査を行うための申請情報処理システムとして用いられる。図１では、情報処理システム１の一例として、自治体の内部システムとして申請者からの申請手続きを受け付け、審査担当者による審査の結果を得る申請情報処理システムを図示している。なお、この情報処理システム１は、自治体から依頼を受けた企業等のシステムであっても良いし、サービスの申込者からの申請手続（申込手続）を受け付ける企業の内部システムであっても良い。
情報処理システム１は、自治体内部又は外部の印刷部門のシステムと接続され、印刷装置によって情報処理システム１からの出力に応じた通知状等の印刷物を作成することができる。また、情報処理システム１は、銀行のシステムと接続され、審査に応じた振込等を行ってもよい。

図２は、情報処理システム１の機能構成の一例を示す概略的な機能ブロック図である。
図２に示すように、申請情報処理システムである情報処理システム１は、情報処理装置１００を含んで構成される。情報処理装置１００は、申請者から申請された申請情報を取得し、申請内容の審査を行うための申請情報処理装置として機能する。情報処理装置１００では、例えば紙媒体の申請用書類を画像データ化した申請画像データに対してＡＩ技術による画像処理を行い、審査に適した画像データを生成することができる。
また本実施形態において情報処理装置１００は、教師データ自動生成部４０を備えている。これにより、情報処理装置１００は、上述の画像処理向けの学習済みモデルの構築に用いる教師データを自動で生成する教師データ自動生成装置として機能する。すなわち、情報処理装置１００は、本実施形態に係る教師データ自動生成装置に相当する。

申請者からの申請手続きを受け付ける場合、審査機関である自治体や企業は、申請者が郵送や当該審査機関に訪問する等の方法により紙媒体の申請用書類を受け付けたり、インターネットを介して申請者から申請用書類を受け付けることができる。本実施形態では、一例として、申請者が郵送や自治体に訪問する等の方法により紙媒体の申請用書類を提出した場合のシステム構成および情報処理装置１００について説明する。

２．情報処理装置の機能構成
図２に示すように、情報処理装置１００（教師データ自動生成装置の一例）は、例えばコンピュータである。図２に示す各機能ブロックは、後に図１１で説明する演算装置１０のプロセッサ１０１が必要なプログラムを実行し、情報処理装置１００の各部の動作を制御することにより実現される。

本実施形態に係る教師データ自動生成装置である情報処理装置１００は、申請情報取得部１１、記憶部１２、審査部１３、表示データ出力部１４、データ出力部１５、画像処理部３０、審査画像記憶部３１、教師データ自動生成部４０、生成用データ記憶部４１および教師データ記憶部４２を有している。また、情報処理装置１００は、外部装置であるスキャナ等の読取装置５１、キーボードやマウス等の入力装置５２、液晶ディスプレイ等の表示装置５３およびコンピュータ５４と接続されている。

コンピュータ５４は、教師データ自動生成部４０が生成した教師データに基づいて、上述の画像処理向けの学習済みモデルの構築を行う所定のコンピュータ装置である。コンピュータ５４は、ネットワーク３を経由して情報処理装置１００と通信可能なサーバ装置（クラウドサーバ、又はオンプレミスサーバ）であってもよいし、汎用のコンピュータ装置（例えばパーソナルコンピュータ）であってもよい。

コンピュータ５４は、学習処理部（不図示）が学習用プログラムを実行することにより、教師データ自動生成部４０が生成した教師データを用いて上述の画像処理向けの学習済みモデルを構築（生成）する。コンピュータ５４の学習処理部は、例えば学習モデルに対して、教師データ自動生成部４０が生成した教師データを用いた教師あり学習を行い、学習済みモデルを生成する。学習モデルとしては三層（入力層、中間層、出力層）を備えたニューラルネットワークを用いても良いが、より多層のニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いてもよい。また、コンピュータ５４の学習処理部はサポートベクターマシン、ランダムフォレスト、ロジスティック回帰、決定木又はｋ近傍法等の他の学習モデルを用いた機械学習を行うように構成してもよい。コンピュータ５４では、生成した学習済みモデルが所定の記憶領域に記憶され、さらに当該学習済みモデルの複製（コピー）がネットワーク３を介して情報処理装置１００に出力される。

情報処理装置１００は、出力された学習済みモデルを取得すると、所定の記憶領域に画像処理向けの学習済みモデルМとして記憶する。これにより画像処理部３０は、学習済みモデルМを用いて審査用画像データを自動生成することができ、ＡＩ技術による精度の高い画像処理が可能となる。
なお、コンピュータ５４による学習済みモデルの生成機能を、情報処理装置１００の一機能ブロックで実行するように構成されていてもよい。これにより、例えば教師データの追加時等における学習済みモデルの追加学習の結果を速やかに適用することができる。

また情報処理装置１００は、上述の各装置類の他に、所定の審査サーバと接続されていてもよい。審査サーバは、例えば情報処理装置１００（特に、画像処理部３０）が生成した画像データに基づいて、申請内容の審査を行うサーバ装置である。審査サーバは、例えば情報処理装置１００が生成した画像データに対するＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理の結果に基づいて申請内容の審査（自動審査）を行うサーバ装置であってもよい。また、審査サーバはＯＣＲエンジンとしてＡＩ技術を適用したＡＩ－ＯＣＲエンジンを有していてもよい。この場合、審査サーバは開放されたネットワーク環境（クラウド環境）に設けられたクラウドサーバであることが好ましい。これにより、ＡＩ－ＯＣＲエンジンが多くのデータから学習することができ、ＯＣＲ処理結果の精度を向上させることができる。
また、読取装置５１、入力装置５２及び表示装置５３は、情報処理装置１００の一部として設けられていても良い。
以下、各機能ブロックについて説明する。

［申請情報取得部］
申請情報取得部（画像取得部の一例）１１は、申請者からの申請用書類を電子データ化した申請画像データを取得するインタフェースである。情報処理装置１００は、図２に示すように、申請情報が記入された申請用書類を読み取って申請用書類を電子データ化し、申請画像データを作成するスキャナ等の読取装置５１と接続されている。

申請画像データは、申請者が提出した紙媒体による申請書類（申請書や証明書類等）の画像データであり、申請者の申請情報を含んでいる。
申請者から提出される申請用書類は、複数種類の属性に分類される。本実施形態における申請用書類の属性としては、例えば申請者の情報を含む（申請情報が記入された）申請書や、申請書に添付された証明書類が挙げられる。ここで、申請者には申請者本人だけでなく、申請者の家族等が含まれる場合もある。証明書類は、例えば申請者（申請者及び申請者の家族等）の本人確認書類の写しや申請内容の確認のための証明書類等である。例えば証明書類が示す本人確認書類は、免許証、保険証、および領収書等であって。証明書類は、これらの本人確認書類の写しである。領収書の写しは、例えば本人確認等のための補助書類として他の本人確認書類の写し（免許証や保険証の写し）と併せて提出されるものであり、例えば電気・水道・ガス等の公共料金領収書や、レシート等の写しである。なお上述のように申請者が提出する証明書類は、本人確認書類（例えば免許証、保険証、領収書等）を示す「写し」であるが、以下理解を容易にするため、証明書類の種類について単に「免許証」、「保険証」、「領収書」と記載する場合がある。
なお、証明書類は、申請書の添付書類として扱われる。添付書類には、上述の証明書類の他に、例えば請求書や注文書のような各種帳票が含まれる場合がある。

申請用書類がスキャナ等の読取装置５１によって読み取られることで申請画像データが生成される場合、申請画像データは、画像情報として申請者の申請情報を含んでいる。
このように、本実施形態において申請情報取得部１１は、申請画像データは、申請者が提出した申請用書類のうち申請者の申請情報を含む申請書及び申請者の証明書類の少なくとも一方の属性の申請書類の画像データである申請画像データを取得する。

読取装置５１において申請画像データが生成されると、生成された申請画像データを申請情報取得部１１に出力する。申請情報取得部１１は、読取装置５１から入力された申請画像データを取得すると、記憶部１２に出力する。これにより、記憶部１２に申請画像データが記憶される。

なお、申請情報取得部１１が取得する申請画像データは、読取装置５１から出力されたものに限られない。例えば、読取装置５１は記憶部１２に申請画像データを出力し、記憶部１２に記憶された申請画像データを申請情報取得部１１が取得する構成でもよい。
また申請画像データは、例えば情報処理装置１００に接続された画像データ取得用のコンピュータ装置（不図示）から出力され、申請情報取得部１１が取得したものでもよい。画像取得用のコンピュータ装置は、読取装置５１と同様に申請用書類を読み取って申請画像データを作成して出力する、スキャナ等の読取装置と接続されていればよい。画像取得用のコンピュータ装置は当該読取装置から出力された申請画像データを取得すると、取得した申請画像データを情報処理装置１００に出力する。これにより、申請情報取得部１１は、画像取得用のコンピュータ装置から申請画像データを取得することができる。なお、画像取得用のコンピュータ装置が出力した申請画像データは、記憶部１２に記憶され、申請情報取得部１１が記憶部１２から申請画像データを読み込んでもよい。
このように、情報処理装置１００（特に申請情報取得部１１）は、読取装置５１と接続されていない構成であってもよい。

［記憶部］
記憶部１２は、申請情報取得部１１が取得した申請画像データと、申請者を示す申請者情報とを関連付けて記憶する。
また、記憶部１２は、申請用書類の審査を行う審査担当者等によって、キーボード等の入力装置５２を介して入力された情報を記憶する。例えば、後述するように、審査部１３は、例えば「本人確認書類の氏名を確認して入力してください」「本人確認書類の氏名が申請書と一致しているか確認してください」等の審査項目が表示された審査画面６１を表示装置５３に表示し、審査担当者に文字入力やチェックリストの選択等による審査結果を入力させる。記憶部１２は、入力装置５２を介して審査担当者により入力された審査結果を示す情報を記憶する。また、記憶部１２は、入力装置５２を介して入力された、各申請データに対応する属性情報（例えば、申請者を示す情報等）を記憶する。
また、記憶部１２は、画像処理部３０における画像処理において参照される種々の情報を記憶する。また記憶部１２は、申請画像データや申請者を示す申請者情報と、画像処理部３０が生成した審査用画像データとを関連付けて記憶する。これにより、情報処理装置１００において、審査用画像データがいずれの申請者の審査案件に関連するデータであるか、また審査用画像データがいずれの申請画像データから生成されたものであるか、を特定することができる。

［審査部］
審査部１３は、申請画像データの内容、すなわち申請用書類の内容を審査するための審査項目が表示された審査画面を生成し、審査画面と申請画像データに基づく審査用画像データとを表示装置５３に並べて表示させ、審査結果を取得して記憶部１２に記憶させる機能を有している。申請書類の内容の確認は、審査担当者による審査画面及び審査用画像データの目視によって行われるため、当該機能による審査を目視審査ともいう。
より具体的に、審査部１３は、審査画面の電子データ（審査画面データ）を生成し、審査の際に、審査担当者によって入力装置５２から入力された情報（例えば、審査担当者が入力した審査結果）を取得する入力データを取得する。

また、審査部１３は、審査画面の電子データと、入力された審査結果に対応する入力データとを合成して、表示装置５３に表示させる。審査部１３は、例えばマウスを用いてラジオボタンがチェックされた際のカーソルの位置に応じて、審査画面において対応するラジオボタンが選択表示された状態の審査画面の表示画面データを生成する。同様に、審査部１３は、チェックボックスにチェックマークが表示されたり、テキストボックスに文字や数字が入力表示された状態の審査画面の表示画面データを生成してもよい。
審査部１３は、各審査項目に対する審査結果に対応する入力データ（入力装置５２から入力された情報）を取得する。審査部１３は、一の審査用画像データに対する全審査項目に対する審査結果に対応する入力データを取得し、一の審査用画像データ（すなわち一申請者）に対する審査データを生成する。
審査部１３は、審査データを各申請画像データ（各申請者）と紐づけて記憶部１２に出力して記憶させる。

［画像処理部］
画像処理部３０は、機械学習された学習済みモデルМを用いて申請画像データに対する画像処理を行い、審査部１３における申請情報（申請画像データ）の内容の審査に用いる審査用画像データを生成する。例えば画像処理部３０は、審査用画像データとして、審査部１３が審査画面と並べて表示装置５３に表示する画像データ（目視審査向けの審査用画像データ）を申請画像データから生成する。また情報処理装置１００が審査サーバと接続されている場合、画像処理部３０は、審査サーバに出力される画像データ（後述する自動審査向けの審査用画像データ）を申請画像データから生成可能である。
画像処理部３０は、生成した審査用画像データを審査画像記憶部３１に出力して保存する。

［審査画像記憶部］
審査画像記憶部３１は、画像処理部３０が生成した審査用画像データを記憶する。具体的には、審査画像記憶部３１は、審査用画像データをファイル形式で記憶する所定の記憶領域である。画像処理部３０は、審査用画像データを生成すると審査画像記憶部３１に審査用画像データを出力して、審査画像記憶部３１に記憶させる。
またこのとき画像処理部３０は、審査画像記憶部３１内における審査用画像データの保存先（例えばディレクトリ、フォルダ）を示す保存先データを生成し、申請情報取得部１１が取得した申請画像データおよび申請者情報の少なくとも一方と関連付けて記憶部１２に記憶する。保存先データは、例えばファイルパスやＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）であってもよい。これにより、例えば審査部１３は、審査画面の生成時において、申請画像データに対応する審査用画像データを取得し、審査画面と審査用画像データとを並べて表示装置５３に表示することができる。

［教師データ自動生成部］
教師データ自動生成部４０は、生成用データ記憶部４１に記憶されたデータに基づいて機械学習に用いられる教師データを自動で生成し、生成した教師データを教師データ記憶部４２に出力して保存する。教師データ自動生成部４０は、画像処理部３０が申請画像データの画像処理に用いる学習済みモデル構築のための教師データ（アノテーションが行われた学習用画像データ）を生成する。教師データ自動生成部４０および教師データの詳細は、後述する。

［生成用データ記憶部］
生成用データ記憶部（データ記憶部の一例）４１は、教師データの生成に用いる各種データを記憶する。生成用データ記憶部４１に記憶される各種データの詳細は、後述する。

［教師データ記憶部］
教師データ記憶部４２は、教師データ自動生成部４０が生成した教師データを記憶する。教師データ記憶部４２は、アノテーションされた学習用画像データである教師データをファイル形式で記憶する所定の記憶領域である。教師データ自動生成部４０は、教師データを生成すると教師データ記憶部４２に教師データを出力して記憶させる。
またこのとき教師データ自動生成部４０は、教師データ記憶部４２における教師データの保存先（例えばディレクトリ、フォルダ）を示す保存先データを生成し、教師データの種類と関連付けて記憶部１２に記憶してもよい。保存先データは、例えばファイルパスやＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）であってもよい。

［表示データ出力部］
表示データ出力部１４は、審査部１３が生成した表示データおよび画像処理部３０が生成した審査用画像データを表示装置５３に出力する。

［データ出力部］
データ出力部１５は、入力装置５２からの指示に応じて、記憶部１２に記憶された申請画像データに対応する審査データを情報処理装置１００の外部に出力する。審査データは、例えば、申請者が申請を行った手続き（例えば給付金等の受給手続き）の内容と、各申請者の申請内容の審査結果（例えば可決又は否決）の一覧が含まれる。データ出力部１５は、指定された一又は複数の申請者に対する審査データを出力してもよく、記憶部１２に記憶されたすべての審査データを一括して出力しても良い。
また、データ出力部１５は、画像処理部３０から審査用画像が入力されたことに応じて、入力された審査用画像を情報処理装置１００の外部に出力してもよいし、審査画像記憶部３１に記憶された審査用画像データを読み込んで、情報処理装置１００の外部に出力してもよい。

データ出力部１５は、通信インタフェース又は外部インタフェースとして機能して、インターネット又はＬＡＮ（Local Area Network）等のネットワーク３を介して接続された所定のコンピュータ、その他の外部記憶装置又は外部記憶媒体に審査データを出力する。
データ出力部１５は、例えばＬＡＮを介して接続された自治体内の所定のコンピュータ等に審査データを出力することができる。また、データ出力部１５は、インターネットを介して接続された外部の所定のコンピュータ等に審査データを出力することもできる。このため、情報処理システム１は、自治体の内部で運用されてもよく、自治体から審査を請け負った外部企業において運用されても良い。情報処理システム１が外部企業において運用される場合、当該企業は、申請書の受付、申請データの作成、審査、審査データの作成等を行い、審査データ、又は申請データ及び審査データの双方をインターネットを介して自治体に送信することができる。

また、データ出力部１５は、ネットワーク３を介して接続されたコンピュータ５４（学習済みモデルの生成装置）に教師データ記憶部４２に記憶された教師データを出力することができる。これにより、コンピュータ５４において、教師データ自動生成部４０が生成した教師データに基づいて、申請画像データの画像処理向けの学習済みモデルを構築することができる。例えばデータ出力部１５は、記憶部１２に記憶された教師データの種類に紐づく教師データの保存先に基づいて教師データ記憶部４２から所望の教師データを読み出し、コンピュータ５４に読み出した教師データを出力する。これにより、所望の教師データに基づいて、コンピュータ５４において申請画像データの画像処理向けの学習済みモデルが構築される。

またデータ出力部１５は、例えばインターネットを介して接続された審査サーバに審査用画像データを出力することができる。これにより、審査サーバにおいて、例えばＯＣＲ技術を用いて審査用画像データの画像情報（申請書や証明書類の内容）の文字情報を読み取り、審査担当者の目視によらない申請用書類（申請書、証明書類等）の内容の審査、すなわち自動審査を実施することができる。
つまり、情報処理装置１００は、審査サーバと接続されている場合には、申請用書類の内容の審査として、上述の目視審査と自動審査との２種類の種別の審査を実施することができる。なお、本実施形態において情報処理装置１００と審査サーバとの接続は必須ではなく、情報処理装置１００は審査サーバと接続されていてもよいし、接続されていなくてもよい。つまり、情報処理装置１００は自動審査を実行せずに目視審査のみを実行可能に構成されていてもよい。したがって、画像処理部３０は少なくとも目視審査向けの審査用画像データを生成すればよい。

（１．１）教師データ自動生成部における教師データ自動生成処理
次に、本実施形態に係る教師データ自動生成装置である情報処理装置１００において、教師データ自動生成部４０が実行する教師データ自動生成処理の詳細及び教師データ自動生成処理を実行する機能構成について、図２から図１０を用いて詳細に説明する。
図２に示すように、教師データ自動生成部４０は、教師データを構成する学習用画像データを生成する画像データ生成部４０１と、学習用画像データ内の画像情報に対する注釈データ（メタデータ）の付与による意味づけ、すなわちアノテーションを行う注釈データ付与部４０２と、を有している。教師データ自動生成部４０は、画像データ生成部４０１が生成した学習用画像データに対して、注釈データ付与部４０２がアノテーションを行うことにより、教師データ生成することができる。生成された教師データは教師データ記憶部４２に記憶され、データ出力部１５によりネットワーク３を介してコンピュータ５４に出力される。これにより、教師データ自動生成部４０の生成した教師データに基づく機械学習が実行されて、申請画像データの画像処理向けの学習済みモデルが構築される。

（画像データ生成部）
画像データ生成部４０１は、生成用データ記憶部４１に記憶されている教師データ生成用の各種データに基づいて、申請者が提出する申請用書類（申請書や、本人確認書類等の証明書類）を模した模擬書類画像を示す模擬書類画像データを生成する。模擬書類画像データは申請用書類を模した内容の画像情報を含んでおり、画像データ生成部４０１はこの模擬書類画像データを用いて、学習用画像データを生成する。模擬書類画像データは、申請用書類の雛形（テンプレート）を示す画像データに、申請用書類の内容を模した文字情報を示すデータ（文字列データ）を適用して生成される。

ここで、画像データ生成部４０１による模擬書類画像データの生成について、図３から図５を用いて具体的に説明する。
まず、生成用データ記憶部４１に記憶されている教師データの生成用のデータについて説明する。生成用データ記憶部４１には、例えば模擬書類画像データに生成に用いるデータとして、模擬書類画像データの生成に用いる画像データである雛形画像データが記憶されている。

〔雛形画像データ〕
雛形画像データは、申請内容の審査のために申請者が提出する申請用書類の雛形（テンプレート）を示す画像データである。ここで、雛形画像データについて、本人確認に用いる証明書類の雛形を示す雛形画像データを例にとって説明する。
図３は、生成用データ記憶部４１が記憶する雛形画像データの一例を示す模式図である。図３では、雛形画像データの一例として証明書類が示す本人確認書類のうち免許証の雛形を示す雛形画像データ７を図示している。

雛形画像データ７は、申請画像データのうち読取装置５１で読取られた証明書類が示す本人確認書類（本例では、免許証）の画像データから、固有情報を除いた画像データに相当する。ここで固有情報とは、各申請用書類に固有の情報であって、例えば氏名、住所、生年月日等の個人情報を含んでいる。本例のように、申請用書類が証明書類の場合、固有情報には証明書類の証明内容に関する情報（証明内容情報）が含まれる。
証明内容情報としては、証明書類が示す本人確認書類の有効年月日や交付日（発行日）、証明書類が示す本人確認書類に割り振られた固有の番号（例えば免許証番号）、証明書類が示す本人確認書類の発行者を示す情報等が想定される。つまり、証明書類における固有情報とは、個人情報と証明内容情報とを含んで構成される情報である。

図３に示すように、雛形画像データ７の画像領域には、免許証における固有情報の項目を示す画像情報を含む証明項目領域７２３が含まれている。具体的には、雛形画像データ７には、本人確認書類である免許証に含まれる固有情報に応じて多種多様な証明項目領域７２３（７２３ａ～７２３ｆ）、および各証明内容領域７２４（７２４ａ～７２４ｆ）が含まれている。

例えば、雛形画像データ７において、証明項目領域の一例である証明項目領域７２３ａには証明書類の固有情報（ここでは、免許証に含まれる個人情報）の種類として「氏名」という文字列の画像情報が含まれている。また、証明項目領域７２３ｂには、固有情報（個人情報）の種類として生年月日を表す「生（うまれ）」という文字列の画像情報が含まれている。また、証明項目領域７２３ｃには、固有情報（個人情報）の種類として「住所」という文字列の画像情報が含まれている。また証明項目領域７２３ｄには、固有情報（ここでは、免許証に含まれる証明内容情報）の種類として交付日を表す「交付」という文字列の画像情報が含まれている。また、証明項目領域７２３ｅには固有情報（証明内容情報）の種類として有効年月日を表す「まで有効」という文字列の画像情報が含まれ、証明項目領域７２３ｆには固有情報（証明内容情報）の種類として免許証番号を示す「番号」という文字列の画像情報が含まれている。

また図３に示すように、雛形画像データ７の画像領域には、証明書類における固有情報の内容（項目に対応する固有情報の内容）を示す画像情報が適用される証明内容領域７２４が含まれている。具体的には、雛形画像データ７には、免許証に含まれる固有情報の項目に対応する証明内容領域７２４（７２４ａ～７２４ｆ）が含まれている。

雛形画像データ７は、免許証の雛形を示す画像データであるため、固有情報の内容を示す画像情報は含まれない。したがって、雛形画像データ７における証明内容領域７２４（７２４ａ～７２４ｆ）には固有情報の内容を示す画像情報が含まれず、空白（ブランク）の画像領域となっている。詳しくは後述するが、証明内容領域７２４には、模擬書類画像データの生成時において、画像データ生成部４０１によって固有情報を模した内容の文字情報（後述する図４の模擬固有情報リスト内のデータ）を示す画像情報が適用される。例えば、証明内容領域７２４ａには、証明項目領域７２３ａに対応する固有情報の内容として所定の人物の氏名を表す画像情報が適用される。

なお、実際の免許証には、上述した他にも固有情報に応じた証明項目領域および証明内容領域が含まれ得るが、本例では理解を容易にするため、多くの項目領域および内容領域のうちの一部に符号を付して図示している。
また、図３に示すように、本例では免許証の顔写真の領域に相当する画像領域である写真領域７２５には、所定の写真画像（例えば、使用許可を得た所定の顔写真画像や、合成技術により作成した架空の顔写真画像）を適用することができる。なお写真領域７２５は、雛形画像データでは空白（ブランク）の画像領域としてもよいが、実際の免許証との類似性を向上する観点では、少なくとも模擬書類画像データの生成時に写真画像を適用することが好ましい。

本例では、申請用書類のうち証明書類の雛形画像データ７として定型書類に相当する免許証の雛形を示す画像を例示したが、本開示における雛形画像データはこれに限られず、他の申請用書類の雛形を示す画像データであってもよい。
雛形画像データが示す申請用書類の雛形は、申請者の証明書類であって、免許証、保険証または領収書を示す書類のうち少なくとも一種類（免許証、保険証または領収書のうち少なくとも一種類の写し）の雛形であってもよい。

申請用書類は、記載項目の配置（書式）の規則性により、定型書類、準定型書類、非定型書類に区分される。定型書類は書式が一定である書類であり、準定型書類は書式が一定ではないものの規則性の高い書式を有する書類であり、非定型書類は書式の規則性が低い書類である。

申請用書類のうち、例えば保険証や領収書は準定型書類に相当する。雛形画像データは例えば準定型書類である保険証、領収書の雛形を示す画像データであってもよい。この場合、保険証や領収書の雛形を示す雛形画像データには、保険証や領収書に含まれる固有情報に応じて多種多様な証明項目領域および、証明項目領域に対応する固有情報の内容を示す証明内容領域が含まれる。
雛形画像データが示す申請用書類が定型書類、準定型書類、非定型書類のいずれであっても、本実施形態に係る教師データ自動生成装置（情報処理装置１００）において雛形画像データを適用した模擬書類画像データを用いて教師データを生成し、当該教師データを用いて学習済みモデルＭが構築されることで、当該学習済みモデルＭによる画像処理の精度を向上し、ひいては審査効率を向上することができる。

このように、準定型書類や非定型書類のように書式が一定でない（定型書類でない）申請書用書類の雛形画像データを適用した模擬書類画像データによって教師データを生成してもよい。書式が一定でない申請用書類を示す申請画像データは、審査対象の画像情報を抽出（特定）する手間がかかる。したがって、当該教師データを用いて学習済みモデルＭが構築されて自動的に当該画像情報を含む領域の抽出が可能となることで、審査効率をより向上することができる。

なお、定型書類は免許証に限られず、書式が一定であれば、申請書や各種証明書類、各種添付書類も定型書類に相当する。同様に、書式の規則性が高い場合は、申請書や各種証明書類、各種添付書類も準定型書類に相当する。
例えば申請書が定型書類または準定型書類に相当する場合、雛形画像データは、申請情報を含む申請書の雛形を示す画像データであってもよい。申請書には、固有情報として、個人情報に加えて申請内容に関する情報（申請者が入力（記載）した申請内容情報）が含まれる。このため、申請書の雛形を示す雛形画像データには、申請書に含まれる固有情報の項目を示す画像情報を含む証明項目領域と、証明項目領域に対応する固有情報の内容が適用される申請内容領域とが含まれる。

生成用データ記憶部４１には、それぞれ異なる種類の申請用書類（申請書、免許証、保険証等）の雛形を示す複数種類の雛形画像データが記憶されていてもよい。これにより、画像データ生成部４０１は、複数種類の模擬書類画像データを生成することができ、ひいては教師データ自動生成部４０において多様な教師データを生成することができる。

〔模擬固有情報リスト〕
また生成用データ記憶部４１には、例えば模擬書類画像データに生成に用いるデータとして、模擬書類画像データの生成に用いる文字情報データであって、申請用書類における上述の固有情報を模したデータが登録された模擬固有情報リストが記憶されている。ここで、模擬固有情報リストにおいて、証明書類に含まれる固有情報を模したデータが登録されている場合を例にとって説明する。

図４は、生成用データ記憶部４１に記憶される模擬固有情報リストの一例を模式的に示す図である。模擬固有情報リスト４１０は、申請用書類における固有の情報（固有情報）を模したデータである模擬固有情報データを多数登録したデータ群（テキストデータ群）である。模擬固有情報リスト４１０は、例えばテーブル形式で模擬固有情報データを蓄積しており、模擬固有情報データの削除や追加、内容更新が可能に構成されている。模擬固有情報リスト４１０に蓄積されている模擬固有情報データは、雛形画像データ７の各証明内容領域７２４に適用するためのデータである。

具体的には、模擬固有情報リスト４１０には、例えば架空の個人情報（実在しない架空の人物を示す個人情報）等のデータを含む模擬固有情報データが多数（本例ではｎ件）登録されている。模擬固有情報リスト４１０に登録される模擬固有情報データの件数（ｎ）は、機械学習による学習済みモデルの構築に十分なデータ件数であればよい。

図４に示すように、模擬固有情報リスト４１０には申請者の個人情報を模した架空の個人情報（模擬個人情報）のデータとして、「Ａ山Ａ子」「Ｂ川Ｂ夫」等の架空の氏名や、「Ａ県Ａ市Ａ町１－１－１」「Ｂ県Ｂ市Ｂ町１－２－１」等の架空の住所と所定の年月日による「生年月日」とを紐づけたレコードが登録されている。
また模擬固有情報リスト４１０において、模擬個人情報の各データは、データ内容を示す項目データと対応付けられている。図４では、模擬個人情報に対応する項目データとして「氏名」「住所」「生年月日」「性別」が例示されている。これらの項目データは、雛形画像データ（例えば、雛形画像データ７）の各証明項目領域７２３に含まれる画像情報が示す項目と対応している。つまり、模擬固有情報リスト４１０は、雛形画像データに合わせて、証明項目領域７２３に対応する項目データと、証明内容領域７２４に適用する模擬固有情報データとを対応付けて管理している。

なお本例では、アルファベットを用いた模擬個人情報のデータを示しているが、本開示はこれに限られず、模擬固有情報リスト４１０には実際の個人情報により近い形式の模擬個人情報のデータが登録されていてもよい。

また模擬固有情報リスト４１０には、模擬個人情報に加えて、申請用書類における申請内容情報または証明内容情報を模した情報を示す文字情報データ群である模擬内容情報を含んで構成されてもよい。模擬内容情報は、例えば証明書類に応じた固有情報に含まれる証明内容情報を模した文字情報データで構成されてもよい。これにより、模擬固有情報リスト４１０は、証明書類の雛形を示す雛形画像データ（例えば雛形画像データ７）の証明内容領域７２４に適用するための文字情報データを登録したリストとして構成される。

図４に示ように、例えば模擬固有情報リスト４１０は、模擬内容情報として所定の年月日による「交付年月日」「有効年月日」等のレコードが対応付けられている。交付年月日や有効年月日といった日付情報は、図４に示すように西暦を示す文字情報データであってもよいし、和暦を示す文字情報データであってもよい。日付情報が西暦を示す場合には、雛形画像データの証明内容領域７２４に適用する際に、必要に応じて和暦に変換して用いればよい。
また模擬固有情報リスト４１０には、各レコードを一意に識別する識別用データ（識別番号や識別コード）が付与されていてもよい。本例では、識別用データとして識別番号（「Ｎｏ」）が付与されている。

なお、本開示はこれに限られず、模擬固有情報リストにおける模擬内容情報は、例えば申請書に応じた固有情報に含まれる申請内容情報を模した文字情報データで構成されてもよい。これにより、模擬固有情報リストは、申請書類の雛形を示す雛形画像データの申請内容領域に適用するための文字情報データを登録したリストとして構成される。

以上、本実施形態における模擬固有情報リストについて、具体例を挙げて説明した。
なお、模擬固有情報リスト４１０の形式は上述のように一例であって、本開示における模擬固有情報リストの形態はこれに限られない。例えば模擬固有情報リストは、項目ごとに分かれた複数のリストで構成され、項目に応じた各リスト中から無作為に情報を選択する形式であってもよい。また、模擬個人情報および模擬内容情報がそれぞれ異なるリストに登録されており、各リストを対応付けて管理することによって模擬固有情報リストを構成してもよい。

本実施形態に係る教師データ自動生成装置である情報処理装置１００は、申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データ（例えば雛形画像データ７）および、申請用書類における固有の情報を模したデータ群である模擬固有情報データを多数登録した模擬固有情報リスト（例えば模擬固有情報リスト４１０）を記憶する生成用データ記憶部４１を備える。模擬固有情報リストには、例えば架空の個人情報のデータが含まれてもよい。
教師用データの生成に実在の申請者が提出した申請用書類を示す画像データや、実在の申請者の個人情報を含む固有情報リストを用いる場合、個人情報の使用許可や高度な情報セキュリティを適用した個人情報の管理が必要となり、情報処理システム１の運用組織において大きな作業負荷が生じる。本実施形態では、固有情報を含まない模擬固有情報リストの情報を用いることで、情報処理システム１の運用組織における作業負荷を低減することができる。

また固有情報リストには、免許証の雛形を示す雛形画像データ７の写真領域７２５に適用するための写真画像（上述の顔写真画像）の画像データを示す情報（例えば写真画像の保存先やファイル名等）が含まれていてもよい。当該写真画像データは、複数種類用意されていることが好ましい。写真画像データを示す情報は、模擬固有情報データに含まれる性別情報や氏名等と紐づけられていればよい。これにより、模擬書類画像データの生成時において、性別や氏名等に応じた写真画像データを選択して写真領域７２５に適用することができる。なお写真画像データは、模擬書類画像データの生成時において無作為に選択されて写真領域７２５に適用されてもよい。
また、本開示において、雛形画像データは、固有情報のうち個人情報のみを除いた画像データであってもよい。この場合、固有情報のうち証明書類における証明内容情報や申請書における申請内容情報は、予め雛形画像データに含まれていてもよい。これにより、模擬固有情報リストには模擬内容情報を登録する必要がなく、模擬個人情報のデータが登録されていればよい。このため、生成用データ記憶部４１に記憶されるデータ量を削減することができる。

〔模擬書類画像データの生成〕
画像データ生成部４０１は、雛形画像データ（例えば雛形画像データ７）と模擬固有情報リスト（例えば模擬固有情報リスト４１０）に含まれる模擬固有情報データとに基づいて申請用書類を模した模擬書類画像を示す模擬書類画像データを生成する。教師データ自動生成部４０は、画像データ生成部４０１が生成した模擬書類画像データ７０を用いて教師データを生成する。これにより、教師データを生成するために多大な時間をかけて申請画像データを収集・生成をする必要がなく、速やかに教師データを自動生成することができる。つまり、本実施形態に係る教師データ自動生成装置である情報処理装置１００は、申請用書類に関する教師データの生成を効率的且つ簡便に行うことができ、学習済みモデルを速やかに構築してＡＩ技術の適用により審査効率を向上させることができる。
以下、図５を用いて模擬書類画像データの生成についてより具体的に説明する。図５は、模擬書類画像データの一例を示す模式図である。

本例では、画像データ生成部４０１は、免許証の雛形を示す雛形画像データ７と模擬固有情報リスト４１０に含まれる模擬固有情報データとに基づいて、免許証を模した模擬書類画像データ７０を生成する。
生成用データ記憶部４１には、雛形画像データの画像領域のうち模擬固有情報リストに登録された模擬固有情報データを適用する適用対象領域の位置情報（適用位置情報）が記憶されている。例えば、生成用データ記憶部４１には、雛形画像データ７の画像領域のうち、模擬固有情報データを適用する証明内容領域（適用対象領域の一例）７２４（証明内容領域７２４ａ～７２４ｆ）の位置情報が適用位置情報として記憶されている。

適用位置情報は、証明内容領域７２４と対応する証明項目領域７２３に含まれる項目を示すデータと関連付けて生成用データ記憶部４１に記憶されている。画像データ生成部４０１は、生成用データ記憶部４１に記憶されている適用位置情報に基づいて模擬固有情報リスト４１０に登録された模擬固有情報データを適用対象領域である証明内容領域７２４に適用して模擬書類画像データ７０を生成する。
例えば、証明内容領域７２４ａを示す適用位置情報には、証明内容領域７２４に対応する証明項目領域７２３（証明項目領域７２３ａ）に含まれる項目（「氏名」）を示すデータ（例えば文字情報データ「Ｎａｍｅ」）が関連付けられている。これにより、画像データ生成部４０１は、模擬固有情報リスト４１０から、証明項目領域７２３ａに対応する模擬個人情報のデータ（例えば「Ａ川Ａ子」）を取得し、適用位置情報に基づいて証明内容領域７２４ａに当該模擬個人情報のデータを適用する。これにより、より実際の証明書類の画像データ（例えば、免許証を示す申請画像データ）に近い態様の画像データとして、模擬書類画像データ７０を生成することができる。

本実施形態において適用位置情報は、例えば雛形画像データ７の画像領域内における証明内容領域７２４の座標を含む情報である。適用位置情報は、例えば矩形状の証明内容領域７２４の一の角部（例えば、左上の角部）の頂点の座標情報（Ｘ，Ｙ）と、当該角部を基準とした証明内容領域７２４のサイズ情報で構成されてもよい。サイズ情報は幅Ｗ（幅方向の画素数）および高さＨ（高さ方向の画素数）を含んでいればよい。また、適用位置情報の形式はこれに限られず、証明内容領域７２４の各角部の頂点（４点）のそれぞれの座標情報（Ｘ，Ｙ）であってもよい。

画像データ生成部４０１は、模擬固有情報データ（例えば、模擬個人情報のデータ）を証明内容領域７２４適用する際に、文字情報データから画像データに変換し、変換した画像データを証明内容領域７２４内に配置（貼り付け）すればよい。これにより、雛形画像データ７の前景画像として模擬固有情報データを示す画像データが合成される。なお、より具体的には、模擬書類画像データ７０は、雛形画像データ７を複製した画像データ（コピー雛形画像データ）に模擬固有情報データを適用して生成される。
同様にして、画像データ生成部４０１は、模擬固有情報リスト４１０内の各データをコピー雛形画像データの証明内容領域７２４ｂ～７２４ｆに適用する。これにより、コピー雛形画像データの証明内容領域７２４のすべてに対して、模擬固有情報リスト４１０内の対応する模擬固有情報データが適用され、免許証を模した模擬書類画像データである模擬書類画像データ７０を生成することができる。

また図４に例示したように、テーブル形式の模擬固有情報リスト（模擬固有情報リスト４１０）である場合には、画像データ生成部４０１が模擬固有情報リスト４１０内に登録されたレコード件数の分だけ、模擬書類画像データ７０の生成処理を繰り返すことにより、当該レコード件数分（例えば、識別番号の最大数分）の模擬書類画像データ７０を生成することができる。
このように、本実施形態に係る教師データ自動生成装置である情報処理装置１００は、教師データにおける学習用画像データとして用いられる多数の模擬書類画像データ（本例では、模擬書類画像データ７０）を、自動で生成することができる。これにより、情報処理装置１００は、学習用画像データに用いられる模擬書類画像データを効率的かつ簡便に生成することができ、ひいては教師データを効率的かつ簡便に生成して審査効率を向上させることができる。

また、上述のように、生成用データ記憶部４１には複数種類の雛形画像データが記憶されていてもよい。この場合、生成用データ記憶部４１にはそれぞれ異なる種類の申請用書類（例えば、証明書類）の雛形を示す複数種類の雛形画像データと、各雛形画像データにおける適用対象領域（例えば証明内容領域７２４）の位置情報である適用位置情報が記憶されていればよい。
またこの場合、画像データ生成部４０１は、複数種類の雛形画像データと模擬固有情報リスト４１０と複数種類の雛形画像データのそれぞれにおける適用位置情報とを用いて、複数種類の模擬書類画像データを生成すればよい。
これにより、種別の異なる証明書類（例えば免許証、保険証等）や申請書に対応する雛形画像データに基づいて、多様な模擬書類画像データを作成することができる。なおこの場合、適用位置情報は雛形画像データの種別（雛形画像データが示す書類の種別）と関連付けて、生成用データ記憶部４１に記憶されていればよい。

また、生成用データ記憶部４１に複数種類の雛形画像データが記憶されている場合、生成用データ記憶部４１には各雛形画像データに応じた複数の模擬固有情報リストが記憶されていてもよいし、一の模擬固有情報リスト（例えば、模擬固有情報リスト４１０）内に複数の雛形画像データに応じた固有情報データが登録されていてもよい。
また、雛形画像データが準定型書類（例えば保険証）の雛形を示す画像データである場合、当該準定型書類の書式パターンごとに適用位置情報が用意されていてもよい。

画像データ生成部４０１は、模擬書類画像データの生成処理を行うと、生成した複数（例えば、模擬固有情報リスト４１０のレコード件数分）の模擬書類画像データを教師データ記憶部４２に出力して記憶させる。これにより、教師データ記憶部４２に模擬書類画像データが蓄積される。教師データ記憶部４２では、模擬書類画像データは例えば画像ファイル形式で保存される。模擬書類画像データの画像ファイル名は、例えば模擬書類画像データが示す申請用書類の種別（例えば、免許証、保険証、領収書等）を識別可能な文字列を含んでいればよい。これにより、教師データ記憶部４２から当該画像ファイルを取得する際に、当該画像ファイルに含まれる模擬書類画像データが示す申請用書類の種別を取得することができる。

画像データ生成部４０１は、例えば、生成用データ記憶部４１に新たな雛形画像データが追加されたり、模擬固有情報リスト４１０の模擬固有情報データが追加・更新されたりした場合に、模擬書類画像データの生成処理を行ってもよいし、所定の周期で模擬書類画像データの生成処理を行ってもよい。

〔学習用画像データの生成〕
次に、画像データ生成部４０１による学習用画像データの生成について説明する。上述のように、画像データ生成部４０１は、模擬書類画像データ７０を用いて、教師データを構成する画像データ（学習用画像データ）を生成する。なお詳しくは後述するが、本実施形態において、上述した模擬書類画像データの生成処理で生成された模擬書類画像データ自体も、学習用画像データとして用いられる。
まず、画像データ生成部４０１が生成する学習用画像データの一例である転写書類学習データについて説明する。転写書類学習データは、申請用書類の画像データである申請画像データのうち、申請者が提出した証明書類を示す申請画像データを模した画像データである。

上述のように、申請画像データは、申請者が提出した申請書の原本を画像データ化して生成される。このため、申請書を示す申請画像データには、申請書類以外の画像領域がほぼ含まれない。一方、免許証や保険証といった証明書類を示す申請画像データは、申請者が提出した本人確認書類の写しを画像データ化して生成される。

したがって、証明書類を示す申請画像データには、当該写しを作成する印刷時における余白部分に相当する画像領域が含まれたり、画像情報として含まれる証明書類に傾きが生じたりする場合がある。また証明書類を示す申請画像データには、画像情報として複数の証明書類が含まれる場合もある。

例えば審査時において、審査画面と並べて証明書類を示す申請画像データが表示装置５３に表示されると、審査担当者は審査画面における審査項目に対応する画像領域（例えば、申請者の「氏名」に関する画像情報を含む画像領域）を参照するために、マウスなどの入力装置５２の操作によって画像の位置や傾きを調整することが必要となる。また証明書読取画像データに複数の証明書類が含まれる場合、いずれの証明書類を参照するか分かりづらいという問題も生じ得る。このようなことに起因して、審査効率が低減してしまう場合がある。したがって、情報処理装置１００では、画像処理部３０により、証明書類を示す申請画像データに対して、証明書類に相当する画像領域を認識して切り出し、切り出した画像領域の画像データに傾きがあれば調整するといった画像処理（画像分割処理）を行うことが必要となる。

そこで、本実施形態において教師データ自動生成部４０では、画像分割処理向けの学習済みモデルの構築に用いる教師データを生成する。画像データ生成部４０１は、当該画像分割処理向けの教師データを構成する学習用画像データとして、証明書類を示す申請画像データを模した画像データ（転写書類学習画像データ）を生成する。学習用画像データとして転写書類学習画像データを含む教師データを用いることにより、学習済みモデル生成装置であるコンピュータ５４は、画像処理部３０が証明書類を示す申請画像データの画像分割処理に用いる学習済みモデルを構築することができる。

まず、転写書類学習画像データの生成に用いるデータについて説明する。本実施形態において生成用データ記憶部４１には、申請用書類のうち証明書類が転写された転写紙の背景領域（証明書類以外の領域）を模した背景画像を示す背景画像データが記憶されている。ここで、背景画像データについて図６を用いて説明する。図６（ａ）から図６（ｅ）は、転写書類学習画像データの生成に用いられる背景画像データの一例を示す図である。
図６に示すように、本実施形態において背景画像データ９（背景画像データ９ａ～９ｅ）は、転写紙の背景領域におけるインクの濃淡やかすれを再現したグレースケールの画像領域を含んでいる。転写紙の背景領域の態様は、印刷環境や印刷機の種類等に応じて様々である。このため、本実施形態では、グレースケールの画像領域のサイズや灰色の階調の異なる複数種類（本例では５種類）の背景画像データ９が用意されている。

図７は、本実施形態における転写書類学習画像データの一例を示す図である。
本実施形態において画像データ生成部４０１は、背景画像データ９に対し前景画像として模擬書類画像データ７０（模擬書類画像データ７０の画像領域）を合成し、教師データを構成する画像データとして転写書類学習画像データ９０（転写書類学習画像データ９０ａ）を生成する。図７に示す転写書類学習画像データ９０ａは、図６に示す背景画像データ９ａの画像領域に対して、模擬書類画像データ７０の画像領域を前景として貼り付けて生成されている。

画像データ生成部４０１は、模擬書類画像データ７０の画像領域と平行なＸＹ平面内において模擬書類画像データ７０を回転させず、正対した状態で背景画像データ９ａの画像領域に合成する。これにより、転写書類学習画像データ９０ａにおいて模擬書類画像データ７０の画像領域を傾きのない状態（回転なし状態）とすることができる。ここで、背景画像データ９の画像領域と平行なＸＹ平面とは、例えば転写書類学習画像データ９０ａを転写紙に印刷した場合における紙面に相当し、転写書類学習画像データ９０ａを表示装置５３に表示した場合における表示画面に相当する。

転写書類学習画像データ９０ａでは、模擬書類画像データ７０の画像領域に傾き（回転）が生じていない。このため模擬書類画像データ７０の画像領域における証明項目領域７２３、証明内容領域７２４内の画像情報が示す文字列には、傾きが生じていない。つまり、転写書類学習画像データ９０ａにおいて証明項目領域７２３、証明内容領域７２４内の画像情報が示す文字列は、背景画像データ９の画像領域と平行なＸＹ平面内において回転せずに正対した状態となっている。

図８は、本実施形態における転写書類学習画像データの他の一例を示す図である。画像データ生成部４０１は、模擬書類画像データ７０の画像領域と平行なＸＹ平面内において所定角度で回転させた模擬書類画像データを背景画像データ９ａに合成して、転写書類学習画像データ９０ｂを生成する。これにより、図８に示す転写書類学習画像データ９０ｂにおいて模擬書類画像データ７０の画像領域を傾きが生じた状態（回転あり状態）とすることができる。

転写書類学習画像データ９０ｂでは、模擬書類画像データ７０の画像領域に傾き（回転）が生じている。このため模擬書類画像データ７０の画像領域における証明項目領域７２３、証明内容領域７２４内の画像情報が示す文字列には、傾きが生じている。つまり、転写書類学習画像データ９０ａにおいて証明項目領域７２３、証明内容領域７２４内の画像情報が示す文字列は、背景画像データ９の画像領域と平行なＸＹ平面内において模擬書類画像データ７０の画像領域と同等の角度で回転した状態となっている。

このように、画像データ生成部４０１は、背景画像データ９（例えば背景画像データ９ａ）に対して一種類の模擬書類画像データが示す画像（模擬書類画像データの画像領域）を前景画像として合成し、一種類の模擬書類画像を含む転写書類学習画像データ９０（例えば、転写書類学習画像データ９０ａ，９０ｂ）を生成することができる。この場合、画像データ生成部４０１は、転写書類学習画像データ９０として、一種類の模擬書類画像データを回転なし状態とした画像データ（転写書類学習画像データ９０ａ）または一種類の模擬書類画像データを回転あり状態とした画像データ（転写書類学習画像データ９０ｂ）を生成することができる。
また画像データ生成部４０１は、回転あり状態の模擬書類画像データを含む転写書類学習画像データとして、模擬書類画像データの画像領域の回転角度が異なる複数種類の画像データを生成することができる。

図９は、本実施形態における転写書類学習画像データのさらに他の一例を示す図である。
図９に示すように、本実施形態において転写書類学習画像データ９０に含まれる模擬書類画像データ（模擬書類画像データの画像領域）は一種類に限られず、複数種類の模擬書類画像データが含まれていてもよい。つまり、画像データ生成部４０１は、一の背景画像データ９（例えば背景画像データ９ａ）に対して複数種類（本例では、２種類）の模擬書類画像データが示す画像を前景画像として合成し、複数種類の模擬書類画像を含む転写書類学習画像データ９０ｃを生成することができる。

本例では、転写書類学習画像データ９０ｃには、免許証を模した模擬書類画像データ７０ａと保険証を模した模擬書類画像データ７０ｂの画像領域が含まれている。本例では理解を容易にするため、模擬書類画像データ７０ｂに含まれ得る多くの証明項目領域および証明内容領域のうちの一部である証明項目領域７２３および証明内容領域７２４のみを図示し、他の証明項目領域および証明内容領域の図示は省略している。

図９に示すように、複数種類の模擬書類画像データの画像領域を含む転写書類学習画像データにおいて、各模擬書類画像データの画像領域は、回転状態が異なっていてもよい。図９では、転写書類学習画像データ９０ｃにおける模擬書類画像データ７０ａの画像領域が回転あり状態、模擬書類画像データ７０ｂの画像領域が回転なし状態となっている。なお、これに限られず、転写書類学習画像データにおいて複数種類の模擬書類画像データの画像領域の両方が回転あり状態でもよいし、複数種類の模擬書類画像データの画像領域の両方が回転なし状態でもよい。

このように、本実施形態において画像データ生成部４０１は、背景画像データ９に対して一種類または複数種類の模擬書類画像データ（模擬書類画像データ７０ａ，７０ｂ）が示す画像を前景画像として合成し、一種類または複数種類の模擬書類画像（模擬書類画像データの画像領域）を含む転写書類学習画像データ９０を生成する。
これにより、画像データ生成部４０１は多種多様な転写書類学習画像データ９０を生成することができ、転写書類学習用画像データを用いて生成される教師データをより実際の証明書類の申請画像データに近いものとすることができる。

また上述のように、生成用データ記憶部４１には、複数種類の背景画像データ（例えば、背景画像データ９ａ～９ｅ）が記憶されている。このため、画像データ生成部４０１は、転写書類学習画像データの生成時において複数種類の背景画像データが示す背景画像のうち少なくとも一種類を無作為に選択すればよい。つまり、画像データ生成部４０１は、複数種類の背景画像データのうち一種類を選択してもよいし、複数種類を選択してもよい。複数種類を選択する場合には、例えば当該複数種類の背景画像を合成して背景画像とすればよい。これにより、種々の背景画像データに対して模擬書類画像データの画像領域を合成した転写書類学習画像データを生成することができ、転写書類学習用画像データを用いて生成される教師データをさらに実際の証明書類の申請画像データに近いものとすることができる。また例えば複数種類の背景画像を合成することで、多様な態様の背景画像を生成することができ、模擬書類画像データをさらに実際の証明書類の申請画像データに近いものとすることができる。

画像データ生成部４０１は、生成用データ記憶部４１から無作為に選択した背景画像データ９を読み込み、読み込んだ背景画像データ９に対して、教師データ記憶部４２から読み込んだ模擬書類画像データの画像領域を合成する。これにより、画像データ生成部４０１は、少なくとも模擬書類画像データのデータ数分（例えば模擬固有情報リスト４１０のレコード件数分）の転写書類学習用画像データを自動生成することができる。これにより、本実施形態に係る教師データ自動生成装置である情報処理装置１００は、教師データに用いる学習用画像データを効率的かつ簡便に生成することができ、ひいては教師データを効率的かつ簡便に生成することができる。画像データ生成部４０１は、生成した転写書類学習用画像データを教師データ記憶部４２に出力して記憶させる。このとき、模擬書類画像データと同様に、転写書類学習用画像データを画像ファイルとして保存してもよい。また、転写書類学習用画像データの画像ファイル名は、当該画像ファイルを一意に識別可能な名称であればよい。

以上説明したように、画像データ生成部４０１は、雛形画像データ（例えば、雛形画像データ７）と模擬固有情報リスト（例えば、模擬固有情報リスト４１０）に含まれる模擬固有情報データとに基づいて申請用書類を模した模擬書類画像を示す模擬書類画像データ（例えば、模擬書類画像データ７０，７０ｂ）を生成することができる。
ここで、模擬書類画像データが示す申請用書類は、申請者の証明書類であって、免許証、保険証または領収書を示す書類のうち少なくとも一種類（免許証、保険証または領収書のうち少なくとも一種類の写し）であればよく、申請書であってもよい。これにより、本人確認書類の写しとして申請者が提出する頻度が高い証明書類（免許証、保険証、領収書等の写し）に模した模擬書類画像データを生成し、これを用いた学習用画像データを生成することができる。なお、申請用書類における申請者の証明書類は、上述したものに限られず、申請業務の内容に応じて種々の書類が想定される。例えば、行政関係の申請業務であれば、戸籍謄本や住民票等の写しが申請用書類として想定される。また車両の登録等の申請業務であれば、申請書に加えて車検証や点検記録簿等が申請用書類として想定される。本実施形態において画像データ生成部４０１は、これらの種々の申請用書類を模した模擬書類画像を示す模擬書類画像データを生成し、これを用いた学習用画像データを生成することができる。
具体的には、画像データ生成部４０１は、転写紙の背景領域を模した背景画像を示す背景画像データ９に対し前景画像として前記模擬書類画像データを合成し、教師データを構成する画像データとして転写書類学習画像データを生成することができる。
これにより、画像処理部３０が行う画像処理向けの学習済みモデルの構築に用いる教師データを構成する学習用画像データを生成することができる。

（注釈データ付与部）
教師データ自動生成部４０において注釈データ付与部４０２は、画像データ生成部４０１が生成した学習用画像データ（模擬書類画像データ、転写書類学習データ）が示す画像にメタデータ（注釈データ）を付与して意味づけ（アノテーション）を行う。これにより、学習用画像データと注釈データとを含む教師データが生成される。

まず、転写書類学習データに対するアノテーションによる教師データの生成について説明する。
注釈データ付与部４０２は、転写書類学習データに付与する注釈データとして、書類分割データを生成する。書類分割データは、転写書類学習用画像データの画像領域内における模擬書類画像データの画像領域をアノテーションするための注釈データである。

ここで図７から図９を用いて、書類分割データについて説明する。
書類分割データは、転写書類学習画像データ９０の画像領域、すなわち背景画像データ９の画像領域のうち、模擬書類画像データ７０に相当する画像領域である模擬書類領域７１の位置を示す模擬書類位置情報を含んでいる。模擬書類領域７１は模擬書類画像データ７０を囲む矩形状の領域である。本実施形態において模擬書類位置情報は、模擬書類領域７１ａの４つの角部の頂点Ｐ１～Ｐ４のそれぞれの座標情報（Ｘ，Ｙ）で構成される。これにより、転写書類学習画像データ９０の画像領域内における模擬書類領域７１の位置、すなわち模擬書類画像データ７０の位置を特定することができる。

注釈データ付与部４０２は、模擬書類画像データ７０における模擬書類画像（模擬書類領域７１の画像情報）が示す申請用書類の種別と、転写書類学習画像データ９０の画像領域のうち模擬書類領域７１の位置を示す模擬書類位置情報とを関連付けた書類分割データを取得し、当該書類分割データを転写書類学習画像データ９０に付与する。これにより、機械学習によって転写書類学習画像データ９０に含まれる模擬書類領域７１を学習させるための教師データ（書類分割用教師データ）が生成される。
注釈データ付与部４０２は、少なくとも転写書類学習用画像データのデータ数分の教師データ（書類分割用教師データ）を自動生成することができる。

例えば、注釈データ付与部４０２は、転写書類学習画像データ９０の模擬書類領域７１（模擬書類領域７１ａ）が示す申請書類の種別として「免許証」を表す「Ｄｒｉｖｅｒ′ｓ Ｌｉｃｅｎｓｅ」という文字列データと、模擬書類位置情報とを関連付けた書類分割データを取得する。書類分割データのデータ構造（フォーマット）は、ＪＳＯＮ（Ｊａｖａｓｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）であってもよいし、ＸＭＬや平文であってもよい。例えば、図７に示す転写書類学習画像データ９０ａに付与される注釈データ（書類分割データ）のデータ構造がＪＳＯＮである場合、模擬書類領域７１が表す申請書類の種別として「免許証」を示すデータ「“Ｔｙｐｅ”：“Ｄｒｉｖｅｒ′ｓ Ｌｉｃｅｎｓｅ”」に関連付けて、模擬書類領域７１ａの角部の頂点Ｐ１～Ｐ４の座標情報である模擬書類位置情報を示すデータ「“ｐｏｉｎｔ１”：｛１８，２２２｝，“ｐｏｉｎｔ２”：｛２４，２２２｝，“ｐｏｉｎｔ３”：｛２４，６０３｝，“ｐｏｉｎｔ４”：｛１８，２２２｝」を有するデータ構造となる。
これにより、転写書類学習画像データ９０ａに対し、模擬書類領域７１（模擬書類領域７１ａ）が表す申請用書類の種別が「免許証」であることに関連付けて、転写書類学習画像データ９０ａにおける模擬書類領域７１の位置を示す模擬書類位置情報がアノテーションされる。したがって、転写書類学習画像データ９０ａに書類分割データをアノテーションした教師データにより、証明書類の申請画像データについて、傾きが生じていない証明書類の種別および画像領域を認識・検出するための学習を行うことができる。

また、図８に示す転写書類学習画像データ９０ｂに対しても同様に、模擬書類領域７１（模擬書類領域７１ａ）が表す申請用書類の種別が「免許証」であることに関連付けて、転写書類学習画像データ９０ａにおける模擬書類領域７１の位置を示す模擬書類位置情報がアノテーションされる。図８に示すように、転写書類学習画像データ９０ｂにおいて模擬書類領域７１（模擬書類画像データ７０の画像領域）は回転あり状態で配置されている。模擬書類位置情報は、模擬書類領域７１ａの角部の頂点Ｐ１～Ｐ４の座標情報であることにより、模擬書類領域７１の回転角度まで含めた位置を示すことができる。したがって、転写書類学習画像データ９０ｂに書類分割データをアノテーションした教師データにより、証明書類の申請画像データについて、傾きが生じた証明書類の種別および画像領域を認識・検出するための学習を行うことができる。

また、図９に示すように、複数の模擬書類領域７１（模擬書類領域７１ａ，７１ｂ）を有する転写書類学習画像データ９０ｃでは複数の書類分割データが付与される。例えば、転写書類学習画像データ９０ｃには、申請用書類の種別が「免許証」であることに関連づけて示す模擬書類領域７１ａを示す書類分割データに加えて、「保険証」を示す模擬書類領域７１ｂを示す書類分割データが付与される。したがって、転写書類学習画像データ９０ｃに書類分割データをアノテーションした教師データにより、証明書類の申請画像データについて、複数の証明書類の種別および画像領域を認識・検出するための学習を行うことができる。

注釈データである書類分割データに含まれる情報（申請書類の種別を示す情報および模擬書類位置情報）は、例えば画像データ生成部４０１による転写書類学習画像データ９０の生成時において取得される。具体的には、模擬書類位置情報は、背景画像データ９に模擬書類画像データ７０の画像領域を合成する際に取得される。画像データ生成部４０１が取得した模擬書類位置情報（頂点Ｐ１～Ｐ４、頂点P１０～Ｐ４０の座標情報）は、情報処理装置１００の一時記憶領域に保存されてもよいし、転写書類学習画像データ９０を識別する情報（画像ファイル名など）と対応付けて教師データ記憶部４２に記憶されてもよいし、注釈データ付与部４０２に出力されてもよい。
また、画像データ生成部４０１が注釈データ付与部４０２の機能を実装することで、転写書類学習画像データ９０の生成に伴って、注釈データ（ここでは、書類分割データ）の取得および付与を行ってもよい。

書類分割用教師データによる機械学習（例えば、教師あり学習）で生成された学習済みモデル（書類分割用学習済みモデル）は、証明書類を示す申請画像データを入力すると、出力結果として、申請画像データに含まれる証明書類の画像領域の画像データ（証明書画像データ）と、当該画像データが示す申請書類の種別とを得ることができる。また出力される証明書画像データは、傾きが補正された回転なし状態となっている。
したがって、学習済みモデルМが書類分割用学習済みモデルである場合、当該画像処理部３０は証明書類を示す申請画像データを学習済みモデルМに入力することで、出力結果として申請画像データから分割され、傾きが補正された証明書画像データおよび申請書類の種別を得ることができる。これにより、画像処理部３０は、効率的かつ簡便に精度の高い画像処理（画像分割処理）を実行し、審査画面に表示するための審査用画像データを効率的に生成することができる。これにより、教師データ自動生成部４０は、審査効率を向上することができる。

次に、模擬書類画像データ（例えば、図５に示す模擬書類画像データ７０）に対するアノテーションによる教師データの生成について説明する。
注釈データ付与部４０２は、模擬書類画像データに付与する注釈データとして、領域抽出データを生成する。領域抽出データは、模擬書類画像データの画像領域内における特定の領域をアノテーションするための注釈データである。本実施形態において、領域抽出データは、模擬書類画像データ（例えば、模擬書類画像データ７０）における模擬固有情報データの画像情報を含む模擬固有情報領域（証明項目領域７２３および証明内容領域７２４）をアノテーションするための注釈データである。

模擬書類画像データに対して領域抽出データを付与することにより、実際の申請用書類（例えば、証明書類）の画像データ（審査用画像データ）の画像領域内において固有情報データを表す固有情報領域（証明項目領域および証明内容領域）の位置を抽出することが可能となる。審査用画像データにおける固有情報データは、審査画面とともに表示装置５３に表示されることで、目視審査の対象の画像情報となる。つまり、証明項目領域および証明内容領域による固有情報領域は、審査対象の画像情報を含む審査画像領域である。

したがって、模擬書類画像データに対して領域抽出データを付与した教師データにより、審査用画像データの画像領域における固有情報領域（審査画像領域）を学習させた学習済みモデル（領域抽出用学習済みモデル）を構築することができる。画像処理部３０は、学習済みモデルМが領域抽出用学習済みモデルである場合に、申請用書類の画像データ（例えば、書類分割処理結果である審査用画像データ）を学習済みモデルМに入力することで、出力結果として、固有情報領域の位置情報（座標情報）を取得することができる。審査部１３は、固有情報領域の位置情報に基づいて、審査画像領域である固有情報領域の視認が容易な態様で審査用画像データを表示装置５３に表示可能となる。したがって、本実施形態に係る教師データ自動生成装置である情報処理装置１００は、審査効率を向上することができる。

ここで、図１０を用いて領域抽出データについて具体的に説明する。
図１０（ａ）は、図５に示す模擬書類画像データ７０（図７から図９に示す模擬書類画像データ７０ａに相当）の画像領域の一部を抜粋して示す図である。
例えば注釈データ付与部４０２は、模擬書類画像データ７０の画像領域内において、模擬固有情報データ（ここでは、免許証の模擬書類画像データが示す氏名）を含む模擬固有情報領域１７０ａの位置情報（審査領域位置情報）を取得する。具体的には、注釈データ付与部４０２は、模擬固有情報領域１７０ａの位置を示す審査領域位置情報として模擬書類画像データ７０の画像領域内における証明項目領域７２３の位置情報および証明内容領域７２４の位置情報を取得する。注釈データ付与部４０２は、審査領域位置情報として座標情報を含む位置情報を取得する。

図５に示す模擬書類画像データ７０（図７から図９に示す模擬書類画像データ７０ａ）は、免許証を模した画像データである。このため、当該模擬書類画像データ７０（模擬書類画像データ７０ａ）の証明項目領域および証明内容領域（模擬固有情報領域）の座標情報は予め生成用データ記憶部４１に記憶されている。注釈データ付与部４０２は、模擬書類画像データが示す書類の種別が「運転免許証」である場合、生成用データ記憶部４１から証明項目領域７２３および証明内容領域７２４を含む模擬固有情報領域１７０ａの座標情報を抽出する。これにより、注釈データ付与部４０２は、模擬固有情報領域１７０ａの座標情報を取得することができる。

生成用データ記憶部４１には、模擬固有情報領域１７０ａに含まれる証明項目領域７２３が示す模擬固有情報データの項目と、模擬固有情報領域１７０ａの座標情報とが関連付けて記憶されている。注釈データ付与部４０２は、生成用データ記憶部４１から模擬固有情報領域１７０ａの座標情報とともに模擬固有情報データの項目を示す項目データ抽出する。これにより、注釈データ付与部４０２は、模擬固有情報データの種類を示す項目データと、模擬固有情報領域１７０ａの位置とを関連付けた領域抽出データを取得して、模擬書類画像データ７０ａに付与することができる。これにより、機械学習によって模擬書類画像データ７０ａ（定型書類である免許証を模した画像データ）に含まれる模擬固有情報領域の位置を学習させるための教師データ（領域抽出用教師データ）が生成される。

図１０（ｂ）は、図９に示す模擬書類画像データ７０ｂの画像領域の一部を抜粋して示す図である。注釈データ付与部４０２は、模擬書類画像データ７０ｂの画像領域内において、模擬固有情報データ（ここでは、保険証の模擬書類画像データが示す氏名）を含む模擬固有情報領域１７０ｂの位置情報（審査領域位置情報）を取得する。生成用データ記憶部４１には、模擬固有情報領域１７０ａと同様に、模擬固有情報領域１７０ｂに含まれる証明項目領域７２３が示す模擬固有情報データの項目と、模擬固有情報領域１７０ｂの座標情報とが関連付けて記憶されている。このため、注釈データ付与部４０２は、模擬固有情報データの種類を示す項目データと、模擬固有情報領域１７０ｂの位置とを関連付けた領域抽出データを取得して、模擬書類画像データ７０ｂに付与することができる。これにより、機械学習によって模擬書類画像データ７０ｂ（準定型書類である免許証を模した画像データ）に含まれる模擬固有情報領域の位置を学習させるための教師データ（領域抽出用教師データ）が生成される。

このように、注釈データ付与部４０２は、模擬書類画像データ（模擬書類画像データ７０ａ，７０ｂ）に含まれる模擬固有情報データの項目と、模擬書類画像データの画像領域のうち模擬固有情報データの画像情報を示す模擬固有情報領域１７０（模擬固有情報領域１７０ａ，１７０ｂ）の位置とを関連付けた領域抽出データを取得し、該領域情報データを模擬書類画像データ７０（模擬書類画像データ７０ａ，７０ｂ）に付与して教師データ（領域抽出用教師データ）を生成する。注釈データ付与部４０２は、少なくとも模擬書類画像データのデータ数分の教師データ（領域抽出用教師データ）を自動生成することができる。

注釈データ付与部４０２が取得する模擬固有情報領域１７０（模擬固有情報領域１７０ａ，１７０ｂ）の位置情報（審査領域位置情報）は、矩形状の領域である模擬固有情報領域の各角部の頂点それぞれの座標情報（Ｘ，Ｙ）であってもよい。また、審査領域位置情報は、模擬固有情報領域の一の角部の頂点（例えば、左上の角部の頂点Ｐ１００）の座標情報（Ｘ，Ｙ）と、当該角部の頂点を基準とした模擬固有情報領域のサイズ情報で構成されてもよい。サイズ情報は幅Ｗ（幅方向の画素数）および高さＨ（高さ方向の画素数）を含んでいればよい。模擬固有情報領域のサイズ情報を含む審査領域位置情報は、模擬固有情報領域の各角部の頂点それぞれの座標情報を含む審査領域位置情報よりも、情報量を削減できる。このため、教師データを保存するための容量を低減させることができる。

注釈データ付与部４０２が模擬書類画像データに付与する注釈データである領域抽出データのデータ構造は、上述の書類分割データと同様に、ＪＳＯＮであってもよいし、ＸＭＬや平文であってもよい。例えば、図１０（ａ）に示す模擬書類画像データ７０ａに付与される注釈データ（領域抽出データ）のデータ構造がＪＳＯＮである場合、模擬固有情報領域１７０ａにおける模擬固有情報データの項目（氏名）を示すデータ「“ＴａｇＴｙｐｅ”：“Ｎａｍｅ”」に関連付けて、模擬固有情報領域１７０ａの一の角部の頂点Ｐ１００の座標情報と模擬固有情報領域１７０ａのサイズとを示すデータ「“Ｘ”：１８，“Ｙ”：３４５，“Ｗ”：９０３，“Ｈ”：４５」を有するデータ構造となる。

以上説明したように、注釈データ付与部４０２は、模擬書類画像データに基づいて生成された複数種類の学習用画像データに対して、それぞれ異なる注釈データを付与（アノテーション）する。これにより、画像処理部３０が実行する種々の画像処理に用いる学習済みモデルを構築するための種々の教師データを生成することができる。
なお、本例では注釈データ付与部４０２が書類分割用教師データおよび領域抽出用教師データを生成する例を説明したが、本開示はこれに限られない。注釈データ付与部４０２は、書類分割データや領域抽出データとは異なる注釈データを学習用画像データ（転写書類学習データ、模擬書類画像データ）に付与することで、さらに異なる種類の教師データを生成するように構成されてもよい。また、注釈データ付与部４０２は、書類分割用教師データおよび領域抽出用教師データのうち少なくとも一方を生成する構成であってもよい。

また注釈データ付与部４０２は、例えば模擬書類画像データ７０の模擬書類画像（模擬書類領域７１の画像情報）が示す申請用書類の種別のみを取得して、転写書類学習画像データ９０に付与してもよい。これにより、機械学習によって転写書類学習画像データ９０に含まれる申請用書類の種別（例えば、免許証、保険証、領収書等）を学習させるための教師データ（書類分類用教師データ）が生成される。この場合、注釈データ付与部４０２は、書類分割用教師データ、領域抽出用教師データおよび書類分類用教師データのうち少なくとも一種類を生成する構成であってもよい。つまり、書類分割用教師データ、領域抽出用教師データおよび書類分類用教師データのうちいずれか一種類のみを生成する構成であってもよいし、これらのうち２種類を生成する構成でもよいし、３種類すべてを生成するこうせいであってもよい。
また、教師データ自動生成部４０（特に注釈データ付与部４０２）が生成した教師データ（書類分割用教師データ、領域抽出用教師データ、書類分類用教師データ）は、学習済みモデルの評価を行う検証データとして用いられてもよい。情報処理装置１００では、当該評価の結果に基づいて教師データの内容の調整などを行い、最終的な学習済みモデルの生成に必要なデータをコンピュータ５４に出力することができる。

（１．２）情報処理装置のハードウェア構成
図１１は、情報処理装置１００の機能部におけるハードウェア構成の一例を示す概略図である。図１１に示すように、情報処理システム１は、演算装置１０により実現される。演算装置１０は、プロセッサ１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random access memory）１０３及び補助記憶装置（メモリ）１０４を備える情報処理装置（コンピュータ）である。
演算装置１０には、例えば外部インタフェース（Ｉ／Ｆ）１０５を介して読取装置５１、入力装置５２及び表示装置５３、並びに外部記憶媒体５７が接続されている。外部インタフェース（Ｉ／Ｆ）１０５は、例えばＵＳＢ（Universal Serial Bus）ポート等である。

演算装置１０には、例えば通信インタフェース（Ｉ／Ｆ）１０６及びネットワーク１０８を介して他のコンピュータ５５が接続されていてもよい。通信インタフェース（Ｉ／Ｆ）１０６は、例えばＬＡＮ（Local Area Network）ポート、無線ＬＡＮインタフェース等である。
ここで、読取装置５１、入力装置５２及び表示装置５３は、図２に示す情報処理装置１００に接続された読取装置５１、入力装置５２及び表示装置５３である。また、読取装置５１、入力装置５２、表示装置５３及びコンピュータ５５は、演算装置１０と接続するためのユーザインタフェース（不図示）を備えている。ここで、演算装置１０の各部のハードウェア資源が所定のプログラムと協働することにより、情報処理装置１００の申請情報取得部１１、記憶部１２、審査部１３、画像処理部３０、教師データ自動生成部４０、審査画像記憶部３１、生成用データ記憶部４１、教師データ記憶部４２及び表示データ出力部１４及びデータ出力部１５の各機能が構築される。

プロセッサ１０１は、情報処理装置１００を全体的に制御するプロセッサである。プロセッサ１０１は、バス１０７を介してＲＯＭ１０２に格納されたプログラムを読み出し、プログラムに従って情報処理装置１００を制御する。プロセッサ１０１は、情報処理装置１００があらかじめ定められた審査画面を出力する等の審査処理を行うように情報処理装置１００を制御する。
ＲＯＭ１０２は、教師データを生成する教師データ自動生成処理を実行する教師データ自動生成プログラムと、審査用画像データを生成する画像処理を実行する画像処理プログラムと、申請手続きを受け付け、審査担当者による審査の結果を得る申請情報処理方法を実行するプログラムとを格納している。
ＲＡＭ１０３は、計算データ、入力装置５２を介して審査担当者により入力された各種データ等が一時的に格納されている。

補助記憶装置１０４は、例えば図示しないバッテリでバックアップされており、情報処理システム１の電源がオフされても記憶状態が保持される。補助記憶装置１０４には、外部インタフェース１０５を介して読取装置５１から入力された申請用書類の画像データ、画像処理部３０が生成した審査用画像データ、教師データ自動生成部４０生成した模擬書類画像データ、転写書類学習データ、書類分割用教師データ、および領域抽出用教師データ等が記憶される。また、補助記憶装置１０４には、入力装置５２から審査担当者によって入力された入力データの他、外部インタフェース１０５、通信インタフェース１０６を介して入力された各種データが記憶される。

読取装置５１は、申請用書類を電子データ（画像データ）化し、外部インタフェース１０５を介して画像データを演算装置１０に入力する。読取装置５１による読み取りの制御は、情報処理システム１の演算装置１０がプログラムを実行することにより行うようにしてもよいし、他の装置からの制御により行うようにしても良い。

入力装置５２は、キーボード、カードリーダ、ポインティングデバイス又はマイク等の音声入力装置等であり、外部インタフェース１０５を介して審査担当者の操作に基づく指令や入力データを演算装置１０に入力する。
表示装置５３は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro-Luminescence Display）であり、外部インタフェース１０５を介して演算装置１０から各種データを受信して表示する。表示装置５３は、例えば演算装置１０のメモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ、読取装置５１がスキャンして得られた申請用書類の画像データに基づく審査用画像データ、審査部１３での審査の過程で出力されたデータ等を表示する。

外部記憶媒体５７は、例えばＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）又はＢｌｕ－ｒａｙ Ｄｉｓｃ（登録商標）等の光ディスク、フラッシュメモリ等の半導体メモリ、ポータブルハードディスクドライブである。外部記憶媒体５７は、情報処理装置１００から出力された審査データを記憶してもよい。

コンピュータ５５は、通信インタフェース１０６を介してネットワーク１０８経由で演算装置１０と接続されている。コンピュータ５５は、図示しない表示装置および入力装置を備え、ネットワーク１０８経由で入力装置を介して作業者の操作に基づく指令や入力データを演算装置１０に入力したり、演算装置１０から各種データを受信して表示装置に表示させることができる。ネットワーク１０８は、有線ネットワーク又は無線ネットワークのいずれであってもよい。ネットワーク１０８が無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、モバイル通信ネットワーク等の無線ネットワークである場合、情報処理装置１００は、遠隔地にいる審査担当者からリアルタイムで指令を受け付けたり、遠隔地にいる審査担当者に対してプログラム等の実行状態や取得データの表示を行うことができる。例えばコンピュータ５５が自治体のコンピュータであり、情報処理装置１００が自治体から審査を委託された企業のコンピュータで実行されている場合、情報処理システム１から審査データが出力され、ネットワーク１０８を介して自治体のコンピュータ５５に送信される。

（１．３）教師データ自動生成方法
以下、本実施形態に係る情報処理方法について、図１２を用いて説明する。図１２は、本実施形態に係る教師データ自動生成方法の一例を説明するフローチャートである。
教師データ自動生成部４０の画像データ生成部４０１は、生成用データ記憶部４１から模擬書類画像データを生成するための雛形画像データを取得する（ステップＳ１０１）。画像データ生成部４０１は、例えば模擬書類画像データの生成を開始することを示す所定の契機（例えば、模擬固有情報リストの更新や新たなレコードの追加、模擬書類画像データの生成周期の到来等）が生じたことに基づいて、雛形画像データを取得する。これにより擬書類画像データの生成処理が開始される。

画像データ生成部４０１は、雛形画像データを取得すると、次いで生成用データ記憶部４１から模擬固有情報リスト内のレコードを取得する（ステップＳ１０２）。画像データ生成部４０１は模擬固有情報リスト内のレコードの全件を一度に読み込んでもよいし、一件ずつ読み込んでもよいし、各項目の情報を無作為に１件ずつ選択（取得）して読込んでもよい。なお、画像データ生成部４０１は、模擬固有情報リストを取得した後で、雛形画像データを取得してもよい。

画像データ生成部４０１は、取得した雛形画像データと模擬固有情報リストに含まれる模擬固有情報データとに基づいて、模擬書類画像データを生成する（ステップＳ１０３）。例えば画像データ生成部４０１は、模擬固有情報リストの各レコードから、証明項目領域７２３が示す項目と対応する内容の模擬固有情報データを抽出し、抽出した模擬固有情報データを証明項目領域７２３に対応する証明内容領域７２４に適用する。これにより、模擬固有情報データを含む模擬書類画像データが生成される画像データ生成部４０１は、生成した模擬書類画像データを教師データ記憶部４２に記憶させる。画像データ生成部４０１は、ステップＳ１０３の処理を、模擬固有情報リストのレコード数分繰り返すことで、模擬固有情報リスト内の全レコードを適用した多くの模擬書類画像データを自動生成することができる。また、上述のように、模擬固有情報リストから各項目の情報を無作為に１件ずつ読み込む場合には、ステップＳ１０３の処理を予め設定された任意の件数分繰り返すことで、任意の件数の模擬書類画像データを自動生成することができる。

次いで、画像データ生成部４０１は、転写書類学習データを生成するための背景画像データ９を生成用データ記憶部４１から取得する（ステップＳ１０４）。例えば画像データ生成部４０１は、生成用データ記憶部４１に記憶された複数種類の背景画像データ９ａ～９０ｅのうち一の背景画像データ９を無作為に選択して取得する。

画像データ生成部４０１は、背景画像データ９を取得すると教師データ記憶部４２に記憶されている模擬書類画像データを取得する（ステップＳ１０５）。
画像データ生成部４０１は、取得した背景画像データ９と模擬書類画像データとを用いて、転写書類学習データを生成する（ステップＳ１０６）。例えば、画像データ生成部４０１は、背景画像データ９が示す背景画像（背景画像データ９の画像領域）に対し、前景画像として模擬書類画像データの画像領域（模擬書類画像）を合成して、転写書類学習データを生成する。

画像データ生成部４０１は、ステップＳ１０５およびステップＳ１０６の処理（転写書類学習データ生成処理）を、模擬固有情報リストのレコード数分繰り返すことで、少なくとも模擬書類画像データのデータ数（教師データ記憶部４２に記憶された模擬書類画像データの画像ファイル数）分の転写書類学習データを生成することができる。また、上述のように、模擬固有情報リストから各項目の情報を無作為に１件ずつ読み込む場合には、ステップＳ１０５およびステップＳ１０６の処理を予め設定された任意の件数分繰り返すことで、任意の件数の転写書類学習データを自動生成することができる。

次いで、教師データ自動生成部４０の注釈データ付与部４０２は、転写書類学習データに対して、注釈データ（書類分割データ）を付与（アノテーション）して書類分割用教師データを生成する（ステップＳ１０７）。
さらに、注釈データ付与部４０２は、模擬書類画像に対して注釈データ（領域抽出データ）を付与（アノテーション）して領域抽出用教師データを生成する（ステップＳ１０８）。教師データ自動生成部４０において生成される教師データ（書類分割用教師データ、領域抽出用教師データ）はいずれも、ステップＳ１０３で生成した模擬書類画像データが用いられている。
注釈データ付与部４０２は、生成した教師データ（書類分割用教師データ、領域抽出用教師データ）を教師データ記憶部４２に記憶させる。

教師データ記憶部４２に記憶された教師データは、データ出力部１５に読み込まれ、ネットワーク３を介してコンピュータ５４に出力される。これにより、コンピュータ５４において、教師データ自動生成部４０が生成した教師データを用いた機械学習が実行され、学習済みモデル（書類分割用学習済みモデル、領域抽出用学習済みモデル）が構築される。上述のようにコンピュータ５４は、構築された学習済みモデルの複製を、ネットワーク３を介して情報処理装置１００に出力する。これにより、画像処理部３０が種々の画像処理に用いる学習済みモデルМが情報処理装置１００に保持される。

このように、本実施形態に係る教師データ自動生成方法は、機械学習に用いられる教師データを自動で生成する教師データ自動生成方法であって、申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データ（例えば、雛形画像データ７）および、申請用書類における固有の情報を模したデータである模擬固有情報データを多数登録した模擬情報リスト（例えば、模擬固有情報リスト）を記憶し、記憶された雛形画像データと該模擬固有情報リストに含まれる模擬固有情報データとに基づいて申請用書類を模した模擬書類画像を示す模擬書類画像データを生成し（ステップＳ１０３）、模擬書類画像データを用いて教師データを生成する（ステップＳ１０７、ステップＳ１０８）。
本実施形態に係る教師データ自動生成方法によれば、申請用書類に関する教師データを効率的且つ簡便に生成することができ、審査効率を向上させることができる。
なお証明書類ではなく、申請書の雛形を示す雛形画像データおよび模擬固有情報リストに基づいて申請書を模した模擬書類画像データを生成し、当該模擬書類画像データを用いて教師データを生成する場合には、書類分割用教師データを生成するためのステップＳ１０４～１０７の処理は不要となる。

（１．４）教師データ自動生成プログラム
本実施形態に係る教師データ自動生成装置である情報処理装置１００により実行される教師データ自動生成プログラムについて説明する。情報処理装置１００は、機械学習に用いられる教師データを自動で生成する教師データ自動生成プログラムであって少なくとも以下の（ａ）、（ｂ）の各動作をコンピュータに実行させるプログラムに従って、教師データ自動生成処理を行う。以下のプログラムは、例えばハードディスクドライブ、メモリ等の記録媒体やＤＶＤディスク又はＢｌｕ－ｒａｙ（登録商標）等の光ディスクに非一時的に記録される。以下のプログラムは、インターネットを介して配布されても良い。さらに、以下のプログラムは、クラウドサーバに記録され、インターネットを介して実行されても良い。

（ａ）申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データ（例えば、雛形画像データ７）および、申請用書類における固有の情報を模したデータである模擬固有情報データを多数登録した模擬固有情報リスト（例えば、模擬固有情報リスト４１０）を記憶すること
（ｂ）前記雛形画像データと前記模擬固有情報リストに含まれる模擬固有情報データとに基づいて前記申請用書類を模した模擬書類画像を示す模擬書類画像データを生成し、前記模擬書類画像データを用いて前記教師データを生成すること

（１．５）変形例
（１．５．１）第一変形例
上記実施形態に係る教師データ自動生成方法（図１２参照）では、書類分割用教師データの生成（ステップＳ１０７）を行った後に、領域抽出用教師データの生成（ステップＳ１０８）を実行する構成としたが、この構成に限られない。例えば図１３に示すように、教師データ自動生成方法において、書類分割用教師データの生成（ステップＳ１０７）よりも前に、領域抽出用教師データの生成（ステップＳ１０８）を行う構成であってもよい。領域抽出用教師データの生成処理は模擬書類画像に対して注釈データ（領域抽出データ）を付与（アノテーション）する処理であるため、模擬書類画像データの生成後の任意のタイミングで実行することができる。このため、例えば図１３に示すように、画像データ生成部４０１が模擬書類画像データを生成する処理（ステップＳ１０３）に次いで、注釈データ付与部４０２が模擬書類画像に対して注釈データ（領域抽出データ）を付与する処理（Ｓ１０８）を行う構成であってもよい。

（１．５．２）第二変形例
上記実施形態において、転写書類学習画像データの一例として、本人確認書類や領収書等の写しである証明書類を示す申請画像データを模した学習用画像データであって、背景画像データ（例えば背景画像データ９）と模擬書類画像データ（例えば模擬書類画像データ７０）とを用いて生成した転写書類学習画像データ９０について説明したが、本開示における転写書類学習画像データはこれに限られない。転写書類学習画像データは、模擬書類画像データおよび学習用画像データに加えてさらに別の画像データを用いた構成であってもよい。

例えば申請用書類のうち証明書類は、上述のように本人確認書類（免許証、保険証、および領収書等）の写しであるが、本人確認書類の写しである証明書類には、本人確認書類を印刷（転写紙に転写）して作成された証明書類（転写証明書類）の他にも、本人確認書類を撮影した写真画像を用いて作成された証明書類（撮影証明書類）が含まれる場合がある。ここで、当該写真画像を撮影する撮影機能を有する所定の端末装置（撮影装置の一例）としては、デジタルカメラ、スマートフォン、タブレット端末、パーソナルコンピューター等が挙げられる。
撮影証明書類には、例えば証明書類となる本人確認書類の写真画像を転写紙に印刷（プリントアウト）した書類や、印刷した写真画像を切り取って所定の台紙（転写紙など）に貼り付けた書類が含まれる。また撮影証明書類としては、複数種類の本人確認書類や本人確認書類の表面および裏面といった複数種類の写真画像をそれぞれ印刷し、印刷した複数種類の写真画像を切り取って一枚の台紙に貼り付けた書類が作成される場合もある。

このように、申請用書類の画像データである申請画像データには、撮影証明書類を示す申請画像データ（撮影証明書類画像データ）が含まれる場合がある。
上記のような場合を想定し、教師データ自動生成装置である情報処理装置１００は、上述の撮影証明書類画像データを模した画像データである学習用画像データおよび当該学習用画像データを用いた教師データを生成可能に構成されてもよい。

〔撮影書類学習画像データの生成〕
本変形例では、図６から図９を参照しつつ図１４および図１５を用いて、転写書類学習画像データのさらに他の一例として、撮影証明書類画像データを模した学習用画像データである撮影書類学習画像データについて説明する。
図１４は、本変形例における撮影書類学習画像データの一例を示す図である。図１４に示すように、本変形例における撮影書類学習用画像データ９００は、背景画像データ９と、一次合成画像データ７５０とで構成されている。詳しくは後述するが、一次合成画像データ７５０は、模擬書類画像データ７０を用いて生成される。つまり、撮影書類学習用画像データ９００は、背景画像データ９と模擬書類画像データ７０を用いる点で上記実施形態における転写書類学習画像データ９０と同様である。
なお、本例の撮影書類学習用画像データ９００は、２種類の一次合成画像データ７５０（一次合成画像データ７５０ａ，７５０ｂ）を含んだ画像データであるが、本開示はこれに限られず、撮影書類学習画像データに含まれる一次合成画像データは１種類でもよいし、３種類以上であってもよい。

〔撮影書類学習画像データの生成〕
図１４は、本変形例における撮影書類学習画像データの一例を示す図である。図１４に示すように、本変形例における撮影書類学習用画像データ９００は、背景画像データ９と、一次合成画像データ７５０とが含まれている。一次合成画像データ７５０は、撮影証明書類に含まれる写真画像（本人確認書類を撮影した写真画像）を模した画像を示す画像データである。

まず、撮影書類学習用画像データ９００において背景画像データ９に合成される一次合成画像データ７５０の生成について説明する。一次合成画像データ７５０は、撮影背景画像データ１９０と撮影模擬書類画像データ７００とで構成されている。つまり、転写書類学習画像データのさらに他の一例である撮影書類学習用画像データ９００は、背景画像データ９および模擬書類画像データ７０に加えて、撮影背景画像データ１９０を用いて生成される構成である。

撮影模擬書類画像データ７００は、模擬書類画像データ７０を用いて生成された画像データであって、本人確認書類を撮影した写真画像の画像領域において、本人確認書類自体を示す画像領域（当該写真画像において背景に相当する領域を含まない画像領域）を模した画像データである。

上記端末装置で本人確認書類を撮影する場合、傾斜撮影となることが多いと想定される。ここで、「傾斜撮影」とは、上記端末装置のカメラレンズと被写体である申請書類とが正対していない（レンズ光軸が申請書類表面に対して直交していない）状態で撮影することを示す。本例において、撮影模擬書類画像データ７００（撮影模擬書類画像データ７００ａ，７００ｂ）は、上記端末装置で傾斜撮影された申請書類（証明書類）を模した画像データである。傾斜撮影された申請書類の写真画像では、撮影角度（レンズ光軸と被写体面との角度）により、正面撮影と比べて申請書類を示す画像領域が変形した状態になる。本例の撮影模擬書類画像データ７００は、傾斜撮影により本人確認書類を示す画像領域が長方形上から台形状に変形した状態を模した画像データである。

本変形例における撮影模擬書類画像データは、模擬書類画像データ（本例では、模擬書類画像データ７０）の一形態であって、模擬書類画像データを用いて生成される。
具体的には、画像データ生成部４０１は、教師データ記憶部４２から読込んだ模擬書類画像データ７０が示す画像（模擬書類画像データ７０の画像領域）について変形処理を行い、撮影模擬書類画像データ７００を生成する。本例において、画像データ生成部４０１は、模擬書類画像データ７０ａ，７０ｂ（図９参照）を変形させて模擬書類画像データ７００ａ，７００ｂを生成する。
例えば画像データ生成部４０１は、射影変換により模擬書類画像データ７０を変形させて撮影模擬書類画像データ７００を生成する。これにより、傾斜撮影された本人確認書類（申請用書類の一例）を模した画像を示す撮影模擬書類画像データ７００を生成することができる。画像データ生成部４０１は、生成した撮影模擬書類画像データ７００を教師データ記憶部４２に出力して記憶させる。

本例において画像データ生成部４０１は、射影変換によって長方形上の模擬書類画像データ７０ａ，７０ｂを台形状に変形させて模擬書類画像データ７００ａ，７００ｂを生成する。画像データ生成部４０１は、模擬書類画像データ７０ａ，７０ｂの四隅の各頂点の座標を台形の四隅の各頂点の座標と対応させる変換行列を用いて射影変換処理を行い、長方形状の模擬書類画像データ７０ａ，７０ｂから台形状の模擬書類画像データ７００ａ，７００ｂを生成する。

なお本開示において画像データ生成部４０１によって変形される模擬書類画像データ７０の形状は、台形状に限られない。画像データ生成部４０１は、射影変換によって模擬書類画像データ７０を任意の四角形状に変形することができる。画像データ生成部４０１が生成する撮影模擬書類画像データの形状は、図１４に示す撮影模擬書類画像データ７００ａ，７００ｂのように台形状でもよいし、その他の四角形状（例えば、平行四辺形）であってもよい。

画像データ生成部４０１は、教師データ記憶部４２に記憶されている全ての模擬書類画像データに変形処理を行って撮影模擬書類画像データを生成してもよいし、一部の模擬書類画像データに変形処理を行って撮影模擬書類画像データを生成してもよい。また一の模擬書類画像データ（例えば模擬書類画像データ７０ａ）に対して異なる変換行列による射影変換処理を行うことで、一の模擬書類画像データから複数種類の撮影模擬書類画像データを生成してもよい。
また、画像データ生成部４０１が行う変形処理は、射影変換を用いたものに限らず、他の変換方式を用いてもよい。

次に、一次合成画像データ７５０を構成する撮影背景画像データ１９０について説明する。
撮影背景画像データ１９０は、撮影証明書類における写真画像（本人確認書類の写真画像）の背景領域を模した撮影背景画像を示す画像データである。撮影背景画像データ１９０は、生成用データ記憶部４１に記憶されていればよい。図１５は、撮影書類学習画像データの生成に用いられる撮影背景画像データの一例を示す図である。図１５（ａ）から図１５（ｅ）に示すように、本変形例において撮影背景画像データ１９０（撮影背景画像データ１９０ａ～１９０ｅ）は、床・壁・建具等に用いられる内装材の表面を示す画像領域を含んだ画像データである。内装材の表面は、木目柄、石目柄、布目柄、抽象柄、幾何学模様、文字、記号、単色無地等、絵柄や素材の種類に応じて様々である。本変形例では、一例として、色や模様（または素材）の異なる複数種類（本例では５種類）の撮影背景画像データ１９０が用意されている。

画像データ生成部４０１は、上述のようにして生成した撮影模擬書類画像データ７００と撮影背景画像データ１９０とを用いて一次合成画像データ７５０を生成する。
具体的には、画像データ生成部４０１は、撮影背景画像データ１９０（図１５参照）に対し前景画像として撮影模擬書類画像データ７００（撮影模擬書類画像データ７００の画像領域）を合成して一次合成画像データ７５０を生成する。これにより、図１４に示すように、申請者が床や家具等に置いた本人確認書類を撮影した写真画像を模した画像を示す一次合成画像データ７５０が生成される。

本例では、画像データ生成部４０１は、撮影背景画像データ１９０ｂの画像領域に対して、撮影模擬書類画像データ７００ａの画像領域を前景として貼り付けて一次合成画像データ７５０ａを生成する。また画像データ生成部４０１は、撮影背景画像データ１９０ｃの画像領域に対して、撮影模擬書類画像データ７００ｂの画像領域を前景として貼り付けて一次合成画像データ７５０ｂを生成する。

なお、画像データ生成部４０１は、図８に示す転写書類学習画像データ９０ｂにおける模擬書類画像データ７０のように、撮影模擬書類画像データ７００の画像領域と平行なＸＹ平面内において所定角度で回転させた撮影模擬書類画像データ７００を撮影背景画像データ１９０に合成して、一次合成画像データを生成してもよい。これにより、一次合成画像データにおいて撮影模擬書類画像データ７００の画像領域を傾きが生じた状態（回転あり状態）とすることができる。
画像データ生成部４０１は、生成した一次合成画像データ７５０を教師データ記憶部４２に出力して記憶させてもよい。

このように、本変形例において、画像データ生成部４０１は、撮影背景画像データ１９０と模擬書類画像データ７０とを用いて申請用書類（例えば本人確認書類）を撮影した写真画像を模した画像である一次合成画像データ７５０を生成する。より具体的には、画像データ生成部４０１は、変形させた模擬書類画像データである撮影模擬書類画像データ７００を撮影背景画像データ１９０に合成し、一次合成画像データ７５０を生成する。

また、本変形例において画像データ生成部４０１は、生成した一次合成画像データ７５０と背景画像データ９とを用いて、撮影書類学習用画像データ９００を生成する。具体的には、画像データ生成部４０１は、背景画像データ９に対し前景画像として一次合成画像データ７５０（一次合成画像データ７５０の画像領域）を合成し、教師データを構成する画像データとして撮影書類学習用画像データ９００を生成する。図１４に示す本例の撮影書類学習用画像データ９００は、図６に示す背景画像データ９ｂの画像領域に対して、一次合成画像データ７５０ａ，７５０ｂの画像領域を前景として貼り付けて生成されている。
撮影書類学習用画像データ９００において背景画像データ９は、本人確認書類を撮影した写真画像を印刷した転写紙や、当該写真画像を張り付けた台紙の背景領域（余白部分）を模した背景画像示す画像データに相当する。

また画像データ生成部４０１は、転写書類学習画像データ９０ｂ（図８参照）における模擬書類画像データ７０のように、撮影書類学習用画像データ９００において一次合成画像データ７５０を回転あり状態とすることができる。つまり画像データ生成部４０１は、一次合成画像データ７５０の画像領域と平行なＸＹ平面内において一次合成画像データ７５０を所定角度で回転させた状態（回転あり状態）で背景画像データ９に合成して、撮影書類学習用画像データ９００を生成してもよい。
本例では、一次合成画像データ７５０ａが回転なし状態で背景画像データ９に合成され、一次合成画像データ７５０ｂが回転あり状態で背景画像データ９に合成されている。なお、本開示において、撮影書類学習画像データは、複数の一次合成画像のうち一方のみが回転あり状態でもよいし、複数の一次合成画像のうちすべてが回転あり状態でもよいし、複数の一次合成画像がすべて回転なし状態でもよい。また、撮影模擬書類画像データに一つの一次合成画像が含まれる場合も、当該一の一次合成画像が回転あり状態でもよいし、回転なし状態でもよい。

このように、本変形例において画像データ生成部４０１は、撮影背景画像データ１９０と模擬書類画像データ７０とを用いて本人確認書類を撮影した写真画像を模した画像である一次合成画像データ７５０（一次合成画像データ７５０ａ，７５０ｂ）を生成し、一次合成画像データ７５０を背景画像データ９にさらに合成して撮影書類学習用画像データ９００を生成する。
これにより、画像データ生成部４０１は、多種多様な撮影書類学習画像データを生成することができ、撮影転写書類学習用画像データを用いて生成される教師データをより実際の証明書類の申請画像データ（撮影証明書類画像データ）に近い態様とすることができる。

〔撮影転写書類学習用画像データのアノテーション〕
本変形例において、注釈データ付与部４０２は、画像データ生成部４０１が生成した撮影書類学習画像データが示す画像にアノテーションを行う。これにより、撮影転写書類学習用画像データと注釈データとを含む教師データが生成される。
本変形例において注釈データ付与部４０２は、撮影書類学習用画像データ９００の画像領域内における撮影模擬書類画像データ７００の画像領域に付与する注釈データとして、書類分割データを生成する。ここで、転写書類学習画像データ９０に付与される書類分割データと区別して、撮影書類学習用画像データ９００に付与される書類分割データを撮影書類分割データと称する。撮影書類分割データは、書類分割データの一例である。

撮影書類学習用画像データのアノテーションに用いる撮影書類分割データは、撮影書類学習用画像データ９００の画像領域、すなわち背景画像データ９の画像領域のうち、撮影模擬書類画像データ７００に相当する画像領域である撮影模擬書類領域７１０（撮影模擬書類領域７１０ａ，７１０ｂ）の位置を示す撮影模擬書類位置情報を含んでいる。撮影模擬書類領域７１０は撮影模擬書類画像データ７００を囲む矩形状の領域である。本変形例において撮影模擬書類位置情報は、撮影模擬書類領域７１０（撮影模擬書類領域７１０ａ，７１０ｂ）の４つの角部の頂点のそれぞれの座標情報（Ｘ，Ｙ）で構成される。これにより、転写書類学習画像データの一例である撮影書類学習用画像データ９００の画像領域内における撮影模擬書類領域７１０の位置、すなわち撮影模擬書類画像データ７００の位置を特定することができる。

注釈データ付与部４０２は、転写書類学習画像データ９０への書類分割データの付与と同様の方法により、撮影書類学習用画像データ９００に撮影書類分割データを付与する。
具体的には、注釈データ付与部４０２は、撮影模擬書類画像データ７００における撮影模擬書類画像（撮影模擬書類領域７１０の画像情報）が示す申請用書類の種別と、撮影書類学習用画像データ９００の画像領域のうち撮影模擬書類領域７１０の位置を示す撮影模擬書類位置情報とを関連付けた撮影書類分割データを取得し、当該撮影書類分割データを撮影書類学習用画像データ９００に付与する。これにより、機械学習によって撮影書類学習用画像データ９００に含まれる撮影模擬書類領域７１０を学習させるための教師データ（撮影書類分割用教師データ）が生成される。注釈データ付与部４０２は、少なくとも撮影書類学習用画像データのデータ数分の教師データ（撮影書類分割用教師データ）を自動生成することができる。
撮影書類分割データのデータ構造（フォーマット）は、上述の転写書類学習画像データ９０に付与される書類分割データと同様であるため、詳細な説明は省略する。

撮影書類分割用教師データによる機械学習（例えば、教師あり学習）で生成された学習済みモデル（撮影書類分割用学習済みモデル）は、上記端末装置で撮影された本人確認書類を示す申請画像データ（撮影証明書類画像データ）を入力すると、出力結果として、撮影証明書類画像データに含まれる本人確認書類の画像領域の画像データ（証明書画像データ）と、当該画像データが示す申請書類の種別とを得ることができる。また出力される証明書画像データは、傾きが補正された回転なし状態となっている。
したがって、学習済みモデルМが撮影書類分割用学習済みモデルである場合、画像処理部３０は撮影された証明書類（本人確認書類）を示す申請画像データを学習済みモデルМに入力することで、出力結果として申請画像データから分割され、傾きが補正された証明書画像データおよび申請書類の種別を得ることができる。これにより、画像処理部３０は、効率的かつ簡便に精度の高い画像処理（画像分割処理）を実行し、審査画面に表示するための審査用画像データを効率的に生成することができる。これにより、教師データ自動生成部４０は、審査効率を向上することができる。

（１．５．３）他の変形例
また上記実施形態では、情報処理装置１００内において教師データ自動生成処理を行う例を説明したが、本開示はこれに限られない。本実施形態による教師データ自動生成装置は、情報処理装置１００の一構成要素としてではなく単独で構成されてもよい。例えば、教師データ自動生成装置は、情報処理システム１に含まれる装置であって、情報処理装置１００とネットワーク３を介して接続された所定のコンピュータ装置であってもよい。この場合、当該コンピュータ装置が教師データ自動生成部４０、生成用データ記憶部４１、教師データ記憶部４２を備えていればよい。また、教師データの生成処理に係る情報のうち、記憶部１２に記憶されている所定の情報は、データ出力部１５によりネットワーク３を介して当該コンピュータ装置に出力されればよい。また、当該コンピュータ装置が生成した教師データは、ネットワーク３を介して情報処理装置１００に出力されてもよいし、当該コンピュータ装置から、学習済みモデル生成装置であるコンピュータ５４に出力されてもよい。
また、コンピュータ５４が教師データ自動生成部４０を備え、コンピュータ５４において教師データを生成してもよい。これにより、生成された教師データによる追加学習を速やかに実行することができる。

また、教師データ自動生成部４０は情報処理装置１００に設けられ、生成用データ記憶部４１および教師データ記憶部４２が、情報処理装置１００から独立したコンピュータ装置に設けられていてもよい。これにより、情報処理装置１００において保持されるデータ容量を低減することができる。

以上、各実施形態により本開示を説明したが、本開示の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本開示が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本開示の範囲は、請求項により画される発明の特徴の組み合わせに限定されるものではなく、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。

１ 情報処理システム
３ ネットワーク
１１ 申請情報取得部
１２ 記憶部
１３ 審査部
１４ 表示データ出力部
１５ データ出力部
３０ 画像処理部
４０ 教師データ自動生成部
３１ 審査画像記憶部
４１ 生成用データ記憶部
４２ 教師データ記憶部
５１ 読取装置
５２ 入力装置
５３ 表示装置
５４ コンピュータ
１００ 情報処理装置
３０１ 書類判定部
３０２ 書類分割部
３０３ 領域抽出部
３０４ 領域分割部
４０１ 画像データ生成部
４０２ 注釈データ付与部

Claims (17)

1. 機械学習に用いられる教師データを自動で生成する教師データ自動生成装置であって、
   申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データおよび、前記申請用書類における固有の情報を模したデータである模擬固有情報データを多数登録した模擬固有情報リストを記憶するデータ記憶部と、
   前記雛形画像データと前記模擬固有情報リストに含まれる模擬固有情報データとに基づいて前記申請用書類を模した模擬書類画像を示す模擬書類画像データを生成し、前記模擬書類画像データを含んで構成される前記教師データを生成する生成部と、を備える
   ことを特徴とする教師データ自動生成装置。
2. 前記雛形画像データには、前記申請用書類における固有の情報の種類を示す項目画像情報が含まれ、
   前記生成部は、前記申請用書類における前記固有の情報の種類に対応する前記模擬固有情報データを前記雛形画像データに適用して前記模擬書類画像データを生成する
   ことを特徴とする請求項１に記載の教師データ自動生成装置。
3. 前記生成部は、前記模擬書類画像データを少なくとも含む学習画像データを生成し、該学習画像データに対し該データ内の特定の画像領域の位置を含む注釈データを付与するアノテーションを行うことで前記教師データを生成する
   ことを特徴とする請求項１又は２に記載の教師データ自動生成装置。
4. 機械学習に用いられる教師データを自動で生成する教師データ自動生成装置であって、
   申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データおよび、前記申請用書類における固有の情報を模したデータである模擬固有情報データを多数登録した模擬固有情報リストを記憶するデータ記憶部と、
   前記雛形画像データと前記模擬固有情報リストに含まれる模擬固有情報データとに基づいて前記申請用書類を模した模擬書類画像を示す模擬書類画像データを生成し、前記模擬書類画像データを用いて前記教師データを生成する生成部と、を備え、
   前記データ記憶部には、前記申請用書類が転写された転写紙の背景領域を模した背景画像を示す背景画像データが記憶され、
   前記生成部は、前記背景画像に対し前景画像として前記模擬書類画像データが示す模擬書類画像を合成し、前記教師データを構成する画像データとして転写書類学習画像データを生成する
   ことを特徴とする教師データ自動生成装置。
5. 前記生成部は、前記背景画像と平行な面内において所定角度で回転させた前記模擬書類画像を前記背景画像に合成して、前記転写書類学習画像データを生成する
   ことを特徴とする請求項４に記載の教師データ自動生成装置。
6. 前記生成部は、前記背景画像に対して一種類または複数種類の前記模擬書類画像データが示す画像を前記前景画像として合成し、一種類または複数種類の前記模擬書類画像を含む前記転写書類学習画像データを生成する
   ことを特徴とする請求項４又は５に記載の教師データ自動生成装置。
7. 前記データ記憶部には、複数種類の前記背景画像データが記憶され、
   前記生成部は、前記転写書類学習画像データの生成時において複数種類の前記背景画像データのうち少なくとも一種類を無作為に選択する
   ことを特徴とする請求項４から６のいずれか１項に記載の教師データ自動生成装置。
8. 前記データ記憶部には、前記申請用書類を撮影した写真画像の背景領域を模した撮影背景画像を示す撮影背景画像データが記憶され、
   前記生成部は、前記撮影背景画像と前記模擬書類画像とを用いて前記写真画像を模した画像を生成し、当該画像を前記背景画像にさらに合成して前記転写書類学習画像データを
   生成する
   ことを特徴とする請求項４から７のいずれか１項に記載の教師データ自動生成装置。
9. 前記生成部は、変形させた該模擬書類画像を前記撮影背景画像に合成し、前記写真画像を模した画像を生成する
   ことを特徴とする請求項８に記載の教師データ自動生成装置。
10. 前記生成部は、射影変換によって前記模擬書類画像を変形させる
    ことを特徴とする請求項９に記載の教師データ自動生成装置。
11. 前記生成部は、
    前記転写書類学習画像データに含まれる前記模擬書類画像が示す前記申請用書類の種別と、前記転写書類学習画像データの画像領域のうち前記模擬書類画像に相当する模擬書類領域の位置とを関連付けた書類分割データを取得し、該書類分割データを前記転写書類学習画像データに付与して前記教師データを生成する
    ことを特徴とする請求項４から１０のいずれか１項に記載の教師データ自動生成装置。
12. 前記データ記憶部には、前記雛形画像データの画像領域のうち前記模擬固有情報データを適用する適用対象領域の位置情報が記憶され、
    前記生成部は、前記位置情報に基づいて前記模擬固有情報データを前記適用対象領域に適用して前記模擬書類画像データを生成する
    ことを特徴とする請求項１から１１のいずれか１項に記載の教師データ自動生成装置。
13. 前記データ記憶部には、それぞれ異なる種類の前記申請用書類の雛形を示す複数種類の前記雛形画像データと、複数種類の前記雛形画像データのそれぞれにおける前記適用対象領域の前記位置情報が記憶され、
    前記生成部は、複数種類の前記雛形画像データと前記模擬固有情報リストと複数種類の前記雛形画像データのそれぞれにおける前記位置情報とを用いて、複数種類の前記模擬書類画像データを生成する
    ことを特徴とする請求項１２に記載の教師データ自動生成装置。
14. 前記生成部は、
    前記模擬書類画像データに含まれる前記模擬固有情報データの項目と、該模擬書類画像データの画像領域のうち前記模擬固有情報データの画像情報を示す模擬固有情報領域の位置とを関連付けた領域情報データを取得し、該領域情報データを前記模擬書類画像データに付与して前記教師データを生成する。
    ことを特徴とする請求項１から１３のいずれか１項に記載の教師データ自動生成装置。
15. 前記申請用書類は、前記申請者の証明書類であって、免許証、保険証または領収書を示す書類のうち少なくとも一種類である
    ことを特徴とする請求項１から１４のいずれか１項に記載の教師データ自動生成装置。
16. コンピュータが、機械学習に用いられる教師データを自動で生成する教師データ自動生成方法であって、
    申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データおよび、前記申請用書類における固有の情報を模したデータである模擬固有情報データを多数登録した模擬固有情報リストを記憶し、
    前記雛形画像データと前記模擬固有情報リストに含まれる模擬固有情報データとに基づいて前記申請用書類を模した模擬書類画像を示す模擬書類画像データを生成し、前記模擬書類画像データを含んで構成される前記教師データを生成する
    ことを特徴とする教師データ自動生成方法。
17. 機械学習に用いられる教師データを自動で生成する教師データ自動生成プログラムであって、
    申請内容の審査のために申請者が提出する申請用書類の雛形を示す雛形画像データおよび、前記申請用書類における固有の情報を模したデータである模擬固有情報データを多数登録した模擬固有情報リストを記憶することと、
    前記雛形画像データと前記模擬固有情報リストに含まれる模擬固有情報データとに基づいて前記申請用書類を模した模擬書類画像を示す模擬書類画像データを生成し、前記模擬書類画像データを含んで構成される前記教師データを生成することと、をコンピュータに実行させる
    ことを特徴とする教師データ自動生成プログラム。

Images