JP7442430B2

JP7442430B2 - 審査支援システム、及び審査支援方法

Info

Publication number: JP7442430B2
Application number: JP2020210382A
Authority: JP
Inventors: 明久石田; 竜海老澤; 啓前澤; 誠工藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2020-12-18
Filing date: 2020-12-18
Publication date: 2024-03-04
Anticipated expiration: 2040-12-18
Also published as: JP2022097034A

Description

本発明は、審査支援システム、及び審査支援方法に関する。

公共分野における年金の受給権判断や障害等級の判断、民間分野におけるローン可否や口座開設等、社会には様々な審査業務が存在する。しかしこうした審査業務は一般に処理件数が膨大で業務担当者に大きな負荷がかかる。そのため、審査業務の省力化や自動化への期待が高まっている。

審査業務を自動化する方法として、例えば、ルールベースの判別プログラムを構築する方法がある。しかし、規則が明確でない、規則が頻繁に変更される、規則が過度に複雑である等の理由で審査業務を自動化することが困難な場合も多い。そこで、データからルールを学習する手法が提案されている。

例えば、特許文献１には、属人的な属性情報とは性質や観点の異なる学習要素を採用することにより審査業務を適切に支援することを目的として構成された審査支援装置について記載されている。審査支援装置は、申請案件の情報を取得し、取得した申請案件の情報を、申請者の属性情報と審査経緯の情報とを入力とし、要件不備を学習対象とした履歴を少なくとも訓練データとした機械学習の結果である判定基準に適用して要件不備の推定結果を取得し、要件不備の推定結果を申請案件の審査業務に情報提供することにより、属人的な属性情報とは性質や観点の異なる学習要素を採用する。

また、例えば、特許文献２には、分類基準の時間発展を考慮して、ラベルなし学習データを用いて分類精度が維持された分類器を作成する作成装置に関して記載されている。作成装置は、過去の所定の時点までに収集された、ラベルが付与されたデータと、上記所定の時点以降に収集された、ラベルが付与されていないデータとを学習データとして用いて、各時点における分類器の分類基準を学習し、上記分類基準の時系列変化を学習し、学習された上記分類基準と時系列変化とを用いて、未来の時点を含む任意の時点の分類器の分類基準と上記分類基準の信頼性を予測する。

特開２０２０－００４１６１号公報特開２０１９－２００６１８号公報

特許文献１では、過去の審査結果を用いて要件不備の基準を学習し、その結果を基に要件不備の推定を行っている。しかし同文献では、審査の基準や項目がある時点で変更された場合やある時点で新たな基準や項目が加わった場合等、基準や項目の不連続な変化に対して審査の精度を維持する技術については記載されていない。

特許文献２では、過去の所定の時点までに収集された、ラベルが付与されたデータと、過去の所定の時点以降に収集された、ラベルが付与されていないデータとを学習データとして用いて、各時点における分類器の分類基準を学習し、上記分類基準の時系列変化を学習し、学習された上記分類基準と時系列変化とを用いて、未来の時点を含む任意の時点の分類器の分類基準と上記分類基準の信頼性を予測する。しかし、同文献に記載の技術は、
入力の傾向や規則の変化が時系列的に連続していることを前提として構成されており、法令や組織の内部ルールの変更といった外部要因により、審査における基準や規則が不連続に変化する場合には対応することができない。

本発明は、このような課題を解決すべくなされたものであり、審査における規則の変化に追随して審査の精度を継続的に維持することが可能な、審査支援システム、及び審査支援方法を提供することを目的とする。

上記目的を達成するための本発明の一つは、申請書の審査を支援する審査支援システムであって、情報処理装置を用いて構成され、申請の各項目及び前記各項目の値と、審査の基準として参照される日時であるタイムスタンプと、を含むデータである申請データを記憶するデータベースから、審査の対象とする前記申請データである分類用データを取得する分類用データ取得部と、前記申請書の審査に適用される規則に従い前記申請データを正しく審査した場合の審査の結果を示すラベルを前記申請書に対応づけて記憶するラベル記憶部と、前記分類用データを審査する機械学習モデルである分類モデルを記憶するモデル記憶部と、前記分類用データの審査に用いる前記分類モデルを前記モデル記憶部から選択し、選択した前記分類モデルを用いて前記分類用データを審査する分類器と、前記審査の結果と前記分類用データとを対応づけた情報である分類結果を記憶する分類結果記憶部と、前記分類結果について、前記分類器による審査が規則に従い正しく行われているか否かの検証の結果を取得する結果検証部と、前記分類モデルの学習に用いる学習データの生成に用いる前記申請データを前記データベースから取得する際のサンプリング範囲を示す分割空間に関する情報である分割情報を記憶する分割情報記憶部と、前記検証により審査が誤っていることが判明した前記分類結果に基づき前記規則が変化した時点を推定し、推定した前記時点に基づき前記分割情報を更新する分割情報更新部と、前記申請データを前記分割空間ごとに前記データベースからサンプリングし、前記分割空間の夫々に属する前記申請データに基づき前記学習データを生成する学習データ生成部と、前記分割空間ごとに前記学習データをクラスタリングして得られるクラスタごとに前記分類モデルを生成する学習器と、を備え、前記分類器は、審査の対象となる前記分類用データに類似する前記学習データにより学習した前記クラスタの前記分類モデルを選択し、選択した前記分類モデルにより前記分類用データの審査を行う。

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。

本発明によれば、審査における基準や規則が不連続に変化しても、申請内容に対する修正の要否判断の精度を維持できる。

審査支援システムの概略的な構成を示す図である。申請書ＴＢＬの一例である。分類状態ＴＢＬの一例である。モデルＴＢＬの一例である。分類結果ＴＢＬの一例である。ラベルＴＢＬの一例である。分類情報ＴＢＬの一例である。審査支援システム等を構成する情報処理装置のハードウェア構成の一例を示す図である。分類処理を説明するフローチャートである。学習処理を説明するフローチャートである。検証処理を説明するフローチャートである。分割情報更新処理を説明するフローチャートである。結果検証画面の一例である。個別結果検証画面の一例である。審査支援システムの構成例である。

以下、図面を参照しつつ、本発明の実施形態について説明する。以下の記載及び図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略や簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。とくに限定しない限り、各構成要素は単数でも複数でも構わない。

以下の説明において、同一の又は類似する構成に同一の符号を付して重複した説明を省略することがある。また、以下の説明では、「情報」、「テーブル」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。また、識別情報の表現として、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現があるが、これらについてはお互いに置換が可能である。また、以下の説明において、「データベース」のことを「ＤＢ」と、「テーブル」のことを「ＴＢＬ」と、夫々表記することがある。

図１に、一実施形態として説明する情報処理システム（以下、「審査支援システム１」と称する。）の概略的な構成（機能ブロック図）を示している。例えば、公共分野に置ける年金の受給権や障害の等級判断、民間分野に置けるローン可否や口座開設等の審査においては、審査の担当者により、申請者が作成した申請書の内容（例えば、申請者の氏名、住所、性別、年齢、職務、学歴、経歴、過去実績、障害の度合い、借り入れ実績、返済実績等）の内容が所定の規則（審査の基準や規定等）を満たしているか否かの判断が行われる。審査支援システム１は、こうした従来、人手により行われていた業務を支援し、担当者の負荷軽減や運用コストの低減を図る。

審査支援システム１は、審査の対象となる申請書の内容を電子化したデータ（以下、「申請データ」と称する。）を管理する機能である申請書管理部２００、申請データの内容が所定の規則を満たしているか否かの自動審査（以下、「分類」とも称する。）を行う審査支援装置１００、及び審査支援装置１００により行われた自動審査の結果を検証する機能である個別結果検証部１０、を含む。審査支援装置１００は、申請書管理部２００及び個別結果検証部１０と通信可能に接続している。これらの機能や装置は、いずれも情報処理装置（コンピュータ）を用いて実現される。

審査支援装置１００は、上記の自動審査を、自動審査の対象となる申請データの内容（申請書の項目の構成や各項目に設定される値）に応じてクラスタリングされたクラスタごとに生成される機械学習モデル（以下、「分類モデル」と称する。）を用いて行う。また、審査支援装置１００は、申請データについて行われた自動審査の結果（以下、「分類結果」と称する。）を検証し、検証の結果（以下、「検証結果」と称する。）を分類モデルの学習に用いる学習データの生成方法に反映することにより自動審査が適切に行われるようにする。より具体的には、審査支援装置１００は、規則が変化して検証により自動審査の誤りが検出された場合、規則が変化した時点を推定し、分類モデルの学習に用いる学習データの生成に際して参照する情報（以下、「分割情報」と称する。）を更新する。

図１に示すように、審査支援装置１００は、分類用データ取得部１０１、分類器１０２、学習データ取得部１０３、学習器１０４、結果検証部１０５、分割情報更新部１０６、
分類状態記憶部３００、モデル記憶部４００、分類結果記憶部５００、ラベル記憶部６００、及び分割情報記憶部７００の各機能を備える。

分類用データ取得部１０１は、申請書管理部２００が管理する申請書ＴＢＬ２０１から自動審査の対象とする申請データを取得し、取得した申請データ（以下、「分類用データ」と称する。）を分類器１０２に入力する。分類用データ取得部１０１は、申請データの取得に際し、分類状態記憶部３００が管理する分類状態ＴＢＬ３０１を参照して申請書ＴＢＬ２０１から分類用データを選択する。

図２に、申請データＴＢＬ２０１の一例を示す。例示する申請データＴＢＬ２０１は、申請書ＩＤ２０１１、タイムスタンプ２０１２、及び項目群２０１３の各項目を有する複数のエントリ（レコード）で構成される。申請データＴＢＬ２０１の一つのエントリは一つの申請データ（申請書）に対応する。申請データＴＢＬ２０１に管理される申請データは、手入力、ＯＣＲ（Optical Character Recognition）による紙媒体からの読み込み、
他の情報処理システムからのデータ転送等により、申請書管理部２００に提供される。

上記項目のうち、申請書ＩＤ２０１１には、申請データの識別子（以下、「申請書ＩＤ」と称する。）が設定される。タイムスタンプ２０１２には、当該申請データの審査に際し基準として参照される日時（当該申請データの申請書が提出された日時や当該申請データを申請者から受信した日時等）が設定される。項目群２０１３は、審査の対象となる申請書の項目ごとの値（文字列、数値、ｅｎｕｍ値等）が設定される。項目群２０１３を構成する項目の種類や数は、申請書の種類や内容等に応じて様々である。上記項目の例をあげると、例えば、申請者の属性（氏名、生年月日、続柄、性別、各種区分等）、申請対象の種類（年金受給申請、障害等級認定の申請等）等である。

図３に、分類状態ＴＢＬ３０１の一例を示す。分類状態ＴＢＬ３０１には、各申請データの分類状態（ラベル（後述）が付与されているか否か、分類器１０２により自動審査（分類）を実施済か否か等）を示す情報が設定される。例示する分類状態ＴＢＬ３０１は、申請書ＩＤ３０１１及び分類状態３０１２の各項目を有する複数のエントリ（レコード）で構成される。分類状態ＴＢＬ３０１の一つのエントリは一つの申請データ（申請書）に対応する。申請書ＩＤ３０１１には、申請データを特定する情報である申請書ＩＤが設定される。分類状態３０１２には、当該申請データの分類状態が設定される。分類状態ＴＢＬ３０１に管理される分類状態は、審査支援装置１００の機能（分類用データ取得部１０１、結果検証部１０５、分類器１０２等）によって随時更新される。

図１に戻り、分類器１０２は、分類用データ取得部１０１から入力される分類用データを自動審査する。分類器１０２は、モデル記憶部４００が管理するモデルＴＢＬ４０１から、自動審査の対象となる分類用データに対応する分類モデルを取得し、取得した分類モデルを用いて分類用データを自動審査し、分類用データにラベルを付与したデータ（以下、「分類結果」と称する。）を生成して分類結果記憶部５００に入力する。上記ラベルは、自動審査の結果を示す情報であり、本例では、申請書（分類用データ（申請データ））の修正要否を示す情報である。

図４に、モデルＴＢＬ４０１の一例を示す。例示するモデルＴＢＬ４０１は、クラスタＩＤ４０１１、代表点４０１２、距離閾値４０１３、ラベル４０１４、及び対象期間４０１５の各項目を有する一つ以上のエントリ（レコード）で構成される。モデルＴＢＬ４０１の一つのエントリは一つのクラスタに対応する。尚、審査支援システム１の導入時においては、例えば、人間系によりモデルＴＢＬ４０１に初期値が設定される。

上記項目のうち、クラスタＩＤ４０１１には、クラスタの識別子（以下、「クラスタＩ
Ｄ」と称する。）が設定される。代表点４０１２には、当該クラスタの代表点を示す情報（分類用データがいずれのクラスタに属するかの判定に際し、分類用データの項目群と対照される、クラスタの特徴を表す項目群（以下、「代表点」と称する。）を示す情報）が設定される。距離閾値４０１３には、分類用データがいずれのクラスタに属するかを判定する際に用いる類似度（距離）の閾値（境界値）が設定される。上記の類似度は、例えば、ユークリッド距離やマハラノビス距離である。本例では、距離閾値４０１３には、分類用データを構成する項目群と代表点４０１２との類似度について設定された閾値が設定される。ラベル４０１４には、自動審査の対象である分類用データが当該クラスタに該当する場合に当該分類用データに付与するラベルが設定される。対象期間４０１５には、当該クラスタが適用される期間（開始日時と終了日時）が設定される。上記期間は、当該分類用データがいずれのクラスタに属するかを判定する際、分類用データのタイムスタンプ（申請データのタイムスタンプ２０１２）と対照される。本例では、開始日時や終了日時が定まっていない場合、対象期間４０１５の該当欄には未定義を意味する値（以下、「ｎｕｌｌ値」と称する。）が設定される。

図１に戻り、分類結果記憶部５００は、分類器１０２から入力される分類結果を分類結果ＴＢＬ５０１に管理する。また、分類結果記憶部５００は、分類結果ＴＢＬ５０１に管理している分類結果を結果検証部１０５に、その要求に応じて随時入力する。

図５に、分類結果ＴＢＬ５０１の一例を示す。例示する分類結果ＴＢＬ５０１は、申請書ＩＤ５０１１、ラベル５０１２、タイムスタンプ５０１３、及び項目群５０１４の各項目を有する一つ以上のエントリ（レコード）で構成される。分類結果ＴＢＬ５０１の一つのエントリは一つの分類用データ（申請データ（申請書））に対応する。

上記項目のうち、ラベル５０１２以外の項目については図２に示した申請データＴＢＬ２０１の対応する名称の項目と同様であるので説明を省略する。ラベル５０１２には、分類器１０２によって当該分類用データに付与されたラベルが設定される。本例では、ラベル５０１２には、当該分類用データ（申請データ）が修正が必要であることを示す「修正必要」、又は当該分類用データ（申請データ）が修正不要であることを示す「修正不要」が設定される。

図１に戻り、結果検証部１０５は、分類結果記憶部５００から入力される分類結果が規則に従い適切に審査されているか否か（自動審査が規則に従い正しく行われているか否か）を、個別結果検証部１０と連携して検証する。結果検証部１０５は、個別結果検証部１０に分類結果を入力し、個別結果検証部１０から検証結果を取得する。

個別結果検証部１０は、結果検証部１０５から入力される分類結果について、人間系が検証を行うためのユーザインタフェースを提供し、ユーザから受け付けた検証結果を結果検証部１０５に返す。ユーザは、例えば、規則について記載された書類や自身の経験等に基づき分類結果を検証する。尚、本例ではこのように分類結果の検証を人間系が行う構成としているが、検証のための機械学習モデルを利用する等、情報処理装置により分類結果の検証を自動的に行うようにしてもよい。

結果検証部１０５は、個別結果検証部１０から返された検証結果が誤りであった場合、分割情報の更新指示を分割情報更新部１０６に入力する。尚、結果検証部１０５が、例えば、個別結果検証部１０から返された検証結果が誤りとなった数や割合が予め設定された閾値を超えたことを契機として、分割情報の更新指示を分割情報更新部１０６に入力するようにしてもよい。

結果検証部１０５は、分類結果の分類用データ(申請データ)を規則に従い適切に審査し
た場合に当該分類用データ（申請データ）に付与されるラベルをラベル記憶部６００に入力する。ラベル記憶部６００は、結果検証部１０５から入力された各申請データ（申請書）のラベルをラベルＴＢＬ６０１に管理する。

図６に、ラベルＴＢＬ６０１の一例を示す。同図に示すように、ラベルＴＢＬ６０１は、申請書ＩＤ６０１１及びラベル６０１２の各項目を有する複数のエントリ（レコード）で構成される。ラベルＴＢＬ６０１の一つのエントリは一つの申請データ（申請書）に対応する。

上記項目のうち、申請書ＩＤ６０１１には、申請書ＩＤが設定される。ラベル６０１２には、図５のラベル５０１２と同様に、当該申請書（分類用データ（申請データ）に付与されているラベルが設定される。

図１に戻り、分割情報更新部１０６は、結果検証部１０５から分割情報の更新指示が入力されると、分割情報の更新に関する処理を行い、分割情報記憶部７００が分割情報ＴＢＬ７０１に管理する分割情報を更新する。尚、分割情報の更新に関する処理の詳細については後述する。

図７に、分割情報ＴＢＬ７０１の一例を示す。分割情報は、学習データ取得部１０３が、学習データの生成元とする申請データを抽出する範囲（以下、「分割空間」と称する。）を示す情報である。分割空間は、時間的な範囲と、空間的な範囲（分類用データ（申請データ）の各項目の特徴（項目の種類や変域））とをパラメータとして定義される。

例示する分割情報ＴＢＬ７０１は、分割空間ＩＤ７０１１及び範囲７０１２の各項目を有する一つ以上のエントリ（レコード）で構成される。分割情報ＴＢＬ７０１の一つのエントリは一つの分割空間に対応する。尚、審査支援システム１の導入時においては、例えば、人間系により分割情報ＴＢＬ７０１に初期値が設定される。

分割空間ＩＤ７０１１には、当該分割空間の識別子（以下、「分割空間ＩＤ」と称する。）が設定される。範囲７０１２には、当該分割空間の範囲を示す情報が設定される。同図に示すように、範囲７０１２は、日時７０１２１と項目群７０１２２の各項目を有する。このうち日時７０１２１には、当該分割空間の時間的な範囲を示す情報が設定される。尚、本例では、審査支援システム１の導入時において、上記範囲の開始日時として現在日時（導入時の日時）が、また、上記範囲の終了日時としてｎｕｌｌ値が、夫々されるものとする。項目群７０１２２には、当該分割空間の空間的な範囲を示す情報が設定される。項目群７０１２２の各項目の意味については、申請データＴＢＬ２０１の項目群２０１３と同様であるので説明を省略する。

図１に戻り、学習データ取得部１０３は、分類状態記憶部３００の分類状態ＴＢＬ３０１に管理されている分類状態、及び分割情報記憶部７００の分割情報ＴＢＬ７０１に管理されている分割情報を参照しつつ、分類モデルの学習データの生成に用いる申請データを申請書管理部２００から取得し、取得した申請データに基づき学習データを生成し、生成した学習データを学習器１０４に入力する。

学習器１０４は、学習データ取得部１０３から入力される学習データを、学習データの内容（申請書の項目の構成や各項目に設定される値）に基づきクラスタリングし、クラスタリングにより得られた各クラスタにラベル記憶部６００から取得されるラベルを付与することにより分類モデルを生成し、生成した分類モデルをモデル記憶部４００に格納する。学習器１０４は、上記のクラスタリングを、例えば、階層型クラスタリングの手法により行う。尚、クラスタリングの手法は必ずしも限定されない。また、クラスタリングによ
り得られるクラスタの数は、学習データの性質等に応じて適切に（自動審査の精度が向上するように）設定される。

図８は、審査支援システム１、個別結果検証部１０、及び申請書管理部２００の実現に用いる情報処理装置のハードウェア構成の一例である。同図に示すように、例示する情報処理装置２０は、プロセッサ２１、主記憶装置２２、通信装置２３、入力装置２４、出力装置２５、及び補助記憶装置２６を備える。

尚、例示する情報処理装置２０は、その全部又は一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、情報処理装置２０によって提供される機能の全部又は一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現して
もよい。また、情報処理装置２０によって提供される機能の全部又は一部は、例えば、ＳａａＳ（Software as a Service）、ＰａａＳ（Platform as a Service）、ＩａａＳ（Infrastructure as a Service）等を利用して実現されるものであってもよい。

プロセッサ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＩ（Artificial Intelligence）チップ、ＦＰＧＡ（Field Programmable Gate Array）、ＳｏＣ（System on Chip）、ＡＳＩＣ（Application Specific Integrated Circuit）等を用いて構成される。

主記憶装置２２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read
Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。

通信装置２３は、通信ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、専用線、公衆通信網等）を介して、他の情報処理装置
（スマートフォン、タブレット、ノートブック型コンピュータ、各種携帯情報端末等）との間で通信を行う装置であり、無線又は有線の通信モジュール（無線通信モジュール、通信ネットワークアダプタ、ＵＳＢモジュール等）である。

入力装置２４は、ユーザからの入力や外部の装置からのデータ入力を受け付けるユーザインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置(例えば、マイクロフォン)等である。

出力装置２５は、各種情報を、画像によって出力する表示装置、音声によって出力する音声出力装置、紙媒体に印刷する印刷装置等である。

補助記憶装置２６は、プログラムやデータを格納する装置であり、例えば、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、光学式記憶媒体（ＣＤ（Compact Disc）
、ＤＶＤ（Digital Versatile Disc）等）、ＩＣカード、ＳＤカード等である。補助記憶装置２６の全部又は一部は、クラウドが提供する仮想的な記憶領域等であってもよい。補助記憶装置２６には、審査支援システム１の機能を実現するためのプログラムやデータが格納されている。

プログラムやデータは、記録媒体の読取装置や通信装置２３を介して補助記憶装置２６に読み込むことができる。補助記憶装置２６に格納（記憶）されているプログラムやデータは、主記憶装置２２に随時読み込まれる。プロセッサ２１は、補助記憶装置２６に格納されているプログラムを主記憶装置２２に読み出して実行することにより各種の機能を実
現する。

情報処理装置２０には、例えば、オペレーティングシステム、ファイルシステム、ＤＢＭＳ（DataBase Management System）（リレーショナルデータベース、ＮｏＳＱＬ等）、ＫＶＳ（Key-Value Store）等が導入されていてもよい。分類状態記憶部３００、モデル
記憶部４００、分類結果記憶部５００、ラベル記憶部６００、及び分割情報記憶部７００は、例えば、ＤＢＭＳが管理するテーブルやファイルシステムが関するファイルに情報（データ）を管理する。

続いて、審査支援システム１が行う処理について順に説明する。

図９は、審査支援装置１００が、申請書管理部２００から提供される申請データ（分類用データ）について自動審査（分類）を行い分類結果を生成する際に行う処理（以下、「分類処理Ｓ９００」と称する。）を説明するフローチャートである。

まず、分類用データ取得部１０１が、分類状態ＴＢＬ３０１を参照しつつ申請書管理部２００から分類対象とする申請データ（例えば、ラベルが付与されていない申請データ）を取得し（Ｓ９１１）、取得した申請データを分類用データとして分類器１０２に入力する（Ｓ９１２）。

続いて、分類器１０２が、分類用データ取得部１０１から入力された分類用データの自動審査（分類）に用いるクラスタのモデル記憶部４００からの取得を試みる（Ｓ９１３）。分類器１０２は、分類用データのタイムスタンプが対象期間４０１５に含まれ、分類モデルの項目群（代表点）と申請データの項目群との間の類似度（距離）が距離閾値４０１３以下であるクラスタを、モデル記憶部４００から取得する。尚、上記距離の算出に際し、分類器１０２が、項目ごとに重みづけを行うようにしてもよい。

図９に戻り、Ｓ９１４では、分類器１０２が、クラスタを取得できたか否かを判定する。クラスタを取得できた場合（Ｓ９１４：ＹＥＳ）、分類器１０２は、取得したクラスタのラベルを分類用データに付与した情報を分類結果として生成する（Ｓ９１５）。一方、クラスタを取得できなかった場合（Ｓ９１４：ＮＯ）、分類器１０２は、クラスタを取得できなかった旨をラベルとして分類用データに付与した情報を分類結果として生成する（Ｓ９１６）。

Ｓ９１７では、分類器１０２は、生成した分類結果を分類結果記憶部５００に入力する。

図１０は、審査支援システム１が、分類モデルを生成（学習）する際に行う処理（以下、「学習処理Ｓ１０００」と称する。）を説明するフローチャートである。

まず、学習データ取得部１０３が、分割情報ＴＢＬ７０１から分割空間７０１１を一つ選択し（Ｓ１０１１）、選択した分割空間７０１１の範囲７０１２に属するラベル付与済の申請データを申請データＴＢＬ２０１から取得し、取得した申請データにラベルＴＢＬ６０１から取得されるラベルを付与することにより学習データを生成し、生成した学習データを学習器１０４に入力する（Ｓ１０１２）。尚、学習データ取得部１０３は、申請データがラベルが付与済であるか否かを、分類状態ＴＢＬ３０１を参照して判定する。

続いて、学習器１０４が、学習データ取得部１０３から入力された学習データをクラスタリングする（Ｓ１０１３）。

続いて、学習器１０４は、クラスタリングにより得られたクラスタを一つ選択し（Ｓ１０１４）、選択したクラスタに属する全ての学習データのラベルが同一か否かを判定する（Ｓ１０１５）。学習器１０４は、選択中のクラスタに属する全ての学習データのラベルが同一であると判定すると（Ｓ１０１５：ＹＥＳ）、当該ラベルを、選択中のクラスタに対応づけることにより分類モデルを生成し、生成した分類モデルをモデルＴＢＬ４０１に登録する（Ｓ１０１６）。このとき、学習器１０４は、代表点４０１２として、例えば、Ｓ１０１３のクラスタリングに用いた（もしくは算出した）値を設定する。また、距離閾値４０１３として、予め設定された値（デフォルト値）を設定する。また、学習器１０４は、対象期間４０１５の開始日時に現在日時を設定し、対象期間４０１５の終了日時にｎｕｌｌ値を設定する。尚、本例では、選択中のクラスタに属する「全ての学習データのラベルが同一か否か」を判定条件としているが、判定条件は必ずしも例示するものに限定されず、例えば、選択中のクラスタに属する「所定の割合以上の数の学習データのラベルが共通しているか否か」を判定条件としてもよい。

続いて、学習器１０４は、Ｓ１０１４で全てのクラスタを選択済か否かを判定する（Ｓ１０１７）。Ｓ１０１４で全てのクラスタを選択済でなければ（Ｓ１０１７：ＮＯ）、処理はＳ１０１４に戻る。一方、Ｓ１０１４で全てのクラスタを選択済であれば（Ｓ１０１７：ＹＥＳ）、処理はＳ１０１８に進む。

Ｓ１０１８では、学習器１０４は、Ｓ１０１１で全ての分割空間を選択済か否かを判定する。Ｓ１０１１で全ての分割空間を選択済でなければ（Ｓ１０１８：ＮＯ）、処理はＳ１０１１に戻る。一方、Ｓ１０１１で全ての分割空間を選択済であれば（Ｓ１０１８：ＹＥＳ）、学習処理Ｓ１０００は終了する。

図１１は、審査支援システム１が、分類結果を検証する際に行う処理（以下、「検証処理Ｓ１１００」と称する。）を説明するフローチャートである。

まず、結果検証部１０５が、分割情報ＴＢＬ７０１から分割空間を一つ選択する（Ｓ１１１１）。

続いて、結果検証部１０５は、選択中の分割空間の範囲に属するクラスタをモデルＴＢＬ４０１から一つ選択する（Ｓ１１１２）。

続いて、結果検証部１０５は、選択中のクラスタに属する、タイムスタンプ５０１３が最終検証日時と現在日時との間である分類結果を分類結果ＴＢＬ５０１から一つ取得する（Ｓ１１１３）。尚、最終検証日時とは、検証処理Ｓ１１００が実行された直近の日時であり、結果検証部１０５によって管理（記憶）される情報である。

続いて、結果検証部１０５は、取得した分類結果を個別結果検証部１０と連携して検証する（Ｓ１１１４）。

続いて、結果検証部１０５は、検証結果を判定する（Ｓ１１１５）。検証結果が分類結果が正しいことを示す場合（Ｓ１１１５：ＮＯ）、結果検証部１０５は、Ｓ１１１８からの処理を実行する。一方、検証結果が分類結果が誤りであることを示す場合（Ｓ１１１５：ＹＥＳ）、結果検証部１０５は、分割情報更新部１０６と連携し、分割情報を更新する処理（以下、「分割情報更新処理Ｓ１１１６」と称する。）を実行する。その後、処理はＳ１１１７に進む。分割情報更新処理Ｓ１１１６の詳細については後述する。

Ｓ１１１７では、結果検証部１０５は、分割情報更新処理Ｓ１１１６の結果に基づき、分類結果ＴＢＬ５０１及びラベルＴＢＬ６０１を更新する。その後、処理はＳ１１１８に
進む。

Ｓ１１１８では、結果検証部１０５は、Ｓ１１１２で全てのクラスタを選択済か否かを判定する。全てのクラスタを選択済でなければ（Ｓ１１１８：ＮＯ）、処理はＳ１１１２に戻る。一方、Ｓ１１１２で全てのクラスタを選択済であれば（Ｓ１１１８：ＹＥＳ）、処理はＳ１１１９に進む。

Ｓ１０１９では、結果検証部１０５は、Ｓ１１１１で全ての分割空間を選択済か否かを判定する。全ての分割空間を選択済でなければ（Ｓ１１１９：ＮＯ）、処理はＳ１１１１に戻る。一方、Ｓ１１１１で全ての分割空間を選択済であれば（Ｓ１１１９：ＹＥＳ）、検証処理Ｓ１１００は終了する。

図１２は、図１１に示した分割情報更新処理Ｓ１１１６の詳細を説明するフローチャートである。

まず、結果検証部１０５は、Ｓ１１１４の検証で誤りと判定された分類結果（以下、「誤った分類結果」と称する。）のタイムスタンプと最終検証日時との差が予め設定されている所定値よりも大きいか否かを判定する（Ｓ１２１１）。結果検証部１０５が、上記差が所定値よりも大きいと判定した場合（Ｓ１２１１：ＹＥＳ）、処理はＳ１２１２に進む。一方、結果検証部１０５が、上記差が所定値以下であると判定した場合（Ｓ１２１１：ＮＯ）、処理はＳ１２１７に進む。

Ｓ１２１２～Ｓ１２１６の処理は、上記差が所定値以下となるまで（タイムスタンプと最終検証日時との時間差が十分に小さくなるまで）繰り返し実行されるループ処理である。まず、Ｓ１２１２では、結果検証部１０５が、誤った分類結果のタイムスタンプと最終検証日時の中間の日時であり、かつ、誤った分類結果との間の類似度が最大の未検証の分類結果を分類結果ＴＢＬ５０１から新たに取得する。以下、新たに取得した分類結果のことを「類似分類結果」と称する。

続いて、結果検証部１０５は、個別結果検証部１０と連携して類似分類結果を検証する（Ｓ１２１３）。

続いて、結果検証部１０５は、検証結果を判定する（Ｓ１２１４）。検証結果が分類結果が正しいことを示す場合（Ｓ１２１４：ＮＯ）、結果検証部１０５は、最終検証日時を類似分類結果のタイムスタンプに更新する（Ｓ１２１５）。その後、処理はＳ１２１１に戻る。一方、検証の結果が誤りであることを示す場合（Ｓ１２１４：ＹＥＳ）、結果検証部１０５は、誤った分類結果を類似分類結果に設定し直す（処理の対象とする「誤った分類結果」を類似分類結果にすり替える）（Ｓ１２１６）。その後、処理はＳ１２１１に戻る。このように検証結果が誤りである場合に、誤った分類結果を類似分類結果に設定し直してＳ１２１１からのループ処理を繰り返し実行することで、検証結果が誤りとなった時点、つまり、規則が変化した時点を推定することができる。尚、上記のループ処理は、過去方向への時間的な二分探索により規則が変化した時点を探索していることに相当する）。

Ｓ１２１７では、結果検証部１０５は、選択中のクラスタの対象期間４０１５の終了日時に、最終検証日時と誤った分類結果の日時との中間の日時を設定する。尚、ここでは中間の日時を設定しているが、必ずしも厳密な意味での中間の日時でなくてもよく、選択中のクラスタの対象期間４０１５の終了日時に設定する日時は、最終検証日時と誤った分類結果の日時とに基づき分類結果の誤り率が低くなる可能性が高くなるように設定すればよい。

続いて、結果検証部１０５は、タイムスタンプが、Ｓ１２１７で対象期間４０１５の終了日時として設定した日時よりも後の日時の未検証の分類結果を取得し、取得した分類結果について、個別結果検証部１０と連携して検証を行う（Ｓ１２１８）。このように、終了日時よりも後の日時の未検証の分類結果について検証を行う（即ち、規則が変化した日時と推定される日時以降の分類結果を検証することで、時間的又は空間的に規則が変化した時点を効率よく高い精度で特定することができる。

続いて、結果検証部１０５は、Ｓ１２１８の検証結果に基づき分割空間を設定（生成又は更新）し、設定した分割空間を分割情報ＴＢＬ７０１に登録する（Ｓ１２１９）。例えば、結果検証部１０５は、規則が変化した日時を日時７０１２１の開始日時とする分割空間を設定する。また、例えば、結果検証部１０５は、規則が変化した日時を終了日時とする分割空間を設定する。

以上に説明したように、審査支援システム１は、分類用データの審査に用いる分類モデルとして適切なものを選択し、選択した分類モデルを用いて分類用データの審査を行い、分類結果について、分類器による審査が規則に従い正しく行われているか否かを検証する。そして、検証により審査が誤っていることが判明した場合、誤った分類結果に基づき申請書の審査に適用する規則が変化した時点を推定し、推定した時点に基づき分割情報（分割空間）を更新し、更新された分割空間ごとに学習データをクラスタリングして得られるクラスタごとに分類モデルを生成する。このため、例えば、規則が不連続に変化した場合でも、変化した時点を効率よく高い精度で推定することができ、審査が正しく行われるように分類モデルを学習し直すことができる。

また、審査支援システム１は、このように審査における規則の変化の態様に拘わらず規則の変化を検知することができるので、規則の変化に追随して審査の精度を継続的に維持することができる。

また、分類モデルは、学習データの類似性に基づきクラスタリングされたクラスタごとに生成され、分類用データは、当該分類用データに類似する学習データにより学習した分類モデルにより自動審査(分類)されるので、申請データ（分類用データ）の空間的な違いを考慮しつつ精度よく自動審査を行うことができる。

ところで、審査支援システム１は、審査を行うユーザの業務効率の向上を図るため、例えば、以下に示すようなユーザインタフェースを提供する。

図１３は、図１１のＳ１１１４における検証の結果を審査担当者等のユーザに提示する際、審査支援装置１００が表示する画面（以下、「検証結果画面１３００」と称する。）の一例である。例示する検証結果画面１３００は、クラスタＩＤ１３１１で特定されるクラスタごとに、自動審査の誤りが検知された日時（検知日時１３１２）、当該クラスタについて直近の検証が行われた日時（最終検証日時１３１３）が表示されている。ユーザは、検証結果画面１３００を参照することで、どのような自動審査（クラスタ）に誤りが生じているのかを視覚的に確認することができる。また、自動審査の誤りが検知されたクラスタについては、分割情報の更新を行うか否かを指示するための操作ボタン１３１４が表示される。ユーザは、操作ボタン１３１４を操作することで、自動審査の誤りが検知されたクラスタについて、分割情報の更新指示（分割情報更新処理Ｓ１１１６の実行指示）を出すことができる。

図１４は、図１２のＳ１２１８における検証に際し、個別結果検証部１０が表示する画面（以下、「個別結果検証画面１４００」と称する。）の一例である。例示する個別結果
検証画面１４００は、検証の対象となる分類結果の分類用データの申請書ＩＤ１４１１、当該分類用データのタイムスタンプ１４１２、当該分類用データの元になる申請書のイメージ１４１３、当該分類用データの各項目の名称（項目名１４１４）と各項目に設定されている値１４１５が表示されている。ユーザは、プルダウンリスト１４１６を操作することで、当該分類用データに設定するラベルを指定することができる。ユーザが登録ボタン１４１７を操作すると、当該分類用データにプルダウンリスト１４１６で指定されたラベルがラベルＴＢＬ６０１に反映される。

また、申請書管理部２００及び個別結果検証部１０の機能は、同じ情報処理装置に実装してもよいし、異なる情報処理装置に実装してもよい。

図１５は、申請書管理部２００及び個別結果検証部１０の機能を同じ情報処理装置（以下、「ユーザ端末２２０」と称する。）に実装した場合における審査支援システム１の構成例である。同図に示すように、例示するユーザ端末２２０は、通信ネットワーク５（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、専用線
、公衆通信網、シリアル通信装置等）を介して審査支援装置１００と通信可能に接続している。申請書管理部２００は、通信ネットワーク５を介して審査支援装置１００に申請データＴＢＬ２０１の申請データを提供する。審査支援装置１００は、例えば、ＲＥＳＴやｇＲＰＣ等のプロトコルを用いて申請データＴＢＬ２０１の申請データや個別結果検証部１０が管理する検証結果を取得する。ユーザ端末２２０は、審査支援装置１００から提供される画面や自身が生成する画面を、例えば、Ｗｅｂページ等の形式でユーザに提示する。

以上、本発明の一実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成の一部について、他の構成の追加や削除、置換をすることが可能である。

上記の各構成、機能部、処理部、処理手段等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、ＩＣカー
ド、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

以上に説明した各情報処理装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、これらの装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。

前述した各種のデータを格納するデータベースの構成（スキーマ（Schema）等）は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。

１審査支援システム、１０個別結果検証部、１０１分類用データ取得部、１０２分類器、１０３学習データ取得部、１０４学習器、１０５結果検証部、１０６分割情報更新部、２００申請書管理部、２０１申請データＴＢＬ、２２０ユーザ端末、３００分類状態記憶部、３０１分類状態ＴＢＬ、４００モデル記憶部、４０１
モデルＴＢＬ、５００分類結果記憶部、５０１分類結果ＴＢＬ、６００ラベル記憶部、６０１ラベルデータＴＢＬ、７００分割情報記憶部、７０１分割情報ＴＢＬ、１３００検証結果画面、１４００個別結果検証画面

Claims

申請書の審査を支援する審査支援システムであって、
情報処理装置を用いて構成され、
申請の各項目及び前記各項目の値と、審査の基準として参照される日時であるタイムスタンプと、を含むデータである申請データを記憶するデータベースから、審査の対象とする前記申請データである分類用データを取得する分類用データ取得部と、
前記申請書の審査に適用される規則に従い前記申請データを正しく審査した場合の審査の結果を示すラベルを前記申請書に対応づけて記憶するラベル記憶部と、
前記分類用データを審査する機械学習モデルである分類モデルを記憶するモデル記憶部と、
前記分類用データの審査に用いる前記分類モデルを前記モデル記憶部から選択し、選択した前記分類モデルを用いて前記分類用データを審査する分類器と、
前記審査の結果と前記分類用データとを対応づけた情報である分類結果を記憶する分類結果記憶部と、
前記分類結果について、前記分類器による審査が規則に従い正しく行われているか否かの検証の結果を取得する結果検証部と、
前記分類モデルの学習に用いる学習データの生成に用いる前記申請データを前記データベースから取得する際のサンプリング範囲を示す分割空間に関する情報である分割情報を記憶する分割情報記憶部と、
前記検証により審査が誤っていることが判明した前記分類結果に基づき前記規則が変化した時点を推定し、推定した前記時点に基づき前記分割情報を更新する分割情報更新部と、
前記申請データを前記分割空間ごとに前記データベースからサンプリングし、前記分割空間の夫々に属する前記申請データに基づき前記学習データを生成する学習データ生成部と、
前記分割空間ごとに前記学習データをクラスタリングして得られるクラスタごとに前記分類モデルを生成する学習器と、
を備え、
前記分類器は、審査の対象となる前記分類用データに類似する前記学習データにより学習した前記クラスタの前記分類モデルを選択し、選択した前記分類モデルにより前記分類用データの審査を行う、
審査支援システム。
請求項１に記載の審査支援システムであって、
前記分割情報更新部は、前記誤った分類結果に類似する他の前記分類結果を、前記誤った分類結果の前記タイムスタンプから前回の検証を行った日時である最終検証日時に遡って選択し、選択した前記他の分類結果を検証する処理を、検証結果が正しくなるまで繰り返し実行することにより前記時点を推定する、
審査支援システム。
請求項１に記載の審査支援システムであって、
前記結果検証部は、前記タイムスタンプが、前回の検証を行った日時である最終検証日時と現在日時との間の前記分類結果について前記検証を行う、
審査支援システム。
請求項１に記載の審査支援システムであって、
前記結果検証部が、推定した前記時点よりも後のタイムスタンプの未検証の前記分類結果について検証結果を受け付け、受け付けた前記検証結果に基づき前記時点を推定する、
審査支援システム。
請求項１に記載の審査支援システムであって、
前記学習器は、前記分類モデルに、当該分類モデルの対象期間と、前記分類用データと当該分類モデルの生成に用いた前記学習データとの間の類似度を判定するための情報と、を設定し、
前記分類器は、前記分類用データの前記タイムスタンプが前記対象期間に含まれ、かつ、前記情報に基づき、前記分類用データと前記学習データとが類似すると判定した前記分類モデルを、前記分類用データの審査に用いる分類モデルとして前記モデル記憶部から選択する、
審査支援システム。
請求項１に記載の審査支援システムであって、
前記検証の結果を示す情報を前記クラスタごとにユーザに提示するユーザインタフェースを更に備える、審査支援システム。
請求項６に記載の審査支援システムであって、
前記ユーザインタフェースは、前記クラスタごとに前記分割情報の更新指示を受け付け、
前記分割情報更新部は、前記更新指示を受け付けた前記クラスタに関連する前記分割情報を更新する、
審査支援システム。
請求項１に記載の審査支援システムであって、
前記検証により誤った審査が行われたことが判明した前記分類結果の前記分類用データに対応する前記申請データの内容を提示するユーザインタフェースを更に備える、審査支援システム。
請求項８に記載の審査支援システムであって、
前記ユーザインタフェースは、前記検証により誤った審査が行われたことが判明した前記分類結果の前記分類用データについての正しい前記ラベルを受け付け、
前記ラベル記憶部は、受け付けた前記ラベルを前記分類用データに対応する前記申請書に対応づけて記憶する、
審査支援システム。
申請書の審査を支援する方法であって、
情報処理装置が、
申請の各項目及び前記各項目の値と、審査の基準として参照される日時であるタイムスタンプと、を含むデータである申請データを記憶するデータベースから、審査の対象とする前記申請データである分類用データを取得するステップと、
前記申請書の審査に適用される規則に従い前記申請データを正しく審査した場合の審査の結果を示すラベルを前記申請書に対応づけて記憶するステップと、
前記分類用データを審査する機械学習モデルである分類モデルを記憶するステップと、
前記分類用データの審査に用いる前記分類モデルを選択し、選択した前記分類モデルを用いて前記分類用データを審査するステップと、
前記審査の結果と前記分類用データとを対応づけた情報である分類結果を記憶するステップと、
前記分類結果について、前記審査が規則に従い正しく行われているか否かの検証の結果を取得するステップと、
前記分類モデルの学習に用いる学習データの生成に用いる前記申請データを前記データベースから取得する際のサンプリング範囲を示す分割空間に関する情報である分割情報を
記憶するステップと、
前記検証により審査が誤っていることが判明した前記分類結果に基づき前記規則が変化した時点を推定し、推定した前記時点に基づき前記分割情報を更新するステップと、
前記申請データを前記分割空間ごとに前記データベースからサンプリングし、前記分割空間の夫々に属する前記申請データに基づき前記学習データを生成するステップと、
前記分割空間ごとに前記学習データをクラスタリングして得られるクラスタごとに前記分類モデルを生成するステップと、
前記審査の対象となる前記分類用データに類似する前記学習データにより学習した前記クラスタの前記分類モデルを選択し、選択した前記分類モデルにより前記分類用データの審査を行うステップと、
を実行する、審査支援方法。
請求項１０に記載の審査支援方法であって、
前記情報処理装置が、前記誤った分類結果に類似する他の前記分類結果を、前記誤った分類結果の前記タイムスタンプから前回の検証を行った日時である最終検証日時に遡って選択し、選択した前記他の分類結果を検証する処理を、検証結果が正しくなるまで繰り返し実行することにより前記時点を推定するステップ、
を更に実行する、審査支援方法。
請求項１０に記載の審査支援方法であって、
前記情報処理装置が、前記タイムスタンプが、前回の検証を行った日時である最終検証日時と現在日時との間の前記分類結果について前記検証を行うステップを更に実行する、審査支援方法。
請求項１０に記載の審査支援方法であって、
前記情報処理装置が、推定した前記時点よりも後のタイムスタンプの未検証の前記分類結果について検証結果を受け付け、受け付けた前記検証結果に基づき前記時点を推定するステップ、
を更に実行する、審査支援方法。
請求項１０に記載の審査支援方法であって、
前記情報処理装置が、前記分類モデルに、当該分類モデルの対象期間と、前記分類用データと当該分類モデルの生成に用いた前記学習データとの間の類似度を判定するための情報と、を設定するステップと、
前記分類用データの前記タイムスタンプが前記対象期間に含まれ、かつ、前記情報に基づき、前記分類用データと前記学習データとが類似すると判定した前記分類モデルを、前記分類用データの審査に用いる分類モデルとして選択するステップ、
を更に実行する、審査支援方法。