JP6510153B1 - 推定システム、推定方法及びプログラム - Google Patents

Abstract

機械学習モデルの学習の際の状況と当該機械学習モデルを用いた推定の際の状況との違いに適応できる推定システム、推定方法及びプログラムを提供する。スコア値決定装置（１６）は、推定の対象である入力データに係る推定の結果を示す推定結果データの生成に用いられる学習済モデルの学習のために入力されていない１又は複数の入力データのそれぞれについて、当該入力データを学習済モデルに入力した際の出力に基づいて、当該入力データのスコア値を決定する。評価データ生成装置（１８）は、１又は複数の入力データのそれぞれについての既知の結果データに基づいて、スコア値の評価データを生成する。不正注文判定装置（１２）は、推定の対象である入力データを学習済モデルに入力した際の出力に基づいて決定されるスコア値と、評価データと、に基づいて、当該推定の対象である入力データに係る推定の結果を示す推定結果データを生成する。

Description

本発明は、推定システム、推定方法及びプログラムに関する。

特許文献１には、クレジットカード等の利用にかかる不正判定のスコア値の算出において、受け付けたオーソリデータに含まれる項目だけでなく、利用者毎の履歴データに含まれる項目を、スコアの積算の対象となる項目として加えることが記載されている。

特許文献２には、クレジットカードを利用する時間、金額、店舗などから様々なケースを分類し、ケース毎に過去のオーソリデータから不正が生じた確率を算出することにより、出現確率を定めることが記載されている。また特許文献２には、多くのオーソリデータを収集することにより、出現確率の信頼度を向上させることができることが記載されている。

特開２００７−２０７０１１号公報 特開２００４−３３４５２６号公報

発明者らは、機械学習モデルを用いて電子商取引システムに送信される注文が不正なものである可能性の推定に用いられるスコア値を決定するシステムを検討している。当該システムでは例えば、決定されるスコア値が高い注文であるほど当該注文が不正なものである可能性が高いと推定される。

このようなシステムでは、最新の不正の傾向を反映させるため、機械学習モデルの更新がリアルタイムで行われることが望ましい。しかし機械学習モデルの更新が必ずしもリアルタイムなものとならないことがある。例えば教師データの手入力を行う必要がある場合や、人手による確認を行った上で学習データを機械学習モデルに学習させる場合には、機械学習モデルの更新は不可避的にリアルタイムなものとはならない。

このように機械学習モデルの学習と当該機械学習モデルを用いた推定との間にタイムラグがある場合、不正な注文であると推定すべき注文が不正なものでないと推定されることや、不正な注文でないと推定すべき注文が不正なものであると推定されることがある。例えば、学習の際には不正である可能性が低かった注文の属性が、状況が変化して推定の際には不正である可能性が高い注文の属性となることがある。

また例えば、ある地域での注文を学習した機械学習モデルを他の地域での注文が不正なものである可能性の推定に用いる場合に、不正である可能性の高い注文の傾向や同じスコア値が表す意味が地域間で異なることがある。

しかし特許文献１や特許文献２に記載されている技術を用いても、以上で説明したような機械学習モデルの学習の際の状況と当該機械学習モデルを用いた推定の際の状況との違いには適応できない。

また以上のことは、注文が不正なものである可能性の推定に限らず、機械学習モデルを用いた推定を行う場面において一般的にあてはまる。

本発明は、上記課題に鑑みてなされたものであって、その目的の一つは、機械学習モデルの学習の際の状況と当該機械学習モデルを用いた推定の際の状況との違いに適応できる推定システム、推定方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る推定システムは、推定の対象である入力データに係る推定の結果を示す推定結果データの生成に用いられる学習済モデルの学習のために入力されていない１又は複数の入力データのそれぞれについて、当該入力データを前記学習済モデルに入力した際の出力に基づいて、当該入力データのスコア値を決定するスコア値決定手段と、前記１又は複数の入力データのそれぞれについての既知の結果データに基づいて、前記スコア値の評価データを生成する評価データ生成手段と、前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、前記評価データと、に基づいて、当該推定の対象である入力データに係る前記推定の結果を示す推定結果データを生成する推定手段と、を含む。

本発明の一態様では、前記評価データ生成手段は、前記スコア値毎に、当該スコア値の評価データを生成し、前記推定手段は、前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、当該スコア値の評価データと、に基づいて、当該推定の対象である入力データに係る前記推定結果データを生成する。

あるいは、前記評価データ生成手段は、前記評価データ生成手段は、前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づくスコア値の決定に応じて、当該スコア値の評価データを生成し、前記推定手段は、前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、当該スコア値の決定に応じて生成される当該スコア値の評価データと、に基づいて、当該推定の対象である入力データに係る前記推定結果データを生成する。

また、本発明の一態様では、前記評価データ生成手段は、前記スコア値の評価データとして、当該スコア値が決定される前記１又は複数の入力データのそれぞれに対応付けられる前記結果データの代表値を示すデータを生成し、前記推定手段は、推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、当該スコア値の評価データが示す代表値と、に基づいて、当該推定の対象である入力データに係る前記推定結果データを生成する。

また、本発明の一態様では、前記推定の対象である入力データに係る前記推定結果データの値に応じた態様で、当該推定の対象を表す情報を表示させる表示制御部、をさらに含む。

この態様では、前記表示制御部は、前記推定の対象である入力データに係る前記推定結果データの値に基づいて複数のレベルのうちから決定される当該推定の対象が属するレベルに応じた態様で当該推定の対象を表す情報を表示させてもよい。

また、本発明に係る推定方法は、推定の対象である入力データに係る推定の結果を示す推定結果データの生成に用いられる学習済モデルの学習のために入力されていない１又は複数の入力データのそれぞれについて、当該入力データを前記学習済モデルに入力した際の出力に基づいて、当該入力データのスコア値を決定するステップと、前記１又は複数の入力データのそれぞれについての既知の結果データに基づいて、前記スコア値の評価データを生成するステップと、前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、前記評価データと、に基づいて、当該推定の対象である入力データに係る前記推定の結果を示す推定結果データを生成するステップと、を含む。

また、本発明に係るプログラムは、推定の対象である入力データに係る推定の結果を示す推定結果データの生成に用いられる学習済モデルの学習のために入力されていない１又は複数の入力データのそれぞれについて、当該入力データを前記学習済モデルに入力した際の出力に基づいて、当該入力データのスコア値を決定する手順、前記１又は複数の入力データのそれぞれについての既知の結果データに基づいて、前記スコア値の評価データを生成する手順、前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、前記評価データと、に基づいて、当該推定の対象である入力データに係る前記推定の結果を示す推定結果データを生成する手順、をコンピュータに実行させる。

本発明の一実施形態に係る不正注文判定システムの全体構成の一例を示す図である。 本発明の一実施形態における動作の一例を示す図である。 注文データの一例を示す図である。 学習データの一例を示す図である。 評価データの一例を示す図である。 推定結果データの一例を示す図である。 結果管理データの一例を示す図である。 不正確認画面の一例を示す図である。 学習データの一例を示す図である。 本発明の一実施形態に係る不正注文判定装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るスコア値決定装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る評価データ生成装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る不正注文判定システムにおいて行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る不正注文判定システムにおいて行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る不正注文判定システムにおいて行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る不正注文判定装置において行われる処理の流れの一例を示すフロー図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係る不正注文判定システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る不正注文判定システム１には、電子商取引システム１０、不正注文判定装置１２、特徴抽出装置１４、スコア値決定装置１６、評価データ生成装置１８、学習データ管理装置２０、モデル生成装置２２、モデル記憶装置２４、が含まれる。これらの装置やシステムはインターネット等のコンピュータネットワーク２６に接続されており、互いに通信可能になっている。

電子商取引システム１０は、本実施形態では例えば、ユーザからの商品およびサービスの注文や発送、決済などの要求を処理するコンピュータシステムである。

不正注文判定装置１２は、本実施形態では例えば、電子商取引システム１０に送信される商品やサービスの注文が、不正なものであるか否かを判定するコンピュータである。また本実施形態に係る不正注文判定装置１２では、注文が不正である可能性の高さを示す推定結果データの生成も行われる。本実施形態に係る不正注文判定装置１２には、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、表示部１２ｄ、及び、操作部１２ｅが含まれている。

特徴抽出装置１４は、本実施形態では例えば、電子商取引システム１０に送信される商品やサービスの注文に対応付けられる特徴を抽出するコンピュータである。本実施形態に係る特徴抽出装置１４には、プロセッサ１４ａ、記憶部１４ｂ、及び、通信部１４ｃが含まれている。

スコア値決定装置１６は、本実施形態では例えば、電子商取引システム１０に送信される商品やサービスの注文が不正なものである可能性に対応付けられるスコア値を決定するコンピュータである。本実施形態に係るスコア値決定装置１６には、プロセッサ１６ａ、記憶部１６ｂ、及び、通信部１６ｃが含まれている。

評価データ生成装置１８は、本実施形態では例えば、不正注文判定装置１２での推定結果データの生成に用いられる評価データを生成するコンピュータである。本実施形態に係る評価データ生成装置１８には、プロセッサ１８ａ、記憶部１８ｂ、及び、通信部１８ｃが含まれている。

学習データ管理装置２０は、本実施形態では例えば、モデル生成装置２２が生成する機械学習モデルの学習に用いられる学習データを管理するコンピュータである。本実施形態に係る学習データ管理装置２０には、プロセッサ２０ａ、記憶部２０ｂ、及び、通信部２０ｃが含まれている。

モデル生成装置２２は、本実施形態では例えば、学習データ管理装置２０で管理される学習データを用いた機械学習モデルの学習を実行するコンピュータである。学習データを用いた学習が実行された機械学習モデル（学習済モデル）は、モデル記憶装置２４に記憶される。本実施形態に係るモデル生成装置２２には、プロセッサ２２ａ、記憶部２２ｂ、及び、通信部２２ｃが含まれている。

本実施形態に係る機械学習モデルは例えばランダムフォレストによって実装されている。なお、本実施形態に係る機械学習モデルの実装は特に問わず、ランダムフォレスト以外のアルゴリズムによって当該機械学習モデルが実装されても構わない。

モデル記憶装置２４は、本実施形態では例えば、モデル生成装置２２が生成する学習済モデルを記憶するコンピュータである。スコア値決定装置１６は、モデル記憶装置２４に記憶される学習済モデルを取得して、当該学習済モデルを用いてスコア値を決定する。本実施形態に係るモデル記憶装置２４には、プロセッサ２４ａ、記憶部２４ｂ、及び、通信部２４ｃが含まれている。

プロセッサ１２ａ，１４ａ，１６ａ，１８ａ，２０ａ，２２ａ，２４ａは、それぞれ、例えばＣＰＵ等のプログラム制御デバイスである。またプロセッサ１２ａ，１４ａ，１６ａ，１８ａ，２０ａ，２２ａ，２４ａは、それぞれ、不正注文判定装置１２、特徴抽出装置１４、スコア値決定装置１６、評価データ生成装置１８、学習データ管理装置２０、モデル生成装置２２、モデル記憶装置２４にインストールされているプログラムに従って動作する。

記憶部１２ｂ，１４ｂ，１６ｂ，１８ｂ，２０ｂ，２２ｂ，２４ｂは、それぞれ、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。

通信部１２ｃ，１４ｃ，１６ｃ，１８ｃ，２０ｃ，２２ｃ，２４ｃは、それぞれ、例えばネットワークボードや無線ＬＡＮモジュールなどといった通信インタフェースである。

表示部１２ｄは、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。

操作部１２ｅは、例えばマウス、キーボード、タッチパッドなどといった、操作入力に応じた入力データをプロセッサ１２ａに出力するユーザインタフェースである。

ここで本実施形態における動作の一例を、図２を参照しながら説明する。

本実施形態では例えば、電子商取引システム１０に送信される注文が発生すると、図３に例示する注文データが電子商取引システム１０から不正注文判定装置１２に送信される（図２（１）参照）。

注文データは、例えば電子商取引システム１０に送信される商品やサービスの注文を示すデータである。図３に示すように、注文データには、注文ＩＤ、ユーザＩＤ、ＩＰアドレスデータ、送付先データ、クレジットカード番号、商品ＩＤ、価格データ、数量データ、などが含まれている。

注文ＩＤは、例えば注文データが示す注文の識別情報である。ユーザＩＤは、例えば当該注文データが示す注文を行った、電子商取引システム１０のユーザの識別情報である。ＩＰアドレスデータは、例えばユーザが注文を行った端末のＩＰアドレスを示すデータである。送付先データは、例えば注文された商品やサービスの送付先の住所等を示すデータである。クレジットカード番号データは、例えば当該注文の決済に用いられるクレジットカード番号を示すデータである。商品ＩＤは、例えば注文された商品やサービスの識別情報である。価格データは、例えば注文された商品やサービスの価格を示すデータである。数量データは、例えば注文された商品やサービスの数量を示すデータである。

以下、図３に示す注文ＩＤが００２００５０である注文データに対応付けられる注文についての、不正なものであるか否かの判定や、当該注文が不正なものである可能性の推定について説明する。また、図３に示す注文ＩＤが００２００５０である注文データを、以下、ターゲット注文データと呼ぶこととする。

不正注文判定装置１２は、ターゲット注文データを特徴抽出装置１４に送信する（図２（２）参照）。

特徴抽出装置１４は、例えば、ターゲット注文データと、特徴抽出装置１４に記憶されている過去の注文データと、に基づいて、当該ターゲット注文データに対応付けられる特徴を表す特徴ベクトルを生成する。ここでターゲット注文データから抽出される予め定められた属性の値と特徴抽出装置１４に記憶されている過去の注文データにおける当該属性の値との比較結果を表すデータが生成されてもよい。またこの場合、特徴抽出装置１４に記憶されている過去の注文データのうちから、ターゲット注文データとユーザＩＤが同じである注文データが特定されてもよい。そしてターゲット注文データから抽出される予め定められた属性の値と、特定された注文データにおける当該属性の値との比較結果を表すデータが生成されてもよい。そしてターゲット注文データの値、及び、当該比較結果を表すデータに基づいて、当該ターゲット注文データに対応付けられる特徴ベクトルが生成されるようにしてもよい。

そしてターゲット注文データに含まれる注文ＩＤに関連付けられた、当該ターゲット注文データに対応付けられる特徴ベクトルが、特徴抽出装置１４からスコア値決定装置１６に送信される（図２（３）参照）。また当該特徴ベクトルは、特徴抽出装置１４から学習データ管理装置２０にも送信される（図２（４）参照）。また特徴抽出装置１４から学習データ管理装置２０への特徴ベクトルの送信はスコア値決定装置１６への特徴ベクトルの送信とは非同期で実行されてもよい。

そしてスコア値決定装置１６が、特徴抽出装置１４から受信した特徴ベクトルを学習済モデルに入力した際の出力に基づいて、当該特徴ベクトルに対応付けられるスコア値、すなわち、ターゲット注文データに対応付けられるスコア値を決定する。ここで例えば、不正なものである可能性が高い注文であるほど高いスコア値が決定されるようにしてもよい。また決定されるスコア値は実数値であってもよい。また学習済モデルがスコア値自体を出力してもよい。

図４は、ターゲット注文データに対応付けられる特徴ベクトルが入力される学習済モデルが学習済である学習データの一例を示す図である。図４に示すように、学習データには、例えば、注文ＩＤと、特徴ベクトルと、結果データと、が含まれている。

学習データに含まれる注文ＩＤとしては、例えば注文データの注文ＩＤが設定される。また学習データに含まれる特徴ベクトルとしては、当該注文データに基づいて生成される特徴ベクトルが設定される。そして学習データに含まれる結果データは、当該注文データに対応付けられる注文が不正注文であるか否かの判定結果を示すデータである。本実施形態では例えば、不正注文であると判定された注文についての結果データの値として１が設定され、不正注文でないと判定された注文についての結果データの値として０が設定される。なお後述のように本実施形態では、結果データの値は、不正注文判定装置１２により決定されるか、又は、不正注文判定装置１２の操作者により設定される。

なお図４に示す学習データに含まれるすべての要素が機械学習モデルの学習に用いられる必要はない。例えば、学習データに含まれる特徴ベクトルが入力データとして用いられ、当該学習データに含まれる結果データが教師データとして用いられる教師あり学習が実行されてもよい。この場合は、注文ＩＤは機械学習モデルの学習には用いられないこととなる。

そしてスコア値決定装置１６は、ターゲット注文データに含まれる注文ＩＤに関連付けられた、ターゲット注文データに対応付けられるスコア値を、特徴抽出装置１４に送信する（図２（５）参照）。

そして特徴抽出装置１４が、スコア値決定装置１６から受信した、ターゲット注文データに含まれる注文ＩＤに関連付けられたスコア値を不正注文判定装置１２に送信する（図２（６）参照）。なお、スコア値決定装置１６が決定するスコア値の範囲が０以上１以下であってもよい。そしてこの場合に、特徴抽出装置１４は当該スコア値を１０００倍して不正注文判定装置１２に送信してもよい。この場合、不正注文判定装置１２が受信するスコア値は０以上１０００以下となる。

そして不正注文判定装置１２は、受信したスコア値と、図５に例示する、評価データ生成装置１８により生成される評価データと、に基づいて、図６に例示する、ターゲット注文データに対応付けられる推定結果データを生成する。

図５は、評価データ生成装置１８により生成される評価データの一例を示す図である。図５に示す評価データには、スコアデータと、不正レベルデータと、が含まれている。ここで評価データに含まれるスコアデータは、例えば、スコア値を示すデータである。そして評価データに含まれる不正レベルデータは、例えば当該スコア値の注文データに対応付けられる注文が不正である可能性の高さを示すデータである。なお図５に示す不正レベルデータの値は、百分率により表現されている。また図５に示す評価データは、複数のスコア値のそれぞれに対応付けられる。

本実施形態では、図５に示す評価データは、不正注文判定装置１２に記憶されている。そして不正注文判定装置１２は、注文データについて決定されたスコア値と、不正注文判定装置１２が記憶している評価データと、に基づいて、推定結果データを生成する。

図６に示す推定結果データには、例えば、注文ＩＤと、不正レベルデータと、が含まれる。ここでは例えば、注文ＩＤが００２００５０であるターゲット注文データに対応付けられるスコア値が７００であることとする。ここで、図５に示す評価データにおいて値が７００であるスコアデータに対応付けられる不正レベルデータの値は８５％である。そのためこの場合は、注文ＩＤとして００２００５０が設定される推定結果データに含まれる不正レベルデータの値として８５％が設定される。このようにして本実施形態では、ターゲット注文データに対応付けられる注文が不正である可能性の高さが推定されることとなる。

本実施形態では例えば、図５に示す評価データにおけるスコアデータに対応付けられる不正レベルデータの値は、評価データ生成装置１８によって、図７に例示する結果管理データに基づいて決定される。図７に示すように、結果管理データには、例えば、注文ＩＤと、スコアデータと、結果データと、が含まれている。

本実施形態では例えば、不正注文判定装置１２において、注文データに対応付けられる結果管理データが生成される。結果管理データに含まれる注文ＩＤとして、当該注文データの注文ＩＤが設定される。また当該結果管理データに含まれるスコアデータの値として、当該注文データに対応付けられるスコア値が設定される。また当該結果管理データに含まれる結果データの値として、当該注文データに対応付けられる注文が不正注文であるか否かの判定結果を示す値が設定される。本実施形態では例えば、ある注文ＩＤを含む学習データに含まれる結果データの値と当該注文ＩＤを含む結果管理データに含まれる結果データの値とは同じになる。

なお図７には、既に学習済モデルが学習済である学習データに対応付けられる結果管理データも、当該学習済モデルが未学習である学習データに対応付けられる結果管理データも示されている。具体的には例えば、注文ＩＤが００２０００１以降の結果管理データは、未学習である学習データに対応付けられるものである。

評価データ生成装置１８では、例えば、スコアデータの値が特定のスコア値（例えば７００）であり結果データの値が１である結果管理データの数を、スコアデータの値が当該スコア値（例えば７００）である結果管理データの総数で割った値が算出される。そして算出された値を百分率で表現した値が、評価データにおいて当該スコア値に対応付けられる不正レベルデータの値として設定される。

なお、不正レベルデータの値の算出方法は上述の方法には限定されない。例えば、スコアデータの値が特定のスコア値（例えば７００）以上であり結果データの値が１である結果管理データの数を、スコアデータの値が当該スコア値（例えば７００）以上である結果管理データの総数で割った値が算出されてもよい。また例えば、スコアデータの値が特定のスコア値（例えば７００）以下であり結果データの値が１である結果管理データの数を、スコアデータの値が当該スコア値（例えば７００）以下である結果管理データの総数で割った値が算出されてもよい。そしてこのようにして算出された値が、評価データにおいて当該スコア値に対応付けられる不正レベルデータの値として設定されてもよい。

上述のように、図７に示す結果管理データには、スコア値の決定に用いられる学習済モデルが学習済である学習データに対応付けられるものも、未学習である学習データに対応付けられるものもある。そして本実施形態では不正レベルデータの値の算出において、学習済モデルでは未学習である学習データに対応付けられる結果データの値が加味されることとなる。

なお、未学習である学習データに対応付けられる結果管理データのみに基づいて不正レベルデータの値が算出されてもよい。また、未学習である学習データに対応付けられる結果管理データ及び学習済である学習データに対応付けられる結果管理データの両方に基づいて不正レベルデータの値が算出されてもよい。

そして不正注文判定装置１２で、ターゲット注文データが不正注文であるか否かの判定が実行される。本実施形態では例えば、以下で説明するように、リスト判定、ルール判定、及び、レベル判定という３段階の判定によって、ターゲット注文データに対応付けられる注文が不正注文であるか否かの判定が実行される。そして本実施形態では例えば、判定の結果に基づいて、ターゲット注文データに対応付けられる結果データが生成される。

本実施形態では例えば、まず、ターゲット注文データの属性の値（例えばユーザＩＤ）が、不正注文判定装置１２に記憶されているホワイトリスト又はブラックリストに含まれているか否かが判定される（リスト判定）。ここでホワイトリストは、例えば、不正でない注文として判定される注文データの属性の値のリストである。またブラックリストは、例えば、不正である注文として判定される注文データの属性の値のリストである。ここでホワイトリストに含まれると判定された場合は、値として０が設定された、ターゲット注文データに対応付けられる結果データが生成される。一方、ブラックリストに含まれると判定された場合は、値として１が設定された、ターゲット注文データに対応付けられる結果データが生成される。

ターゲット注文データの属性の値（例えばユーザＩＤ）がホワイトリストにもブラックリストにも含まれていないと判定された場合は、ターゲット注文データが予め定められた不正注文に関するルールに合致するか否かが判定される（ルール判定）。ここで例えば、１時間以内に同一のユーザから１００以上の異なるＩＰアドレスからの注文が発生していることが特定される場合に、値として１が設定された、ターゲット注文データに対応付けられる結果データが生成されるようにしてもよい。

ここでルール判定においてもターゲット注文データに対応付けられる結果データの値が決定されないことがある。この場合は、ターゲット注文データに対応付けられる推定結果データに含まれる不正レベルデータの値に基づく判定が行われる（レベル判定）。

図８は、レベル判定に用いられる不正確認画面３０の一例を示す図である。図８に示す不正確認画面３０は、本実施形態では例えば、不正注文判定装置１２の操作者の要求に応じて生成され、不正注文判定装置１２の表示部１２ｄに表示される。本実施形態では例えば、リスト判定及びルール判定の段階を経ても対応付けられる結果データの値が決定されなかった注文データについて、当該注文データに対応付けられる推定結果データに含まれる不正レベルデータの値が参照される。

そしてリスト判定及びルール判定の段階を経ても対応付けられる結果データの値が決定されなかった注文データのそれぞれに対応付けられる注文画像３２が配置された不正確認画面３０が生成される。ここで注文データに対応付けられる注文画像３２には、当該注文データに含まれる注文ＩＤと、上述のようにして参照された、当該注文データに対応付けられる不正レベルデータの値とが示されている。

また注文データに対応付けられる注文画像３２には、当該注文データに対応付けられる不正レベルデータの値に応じた態様の要確認度画像３４が配置されている。本実施形態では例えば、複数のレベルのうちから、不正レベルデータの値に対応付けられるレベルが決定される。ここで例えば、不正レベルデータの値が８０％〜１００％である場合は、レベルは５と決定される。同様に、不正レベルデータの値が６０％〜８０％、４０％〜６０％、２０％〜４０％、０％〜２０％である場合は、それぞれ、レベルは４〜１と決定される。そして決定されるレベルに応じた態様の要確認度画像３４が配置される。ここで例えば、決定されるレベルに応じた色の要確認度画像３４が配置されてもよい。例えば、レベルの値が大きい程、要確認度画像３４の色が濃くなってもよい。また例えば、レベルの値が大きい程、要確認度画像３４の明るさが暗くなってもよい。

このような不正確認画面３０が表示されるようにすることで、不正注文判定装置１２の操作者は、各注文について、不正であるか否かをどの程度丁寧に確認すべきかを一目で判断することができる。また不正確認画面３０は、不正注文判定装置１２の操作者が、注文が不正であるか否かを確認する優先順位を検討する際の指標として活用できる。

なお対応付けられる不正レベルデータの値に基づいて決定されるレベルの値が所定の閾値以下である注文データに対応付けられる注文画像３２は、不正確認画面３０に配置されないよう制御されてもよい。そして値として０が設定された、当該注文データに対応付けられる結果データが生成されるようにしてもよい。例えば、上述の閾値が２である場合、対応付けられる不正レベルデータの値が４０％以下である注文データについては、当該注文データに対応付けられる注文画像３２が不正確認画面３０に配置されないよう制御されてもよい。そして値として０が設定された、当該注文データに対応付けられる結果データが生成されてもよい。

また対応付けられる不正レベルデータの値に基づいて決定されるレベルの値が所定の閾値以上である注文データに対応付けられる注文画像３２は、不正確認画面３０に配置されないよう制御されてもよい。そして値として１が設定された、当該注文データに対応付けられる結果データが生成されるようにしてもよい。例えば、上述の閾値が４である場合、対応付けられる不正レベルデータの値が６０％以上である注文データについては、当該注文データに対応付けられる注文画像３２が不正確認画面３０に配置されないよう制御されてもよい。そして値として１が設定された、当該注文データに対応付けられる結果データが生成されてもよい。

なお上述の閾値が所定のタイミングで、あるいは、所定の時間間隔で変更されるようにしてもよい。

そして操作者は、注文画像３２に対応付けられる注文を行ったユーザの個人情報の照会などによって、当該注文が不正であるか否かについての確認を行い、その結果を示す値を操作部１２ｅから入力する。すると本実施形態ではこのようにして入力された値が設定された、注文データに対応付けられる結果データが生成される。

そしてターゲット注文データの注文ＩＤに関連付けられた、ターゲット注文データに対応付けられる結果データは、不正注文判定装置１２から電子商取引システム１０に送信される（図２（７）参照）。

電子商取引システム１０は、このようにして送信される結果データに基づいて、所定の処理を実行する。ここで例えば電子商取引システム１０は、ターゲット注文データに対応付けられる結果データの値が０である場合は、ターゲット注文データに対応付けられる注文については正規注文として注文処理を進めてもよい。また例えば、電子商取引システム１０は、ターゲット注文データに対応付けられる結果データの値が１である場合は、ターゲット注文データに対応付けられる注文については発注を停止するようにしてもよい。

注文された商品等の発送は通常１営業日以内で行われることから、ユーザビリティの低下を防ぐため、結果データの値の設定は、注文の発生から１日以内に行われることが望ましい。

また不正注文判定装置１２は、ターゲット注文データに対応付けられる結果データに基づいて、ターゲット注文データに対応付けられる結果管理データを生成する。ここでは例えば、上述のように、当該結果管理データに含まれる注文ＩＤとしては、ターゲット注文データの注文ＩＤが設定される。また当該結果管理データに含まれるスコアデータの値として、ターゲット注文データに対応付けられるスコア値が設定される。また当該結果管理データに含まれる結果データの値として、ターゲット注文データに対応付けられる結果データの値が設定される。

そしてこのようにして生成される、ターゲット注文データに対応付けられる結果管理データが、不正注文判定装置１２から評価データ生成装置１８に送信される（図２（８）参照）。そして評価データ生成装置１８は、不正注文判定装置１２から受信した結果管理データを記憶する。このようにして、ターゲット注文データに対応付けられる結果データが、以後の評価データの生成に用いられることとなる。

また評価データ生成装置１８は、ターゲット注文データの注文ＩＤに関連付けられた、ターゲット注文データに対応付けられる結果管理データを、学習データ管理装置２０に送信する（図２（９）参照）。

また評価データ生成装置１８は、記憶している結果管理データに基づいて評価データを生成する。ここで評価データ生成装置１８は、所定の時間間隔で評価データを生成してもよい。また例えば評価データ生成装置１８は、新たな結果管理データが記憶される度、あるいは、所定数の新たな結果管理データが記憶される度に、評価データを生成してもよい。

そして評価データ生成装置１８は、生成された評価データを不正注文判定装置１２に送信する（図２（１０）参照）。そして、不正注文判定装置１２は、記憶している評価データを、受信した評価データに更新する。評価データの更新が行われた後は、更新された評価データに基づいて推定結果データが生成されることとなる。

学習データ管理装置２０は、特徴抽出装置１４から受信する特徴ベクトル（図２（４）参照）と、評価データ生成装置１８から受信する結果管理データ（図２（９）参照）と、に基づいて、学習データを生成して記憶する。例えば、ターゲット注文データに対応付けられる特徴ベクトルとターゲット注文データに対応付けられる結果管理データとに基づいて、ターゲット注文データに対応付けられる学習データが生成される。ここで例えば、注文ＩＤと、当該注文ＩＤに関連付けられている特徴ベクトルと、当該注文ＩＤに関連付けられている結果管理データと、を含む学習データが生成されてもよい。

そして生成された学習データは、学習データ管理装置２０からモデル生成装置２２に送信される（図２（１１）参照）。

そしてモデル生成装置２２は、学習データ管理装置２０から受信した学習データを用いた機械学習モデルの学習を実行する。ここで例えば、所定の期間（例えば１ヶ月）に相当する学習データをすべて受信した際に、これらの学習データを用いた機械学習モデルの学習が実行されるようにしてもよい。

例えば、図４に示されている学習データは、第１の期間に相当する学習データである。そして図９に、当該第１の期間の次の期間である第２の期間に相当する学習データを示す。図９に示す学習データには、注文ＩＤが００２０００１以降である、機械学習モデルが未学習である学習データが示されている。第２の期間に相当する学習データのなかには、注文ＩＤが００２００５０であるターゲット注文データに対応付けられる学習データも含まれている。

ここでモデル生成装置２２は、例えば、第２の期間に相当する学習データをすべて受信した際に、図９に示す学習データを用いた機械学習モデルの学習を実行してもよい。このようにして、図９に示す未学習の学習データも学習済モデルに反映されることとなる。なお、第１の期間に相当する学習データを学習済である機械学習モデルが第２の期間に相当する学習データをさらに学習するようにしてもよい。また第１の期間に相当する学習データを学習済である機械学習モデルとは関係なく、所定の初期状態の機械学習モデルが第２の期間に相当する学習データをさらに学習するようにしてもよい。

そしてモデル生成装置２２は、このようにして学習が実行された機械学習モデル（学習済モデル）を、モデル記憶装置２４に送信する（図２（１２）参照）。

スコア値決定装置１６は、モデル記憶装置２４に新たな学習済モデルが記憶された否かを監視している。そしてスコア値決定装置１６がモデル記憶装置２４に新たな学習済モデルが記憶されたことを検出すると、スコア値決定装置１６は、当該新たな学習済モデルをモデル記憶装置２４から取得する（図２（１３）参照）。そしてスコア値決定装置１６は、スコア値の決定に用いている学習済モデルを、モデル記憶装置２４から取得した学習済モデルに更新する。学習済モデルの更新が行われた後は、更新された学習済モデルを用いてスコア値が決定されることとなる。

本実施形態に係る不正注文判定システム１では、学習済モデルの学習のために入力されていない入力データの値が加味されないスコア値と、上述の評価データに基づいて、不正レベルデータの値が決定される。ここで評価データは、学習済モデルの学習のために入力されていない入力データの値が加味されたものであり、その結果、不正レベルデータの値も学習済モデルの学習のために入力されていない入力データの値が加味されたものとなる。そして本実施形態に係る不正注文判定システム１では、学習済モデルの学習のために入力されていない入力データの値が加味された不正レベルデータを含む推定結果データに基づいて、注文が不正なものである可能性の推定が行われる。

本実施形態に係る不正注文判定システム１では最新の不正の傾向を反映させるため、機械学習モデルの更新がリアルタイムで行われることが望ましい。しかし機械学習モデルの更新が必ずしもリアルタイムなものとならないことがある。例えば教師データの手入力を行う必要がある場合や、人手による確認を行った上で学習データを機械学習モデルに学習させる場合には、機械学習モデルの更新は不可避的にリアルタイムなものとはならない。

このように機械学習モデルの学習と当該機械学習モデルを用いた推定との間にタイムラグがある場合、不正な注文であると推定すべき注文が不正なものでないと推定されることや、不正な注文でないと推定すべき注文が不正なものであると推定されることがある。例えば、学習の際には不正である可能性が低かった注文の属性が、状況が変化して不正である可能性が高い注文の属性となることがある。

また例えば、ある地域での注文を学習した機械学習モデルを他の地域での注文が不正なものである可能性の推定に用いる場合に、不正である可能性の高い注文の傾向や同じスコア値が表す意味が地域間で異なることがある。

本実施形態に係る不正注文判定システム１では上述のように、学習済モデルの学習のために入力されていない入力データの値が反映されたデータに基づく推定が行われる。そのため本実施形態に係る不正注文判定システム１では、以上で説明したような、機械学習モデルの学習の際の状況と当該機械学習モデルを用いた推定の際の状況との違いに適応できることとなる。

また例えば、電子商取引システム１０に２４時間休みなしに大量の注文が送信されるようなことがある。このような場合に、不正注文判定システム１の処理能力が足りず、機械学習モデルの学習をリアルタイムで行いながら並行して当該機械学習モデルを用いて注文が不正なものである可能性を推定することが困難なことがある。本実施形態に係る不正注文判定システム１では、このような場合でも電子商取引システム１０に２４時間休みなしに大量の注文のそれぞれについて当該注文が不正なものである可能性を推定できる。

また本実施形態に係る不正注文判定システム１では、学習済の機械学習モデルを様々な地域に展開する場合などでも、不正レベルデータの値という統一された基準により、不正注文である可能性の評価を統一的に行うことができる。

なお本発明は、注文が不正なものであるか否かの推定に限らず、機械学習モデルを用いた推定を行う場面において一般的に適用可能である。

なお評価データは、図５に示すものに限定されない。例えば、不正注文判定装置１２がターゲット注文データに対応付けられるスコア値を評価データ生成装置１８に送信してもよい。そして評価データ生成装置１８が、スコア値の受信に応じて、記憶されている結果管理データに基づいて、当該スコア値に対応付けられる不正レベルデータの値を算出してもよい。そして評価データ生成装置１８が、受信したスコア値と、値が算出された不正レベルデータと、を含む評価データを不正注文判定装置１２に送信してもよい。そして不正注文判定装置１２が、ターゲット注文データの注文ＩＤと受信した評価データに含まれる不正レベルデータの値を含む推定結果データを生成してもよい。このように、ターゲット注文データに対応付けられるスコア値の決定に応じて、当該スコア値の評価データが生成されるようにしてもよい。

また例えば、評価データが、不正レベルに対応付けられるスコア値の範囲や、不正レベルが違うものとなるスコア値の閾値を示すものであってもよい。

例えば、結果データの値が１である結果管理データの数を結果管理データの総数で割った値が、０％〜２０％、２０％〜４０％、４０％〜６０％、６０％〜８０％、８０％〜１００％となるスコア値の範囲が、それぞれ第１範囲〜第５範囲として特定されてもよい。そして第１範囲〜第５範囲の値を示す評価データが生成されてもよい。例えばスコア値が４２０であり結果データの値が１である結果管理データの数をスコア値が４２０である結果管理データの総数で割った値が、０．６（６０％）であるとする。また例えばスコア値が６８０であり結果データの値が１である結果管理データの数をスコア値が６８０である結果管理データの総数で割った値が、０．８（８０％）であるとする。この場合に、４２０以上６８０以下が第４範囲の値として示されている評価データが生成されてもよい。

そしてこの場合、例えば、ターゲット注文データについて決定されるスコア値が第１範囲である場合に、不正レベルデータの値として１が設定された、ターゲット注文データに対応付けられる推定結果データが生成されてもよい。同様に、決定されるスコア値が第２範囲、第３範囲、第４範囲、第５範囲である場合に、それぞれ、不正レベルデータの値として２、３、４、５が設定された、ターゲット注文データに対応付けられる推定結果データが生成されてもよい。

また例えば、結果データの値が１である結果管理データの数を結果管理データの総数で割った値が２０％、４０％、６０％、８０％、となるスコア値が、それぞれ第１閾値〜第４閾値として算出されてもよい。そして第１閾値〜第４閾値を示す評価データが生成されてもよい。例えば上述のように、スコア値が４２０であり結果データの値が１である結果管理データの数をスコア値が４２０である結果管理データの総数で割った値が、０．６（６０％）であるとする。また例えばスコア値が６８０であり結果データの値が１である結果管理データの数をスコア値が６８０である結果管理データの総数で割った値が、０．８（８０％）であるとする。この場合は、４２０が第３閾値として示されており、６８０が第４閾値として示されている評価データが生成されてもよい。

そしてこの場合、例えば、ターゲット注文データについて決定されるスコア値が第１閾値未満である場合に、不正レベルデータの値として１が設定された、ターゲット注文データに対応付けられる推定結果データが生成されてもよい。同様に、決定されるスコア値が第１閾値以上、第２閾値以上、第３閾値以上、第４閾値以上である場合に、それぞれ、不正レベルデータの値として２、３、４、５が設定された、ターゲット注文データに対応付けられる推定結果データが生成されてもよい。

そして不正レベルデータの値に応じた要確認度画像３４が配置された注文画像３２を含む不正確認画面３０が表示されるようにしてもよい。

また結果データの値が、１又は０の二値のうちのいずれかが設定されるものである必要はない。結果データの値が、例えば０〜９などといった多値のうちのいずれかが設定されるものであってもよい。この場合、推定結果データが、当該多値のそれぞれについて、結果データの値が当該値となる可能性の分布を示すデータであってもよい。また例えば、結果データの値が実数値であってもよい。この場合、推定結果データが確率密度関数などといった可能性の分布を示すデータであってもよい。

また以上の説明では、不正注文であるか否かの判定が実行される前に、すべての注文データについて、当該注文データに対応付けられるスコア値の決定、及び、当該注文データに対応付けられる不正レベルデータを含む推定結果データが行われている。しかし、不正注文であるか否かの判定が実行される前に、すべての注文データについて、当該注文データに対応付けられるスコア値の決定が行われる必要はない。また、不正注文であるか否かの判定が実行される前に、すべての注文データについて、当該注文データに対応付けられる不正レベルデータを含む推定結果データが行われる必要もない。

例えば、スコア値決定装置１６が、リスト判定においてもルール判定においても対応付けられる結果データの値が決定されない注文データのみについて、当該注文データに対応付けられるスコア値を決定してもよい。また評価データ生成装置１８が、リスト判定においてもルール判定においても対応付けられる結果データの値が決定されない注文データのみについて、当該注文データに対応付けられる推定結果データを生成してもよい。

また例えば、注文データに対応付けられるスコア値が所定値以下（例えば５０以下）である場合は、当該注文データに対応付けられる推定結果データが生成されないようにしてもよい。そしてこの場合に、値として０が設定された、当該注文データに対応付けられる結果データが生成されてもよい。また例えば、注文データに対応付けられるスコア値が所定値以上（例えば９５０以上）である場合は、当該注文データに対応付けられる推定結果データが生成されないようにしてもよい。そしてこの場合に、値として１が設定された、当該注文データに対応付けられる結果データが生成されてもよい。

またリスト判定、ルール判定、及び、レベル判定という３段階の判定によって、ターゲット注文データに対応付けられる注文が不正注文であるか否かの判定が実行される必要はない。例えば、リスト判定とルール判定、リスト判定とレベル判定、又は、ルール判定とレベル判定という２段階の判定によって、ターゲット注文データに対応付けられる注文が不正注文であるか否かの判定が実行されてもよい。また例えば、リスト判定、ルール判定、ルール判定のいずれか１つのみによって、ターゲット注文データに対応付けられる注文が不正注文であるか否かの判定が実行されてもよい。またターゲット注文データに対応付けられる注文が不正注文であるか否かの判定において、リスト判定、ルール判定、及び、レベル判定以外の方法による判定が含まれるようにしてもよい。

以下、本実施形態に係る不正注文判定装置１２、スコア値決定装置１６、評価データ生成装置１８の機能並びに本実施形態に係る不正注文判定システム１で実行される処理についてさらに説明する。

図１０Ａは、本実施形態に係る不正注文判定装置１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る不正注文判定装置１２で、図１０Ａに示す機能のすべてが実装される必要はなく、また、図１０Ａに示す機能以外の機能が実装されていても構わない。

図１０Ａに示すように、本実施形態に係る不正注文判定装置１２は、機能的には例えば、ターゲットデータ受信部４０、ターゲットデータ送信部４２、スコア値受信部４４、評価データ受信部４６、評価データ記憶部４８、推定部５０、判定部５２、確認画面生成部５４、表示制御部５６、設定操作受付部５８、結果データ生成部６０、結果データ送信部６２、結果管理データ生成部６４、結果管理データ送信部６６、を含んでいる。

ターゲットデータ受信部４０、ターゲットデータ送信部４２、スコア値受信部４４、評価データ受信部４６、結果データ送信部６２、結果管理データ送信部６６は、通信部１２ｃを主として実装される。評価データ記憶部４８は、記憶部１２ｂを主として実装される。推定部５０、確認画面生成部５４、結果データ生成部６０、結果管理データ生成部６４は、プロセッサ１２ａを主として実装される。判定部５２は、プロセッサ１２ａ及び記憶部１２ｂを主として実装される。表示制御部５６は、プロセッサ１２ａ及び表示部１２ｄを主として実装される。設定操作受付部５８は、操作部１２ｅを主として実装される。

以上の機能は、コンピュータである不正注文判定装置１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２ａで実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して不正注文判定装置１２に供給されてもよい。

ターゲットデータ受信部４０は、本実施形態では例えば、電子商取引システム１０からターゲットデータを受信する。ここでターゲットデータとは、例えば、図３に例示するターゲット注文データのような、不正注文判定装置１２において推定が行われるデータを指す。

ターゲットデータ送信部４２は、本実施形態では例えば、ターゲットデータ受信部４０が受信するターゲットデータを特徴抽出装置１４に送信する。本実施形態では例えば、特徴抽出装置１４において、ターゲットデータに基づいて、推定の対象である入力データが生成される。例えば上述の例におけるターゲット注文データに対応付けられる特徴ベクトルが、推定の対象である入力データに相当する。

スコア値受信部４４は、本実施形態では例えば、推定の対象である入力データを、当該入力データに係る推定の結果を示す推定結果データの生成に用いられる学習済モデルに入力した際の出力に基づいて決定されるスコア値を受信する。例えば上述の例における、ターゲット注文データに対応付けられる特徴ベクトルを学習済モデルに入力した際の出力に基づいて決定されるスコア値が、スコア値受信部４４が受信するスコア値に相当する。ここでスコア値受信部４４は、上述のように、スコア値決定装置１６から送信されるスコア値を、特徴抽出装置１４を経由して受信してもよい。

評価データ受信部４６は、本実施形態では例えば、１又は複数の入力データのそれぞれについての既知の結果データに基づいて生成される、スコア値の評価データを、評価データ生成装置１８から受信する。ここで既知の結果データは、例えば、上述の例における、不正注文判定装置１２による値の決定、又は、不正注文判定装置１２の操作者による値の設定が行われた結果データに相当する。

評価データ記憶部４８は、本実施形態では例えば、評価データ受信部４６が受信する評価データを記憶する。ここで評価データ記憶部４８に既に評価データが記憶されている際には、評価データ記憶部４８は、記憶されている評価データを評価データ受信部４６が受信する評価データに更新してもよい。

推定部５０は、本実施形態では例えば、推定の対象である入力データを学習済モデルに入力した際の出力に基づいて決定されるスコア値と、評価データと、に基づいて、当該推定の対象である入力データに係る推定の結果を示す推定結果データを生成する。例えば上述の例における、ターゲット注文データに対応付けられるスコア値と、評価データと、に基づいて生成される、図６に例示するターゲット注文データに対応付けられる推定結果データが、推定部５０が生成する推定結果データに相当する。また上述のように評価データが更新された後は、推定部５０は、更新後の評価データに基づいて推定結果データを生成する。

判定部５２は、本実施形態では例えば、ターゲットデータに関する判定を実行する。例えば上述の例では、ホワイトリスト、ブラックリスト、所定のルールなどに基づく、ターゲット注文データに対応付けられる注文が不正なものであるか否かの判定が、判定部５２が実行する判定に相当する。また判定部５２が、ホワイトリスト、ブラックリスト、所定のルールを示すデータを記憶していてもよい。

確認画面生成部５４は、本実施形態では例えば、推定の対象である入力データに係る推定結果データの値に応じた態様で、当該推定の対象を表す情報が配置された確認画面を生成する。例えば上述の例における不正確認画面３０が、確認画面生成部５４が生成する確認画面に相当する。

なお確認画面生成部５４が、判定部５２により判定結果が決定されなかったターゲットデータの識別情報のリストを保持してもよい。そしてターゲットデータの判定結果が決定されなかった際に、判定部５２が、当該ターゲットデータの識別情報を当該リストに追加してもよい。例えば上述の例では、当該リストは注文ＩＤのリストに相当する。そして例えば、ターゲット注文データに対応付けられる注文が不正なものであるか否かが判定されなかった場合は、当該ターゲット注文データの注文ＩＤが当該リストに追加されてもよい。

そして確認画面生成部５４が、保持するリストに含まれる識別情報に基づいて、確認画面を生成してもよい。例えば確認画面生成部５４が、保持するリストに注文ＩＤが含まれる注文データに対応する注文画像３２が配置された不正確認画面３０を生成してもよい。ここで上述のように、確認画面生成部５４が、推定の対象である入力データに係る推定結果データの値に基づいて、複数のレベルのうちから当該推定の対象が属するレベルを決定してもよい。そして確認画面生成部５４が、推定の対象が属するレベルに応じた態様で当該推定の対象を表す情報が配置された画面を生成してもよい。また確認画面生成部５４は、所定の閾値以下であるレベルに属する推定の対象を表す情報については画面に配置されないよう制御してもよい。この場合は、確認画面生成部５４は、所定の閾値以下であるレベルに属する推定の対象を表す情報が配置されていない画面を生成することとなる。

表示制御部５６は、本実施形態では例えば、推定の対象である入力データに係る推定結果データの値に応じた態様で当該推定の対象を表す情報を表示させる。ここで例えば、表示制御部５６が、確認画面生成部５４が生成する不正確認画面３０等の確認画面を表示させてもよい。

設定操作受付部５８は、本実施形態では例えば、ターゲットデータに対応付けられる結果データの値を設定する操作を不正注文判定装置１２の操作者から受け付ける。ここで設定操作受付部５８は、当該操作の受付に応じて、当該ターゲットデータの識別情報を、確認画面生成部５４が保持するリストから削除してもよい。上述の例では例えば、ターゲット注文データに対応付けられる結果データの値を設定する操作に応じて、設定操作受付部５８が当該ターゲット注文データの注文ＩＤを確認画面生成部５４が保持するリストから削除してもよい。

結果データ生成部６０は、本実施形態では例えば、判定部５２により決定された判定結果が示す値、又は、設定操作受付部５８が受け付けた操作に応じた値、が設定された結果データを生成する。なお、設定操作受付部５８が受け付けた操作に基づいて、判定部５２が、ターゲット注文データに対応付けられる注文が不正なものであるか否かを判定してもよい。そして結果データ生成部６０が、判定部５２による当該判定の結果に応じた値が設定された結果データを生成してもよい。

結果データ送信部６２は、本実施形態では例えば、結果データ生成部６０が生成する結果データを電子商取引システム１０に送信する。

結果管理データ生成部６４は、本実施形態では例えば、推定の対象である入力データを学習済モデルに入力した際の出力に基づいて決定されるスコア値と、当該推定の対象についての既知の結果データと、を含む結果管理データを生成する。例えば上述の例における、ターゲット注文データに対応付けられる結果データに基づいて生成される、ターゲット注文データに対応付けられる結果管理データが、結果管理データ生成部６４が生成する結果管理データに相当する。

結果管理データ送信部６６は、本実施形態では例えば、結果管理データ生成部６４が生成する結果管理データを評価データ生成装置１８に送信する。

図１０Ｂは、本実施形態に係るスコア値決定装置１６で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るスコア値決定装置１６で、図１０Ｂに示す機能のすべてが実装される必要はなく、また、図１０Ｂに示す機能以外の機能が実装されていても構わない。

図１０Ｂに示すように、本実施形態に係るスコア値決定装置１６は、機能的には例えば、学習済モデル記憶部７０、入力データ受信部７２、スコア値決定部７４、スコア値送信部７６、学習済モデル監視部７８、学習済モデル取得部８０、学習済モデル更新部８２、を含んでいる。

学習済モデル記憶部７０は、記憶部１６ｂを主として実装される。入力データ受信部７２、スコア値送信部７６、学習済モデル取得部８０は、通信部１６ｃを主として実装される。学習済モデル監視部７８は、プロセッサ１６ａ及び通信部１６ｃを主として実装される。スコア値決定部７４、学習済モデル更新部８２は、プロセッサ１６ａを主として実装される。

以上の機能は、コンピュータであるスコア値決定装置１６にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１６ａで実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してスコア値決定装置１６に供給されてもよい。

学習済モデル記憶部７０は、本実施形態では例えば、推定の対象である入力データに係る推定の結果を示す推定結果データの生成に用いられる学習済モデルを記憶する。学習済モデル記憶部７０は、スコア値の決定に用いられる学習済モデルを記憶してもよい。

入力データ受信部７２は、本実施形態では例えば、入力データを特徴抽出装置１４から受信する。例えば上述の例では、注文データに対応付けられる特徴ベクトルが、入力データ受信部７２が受信する入力データに相当する。

スコア値決定部７４は、本実施形態では例えば、入力データ受信部７２が受信する入力データを、学習済モデル記憶部７０に記憶されている学習済モデルに入力した際の出力に基づいて、当該入力データのスコア値を決定する。

スコア値送信部７６は、本実施形態では例えば、スコア値決定部７４が決定する入力データのスコア値を特徴抽出装置１４に送信する。このスコア値は、例えば、特徴抽出装置１４を経由して、不正注文判定装置１２に送信されることとなる。

学習済モデル監視部７８は、本実施形態では例えば、モデル記憶装置２４に新たな学習済モデルが記憶されたか否かを監視する。

学習済モデル取得部８０は、本実施形態では例えば、モデル記憶装置２４に新たな学習済モデルが記憶されたことを検出した際に、当該新たな学習済モデルをモデル記憶装置２４から取得する。

学習済モデル更新部８２は、本実施形態では例えば、学習済モデル記憶部７０に記憶されている学習済モデルを学習済モデル取得部８０が取得した学習済モデルに更新する。上述のように、学習済モデル更新部８２が学習済モデルを更新した後は、スコア値決定部７４は、更新後の学習済モデルに入力データを入力した際の出力に基づいて、当該入力データのスコア値を決定する。

図１０Ｃは、本実施形態に係る評価データ生成装置１８で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る評価データ生成装置１８で、図１０Ｃに示す機能のすべてが実装される必要はなく、また、図１０Ｃに示す機能以外の機能が実装されていても構わない。

図１０Ｃに示すように、本実施形態に係る評価データ生成装置１８は、機能的には例えば、結果管理データ受信部９０、結果管理データ記憶部９２、結果管理データ送信部９４、評価データ生成部９６、評価データ送信部９８、を含んでいる。

結果管理データ受信部９０、結果管理データ送信部９４、評価データ送信部９８は、通信部１８ｃを主として実装される。結果管理データ記憶部９２は、記憶部１８ｂを主として実装される。評価データ生成部９６は、プロセッサ１８ａを主として実装される。

以上の機能は、コンピュータである評価データ生成装置１８にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１８ａで実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して評価データ生成装置１８に供給されてもよい。

結果管理データ受信部９０は、本実施形態では例えば、結果管理データを不正注文判定装置１２から受信する。

結果管理データ記憶部９２は、本実施形態では例えば、結果管理データ受信部９０が受信する結果管理データを記憶する。

結果管理データ送信部９４は、本実施形態では例えば、結果管理データ受信部９０が受信する結果管理データを、学習データ管理装置２０に送信する。

評価データ生成部９６は、本実施形態では例えば、学習済モデル記憶部７０に記憶されている学習済モデルの学習のために入力されていない１又は複数の入力データのそれぞれについての既知の結果データに基づいて、スコア値の評価データを生成する。このことは、学習済モデルの学習のために入力されていない１又は複数の入力データ及び既に入力された１又は複数の入力データのそれぞれについての既知の結果データに基づいて評価データが生成されても、学習済モデルの学習のために入力されていない１又は複数の入力データのみのそれぞれについての既知の結果データに基づいて、評価データが生成されてもよいことを意味する。ここで評価データ生成部９６が、結果管理データ記憶部９２が記憶する結果管理データに基づいて、評価データを生成してもよい。

また図５に示すように、評価データ生成部９６が、スコア値毎に、当該スコア値の評価データを生成してもよい。この場合、推定部５０が、推定の対象である入力データを学習済モデルに入力した際の出力に基づいて決定されるスコア値と、当該スコア値の評価データと、に基づいて、当該推定の対象である入力データに係る推定結果データを生成してもよい。

また上述のように、評価データ生成部９６が、推定の対象である入力データを学習済モデルに入力した際の出力に基づくスコア値の決定に応じて、当該スコア値の評価データを生成してもよい。この場合、推定部５０が、スコア値の決定に応じて生成される当該スコア値の評価データに基づいて、推定の対象である入力データに係る推定結果データを生成してもよい。

また評価データ生成部９６は、スコア値の評価データとして、当該スコア値が決定される１又は複数の入力データのそれぞれに対応付けられる結果データの代表値を示すデータを生成してもよい。例えば上述のように、スコアデータの値が特定のスコア値であり結果データの値が１である結果管理データの数を、スコアデータの値が当該スコア値である結果管理データの総数で割った値が算出されてもよい。そしてこのようにして算出された値が、当該スコア値が決定される１又は複数の入力データのそれぞれに対応付けられる結果データの代表値として示された、当該スコア値の評価データが生成されてもよい。

また評価データ生成部９６が、上述の第１範囲〜第５範囲を示す評価データを生成してもよい。また評価データ生成部９６が、上述の第１閾値〜第４閾値を示す評価データを生成してもよい。

評価データ送信部９８は、本実施形態では例えば、評価データ生成部９６が生成する評価データを不正注文判定装置１２に送信する。

以下、本実施形態に係る不正注文判定システム１における、不正注文判定装置１２によるターゲット注文データの受信に応じて実行される処理の流れの一例を、図１１Ａ、図１１Ｂ、及び、図１１Ｃに示すフロー図を参照しながら説明する。

まず不正注文判定装置１２のターゲットデータ受信部４０が、電子商取引システム１０からターゲット注文データを受信する（Ｓ１０１）。

そして不正注文判定装置１２のターゲットデータ送信部４２が、Ｓ１０１に示す処理で受信したターゲット注文データを特徴抽出装置１４に送信する。そして特徴抽出装置１４が当該ターゲット注文データを受信する（Ｓ１０２）。

そして特徴抽出装置１４が、Ｓ１０２に示す処理で受信したターゲット注文データに基づいて、当該ターゲット注文データに対応付けられる特徴ベクトルを生成する（Ｓ１０３）。

そして特徴抽出装置１４が、Ｓ１０３に示す処理で生成された特徴ベクトルを、Ｓ１０２に示す処理で受信したターゲット注文データの注文ＩＤに関連付けて、スコア値決定装置１６に送信する。そしてスコア値決定装置１６の入力データ受信部７２が、当該特徴ベクトルを受信する（Ｓ１０４）。

また特徴抽出装置１４は、Ｓ１０３に示す処理で生成された特徴ベクトルを、Ｓ１０２に示す処理で受信したターゲット注文データの注文ＩＤに関連付けて、学習データ管理装置２０にも送信する。そして学習データ管理装置２０は、当該特徴ベクトルを受信する（Ｓ１０５）。

そしてスコア値決定装置１６のスコア値決定部７４が、学習済モデル記憶部７０に記憶されている学習済モデルにＳ１０４に示す処理で受信した特徴ベクトルを入力した際の出力に基づいて、スコア値を決定する（Ｓ１０６）。

そしてスコア値決定装置１６のスコア値送信部７６が、Ｓ１０５に示す処理で決定されたスコア値を、Ｓ１０４に示す処理で受信した特徴ベクトルに関連付けられている注文ＩＤに関連付けて特徴抽出装置１４に送信する。そして特徴抽出装置１４が、当該スコア値を受信する（Ｓ１０７）。

そして特徴抽出装置１４は、Ｓ１０７に示す処理で受信した、注文ＩＤに関連付けられているスコア値を、不正注文判定装置１２に送信する。そして不正注文判定装置１２が、当該スコア値を受信する（Ｓ１０８）。

そして不正注文判定装置１２の推定部５０が、Ｓ１０８に示す処理で受信したスコア値と、評価データ記憶部４８に記憶されている評価データと、に基づいて、ターゲット注文データに対応付けられる推定結果データを生成する（Ｓ１０９）。

そして不正注文判定装置１２の判定部５２が、Ｓ１０１に示す処理で受信したターゲット注文データの所定の属性の値が、不正注文判定装置１２の判定部５２に記憶されているホワイトリストに含まれているか否かを判定する（Ｓ１１０）。

含まれていると判定された場合は（Ｓ１１０：Ｙ）、結果データ生成部６０は、値として０が設定された結果データを生成する（Ｓ１１１）。

一方含まれていないと判定された場合は（Ｓ１１０：Ｎ）、判定部５２は、Ｓ１０１に示す処理で受信したターゲット注文データの所定の属性が、不正注文判定装置１２の判定部５２に記憶されているブラックリストに含まれているか否かを判定する（Ｓ１１２）。

含まれていると判定された場合は（Ｓ１１２：Ｙ）、結果データ生成部６０は、値として１が設定された結果データを生成する（Ｓ１１３）。

一方含まれていないと判定された場合は（Ｓ１１２：Ｎ）、判定部５２は、Ｓ１０１に示す処理で受信したターゲット注文データが、所定の不正注文に関するルールに合致するか否かを判定する（Ｓ１１４）。

合致すると判定された場合は（Ｓ１１４：Ｙ）、結果データ生成部６０は、値として１が設定された結果データを生成する（Ｓ１１５）。

合致しないと判定された場合は（Ｓ１１５：Ｎ）、判定部５２は、Ｓ１０１に示す処理で受信したターゲット注文データの注文ＩＤを、確認画面生成部５４が保持するリストに追加する（Ｓ１１６）。

その後、設定操作受付部５８によるターゲットデータに対応付けられる結果データの値を設定する操作の受付に応じて、結果データ生成部６０は、設定操作受付部５８が受け付けた操作に応じた値が設定された結果データを生成する（Ｓ１１７）。また設定操作受付部５８は、確認画面生成部５４が保持するリストからＳ１１６に示す処理で追加された注文ＩＤを削除する（Ｓ１１８）。

そしてＳ１１１、Ｓ１１３、Ｓ１１５、又はＳ１１８に示す処理が終了したら、結果データ送信部６２が、Ｓ１０１に示す処理で受信したターゲット注文データの注文ＩＤに関連付けて、生成された結果データを、電子商取引システム１０に送信する（Ｓ１１９）。

そして結果管理データ生成部６４が、Ｓ１０７に示す処理で受信したスコア値と、Ｓ１１１、Ｓ１１３、Ｓ１１５、又はＳ１１８に示す処理で生成された結果データと、に基づいて、結果管理データを生成する（Ｓ１２０）。

そして結果管理データ送信部６６が、Ｓ１２０に示す処理で生成された結果管理データを評価データ生成装置１８に送信する。そして評価データ生成装置１８の結果管理データ受信部９０が、当該結果管理データを受信する（Ｓ１２１）。そして結果管理データ受信部９０は、受信した結果管理データを結果管理データ記憶部９２に記憶させる（Ｓ１２２）。

そして評価データ生成装置１８の結果管理データ送信部９４が、Ｓ１２２に示す処理で受信した結果管理データを学習データ管理装置に送信する。そして学習データ管理装置２０が当該結果管理データを受信する（Ｓ１２３）。

そして学習データ管理装置２０が、Ｓ１０５に示す処理で受信した特徴ベクトルと、Ｓ１２３に示す処理で受信した結果管理データと、に基づいて、学習データを生成して、記憶する（Ｓ１２４）。そして本処理例に示す処理は終了される。

以下、本実施形態に係る不正注文判定装置１２における、不正確認画面３０の生成及び表示に関する処理の流れの一例を、図１２に示すフロー図を参照しながら説明する。

まず不正注文判定装置１２の操作者の要求に応じて、確認画面生成部５４は、保持しているリストに含まれる１又は複数の注文ＩＤを特定する（Ｓ２０１）。

そして確認画面生成部５４は、Ｓ２０１に示す処理で特定された１又は複数の注文ＩＤのうちから、以下のＳ２０３及びＳ２０４に示す処理が実行されていない１つを選択する（Ｓ２０２）。

そして確認画面生成部５４は、Ｓ２０２に示す処理で選択された注文ＩＤに対応付けられる推定結果データを取得する（Ｓ２０３）。

そして確認画面生成部５４は、Ｓ２０３に示す処理で取得された推定結果データに含まれる不正レベルデータの値に基づいて、当該推定結果データに対応付けられる注文データが属するレベルを決定する（Ｓ２０４）。

そして確認画面生成部５４は、Ｓ２０１に示す処理で特定された１又は複数の注文ＩＤのうち、Ｓ２０２に示す処理で未選択であるものがあるか否かを確認する（Ｓ２０５）。

未選択であるものがある場合は（Ｓ２０５：Ｙ）、Ｓ２０２に示す処理に戻る。

未選択であるものがない場合は（Ｓ２０５：Ｎ）、確認画面生成部５４は、Ｓ２０１に示す処理で特定された１又は複数の注文ＩＤのそれぞれに対応付けられる注文画像３２が配置された不正確認画面３０を生成する（Ｓ２０６）。ここで注文ＩＤに対応付けられる注文画像３２には、当該注文ＩＤ及びＳ２０３に示す処理で取得された推定結果データに含まれる不正レベルデータの値が配置される。また当該注文画像３２には、Ｓ２０４に示す処理で決定されたレベルに応じた色や階調値の要確認度画像３４も配置される。

そして表示制御部５６が、Ｓ２０６に示す処理で生成された不正確認画面３０を表示部１２ｄに表示させて（Ｓ２０７）、本処理例に示す処理は終了される。

なおＳ２０６に示す処理において、確認画面生成部５４が、Ｓ２０１に示す処理で特定された１又は複数の注文ＩＤのうちから、Ｓ２０４に示す処理で決定されたレベルの値が所定の閾値以下である注文データの注文ＩＤを除外してもよい。そして確認画面生成部５４が、除外後の注文ＩＤのそれぞれに対応付けられる注文画像３２が配置された不正確認画面３０を生成してもよい。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、不正注文判定装置１２、特徴抽出装置１４、スコア値決定装置１６、評価データ生成装置１８、学習データ管理装置２０、モデル生成装置２２、モデル記憶装置２４で実装されている機能のうちの一部又は全部が、１の装置で実装されてもよい。また不正注文判定装置１２、特徴抽出装置１４、スコア値決定装置１６、評価データ生成装置１８、学習データ管理装置２０、モデル生成装置２２、又は、モデル記憶装置２４で実装されている機能が複数の装置で実装されてもよい。

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (8)

1. 推定の対象である入力データに係る推定の結果を示す推定結果データの生成に用いられる学習済モデルの学習のために入力されていない１又は複数の入力データのそれぞれについて、当該入力データを前記学習済モデルに入力した際の出力に基づいて、当該入力データのスコア値を決定するスコア値決定手段と、
   前記１又は複数の入力データのそれぞれについての既知の結果データに基づいて、前記スコア値の評価データを生成する評価データ生成手段と、
   前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、前記評価データと、に基づいて、当該推定の対象である入力データに係る前記推定の結果を示す推定結果データを生成する推定手段と、
   を含むことを特徴とする推定システム。
2. 前記評価データ生成手段は、前記スコア値毎に、当該スコア値の評価データを生成し、
   前記推定手段は、前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、当該スコア値の評価データと、に基づいて、当該推定の対象である入力データに係る前記推定結果データを生成する、
   ことを特徴とする請求項１に記載の推定システム。
3. 前記評価データ生成手段は、前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づくスコア値の決定に応じて、当該スコア値の評価データを生成し、
   前記推定手段は、前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、当該スコア値の決定に応じて生成される当該スコア値の評価データと、に基づいて、当該推定の対象である入力データに係る前記推定結果データを生成する、
   ことを特徴とする請求項１に記載の推定システム。
4. 前記評価データ生成手段は、前記スコア値の評価データとして、当該スコア値が決定される前記１又は複数の入力データのそれぞれに対応付けられる前記結果データの代表値を示すデータを生成し、
   前記推定手段は、推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、当該スコア値の評価データが示す代表値と、に基づいて、当該推定の対象である入力データに係る前記推定結果データを生成する、
   ことを特徴とする請求項１から３のいずれか一項に記載の推定システム。
5. 前記推定の対象である入力データに係る前記推定結果データの値に応じた態様で、当該推定の対象を表す情報を表示させる表示制御部、をさらに含む、
   ことを特徴とする請求項１から４のいずれか一項に記載の推定システム。
6. 前記表示制御部は、前記推定の対象である入力データに係る前記推定結果データの値に基づいて複数のレベルのうちから決定される当該推定の対象が属するレベルに応じた態様で当該推定の対象を表す情報を表示させる、
   ことを特徴とする請求項５に記載の推定システム。
7. 推定の対象である入力データに係る推定の結果を示す推定結果データの生成に用いられる学習済モデルの学習のために入力されていない１又は複数の入力データのそれぞれについて、当該入力データを前記学習済モデルに入力した際の出力に基づいて、当該入力データのスコア値を決定するステップと、
   前記１又は複数の入力データのそれぞれについての既知の結果データに基づいて、前記スコア値の評価データを生成するステップと、
   前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、前記評価データと、に基づいて、当該推定の対象である入力データに係る前記推定の結果を示す推定結果データを生成するステップと、
   を含むことを特徴とする推定方法。
8. 推定の対象である入力データに係る推定の結果を示す推定結果データの生成に用いられる学習済モデルの学習のために入力されていない１又は複数の入力データのそれぞれについて、当該入力データを前記学習済モデルに入力した際の出力に基づいて、当該入力データのスコア値を決定する手順、
   前記１又は複数の入力データのそれぞれについての既知の結果データに基づいて、前記スコア値の評価データを生成する手順、
   前記推定の対象である入力データを前記学習済モデルに入力した際の出力に基づいて決定されるスコア値と、前記評価データと、に基づいて、当該推定の対象である入力データに係る前記推定の結果を示す推定結果データを生成する手順、
   をコンピュータに実行させることを特徴とするプログラム。

Images