TWI827086B - 學習模型評價系統、學習模型評價方法及程式產品 - Google Patents

Abstract

學習模型評價系統(S)之已認證資訊獲取部(101)獲取從可利用特定服務之使用者終端(20)執行了特定認證之已認證使用者之行動相關之已認證資訊。輸出獲取部(104)基於已認證資訊，獲取來自用於偵測服務中之違規之學習模型之輸出。評價部(105)基於與已認證資訊對應之輸出，評價學習模型之精度。

Description

學習模型評價系統、學習模型評價方法及程式產品

本發明係關於一種學習模型評價系統、學習模型評價方法及程式產品。

先前，已知有偵測利用特定服務之使用者之違規之技術。例如，專利文獻1中記載有一種系統，其藉由利用監督式學習之學習模型學習以使用者之行動相關之特徵量為輸入且以該行動是否違規為輸出之訓練資料，而作成用於偵測服務中之違規之學習模型。

[先前技術文獻] [專利文獻]

[專利文獻1]國際公開第2019/049210號公報

然而，由於服務中之使用者之行動每天都在變化，故而若學習模型不學習最近之傾向，則存在如專利文獻1之學習模型之精度逐漸下降之情況。例如，當學習模型之違規偵測之精度下降時，即便實為違規行動，仍 有可能會被推定為正當。相反，即便實為正當行動，仍有可能會被推定為違規。因此，重要的是要準確地評價學習模型之違規偵測之精度。

本發明之目的之一在於，準確地評價用於偵測服務中之違規之學習模型之精度。

本發明之一態樣之學習模型評價系統包含：已認證資訊獲取部，其獲取從可利用特定服務之使用者終端執行了特定認證之已認證使用者之行動相關之已認證資訊；輸出獲取部，其基於上述已認證資訊，獲取來自用於偵測上述服務中之違規之學習模型之輸出；及評價部，其基於與上述已認證資訊對應之上述輸出，評價上述學習模型之精度。

根據本發明，能夠準確地評價用於偵測服務中之違規之學習模型之精度。

10:伺服器

11:控制部

12:記憶部

13:通訊部

20:使用者終端

21:控制部

22:記憶部

23:通訊部

23A:NFC部

24:操作部

25:顯示部

26:攝影部

27:IC晶片

30:經營者伺服器

31:控制部

32:記憶部

33:通訊部

40:發行者伺服器

41:控制部

42:記憶部

43:通訊部

100:資料記憶部

101:已認證資訊獲取部

102:作成部

103:違規偵測部

104:輸出獲取部

105:評價部

200:資料記憶部

201:顯示控制部

202:受理部

300:資料記憶部

301:已認證資訊獲取部

302:作成部

303:違規偵測部

304:比較部

305:未認證資訊獲取部

306:確定資訊獲取部

307:輸出獲取部

308:評價部

309:處理執行部

B11:按鈕

B20:按鈕

B30:按鈕

B31:按鈕

B50:按鈕

B51:按鈕

B52:按鈕

B91:按鈕

B92:按鈕

B101:按鈕

B102:按鈕

B103:按鈕

B131:按鈕

B132:按鈕

C1:卡

C2:卡

C90:碼

Cp:IC晶片

DB1:使用者資料庫

DB2:訓練資料庫

F10:輸入表格

F100:輸入表格

F110:輸入表格

G1:登記畫面

G2:完成畫面

G3:頂部畫面

G4:服務之利用畫面

G5:開始畫面

G6:讀取畫面

G7:成功畫面

G8:失敗畫面

G9:頂部畫面

G10:登記畫面

G11:認證畫面

G12:完成畫面

G13:選擇畫面

G14:讀取畫面

G15:成功畫面

G16:失敗畫面

L130:清單

M:學習模型

N:網路

S:違規偵測系統

圖1係表示違規偵測系統之整體構成之一例之圖。

圖2係表示利用登記之流程之一例之圖。

圖3係表示持有認證之流程之一例之圖。

圖4係表示以NFC部讀取卡之IC晶片之情況之一例之圖。

圖5係表示學習模型之一例之圖。

圖6係表示由第1實施方式之違規偵測系統實現之功能之一例的功能方塊圖。

圖7係表示使用者資料庫之資料儲存例之圖。

圖8係表示訓練資料庫之資料儲存例之圖。

圖9係表示第1實施方式中所執行之處理之一例之流程圖。

圖10係表示第2實施方式之概要之圖。

圖11係表示由第2實施方式之違規偵測系統實現之功能之一例的功能方塊圖。

圖12係表示第2實施方式中所執行之處理之一例之流程圖。

圖13係表示變化例1-1之違規偵測系統之整體構成之一例的圖。

圖14係表示變化例1-1之使用者終端所顯示之畫面之一例的圖。

圖15係表示於卡之登記後增加上限額之流程之一例的圖。

圖16係表示以NFC部讀取卡之IC晶片之情況之一例的圖。

圖17係第1實施方式之變化例中之功能方塊圖。

圖18係表示使用者資料庫之資料儲存例之圖。

圖19係第2實施方式之變化例中之功能方塊圖。

[1.第1實施方式]

以下，對作為本發明之學習模型作成系統之實施方式之一例的第1實施方式進行說明。第1實施方式中，舉出將學習模型作成系統應用於違規偵測系統之情形為例。因此，第1實施方式中記為違規偵測系統之部分可改稱為學習模型作成系統。亦可為學習模型作成系統進行學習模型之作 成，違規偵測本身由其他系統執行。即，學習模型作成系統亦可不包含違規偵測系統中之違規偵測之功能。

[1-1.違規偵測系統之整體構成]

圖1係表示違規偵測系統之整體構成之一例之圖。如圖1所示，違規偵測系統S包含伺服器10及使用者終端20。伺服器10及使用者終端20之各者能夠連接於網際網路等網路N。違規偵測系統S包含至少1個電腦即可，不限於圖1之例。例如，伺服器10可存在複數台。使用者終端20可僅為1台，亦可存在3台以上。

伺服器10係伺服器電腦。伺服器10包含控制部11、記憶部12、及通訊部13。控制部11包含至少1個處理器。記憶部12包含RAM(Random Access Memory，隨機存取記憶體)等揮發性記憶體及硬碟等非揮發性記憶體。通訊部13包含有線通訊用之通訊介面與無線通訊用之通訊介面之至少一者。

使用者終端20係使用者之電腦。例如，使用者終端20係智慧型手機、平板終端、可穿戴終端、或個人電腦。使用者終端20包含控制部21、記憶部22、通訊部23、操作部24、顯示部25、攝影部26、及IC(Integrated Circuit，積體電路)晶片27。控制部21及記憶部22之物理構成分別與控制部11及記憶部12相同。

通訊部23之物理構成可與通訊部13相同，但第1實施方式之通訊部23 進而包含NFC(Near field communication，近場通訊)部23A。NFC部23A包含NFC用之通訊介面。NFC本身可利用多種規格，例如可利用ISO(International Organization for Standardization，國際標準組織)/IEC(International Electro technical Commission，國際電工委員會)18092或ISO/IEC21481等國際標準規格。NFC部23A包含符合規格之天線等硬體，例如實現讀取/寫入功能、點對點功能、卡模擬功能、無線充電功能、或其等之組合。

操作部24係觸控面板等輸入器件。顯示部25係液晶顯示器或有機EL(Electroluminescence，電致發光)顯示器。攝影部26包含至少1台相機。IC晶片27係對應NFC之晶片。IC晶片27可為任意規格之晶片，例如為FeliCa(註冊商標)之晶片、或非接觸型規格中之所謂的TypeA或TypeB之晶片。IC晶片27包含符合規格之天線等硬體，例如記憶使用者所利用之服務所需之資訊。

再者，記憶於記憶部12、22之程式及資料之至少一者可經由網路N而供給。又，伺服器10及使用者終端20之至少一者可包含對電腦可讀取之資訊記憶媒體進行讀取之讀取部(例如，光碟機或記憶卡插槽)與用於和外部機器進行資料輸入輸出之輸入輸出部(例如，USB(Universal Serial Bus，通用序列匯流排)端口)之至少一者。例如，記憶於資訊記憶媒體之程式及資料之至少一者可經由讀取部及輸入輸出部之至少一者而供給。

[1-2.第1實施方式之概要]

違規偵測系統S偵測提供給使用者之服務中之違規。所謂違規係違法行為、違反服務利用條款之行為、或其他滋擾行為。本實施方式中，舉出以他人之使用者ID及密碼登入而冒充他人利用服務之行為相當於違規之情形為例。因此，對該行為進行說明之部分可改稱為違規。違規偵測系統S能夠偵測各種違規。其他違規之例以下述之變化例進行說明。

所謂偵測違規，係推定或判定有無違規。例如，輸出表示是否違規之資訊或輸出表示違規嫌疑大小之得分，相當於偵測違規。例如於得分以數值來表現之情形時，得分越高，違規之嫌疑越大。得分除了以數值表現以外，亦可以S等級、A等級、B等級等文字等來表現。得分亦可稱為違規之概率或可能性。

第1實施方式中，作為服務之一例，例舉行政機關等政府機關所提供之行政服務。其他服務之例以變化例進行說明。第1實施方式中，將行政服務簡記為服務。第1實施方式中，對伺服器10進行服務之提供與違規之偵測之兩者之情形進行說明，但亦可由伺服器10以外之電腦提供服務。使用者終端20中，安裝有政府機關之應用程式(以下，簡稱為應用)。使用者於初次利用服務之情形時，為了發行登入服務所需之使用者ID而進行服務之利用登記。

圖2係表示利用登記之流程之一例之圖。如圖2所示，當使用者啟動使用者終端20之應用時，供輸入利用登記所需之資訊之登記畫面G1顯示於顯示部25。例如，使用者於輸入表格F10中輸入所期望之使用者ID、密 碼、姓名、住所、電話號碼、及使用者之個人編號等資訊。使用者ID係於服務中能夠唯一識別使用者之資訊。個人編號係政府機關所發行之個人編號卡中記載之可識別個人之資訊。第1實施方式中，將個人編號卡簡記為卡。

當使用者選擇按鈕B11時，輸入至輸入表格F10之資訊被發送至伺服器10，表示利用登記完成之完成畫面G2顯示於顯示部25。利用登記完成後，使用者便可從應用中利用服務。例如，當使用者選擇按鈕B20時，應用之頂部畫面G3顯示於顯示部25。例如，頂部畫面G3中顯示可從應用中利用之服務之一覽。例如，當使用者選擇按鈕B30時，供利用證書之申請或窗口之預約等服務之利用畫面G4顯示於顯示部25。

第三者有時會利用網釣(phishing)等而違規獲取使用者ID及密碼。於此情形時，存在第三者冒充他人登入服務並違規利用服務之可能性。對此，第1實施方式中，為了抑制第三者之違規利用，而執行利用卡之持有認證。持有認證係利用僅正當人員所持有之持有物之認證。持有物不限於卡，可為任意物品。例如，持有物亦可為資訊記憶媒體或紙張。持有物不限於有體物，亦可為如電子資料之無體物。

是否執行持有認證，全憑使用者自願。使用者亦可不執行持有認證便利用服務。但，於未執行持有認證之狀態下，使用者可利用之服務會受到限制。若使用者從自身之使用者終端20執行持有認證，能夠從該使用者終端20利用之服務種類便會增加。但，即便以已執行持有認證之使用者之 使用者ID從其他使用者終端20登入，只要該其他使用者終端20未執行持有認證，能夠從該其他使用者終端20利用之服務亦會受到限制。

圖3係表示持有認證之流程之一例之圖。當選擇圖2之頂部畫面G3之按鈕B31時，便會如圖3所示，用於開始持有認證之開始畫面G5顯示於顯示部25。第1實施方式中，作為持有認證，準備了利用NFC之NFC認證及利用圖像之圖像認證兩種。NFC認證係藉由以NFC部23A讀取卡之IC晶片中記錄之資訊而執行之持有認證。圖像認證係藉由以攝影部26拍攝卡而執行之持有認證。以下，當不對NFC認證與圖像認證加以區分時，簡記為持有認證。

圖3中，示出NFC認證之流程。當使用者選擇開始畫面G5之按鈕B50，NFC部23A便會啟動，用於以NFC部23A讀取卡之IC晶片中記錄之資訊之讀取畫面G6顯示於顯示部25。再者，可於利用登記時執行持有認證，於此情形時，可於利用登記時顯示讀取畫面G6。一旦顯示讀取畫面G6，使用者便讓使用者終端20靠近自身所持有之卡。

圖4係表示以NFC部23A讀取卡之IC晶片之情況之一例的圖。圖4之卡C1係為了說明第1實施方式而準備之虛構卡。如圖4所示，當使用者讓使用者終端20靠近卡C1之IC晶片cp，NFC部23A便會讀取IC晶片cp中記錄之資訊。NFC部23A能夠讀取IC晶片cp內之任意資訊。第1實施方式中，對NFC部23A讀取IC晶片cp中記錄之個人編號之情形進行說明。

使用者終端20對伺服器10發送從IC晶片cp讀取之個人編號。由於該個人編號被從使用者終端20輸入至伺服器10，以下將該個人編號記為輸入個人編號。第1實施方式中之輸入係指對伺服器10發送某些資料。伺服器10中，預先於利用登記時便已登記有正確之個人編號。以下，將該個人編號記為登記個人編號。再者，存在以下情況：當不對輸入個人編號與登記個人編號特別加以區分時，簡記為個人編號。

伺服器10從使用者終端20接收輸入個人編號。當使用者為卡C1之正當持有者時，則輸入個人編號與登入中之使用者之登記個人編號一致。於輸入個人編號與登入中之使用者之登記個人編號一致之情形時，如圖3所示，表示持有認證成功之成功畫面G7顯示於顯示部25。如成功畫面G7所示，能夠從使持有認證成功之使用者終端20利用之服務增加。

另一方面，於輸入個人編號與登入中之使用者之登記個人編號不一致之情形時，表示持有認證失敗之失敗畫面G8顯示於顯示部25。於此情形時，能夠從使用者終端20利用之服務仍受限制。使用者返回讀取畫面G6再次執行卡C1之讀取，或諮詢客服中心。若第三者違規登入，則手邊沒有卡C1，無法使持有認證成功，因此，第三者能夠從使用者終端20利用之服務受到限制。

圖像認證亦以同樣之流程執行。相對於NFC認證中利用NFC部23A來獲取輸入個人編號，圖像認證中係利用拍攝卡C1所得之拍攝圖像來獲取輸入個人編號。例如，當使用者選擇開始畫面G5之按鈕B51時，攝影部26 便會啟動。攝影部26拍攝卡C1。使用者終端20對伺服器10發送拍攝圖像。伺服器10一接收到拍攝圖像，便會對拍攝圖像執行光學文字識別來獲取輸入個人編號。獲取到輸入個人編號之後之流程與NFC認證同樣。

再者，光學文字識別可由使用者終端20來執行。又，從拍攝圖像獲取輸入個人編號之方法不限於光學文字識別。該方法本身可利用公知之各種方法。例如，於包含輸入個人編號之碼(例如，條碼或二維碼)形成於卡C1之情形時，可利用拍攝圖像中所拍到之碼來獲取輸入個人編號。從碼中獲取輸入個人編號之處理可由伺服器10執行，亦可由使用者終端20來執行。

如上所述，第1實施方式中，能夠從使持有認證成功之使用者終端20利用之服務多於能夠從未使持有認證成功之使用者終端20利用之服務。第三者即便違規地獲取使用者ID及密碼並違規登入，亦無法在不持有卡C1之情況下使持有認證成功，因此可利用之服務受到限制。因此，抑制了第三者對服務之違規利用，而使服務中之安全性提高。

但，即便抑制第三者對服務之違規利用，但有時第三者仍能在較少種類中違規利用服務。例如於圖2之例時，第三者有時會冒充他人來申請證書或預約窗口。對此，第1實施方式中係利用用於偵測服務中之違規之學習模型來偵測第三者之違規。

學習模型係利用機械學習之模型。機械學習有時亦被稱為人工智 能。機械學習本身可利用公知之各種方法，例如可利用神經網路。在廣義之意義上，深層學習或強化學習亦被歸類為機械學習，因此學習模型亦可為利用深層學習或強化學習而作成之模型。學習模型可為利用機械學習之規則或決策樹之模型。本實施方式中，例舉監督式學習，但亦可為無監督式學習或半監督式學習。

第1實施方式之學習模型不僅能偵測以他人之使用者ID違規登入之第三者之違規，還能偵測以自身之使用者ID登入之使用者之違規。例如亦存在以下情況：使用者以自身之使用者ID登入服務，出於惡作劇之目的而大量申請證書，或預約窗口又擅自取消。只要進行此種違規行為之使用者之行動具有一定之傾向，學習模型便會藉由學習該傾向而偵測違規。

圖5係表示學習模型之一例之圖。如圖5所示，第1實施方式中，例舉利用監督式學習之學習模型M。監督式學習中，定義對學習模型M之輸入與欲從學習模型M獲取之理想輸出之關係之訓練資料被學習模型M學習。關於第1實施方式之學習模型M，對輸出表示為違規之第1值、或表示為正當之第2值之情形進行說明，但亦可輸出表示違規嫌疑之得分。於輸出得分之情形時，以下述之變化例進行說明。第1實施方式之學習模型M對是否違規進行分類。即，學習模型M進行是否違規之標記。

訓練資料多數情況下由學習模型M之作成者手動作成。若想要提高學習模型M之精度，則必須準備多個訓練資料。管理者手動作成該全部訓練資料非常費事。例如，管理者必須判斷服務中之各行動是否正當或違 規，並作成訓練資料。

就此點而言，已執行持有認證之使用者因持有執行持有認證所需之實體卡，故不違規之概率非常高。違規之使用者即便能夠藉由網釣等違規地獲取使用者ID及密碼，亦無法盜取實體卡，在不執行持有認證之情況下利用服務之概率非常高。即便違規之使用者盜取實體卡，當已執行持有認證之使用者違規時，能夠簡單地指定誰違規，因此違規之使用者為了隱藏身分，而在不執行持有認證之情況下利用服務之概率非常高。例如，違規之使用者有時會將非自身之個人編號之編號作為個人編號輸入並完成利用登記。於按如圖2及圖3之流程提供服務之情形時，即便輸入非自己之個人編號之編號，所能利用之服務亦受限制。

對此，第1實施方式中，將已執行持有認證之使用者之行動視為正當，並作成訓練資料。以下，將已執行持有認證之使用者記為已認證使用者。如圖5所示，第1實施方式之訓練資料係基於已認證使用者之行動而作成。圖5之例中，訓練資料包含包括場所資訊、日期時間資訊、及利用資訊之輸入部分、及表示為正當之輸出部分。

場所資訊表示使用者終端20之場所。場所可由任意之資訊表示，例如由緯度經度、住所、行動基站資訊、無線LAN(Local Area Network，區域網路)之存取點資訊、或IP位址表示。場所資訊可為距平常利用服務之中心地之距離。中心地可為由某使用者ID利用之場所之平均值，亦可為由某使用者終端20利用之場所之平均值。日期時間資訊表示服務之利用日 期時間。利用資訊表示如何利用服務。利用資訊亦可稱為服務之利用歷程。例如，利用資訊表示所利用之服務之種類、利用內容、使用者之操作、或其等之組合。

例如，伺服器10利用已學習之學習模型M，偵測正在登入服務中之使用者之違規。以下，將成為違規偵測對象之使用者記為對象使用者。學習模型M中，被輸入有包含對象使用者之場所資訊、日期時間資訊、及利用資訊之對象資訊。學習模型M基於對象資訊，輸出是否違規之推定結果。若來自學習模型M之輸出表示違規，則限制對於對象使用者之服務提供。若從學習模型M之輸出表示正當，則對於對象使用者之服務提供不受限制。

如上所述，第1實施方式之違規偵測系統S基於不違規之概率非常高之已認證使用者之已認證資訊，作成使利用監督式學習之學習模型M學習之訓練資料。藉此，學習模型M之作成者省去了手動作成訓練資料等工夫，而使學習模型M之作成簡化。以下，對第1實施方式之詳情進行說明。

[1-3.第1實施方式中實現之功能]

圖6係表示由第1實施方式之違規偵測系統S實現之功能之一例的功能方塊圖。此處，對由伺服器10及使用者終端20之各者實現之功能進行說明。

[1-3-1.伺服器中實現之功能]

如圖6所示，伺服器10中，實現資料記憶部100、已認證資訊獲取部101、作成部102、及違規偵測部103。資料記憶部100主要實現記憶部12。已認證資訊獲取部101、作成部102、及違規偵測部103之各者主要實現控制部11。

[資料記憶部]

資料記憶部100記憶為作成學習模型M所需之資料。例如，資料記憶部100記憶使用者資料庫DB1、訓練資料庫DB2、及學習模型M。

圖7係表示使用者資料庫DB1之資料儲存例之圖。如圖7所示，使用者資料庫DB1係儲存有利用登記完成之使用者之相關資訊之資料庫。例如，使用者資料庫DB1中，儲存有使用者ID、密碼、姓名、住所、電話號碼、登記個人編號、終端ID、持有認證旗標、服務之利用設定、場所資訊、日期時間資訊、及利用資訊。

例如，當使用者進行利用登記時，於使用者資料庫DB1中作成新記錄。該記錄中，儲存有利用登記時所指定之使用者ID、密碼、姓名、住所、電話號碼、及登記個人編號。第1實施方式中，登記個人編號於利用登記後無法變更。因此，第三者即便違規登入，亦無法隨意變更登記個人編號。於利用登記時，由於不進行個人編號之確認，故違規之使用者有時將非自身之個人編號之編號作為個人編號輸入而完成利用登記。

終端ID係能夠識別使用者終端20之資訊。第1實施方式中，對伺服器10發行終端ID之情形進行說明。終端ID係基於特定之規則而發行。伺服器10以不與其他終端ID重複之方式發行終端ID。終端ID可設定有效期限。終端ID能夠於任意之時點發行。例如，於應用啟動之時點、對終端ID設定之有效期限到期之時點、或進行用於更新終端ID之操作之時點發行終端ID。

再者，使用者終端20能夠藉由終端ID以外之任意資訊來識別。例如，除終端ID以外，亦可藉由IP位址、儲存於Cookie之資訊、儲存於SIM(Subscriber Identity Module，用戶識別模組)卡之ID、儲存於IC晶片27之ID、或使用者終端20之個體識別資訊來識別使用者終端20。只要將能夠識別某些使用者終端20之資訊儲存於使用者資料庫DB1即可。

與使用者ID建立關聯之終端ID係有時用該使用者ID登入之使用者終端20之終端ID。因此，若某使用者ID之正當持有者即使用者從新的使用者終端20登入，則該使用者終端20之終端ID便會與該使用者ID建立關聯。於第三者用該使用者ID違規登入之情形時，第三者之使用者終端20之終端ID亦與該使用者ID建立關聯。

對於終端ID，關聯有持有認證旗標、利用設定、時間資訊、場所資訊、日期時間資訊、及利用資訊。第1實施方式中，以使用者ID及終端ID之組合為單位，關聯有持有認證旗標等資訊。當為圖7之例時，使用者ID「taro.yamada123」存在從2台使用者終端20登入之情況。使用者ID 「hanako.suzuki999」存在從3台使用者終端20登入之情況。使用者ID「kimura9876」存在僅從1台使用者終端20登入之情況。

持有認證旗標係表示是否已執行持有認證之資訊。例如，持有認證旗標為「1」，表示已執行NFC認證。持有認證旗標為「2」，表示已執行圖像認證。持有認證旗標為「0」，表示未執行持有認證。第1實施方式中，由於對利用登記時未執行持有認證之情形進行說明，故而持有認證旗標之初始值為「0」。當利用登記後執行持有認證，持有認證旗標變為「1」或「2」。於利用登記時能夠執行持有認證之情形時，若使用者於利用登記時執行持有認證，則持有認證旗標之初始值成為「1」或「2」。

利用設定中，展示能夠從應用中利用之服務之種類。持有認證旗標「1」或「2」之利用設定相較於持有認證旗標「0」之利用設定，可利用之服務變多。持有認證之執行有無及利用設定之關係(即，持有認證旗標及利用設定之關係)於資料記憶部100中被預先定義。當為圖6之例時，持有認證旗標「1」或「2」之利用設定成為可利用所有服務之設定。持有認證旗標「0」之利用設定成為僅能利用一部分服務之設定。

場所資訊、日期時間資訊、及利用資訊之詳情如上所述。當於從某使用者終端20以某使用者ID登入之狀態下利用服務時，與該使用者ID及該使用者終端20之組合建立關聯之場所資訊、日期時間資訊、及利用資訊得到更新。獲取場所資訊之方法本身能夠採用利用GPS或行動基站等之公知方法。獲取日期時間資訊之方法本身亦能夠採用利用即時時鐘等之公知 之方法。利用資訊只要儲存有與服務相應之資訊即可，詳細之內容如上所述。

圖8係表示訓練資料庫DB2之資料儲存例之圖。如圖8所示，訓練資料庫DB2係儲存有使學習模型M學習之訓練資料之資料庫。本實施方式中，將對於學習模型M之輸入部分與正確之輸出部分之對記為訓練資料(指導資料)。圖8之輸出部分之例中，以「0」表示正當。違規只要為其他值即可，例如為「1」。訓練資料庫DB2中，儲存有該對之集合。訓練資料之詳情如圖5所說明。訓練資料藉由作成部102而作成。一部分訓練資料可由學習模型M之作成者手動作成，亦可利用公知之訓練資料之作成規則而作成。

資料記憶部100記憶已學習之學習模型M之程式及參數。資料記憶部100可記憶訓練資料被學習之前之學習模型M與訓練資料之學習所必需之程式。資料記憶部100所要記憶之資料不限於上述之例。資料記憶部100能夠記憶任意資料。

學習模型M係利用機械學習之模型。機械學習有時亦被稱為人工智能。機械學習本身可利用公知之各種方法，例如可利用神經網路。在廣義之意義上，深層學習或強化學習亦被歸類為機械學習，因此，學習模型M可為利用深層學習或強化學習而作成之模型。本實施方式中，例舉監督式學習，但亦可為無監督式學習或半監督式學習。

[已認證資訊獲取部]

已認證資訊獲取部101獲取從可利用特定服務之使用者終端20執行了特定認證之已認證使用者之行動相關之已認證資訊。第1實施方式中，舉出該認證係用於利用使用者終端20來確認是否持有特定之卡C1之持有認證之情形為例。因此，對持有認證進行說明之部分可改稱為特定之認證。即，對NFC認證或圖像認證進行說明之部分可改稱為特定之認證。第1實施方式中，對已認證使用者為從使用者終端20執行了持有認證之使用者之情形進行說明，但已認證使用者只要為從使用者終端20執行了特定之認證之使用者即可。

特定之認證係能夠從使用者終端20執行之認證。特定之認證可為登入時之認證，但第1實施方式中，特定之認證係與登入時之認證不同之認證。特定之認證不限於利用卡C1之持有認證。特定之認證可利用各種認證方法。例如，特定之認證亦可為確認卡C1以外之持有物之持有認證。該持有物只要為能夠確認為本人之任意物品即可。例如，持有物可為如護照之除卡以外之身分證明、記錄有某些認證資訊之資訊記憶媒體、或形成有某些認證資訊之紙。例如，持有物可為如包含認證資訊之碼之電子物。

特定之認證不限於持有認證。例如，特定之認證可為密碼(password)認證、通行碼(passcode)認證、暗碼認證、或口令認證等知識認證。於特定之認證為密碼認證之情形時，利用與登入時不同之密碼。例如，特定之認證可為臉部認證、指紋認證、或虹膜認證等生物認證。第1實施方式中，對特定之認證較登入時之認證安全之情形進行說明，但登入時之認證 亦可較特定之認證安全。登入時之認證亦不限於密碼認證，可為任意之認證方法。

第1實施方式之持有認證中利用之卡C1包含持有認證中利用之輸入個人編號。例如，輸入個人編號以電子形式記錄於卡C1之IC晶片cp。第1實施方式中，輸入個人編號亦形成於卡C1之表面。持有認證中正確之登記個人編號登記於使用者資料庫DB1。輸入個人編號及登記個人編號之各者係於認證時利用之認證資訊之一例。

再者，於作為特定之認證利用其他認證方法之情形時，只要使用與認證方法相應之認證資訊即可。例如，若利用知識認證，則認證資訊可為密碼、通行碼、暗碼、或口令。若利用生物認證，則認證資訊之各者可為臉部照片、臉部之特徵量、指紋圖案、或虹膜圖案。

例如，於利用NFC認證而執行持有認證之情形時，伺服器10從使用者終端20獲取利用NFC部23A而獲取之卡C1之輸入個人編號。伺服器10參照使用者資料庫DB1，判定從使用者終端20獲取之輸入個人編號和與登入中之使用者ID建立關聯之登記個人編號是否一致。於其等一致之情形時，持有認證成功。於其等不一致之情形時，持有認證失敗。

例如，於利用圖像認證而執行持有認證之情形時，伺服器10從使用者終端20獲取對卡C1進行拍攝所得之拍攝圖像。伺服器10利用光學文字識別從拍攝圖像獲取輸入個人編號。獲取到輸入個人編號之後之持有認證 之流程與NFC認證相同。第1實施方式中，對輸入個人編號印刷於卡C1之表面之情形進行說明，但輸入個人編號亦可作為於卡C1之表面進行壓紋加工而成之凹凸而形成。輸入個人編號只要形成於卡C1之正面及背面之至少一者即可。

第1實施方式之服務能夠從複數個使用者終端20之各者以同一使用者ID進行登入。認證部101能夠按各使用者終端20於從該使用者終端20以使用者ID登入服務之狀態下執行持有認證。例如，圖7之使用者ID「taro.yamada123」之使用者利用2台使用者終端20。將該等2台使用者終端20記為第1使用者終端20A及第2使用者終端20B。

伺服器10能夠從第1使用者終端20A於以使用者ID「taro.yamada123」登入服務之狀態下執行持有認證。認證部101能夠從第2使用者終端20B於以同一使用者ID「taro.yamada123」登入服務之狀態下執行持有認證。於1個使用者利用3台以上使用者終端20之情形時亦同樣，認證部101能夠按各使用者終端20執行持有認證。如上所述，是否執行持有認證，全憑使用者自願，因此並非所有使用者終端20均必須執行持有認證。

已認證資訊係已認證使用者之行動相關之資訊。所謂行動係對於使用者終端20之操作內容、從使用者終端20發送至伺服器10之資訊、或其等之組合。換言之，行動係表示如何利用服務之資訊。第1實施方式中，場所資訊、日期時間資訊、及利用資訊之組合相當於行動相關之資訊。已 認證使用者之場所資訊、日期時間資訊、及利用資訊之組合係已認證資訊之一例。因此，以下，將該組合記為已認證資訊。

再者，已認證資訊不限於第1實施方式之例，只要為已認證使用者之某些行動相關之資訊即可。即，已認證資訊只要為與是否違規具有某些相關關係之特徵即可。例如，已認證資訊可為自使用者進行登入起至到達特定畫面為止之時間、到達該畫面之前所顯示之畫面之數量或種類、對於某一畫面之操作數量、指標之軌跡、或其等之組合。已認證資訊只要為與服務相應之資訊即可。已認證資訊之另一例以下述之變化例進行說明。

第1實施方式中，已認證資訊儲存於使用者資料庫DB1。當為圖7之例時，持有認證旗標為「1」或「2」之記錄中儲存之場所資訊、日期時間資訊、及利用資訊之組合相當於已認證資訊。已認證資訊獲取部101參照使用者資料庫DB1獲取已認證資訊。第1實施方式中，對已認證資訊獲取部101獲取複數個已認證資訊之情形進行說明，但已認證資訊獲取部101只要獲取至少1個已認證資訊即可。

第1實施方式中，對已認證資訊獲取部101獲取日期時間資訊所示之日期時間為最近之特定期間(例如，1週~1月左右)之已認證資訊之情形進行說明，但亦可獲取儲存於使用者資料庫DB1之所有已認證資訊。已認證資訊獲取部101可不獲取特定期間內之所有已認證資訊，而可隨機選擇特定期間內之一部分已認證資訊進行獲取。已認證資訊獲取部101只要獲取對於學習模型M之學習而言足夠數量之已認證資訊即可。

[作成部]

作成部102基於已認證資訊，作成用於偵測服務中之違規之學習模型M，以推定已認證使用者之行動正當。所謂作成學習模型M係進行學習模型M之學習。調整學習模型M之參數相當於作成學習模型M。參數本身只要為於公知之機械學習中利用之參數即可，例如為加權因數或偏差等。學習模型M之學習方法本身可利用各種方法，例如可利用深層學習或強化學習之方法。除此以外，例如可利用梯度下降法，若為深層學習，亦可利用誤差逆傳播法。

第1實施方式中，學習模型M係監督式學習之模型。作成部102基於已認證資訊，作成表示已認證使用者之行動正當之訓練資料。該訓練資料係第1訓練資料之一例。下述之變化例之說明中，對其他訓練資料進行說明，因此如第1訓練資料、第2訓練資料等區分各訓練資料，但第1實施方式中，不對其他訓練資料進行說明，因此將第1訓練資料簡記為訓練資料。

例如，作成部102作成包含為已認證資訊之輸入部分與表示正當之輸出部分之訓練資料。輸入部分能夠以任意形式表現，例如可以向量形式、排列形式、或單個數值表現。包含於已認證資訊之場所資訊、日期時間資訊、及利用資訊中包含之項目經數值化而成者為輸入部分。該數值化可於學習模型M之內部進行。輸入部分相當於行動之特徵量。輸出部分相當於學習模型M之輸出之正解。

作成部102按各已認證資訊作成訓練資料，並儲存於訓練資料庫DB2。作成部102藉由基於訓練資料使學習模型M學習，而作成學習模型M。作成部102使學習模型M學習，以於輸入有訓練資料之輸入部分之情形時，獲取訓練資料之輸出部分。作成部102可利用訓練資料庫DB2中儲存之所有訓練資料來作成學習模型M，亦可僅利用一部分訓練資料來作成學習模型M。

[違規偵測部]

違規偵測部103利用已作成之學習模型M進行違規偵測。違規偵測部103在對象使用者登入服務時，便獲取對象使用者之場所資訊、日期時間資訊、及利用資訊並儲存於使用者資料庫DB1。該等資訊之組合係圖5所示之對象資訊。違規偵測部103在特定之違規偵測之時點到來時，基於對象使用者之對象資訊獲取學習模型M之輸出。第1實施方式中，對違規偵測部103向學習模型M輸入對象資訊並獲取來自學習模型M之輸出之情形進行說明，但違規偵測部103亦可在對於對象資訊執行某些運算或數值化之處理之後，將經執行該處理之對象資訊輸入至學習模型M。

若學習模型M之輸出表示違規，則違規偵測部103會限制對於對象使用者之服務提供，即對象使用者對服務之利用。若該輸出表示正當，則違規偵測部103不會限制對象使用者對服務之利用。違規偵測之時點可為任意時點，例如可為選擇了頂部畫面G3之按鈕B30之情形時、登記於使用者資料庫DB1之資訊被變更之情形時、登入服務時、或執行任何結算處理之 情形時。

[1-3-2.使用者終端中實現之功能]

如圖5所示，使用者終端20中，實現資料記憶部200、顯示控制部201、及受理部202。資料記憶部200主要實現記憶部22。顯示控制部201及受理部202之各者主要實現控制部21。資料記憶部200記憶第1實施方式中說明之處理所需之資料。例如，資料記憶部200記憶應用。顯示控制部201基於應用使圖2及圖3中說明之各畫面顯示於顯示部25。受理部202受理使用者對各畫面之操作。使用者終端20對伺服器10發送使用者之操作內容。除此以外，例如使用者終端20亦發送獲取已認證資訊所需之場所資訊等。

[1-4.第1實施方式中所執行之處理]

圖9係表示第1實施方式中所執行之處理之一例之流程圖。圖9所示之處理係藉由控制部11、21分別按照記憶於記憶部12、22之程式動作而執行。該處理係由圖6所示之功能方塊執行之處理之一例。於執行該處理時，使用者之利用登記完成。使用者終端20預先記憶有由伺服器10發行之終端ID。

如圖9所示，伺服器10基於使用者資料庫DB1獲取已認證使用者之已認證資訊(S100)。S100中，伺服器10獲取持有認證旗標為「1」或「2」之記錄中之日期時間資訊所示之日期時間為最近之特定期間之記錄中所儲存的已認證資訊。

伺服器10基於S100中獲取之已認證資訊，作成訓練資料(S101)。S101中，伺服器10作成包含為已認證資訊之輸入部分與表示違規之輸出部分之訓練資料，並儲存於訓練資料庫DB2。伺服器10判定訓練資料之作成是否已完成(S102)。S102中，伺服器10判定是否已作成特定數量之訓練資料。

於未判定訓練資料之作成已完成之情形時(S102；N)，返回S100之處理，新作成訓練資料並儲存於訓練資料庫DB2。於S102中，判定訓練資料之作成已完成之情形時(S102；Y)，伺服器10基於訓練資料庫DB2，作成學習模型M(S103)。S103中，伺服器10使學習模型M學習各個訓練資料，以於被輸入有儲存於訓練資料庫DB2之各個訓練資料之輸入部分之情形時，輸出該訓練資料之輸出部分。

當在S103中學習模型M作成時，能夠在服務中之違規偵測中加以利用。使用者終端20基於對象使用者之操作而啟動應用，使頂部畫面G3顯示於顯示部25(S104)。應用啟動時，可於伺服器10及使用者終端20之間執行登入。登入中，可被要求輸入使用者ID及密碼，亦可使表示過去已登入之資訊預先記憶於使用者終端20，並將該資訊用於登入。之後，當使用者終端20以某些形式訪問伺服器10時，與使用者終端20之終端ID建立關聯之場所資訊、日期時間資訊、及利用資訊會適當進行更新。再者，伺服器10亦可於登入成功而顯示頂部畫面G3之前，基於與使用者終端20之終端ID建立關聯之利用設定，產生如無法選擇不可利用之服務之按鈕B30之 頂部畫面G3之顯示資料，並發送至使用者終端20。

使用者終端20基於操作部24之檢測信號，特定出對象使用者之操作(S105)。S105中，進行用於利用行政服務之按鈕B30之選擇、或用於執行持有認證之按鈕B31之選擇之任一者。若為已執行持有認證之使用者終端20，亦可使按鈕B31無法選擇。再者，於對象使用者進行了用於結束應用之操作或用於使應用移行至後台之操作之情形時(S105；結束)，本處理結束。

於S105中，選擇了按鈕B30之情形時(S105；B30)，使用者終端20要求伺服器10提供對象使用者從按鈕B30選擇之種類之服務(S106)。伺服器10將對象使用者之對象資訊輸入至學習模型M，並獲取來自學習模型M之輸出(S107)。再者，此處係就於對象使用者登入之後執行S107之處理之情形進行說明，但亦可於對象使用者登入時執行S107之處理。於此情形時，能夠偵測違規登入，防止產生違規登入。對象資訊係對象使用者(即，登入中之使用者)之場所資訊、日期時間資訊、及利用資訊。若存在對象使用者從複數個使用者終端20登入之情況，則基於與登入中之使用者終端20之終端ID建立關聯之對象資訊，獲取來自學習模型M之輸出。

伺服器10參照來自學習模型M之輸出(S108)。於來自學習模型M之輸出表示違規之情形時(S108；違規)，伺服器10限制服務之提供(S109)。S109中，伺服器10不提供使用者所選擇之種類之服務。使用者終端20中顯示錯誤訊息。於來自學習模型M之輸出表示正當之情形時(S108；正 當)，執行用於在伺服器10與使用者終端20之間提供服務之服務提供處理(S110)，本處理結束。S110中，伺服器10參照使用者資料庫DB1，獲取與登入中之使用者之使用者ID和使用者終端20之終端ID建立關聯之利用設定。伺服器10基於該利用設定提供服務。伺服器10從使用者終端20接收使用者之操作內容，執行與操作內容相應之處理。

於S105中選擇了按鈕B31之情形時(S108；B31)，使用者終端20使開始畫面G5顯示於顯示部25，於伺服器10及使用者終端20之間執行持有認證(S111)，本處理結束。於S111中選擇了NFC認證之情形時，使用者終端20將由NFC部23A讀取之輸入個人編號發送至伺服器10。伺服器10一接收到輸入個人編號，便參照使用者資料庫DB1，判定所接收之輸入個人編號與登入中之使用者之登記個人編號是否一致。伺服器10於其等一致之情形時，判定持有認證成功，以使持有認證旗標為「1」而解除服務之利用限制之方式變更利用設定。於選擇了圖像認證之情形時，從拍攝圖像獲取輸入個人編號，以與NFC認證同樣之流程執行圖像認證。該情形時之持有認證旗標為「2」。

根據第1實施方式之違規偵測系統S，基於已認證資訊作成學習模型M，以推定已認證使用者之行動正當。藉由著眼於已認證使用者正當之概率非常高，即便學習模型M之作成者不手動作成訓練資料，亦能作成學習模型M，因此能夠使學習模型M之作成簡化。又，能夠使從訓練資料之作成起至學習模型M之學習為止之一系列處理自動化，從而迅速地作成學習模型M。能夠對違規偵測系統S迅速應用學習最新傾向之學習模型M，從 而高精度地偵測違規。結果，防止服務中之違規利用，提高安全性。亦能防止便利性降低，如本應正當之對象使用者之行動被推定為違規而無法利用服務等。即便僅使學習模型M學習已認證使用者之正當行動，因違規行動多數情況下與正當行動之特徵不同，學習模型M亦能藉由偵測特徵與正當行動不同之行動而偵測違規。

又，違規偵測系統S藉由利用已執行持有認證之已認證使用者之已認證資訊作成學習模型M，可利用正當之概率非常高之已認證使用者之已認證資訊而作成精度較高之學習模型M。藉由作成精度較高之學習模型M，而更確實地防止服務中之違規利用，使安全性得到有效提昇。亦能更確實地防止本應正當之對象使用者之行動被推定為違規而無法利用服務。

又，違規偵測系統S藉由基於已認證資訊作成表示已認證使用者之行動正當之訓練資料，並基於該訓練資料使學習模型M學習，能夠自動地作成訓練資料，減少學習模型M之作成者之時間及勞力。藉由使學習模型M之作成中作為最費事之步驟之一的訓練資料之作成自動化，能夠迅速地作成學習模型M。結果，更確實地防止服務中之違規利用，使安全性得到有效提昇。

[2.第2實施方式]

接下來，對作為本發明之學習模型M評價系統之實施方式之一例的第2實施方式進行說明。第2實施方式中，舉出將學習模型M評價系統應用於第1實施方式中說明之違規偵測系統S之情形為例。因此，第2實施方式 中記為違規偵測系統S之部分可改稱為學習模型M評價系統。亦可為學習模型M評價系統進行至學習模型M之評價，違規偵測由其他系統執行。即，學習模型M評價系統可不包含違規偵測系統S中之違規偵測之功能。

又，對以與第1實施方式同樣之方式作成學習模型M之情形進行說明，但第2實施方式之學習模型M亦可由與第1實施方式不同之方法作成。例如，亦可基於學習模型M之作成者手動作成之訓練資料，作成學習模型M。除此以外，例如亦可基於利用公知之訓練資料之作成支援規則而作成之訓練資料，作成學習模型M。因此，第2實施方式之違規偵測系統S可不包含第1實施方式中說明之功能。再者，第2實施方式中，對於與第1實施方式同樣之點省略說明。

[2-1.第2實施方式之概要]

由於違規偵測系統S中之使用者之行動每天都在變化，故而若學習模型M不學習最近之傾向，則存在學習模型M之違規偵測之精度逐漸下降之情況。就此點而言，利用第1實施方式以外之方法作成之學習模型M亦同樣。利用無監督式學習或半監督式學習之情形時亦同樣。對此，第2實施方式中，著眼於已認證使用者正當之概率非常高，基於已認證資訊而準確地評價學習模型M之精度。

圖10係表示第2實施方式之概要之圖。如圖10所示，複數個已認證資訊之各者被輸入至學習模型M。由於已認證資訊為正當之概率非常高之已認證使用者之行動相關之資訊，故而若來自學習模型M之輸出表示正當， 則可預測學習模型M之精度未降低。另一方面，若來自學習模型M之輸出表示違規，則學習模型M可能會無法應對最近之已認證使用者之行動(即，正當行動)，而使精度降低。於此情形時，向學習模型M之作成者通知精度降低，或基於最新之已認證資訊，重新作成學習模型M。

如上所述，第2實施方式之違規偵測系統S基於已認證資訊而獲取來自學習模型M之輸出，並基於與已認證資訊對應之輸出，評價學習模型M之精度。藉由利用正當之概率非常高之已認證使用者之已認證資訊，能夠準確地評價學習模型M之精度。以下，對第2實施方式之詳情進行說明。

[2-2.第2實施方式中實現之功能]

圖11係表示由第2實施方式之違規偵測系統S實現之功能之一例的功能方塊圖。此處，對由伺服器10及使用者終端20之各者所實現之功能進行說明。

[2-2-1.伺服器中實現之功能]

如圖11所示，伺服器10包含資料記憶部100、已認證資訊獲取部101、作成部102、違規偵測部103、輸出獲取部104、及評價部105。輸出獲取部104及評價部105之各者主要實現控制部11。

[資料記憶部、已認證資訊獲取部、作成部、及違規偵測部]

資料記憶部100與第1實施方式同樣。第1實施方式之已認證資訊獲取部101獲取到用於作成學習模型M之已認證資訊，而第2實施方式之已認證 資訊獲取部101獲取用於評價學習模型M之已認證資訊。僅已認證資訊之利用目的不同，已認證資訊本身相同。關於已認證資訊獲取部101之其他點，與第1實施方式同樣。作成部102及違規偵測部103亦與第1實施方式同樣。

[輸出獲取部]

輸出獲取部104基於已認證資訊，獲取來自用於偵測服務中之違規之學習模型M之輸出。例如，輸出獲取部104獲取與複數個已認證資訊之各者對應之輸出。對學習模型M輸入已認證資訊並獲取來自學習模型M之輸出之處理如第1實施方式中之說明。可於對已認證資訊執行某些運算或數值化之處理之後，將經執行該處理之已認證資訊輸入至學習模型M，此點亦與第1實施方式同樣。

[評價部]

評價部105基於與已認證資訊對應之輸出，評價學習模型M之精度。所謂與已認證資訊對應之輸出係基於已認證資訊而獲取之來自學習模型M之輸出。所謂學習模型M之精度係表示從學習模型M獲得期望之結果達到何種程度之指標。例如，於被輸入有正當行動之對象資訊之情形時，能夠從學習模型M獲取表示正當之輸出之概率相當於學習模型M之精度。於被輸入有違規行動之對象資訊之情形時，能夠從學習模型M獲取表示違規之輸出之概率相當於學習模型M之精度。學習模型M之精度能夠藉由任意之指標而計測，例如可利用正確率、精密度、再現率、F值、特異度、假陽性率、Log Loss、或AUC(Area Under the Curve，曲線下面積)。

第2實施方式中，評價部105於與已認證資訊對應之來自學習模型M之輸出表示正當之情形時，評價學習模型M之精度高於來自學習模型M之輸出表示違規之情形。例如，評價部105基於與複數個已認證資訊之各者對應之輸出，評價學習模型M之精度。評價部105將輸入至學習模型M之已認證資訊中來自學習模型M之輸出表示正當之比率作為正確率來計算。正確率越高，則評價部105作出學習模型M之精度越高之評價。即，正確率越低，則評價部105作出學習模型M之精度越低之評價。學習模型M之精度可利用上述之各種指標而非正確率。

[2-2-2.使用者終端中實現之功能]

如圖11所示，使用者終端20之功能與第1實施方式同樣。

[2-3.第2實施方式中所執行之處理]

圖12係表示第2實施方式中所執行之處理之一例之流程圖。圖12所示之處理係藉由控制部11按照記憶於記憶部12之程式動作而執行。該處理係藉由圖12所示之功能方塊執行之處理之一例。

如圖12所示，伺服器10參照使用者資料庫DB1獲取n(n為自然數)個已認證資訊(S200)。S200中，伺服器10獲取持有認證旗標為「1」或「2」之記錄中日期時間資訊所示之日期時間為最近之特定期間之記錄中所儲存之n個已認證資訊。伺服器10可獲取日期時間資訊所示之日期時間為最近之特定期間之所有已認證資訊，亦可獲取預定個數之已認證資訊。

伺服器10基於S200中獲取之n個已認證資訊之各者，獲取來自學習模型M之n個輸出(S201)。S201中，伺服器10將n個已認證資訊之各者陸續輸入至學習模型M，獲取與各個已認證資訊對應之輸出。伺服器10將S201中獲取之n個輸出中表示正當之輸出之比率作為學習模型M之正確率來計算(S202)。

伺服器10判定學習模型M之正確率是否為閾值以上(S203)。於判定學習模型M之正確率為閾值以上之情形時(S203；Y)，伺服器10向學習模型M之作成者通知表示學習模型M之精度較高之評價結果(S204)，本處理結束。評價結果之通知只要藉由任意方法進行即可，例如只要利用電子郵件或作成者所使用之管理程式內之通知即可。於被通知S204之評價結果之情形時，由於學習模型M之精度較高，故而學習模型M之作成者不重新作成學習模型M。於此情形時，利用現狀之學習模型M執行違規偵測。

於S203中，判定學習模型M之正確率未達閾值之情形時(S203；N)，伺服器10向學習模型M之作成者通知表示學習模型M之精度較低之評價結果(S205)，本處理結束。於此情形時，由於學習模型M之精度較低，故而學習模型M之作成者重新作成學習模型M。學習模型M既可利用與第1實施方式同樣之方法重新作成，亦可利用其他方法重新作成。在作成新的學習模型M之前，利用現狀之學習模型M執行違規偵測。當作成新的學習模型M後，利用新的學習模型M執行違規偵測。

根據第2實施方式，基於已認證資訊獲取來自學習模型M之輸出，並基於與已認證資訊對應之輸出，評價學習模型M之精度。藉由著眼於已認證使用者正當之概率非常高，能夠準確地評價學習模型M之精度。例如，有時難以藉由人工判定某使用者之行動正當或違規。進而，有時即便藉由人工進行判定，亦需要時間。就此點而言，藉由視為已認證使用者正當，能夠迅速地評價學習模型M之精度。由於能夠迅速地偵測學習模型M之精度降低，迅速地應對最近之傾向，故而防止服務中之違規利用，使安全性得到提昇。能夠防止便利性降低，如本應正當之對象使用者之行動被推定為違規而無法利用服務等。

又，違規偵測系統S藉由獲取與複數個已認證資訊之各者對應之輸出，並基於與複數個已認證資訊之各者對應之輸出來評價學習模型M之精度，能夠更準確地評價學習模型M之精度。能夠更迅速地偵測學習模型M之精度降低。由於能夠迅速地偵測學習模型M之精度降低，迅速地應對最近之傾向，故而更確實地防止服務中之違規利用，使安全性得到有效提昇。亦能夠更確實地防止本應正當之對象使用者之行動被推定為違規而無法利用服務等情況。

又，違規偵測系統S藉由利用已執行持有認證之已認證使用者之已認證資訊而評價學習模型M，從而可利用正當之概率非常高之已認證使用者之已認證資訊而更準確地評價學習模型M之精度。由於能夠迅速地偵測學習模型M之精度降低，迅速地應對最近之傾向，故而更確實地防止服務中之違規利用，使安全性得到有效提昇。亦能夠更確實地防止便利性降低， 如本應正當之對象使用者之行動被推定為違規而無法利用服務等。

[3.變化例]

再者，本發明並不限定於以上所說明之實施方式。能夠在不脫離本發明主旨之範圍內進行適當變更。

[3-1.第1實施方式之變化例]

首先，對第1實施方式之變化例進行說明。

[變化例1-1]

例如，違規偵測系統S能夠應用於任意服務。變化例1-1中，舉出對能夠從使用者終端20利用之電子結算服務應用違規偵測系統S之情形為例。除變化例1-1以外之第1實施方式之變化例(變化例1-2~變化例1-10)與第2實施方式之變化例(變化例2-1~2-9)亦同樣例舉電子結算服務。

電子結算服務係利用特定之結算機構而執行電子結算之服務。使用者可利用各種結算機構。例如，結算機構可為信用卡、轉賬卡、電子貨幣、電子錢、積分(point)、銀行賬戶、錢包、或虛擬貨幣。利用條碼或二維碼等碼之電子結算有時亦被稱為碼結算，因此碼可相當於結算機構。

變化例1-1中之認證係從使用者終端20執行之電子結算服務之認證。已認證資訊係電子結算服務中之已認證使用者之行動相關之資訊。學習模型M係用於偵測電子結算服務中之違規之模型。以下，將電子結算服務簡 記為服務。

變化例1-1之違規偵測系統S提供利用使用者之卡之服務。作為卡之一例，對信用卡進行說明。卡只要為能夠於電子結算中利用之卡即可，並不限於信用卡。例如，卡亦可為轉賬卡、積分卡、電子貨幣卡、現金卡、交通系統卡、或其他任意卡。卡不限於IC卡，亦可為不包含IC晶片之卡。例如，卡可為磁卡。

圖13係表示變化例1-1之違規偵測系統S之整體構成之一例的圖。違規偵測系統S雖亦可為與圖1同樣之整體構成，但於變化例1-1中，對其他整體構成之一例進行說明。如圖13所示，變化例之違規偵測系統S包含使用者終端20、經營者伺服器30、及發行者伺服器40。違規偵測系統S只要至少包含1個電腦即可，不限於圖13之例。使用者終端20、經營者伺服器30、及發行者伺服器40之各者連接於網路N。使用者終端20與第1實施方式及第2實施方式同樣。

經營者伺服器30係提供服務之經營者之伺服器電腦。經營者伺服器30包含控制部31、記憶部32、及通訊部33。控制部31、記憶部32、及通訊部33之物理構成分別與控制部11、記憶部12、及通訊部13同樣。

發行者伺服器40係已發行信用卡之發行者之伺服器電腦。發行者雖亦可與經營者相同，但於變化例1-1中，對發行者與經營者不同之情形進行說明。發行者及經營者可為能夠相互聯合之集團公司。發行者伺服器40 包含控制部41、記憶部42、及通訊部43。控制部41、記憶部42、及通訊部43之物理構成分別與控制部11、記憶部12、及通訊部13同樣。

再者，記憶於記憶部32、42之程式及資料之至少一者可經由網路N而供給。又，經營者伺服器30及發行者伺服器40之至少一者中，可包含對電腦可讀取之資訊記憶媒體進行讀取之讀取部(例如，光碟機或記憶卡插槽)及用於與外部機器進行資料之輸入輸出之輸入輸出部(例如，USB端口)之至少一者。例如，記憶於資訊記憶媒體之程式及資料之至少一者可經由讀取部及輸入輸出部之至少一者而供給。

變化例1-1中，使用者終端20安裝有電子結算用之應用程式(以下，簡稱為應用)。使用者預先完成了利用登記，能夠以使用者ID及密碼登入服務。使用者能夠從應用利用任意之結算機構。變化例1-1中，舉出使用者從應用利用信用卡及電子錢之情形為例。以下，將信用卡簡記為卡。

圖14係表示變化例1-1之使用者終端20所顯示之畫面之一例的圖。如圖14所示，當使用者操作使用者終端20啟動應用時，應用之頂部畫面G9便會顯示於顯示部25。頂部畫面G9中顯示電子結算用之碼C90。例如，當利用店鋪之POS(Point of Sale，銷售點)終端或讀碼器讀取碼C90時，基於預先設定之付款來源之結算機構執行結算處理。利用碼C90之結算處理本身可利用公知之方法。

圖14之例中，以「卡1」之名稱登記之卡作為付款來源而設定。當於 該狀態下讀取碼C90時，執行利用該卡之結算處理。使用者亦可利用作為付款來源而設定之卡充值至應用之電子錢。電子錢係線上之電子貨幣。當使用者將付款來源變更為電子錢而讀取碼C90時，執行利用電子錢之結算處理。

變化例1-1中，能夠從頂部畫面G9登記新卡。例如，當使用者選擇按鈕B91時，用於登記新卡之登記畫面G10顯示於顯示部25。使用者從輸入表格F100輸入卡號、有效期限、及名義人等卡資訊。變化例1-1中，作為卡之登記時之認證，準備有NFC認證、圖像認證、及安全碼認證等複數個認證方法。使用者能夠選擇按鈕B101~B103，而選擇任意之認證方法。再者，信用卡之登記時之認證亦可為其他認證方法，例如可利用被稱為3D安全之認證方法。

NFC認證係與第1實施方式及第2實施方式同樣，藉由以NFC部23A讀取卡而執行。圖像認證亦與第1實施方式及第2實施方式同樣，藉由利用攝影部26拍攝卡而執行。安全碼認證係藉由從操作部24輸入形成於卡之背面之安全碼而執行。由於安全碼原則上為若不持有卡則無法得知之資訊，故而在變化例1-1中，不僅說明NFC認證及圖像認證，亦將安全碼認證作為持有認證之一例進行說明。

圖14中，示出了安全碼認證之流程。例如，當使用者選擇按鈕B103時，用於執行安全碼認證之認證畫面G11便會顯示於顯示部25。當使用者於輸入表格F110中輸入安全碼而選擇按鈕時，使用者終端20便會對 經營者伺服器30發送被輸入至輸入表格F100之卡資訊、與被輸入至輸入表格F110之安全碼。以下，將該等卡資訊及安全碼分別記為輸入卡資訊及輸入安全碼。

經營者伺服器30一從使用者終端20接收到輸入卡資訊及輸入安全碼，便會傳輸給發行者伺服器40，藉由發行者伺服器40執行安全碼認證。以下，將預先登記至發行者伺服器40之卡資訊及安全碼分別記為登記卡資訊及登記安全碼。於與輸入卡資訊及輸入安全碼之組合相同之登記卡資訊及登記安全碼之組合存在於發行者伺服器40之情形時，安全碼認證成功。

當執行安全碼認證時，從輸入表格F100輸入有輸入卡資訊之卡之登記完成。於使用者終端20，表示卡之登記已完成之完成畫面G12顯示於顯示部25。以下，使用者能夠將登記已完成之卡作為付款來源進行設定。

變化例1-1中，對各個卡設定能夠從應用加以利用之上限額。該上限額雖亦可指卡本身之上限額(所謂的使用限制或限額)，但在變化例1-1中，為應用中之上限額而非卡本身之上限額。例如，上限額係於特定期間(例如，1週或1月)內能夠從應用加以利用之總額。上限額亦可為結算處理之每一次之上限額。

卡之上限額根據於卡之登記時執行之持有認證之認證方法而不同。於卡之登記時執行之持有認證之安全性越高，則該卡之上限額越高。例 如，由於安全碼存在因網釣等而流出之情況，故而安全碼認證之安全性最低。另一方面，NFC認證或圖像認證原則上若不持有實體卡便無法成功，因此相較於安全碼認證，安全性較高。

圖14之例中，由於執行了安全性最低之安全碼認證，故而上限額為最低之3萬日元。例如，若使用者於卡之登記時選擇按鈕B101或按鈕B102而執行NFC認證或圖像認證，則上限額為高於3萬日元之10萬日元。使用者亦可於卡之登記後，執行安全性較高之認證方法之持有認證，增加上限額。

圖15係表示於卡之登記後增加上限額之流程之一例的圖。當選擇圖14之頂部畫面G9之按鈕B92時，如圖15所示，用於選擇執行持有認證之卡之選擇畫面G13便會顯示於顯示部25。選擇畫面G13中，顯示已登記之卡之清單L130。使用者從清單L130之中選擇要執行持有認證之卡。

使用者能夠選擇任意之認證方法。例如，當使用者選擇已執行安全碼認證之卡時，使用者能夠選擇安全性高於安全碼認證之NFC認證或圖像認證。當使用者選擇按鈕B131時，與讀取畫面G6同樣之讀取畫面G14便會顯示於顯示部25。當顯示出讀取畫面G14時，使用者便讓使用者終端20靠近自身所持有之卡。

圖16係表示以NFC部23A讀取卡之IC晶片之情況之一例的圖。圖16中，例舉帶電子貨幣功能之卡C2。卡C2之電子貨幣雖亦可能夠從應用中 加以利用，但在變化例1-1中，卡C2之電子貨幣無法從應用中加以利用。即，卡C2之電子貨幣與能夠從應用加以利用之電子錢不同。卡C2之電子貨幣被用於持有認證。即，變化例1-1中，利用與應用所提供之服務並無直接關係之其他服務中之電子貨幣來執行持有認證。

IC晶片cp中，記錄有能夠識別電子貨幣之電子貨幣ID。如圖16所示，當使用者讓使用者終端20靠近卡C2之IC晶片cp時，NFC部23A便會讀取IC晶片cp中記錄之資訊。NFC部23A能夠讀取IC晶片cp內之任意資訊。變化例1-1中，對NFC部23A讀取IC晶片cp中記錄之電子貨幣ID之情形進行說明。

使用者終端20對經營者伺服器30發送從IC晶片cp讀取之電子貨幣ID。由於該電子貨幣ID係從使用者終端20輸入至經營者伺服器30，故而以下將該電子貨幣ID記為輸入電子貨幣ID。發行者伺服器40中，登記有正確之電子貨幣ID。以下，將該電子貨幣ID記為登記電子貨幣ID。再者，存在以下情況：當不對輸入電子貨幣ID與登記電子貨幣ID特別加以區分時，簡記為電子貨幣ID。

經營者伺服器30對發行者伺服器40傳輸從使用者終端20接收到之輸入電子貨幣ID。此時，亦發送使用者從清單L130中選擇之卡C2之輸入卡資訊。若使用者為卡C2之正當持有者，則與輸入卡資訊及輸入電子貨幣ID之組合相同之登記卡資訊及登記電子貨幣ID之組合登記於發行者伺服器40中。

於與輸入卡資訊及輸入電子貨幣ID之組合相同之登記卡資訊及登記電子貨幣ID之組合登記於發行者伺服器40之情形時，持有認證成功。於此情形時，表示持有認證成功之成功畫面G15顯示於顯示部25。如成功畫面G15，一旦執行NFC認證，卡C2(圖15之例中為「卡2」)之上限額便會從3萬日元增至10萬日元。

變化例1-1中，與已執行NFC認證之卡C2不同之其他卡(圖15之例中為「卡1」)之上限額亦從3萬日元增至10萬日元，但其他卡之上限額亦可不增加。再者，即便和與已執行NFC認證之卡C2相同之使用者ID建立關聯，倘若名義人不同，第三者亦有可能隨意登記，因此上限額不增加。於與輸入卡資訊及輸入電子貨幣ID之組合相同之登記卡資訊及登記電子貨幣ID之組合未登記於發行者伺服器40之情形時，持有認證失敗。於此情形時，與圖3之失敗畫面G8同樣之失敗畫面G16顯示於顯示部25。

圖像認證亦以同樣之流程執行。相對於NFC認證中利用NFC部23A而獲取輸入電子貨幣ID，圖像認證中係利用對卡C2進行拍攝所得之拍攝圖像而獲取輸入電子貨幣ID。例如，當使用者選擇了選擇畫面G13之按鈕B132時，攝影部26便會啟動。攝影部26拍攝卡C2。圖16之卡C2之例中，於背面形成有輸入電子貨幣ID，但亦可於正面形成有輸入電子貨幣ID。

當使用者拍攝卡C2之背面時，使用者終端20對經營者伺服器30發送拍攝圖像。經營者伺服器30一接收到拍攝圖像，便對拍攝圖像執行光學文 字識別而獲取輸入卡資訊。獲取輸入卡資訊之後之流程與NFC認證同樣。光學文字識別亦可由使用者終端20執行。與第1實施方式之輸入個人編號同樣，輸入電子貨幣ID可包含於條碼或二維碼等碼中。

再者，持有認證中利用之資訊不限於輸入電子貨幣ID。例如，於卡C2亦具有積分卡之功能之情形時，可將能夠識別積分之積分ID用於持有認證。積分ID包含於卡C2。除此以外，例如，亦可將卡C2之卡號或有效期限用於持有認證。變化例1-1中，只要將卡C2中包含之某些資訊或與該資訊建立關聯之資訊用於持有認證即可，亦可將卡C2之設計或發行日等用於持有認證。

圖17係第1實施方式之變化例中之功能方塊圖。圖17中，亦示出變化例1-1以後之變化例1-2~1-10中之功能。如圖17所示，此處對藉由經營者伺服器30實現主要功能之情形進行說明。經營者伺服器30中，實現了資料記憶部300、已認證資訊獲取部301、作成部302、違規偵測部303、比較部304、未認證資訊獲取部305、及確定資訊獲取部306。資料記憶部300主要實現記憶部32。其他各功能主要實現控制部31。

資料記憶部300記憶使用者資料庫DB1、訓練資料庫DB2、及學習模型M。該等資料大致與第1實施方式同樣，但使用者資料庫DB1之具體內容與第1實施方式不同。

圖18係表示使用者資料庫DB1之資料儲存例之圖。如圖18所示，使 用者資料庫DB1係儲存有利用登記已完成之使用者相關之資訊的資料庫。例如，使用者資料庫DB1中儲存有使用者ID、密碼、姓名、付款來源之結算機構、登記卡資訊、電子錢資訊、場所資訊、日期時間資訊、及利用資訊。例如，當使用者進行利用登記時，便發行使用者ID，於使用者資料庫DB1中作成新記錄。該記錄中，儲存有於利用登記時指定之密碼及姓名、以及登記卡資訊及電子錢資訊。

登記卡資訊係使用者登記之卡C2相關之資訊。例如，登記卡資訊包含用於在各個使用者之中識別卡之連號數值、卡號、有效期限、名義人、持有認證旗標、及利用設定。如上所述，變化例1-1之利用設定係能夠從應用加以利用之卡C2之上限額之設定。當使用者登記新卡C2時，便會追加與該卡C2對應之登記卡資訊。

電子錢資訊係能夠從應用加以利用之電子錢相關之資訊。例如，電子錢資訊包含能夠識別電子錢之電子錢ID及電子錢之餘額。電子錢也可能夠利用使用者登記之卡C2進行充值。該情形時之充值之上限額之設定可相當於利用設定。再者，儲存於使用者資料庫DB1之資訊不限於圖18之例。

場所資訊、日期時間資訊、及利用資訊之組合相當於已認證資訊之點與第1實施方式同樣。變化例中，場所資訊表示執行結算處理之場所。該場所係配置有店鋪或自動售貨機等之場所。日期時間資訊係執行結算處理之日期時間。利用資訊係使用額度、購買商品、所使用之結算機構(於 執行結算處理時設定之付款來源之結算機構)等資訊。圖18之資料儲存例中，按使用者ID及終端ID之組合而儲存場所資訊、日期時間資訊、及利用資訊，但場所資訊、日期時間資訊、及利用資訊亦可按使用者ID或卡C2進行儲存。

已認證資訊獲取部301、作成部302、及違規偵測部303分別與已認證資訊獲取部101、作成部102、及違規偵測部103同樣。變化例1-1中之學習模型M係用於偵測違規之結算處理之模型。作成部302作成學習模型M，以於輸入有已認證使用者執行結算處理之店鋪等場所資訊、執行結算處理之日期時間資訊、及結算額等利用資訊之情形時，輸出表示正當之資訊。

違規偵測部103基於對象使用者執行結算處理之店鋪等之場所資訊、執行結算處理之日期時間資訊、及結算額等利用資訊，獲取來自學習模型M之輸出，判定該輸出是否表示違規，藉此偵測違規。例如，變化例1-1中之違規係第三者藉由違規登入對結算機構之利用行為、將第三者違規地獲取之卡號登記至自身之使用者ID而執行店鋪中之結算處理之行為、或第三者利用違規地獲取之卡號而對自身之電子貨幣或電子錢進行充值之行為等。第三者違規登入而變更付款來源之行為、將登記卡資訊隨意登記之行為、或變更其他設定或登記資訊之行為相當於違規。

根據變化例1-1，能夠簡化用於偵測結算中之違規之學習模型M之作成。

[變化例1-2]

例如，如變化例1-1之服務中，已認證使用者亦可能夠利用特定之卡C2即第1卡C2與第2卡C3之各者。變化例1-2中，對第1卡C2係執行持有認證卡之情形進行說明，但第1卡C2之認證方法並不限於持有認證。第1卡C2之認證方法可為任意之認證方法，例如可為知識認證或生物認證。3D安全係知識認證之一例。其他認證方法之例如第1實施方式中之說明。第1卡C2只要為能執行上述特定認證之卡即可。

變化例1-2中，為了與第1卡C2進行區分，而對第2卡標註C3之符號，但第2卡C3並未於附圖中示出。所謂與第1卡C2建立關聯之第2卡C3係與和第1卡C2相同之使用者ID建立關聯之第2卡C3。亦可不經由使用者ID，而將第1卡C2與第2卡C3直接建立關聯。

第2卡C3係未執行持有認證之卡。第2卡C3雖能夠執行持有認證，但亦可僅為未執行持有認證之卡。於第2卡C3為能夠執行持有認證之卡之情形時，有時第2卡C3亦相當於第1卡C2。變化例1-2中，第2卡C3係不對應NFC認證或圖像認證之卡。例如，第2卡C3不包含NFC認證或圖像認證中利用之輸入電子貨幣ID。

例如，即便第2卡C3包含IC晶片，該IC晶片中亦不包含輸入電子貨幣ID。即便該IC晶片中包含某些電子貨幣ID，亦可為NFC認證或圖像認證中不被利用之其他電子貨幣之電子貨幣ID。同樣，即便第2卡C3中形成 有某些電子貨幣ID，亦可為NFC認證或圖像認證中不被利用之其他電子貨幣之電子貨幣ID。

已認證資訊獲取部101獲取與第1卡C2對應之已認證資訊。該已認證資訊係持有認證旗標為「1」或「2」之第1卡C2之已認證資訊。已認證資訊獲取部101參照使用者資料庫DB1，特定出利用資訊所示之結算機構為第1卡C2，並且持有認證旗標為「1」或「2」之記錄，將該記錄中儲存之場所資訊、日期時間資訊、及利用資訊作為已認證資訊來獲取。

作成部302基於與第1卡C2對應之已認證資訊，作成學習模型M。作成部302亦可不將與第2卡C3對應之場所資訊、日期時間資訊、及利用資訊用於學習模型M之作成。基於已認證資訊而作成學習模型M方法本身如第1實施方式中之說明。

根據變化例1-2，基於與第1卡C2對應之已認證資訊，作成學習模型M。藉由著眼於與正當之概率非常高之第1卡C2對應之已認證資訊，能夠簡化第1實施方式中說明之學習模型M之作成，而有效地實現學習模型M之迅速作成、服務中之違規利用之防止、安全性之提高、及便利性降低之防止。

[變化例1-3]

例如，即便未執行第2卡C3之持有認證，只要為與執行持有認證之第1卡C2相同之名義人，則利用第2卡C3之行動亦正當之概率非常高。因 此，可以名義人相同為條件，將第2卡C3之場所資訊、日期時間資訊、及利用資訊作為已認證資訊來利用。

違規偵測系統S進而包含比較部304，該比較部304對第1卡C2之名義相關之第1名義資訊及第2卡C3之名義相關之第2名義資訊進行比較。第1名義資訊係第1卡C2之名義相關之資訊。第2名義資訊係第2卡C3之名義相關之資訊。變化例1-3中，對第1名義資訊表示第1卡C2之名義人即第1名義人且第2名義資訊表示第2卡C3之名義人即第2名義人之情形進行說明。

第1名義人係表示第1卡C2之名義人之名字之字串。第2名義人係表示第2卡C3之名義人之名字之字串。名義人能夠以任意語言之字串來表現。再者，第1名義資訊及第2名義資訊之各者可為名義人以外之資訊。例如，第1名義資訊及第2名義資訊之各者可為名義人之住所、電話號碼、出生年月日、性別、郵件位址、或其等之組合，亦可為其他個人資訊。

變化例1-3中，對比較部304由經營者伺服器30實現之情形進行說明，但比較部304亦可由發行者伺服器40實現。例如，在將未儲存於使用者資料庫DB1之資訊作為第1名義資訊及第2名義資訊進行利用之情形時，第1名義資訊及第2名義資訊之比較可由發行者伺服器40執行。此處之比較係判定是否一致。

變化例1-3中，資料記憶部300記憶儲存有各種卡相關之資訊之資料庫。該資料庫中儲存有各種卡之名義資訊。第1名義資訊及第2名義資訊從 該資料庫中獲取。於經營者伺服器30不管理該資料庫之情形時，經營者伺服器30只要委託發行者伺服器40進行第1名義資訊及第2名義資訊之比較，從發行者伺服器40僅獲取比較結果即可。例如，比較部304對第1名義人與第2名義人進行比較。比較部304參照使用者資料庫DB1，獲取第1名義人及第2名義人，將其等之比較結果發送至已認證資訊獲取部101。第1名義資訊及第2名義資訊可為其他資訊之點如上所述。

已認證資訊獲取部101於比較部304之比較結果為特定之結果之情形時，獲取與第2卡C3對應之已認證資訊。變化例1-3中，對第1名義人及第2名義人一致相當於特定之結果之情形進行說明，但亦可為上述其他資訊一致相當於特定之結果。於第1名義資訊及第2名義資訊之各者包含複數個資訊之情形時，亦可為特定數量以上之資訊一致相當於特定之結果。例如，於第1名義資訊及第2名義資訊之各者包含名義人、住所、電話號碼、及出生年月日等4種資訊之情形時，可為2種以上資訊一致相當於特定之結果。再者，此處之一致，並非完全一致，可為部分一致。

當為圖18之例時，使用者ID「taro.yamada123」之第1卡C2(No.2之卡)之第1名義人與第2卡C3(No.1之卡)之第2名義人兩者同為「TARO YAMADA」。因此，當執行第1卡C2之持有認證後，第2卡C3亦被用於學習模型M之學習。

另一方面，使用者ID「hanako.suzuki999」之第1卡C2(No.1之卡)之第1名義人與某第2卡C3(No.2之卡)之第2名義人兩者同為「HANAKO SUZUKI」。因此，當執行第1卡C2之持有認證後，該第2卡C3亦被用於學習模型M之學習。但，其他第2卡C3(No.3之卡)之第2名義人為「MIKI OKAMOTO」，與第1名義人不同。因此，該其他第2卡C3可能由第三者隨意登記，利用該其他第2卡C3之行動或許並不正當，因此不被用於學習模型M之學習。

作成部302於比較部304之比較結果為特定之結果之情形時，基於與第1卡C2對應之已認證資訊及與第2卡C3對應之已認證資訊，作成學習模型M。第2卡C3由於未執行持有認證，故而第2卡C3之場所資訊、日期時間資訊、及利用資訊嚴密而言不符合已認證資訊，但因和與第1卡C2對應之已認證資訊同等地處理，故此處記為與第2卡C3對應之已認證資訊。與第2卡C3對應之已認證資訊用於學習之點僅與第1實施方式及變化例1-1不同，學習模型M之學習方法本身與第1實施方式及變化例1-1同樣。作成部302作成學習模型M，以於將與第1卡C2對應之已認證資訊及與第2卡C3對應之已認證資訊之各者輸入至學習模型M之情形時，推定為正當。

根據變化例1-3，於第1卡C2之名義相關之第1名義資訊及第2卡C3之名義相關之第2名義資訊之比較結果為特定之結果之情形時，藉由基於與第1卡C2對應之已認證資訊及與第2卡C3對應之已認證資訊作成學習模型M，而學習更多之已認證資訊從而使學習模型M之精度得到進一步提昇。結果，能夠有效地實現服務中之違規利用之防止、安全性之提高、及便利性降低之防止。

[變化例1-4]

例如，變化例1-3中說明之第2卡C3可為不對應持有認證之卡。與第2卡C3對應之已認證資訊可為利用未執行持有認證之第2卡C3之已認證使用者之行動相關之資訊。不對應持有認證之卡係無法執行持有認證之卡。例如，不包含IC晶片之卡不對應NFC認證。例如，券面未形成有輸入電子貨幣ID之卡不對應圖像認證。例如，不包含用於持有認證之輸入電子貨幣ID之卡係不對應持有認證之卡。

根據變化例1-4，即便第2卡C3為不對應持有認證之卡，藉由基於與第2卡C3對應之已認證資訊作成學習模型M，學習模型M之精度亦將進一步提昇。

[變化例1-5]

例如，亦可利用未執行持有認證之未認證使用者之行動來進行學習模型M之學習。違規偵測系統S進而包含未認證資訊獲取部305，該未認證資訊獲取部305獲取未執行認證之未認證使用者之行動相關之未認證資訊。未認證使用者係持有認證旗標並非「1」或「2」之使用者。即，未認證使用者係持有認證旗標之至少一部分為「0」之使用者。未認證資訊獲取部305參照使用者資料庫DB1，獲取未認證使用者之未認證資訊。未認證資訊係未認證使用者之場所資訊、日期時間資訊、及利用資訊之組合。未認證資訊可為任意資訊，不限於其等之組合，此點與已認證資訊同樣。

作成部302基於未認證資訊，作成表示未認證使用者之行動正當或違 規之訓練資料，並基於該訓練資料，使學習模型M學習。以下，將利用已認證使用者作成之訓練資料記為第1訓練資料，將利用未認證使用者作成之訓練資料記為第2訓練資料。第1訓練資料及第2訓練資料之資料構造本身均相同，如第1實施方式中之說明。

再者，相對於第1訓練資料之輸出部分原則上必定表示正當，第2訓練資料之輸出部分未必表示正當。例如，第2訓練資料之輸出部分由學習模型M之作成者指定。關於由學習模型M之作成者判定為違規之未認證使用者，第2訓練資料之輸出部分表示違規。由於第1訓練資料及第2訓練資料之資料構造本身均相同，故而基於第1訓練資料及第2訓練資料之各者作成學習模型M方法本身如第1實施方式中之說明。

根據變化例1-5，基於未認證資訊，作成表示未認證使用者之行動正當或違規之第2訓練資料，並基於第2訓練資料使學習模型M學習，藉此利用更多之資訊而使學習模型M之精度進一步提昇。

[變化例1-6]

例如，於變化例1-5中，作成部302可基於未認證資訊，獲取來自已學習之學習模型M之輸出，並基於該輸出作成第2訓練資料。例如，作成部302將與未認證資訊對應之學習模型M之輸出提示給學習模型M之作成者。學習模型M之作成者核實該輸出是否正確。作成者視需要修正該輸出。

例如，未認證使用者被認為本來應為正當，於來自學習模型M之輸出表示違規之情形時，作成者將該輸出修正為正當。相反，未認證使用者被認為本來應為違規，於來自學習模型M之輸出表示正當之情形時，作成者將該輸出修正為違規。作成部302基於未認證使用者之修正結果，作成第2訓練資料。作成部302於未認證使用者未修正輸出之情形時，基於來自學習模型M之輸出，作成第2訓練資料。利用第2訓練資料作成學習模型M方法本身如變化例1-5之說明。

根據變化例1-6，基於未認證資訊，獲取來自已學習之學習模型M之輸出，並基於該輸出作成第2訓練資料，藉此利用更多資訊而使學習模型M之精度進一步提昇。

[變化例1-7]

例如，於變化例1-5中，存在以下情況：於某未認證使用者繼續利用服務期間，逐漸明白該未認證使用者違規或正當。因此，作成部302可基於獲取與未認證資訊對應之輸出後之未認證資訊，變更該輸出之內容，並基於該變更後之輸出之內容作成第2訓練資料。

變化例1-7之學習模型M輸出服務中之違規相關之得分。變化例1-7中，對得分表示正當程度之情形進行說明，但得分亦可表示違規程度。於得分表示正當程度之情形時，得分表示被歸類為正當之可能性。於得分表示違規程度之之情形時，得分表示被歸類為違規之可能性。學習模型M計算得分之方法本身可利用公知之各種方法。作成部302基於未認證使用者 之未認證行動，獲取來自學習模型M之得分。作成部302基於其後之未認證使用者之行動，變更該得分。得分之變更方法預先規定於資料記憶部100。

例如，被歸類為違規之行動與進行該行動時得分之變更量(本變化例中，因得分表示正當程度而為減少量)之關係已定。同樣，被歸類為正當之行動與進行該行動時得分之變更量(本變化例中，因得分表示正當程度而為增加量)之關係已定。作成部302於未認證使用者進行有違規嫌疑之行動之情形時，以違規程度增強之方式，基於與該行動相應之變更量來變更得分。作成部302於未認證使用者進行疑似正當之行動之情形時，以違規程度減弱之方式，基於與該行動相應之變更量來變更得分。

再者，於學習模型M不輸出得分，而是輸出是否違規之分類結果之情形時，作成部302可變更該分類結果。例如，學習模型M之輸出為表示違規之「1」、或表示正當之「0」。作成部302於與未認證資訊對應之輸出為「1」且未認證使用者被歸類為違規時，其後之未認證使用者繼續進行正當之概率較高之行動之情形時，可在將該輸出變更為「0」之後，作成第2訓練資料。作成部302於與未認證資訊對應之輸出為「0」且未認證使用者被歸類為正當時，其後之未認證使用者繼續進行違規之概率較高之行動之情形時，可在將該輸出變更為「1」之後，作成第2訓練資料。

根據變化例1-7，基於獲取與未認證資訊對應之輸出後之未認證資訊，變更該輸出之內容，並基於該變更後之輸出之內容，作成第2訓練資 料，藉此使學習模型M之精度進一步提昇。

[變化例1-8]

例如，於變化例1-7中，與未認證資訊對應之得分可以相較於與已認證資訊對應之得分表示違規之方式被設定上限值。作成部302基於從學習模型M輸出之已認證資訊之得分，決定與未認證資訊對應之得分之上限值。例如，作成部302將已認證資訊之得分之平均值決定為與未認證資訊對應之得分之上限值。除此以外，例如，作成部302將已認證資訊之得分中最低之值、或特定之第幾低之值決定為與未認證資訊對應之得分之上限值。

學習模型M基於上限值，輸出與未認證資訊對應之得分。學習模型M以不超過上限值之方式，輸出與未認證資訊對應之得分。例如，即便學習模型M之內部計算之得分超過上限值，學習模型M亦以所要輸出之得分為上限值以下之方式輸出得分。上限值可為藉由將未認證資訊輸入至學習模型M而獲得之得分之平均值等。利用與未認證資訊對應之得分而作成學習模型M方法本身如變化例1-7之說明。

根據變化例1-8，基於以相較於與已認證資訊對應之得分表示違規之方式設定之上限值，輸出與未認證資訊對應之得分，藉此使學習模型M之精度進一步提昇。

[變化例1-9]

例如，可亦利用確定經過特定之時間是否違規之確定使用者之行動而做成學習模型M。違規偵測系統S進而包含確定資訊獲取部306，該確定資訊獲取部306獲取已確定是否違規之確定使用者之行動相關之確定資訊。確定資訊在為與確定使用者之行動相關之資訊之點上不同於已認證資訊，但資料構造本身與已認證資訊同樣。因此，確定資訊包含使用者資料庫DB1中儲存之確定使用者之場所資訊、日期時間資訊、及利用資訊。確定資訊中包含之內容不限於其等之點亦與已認證資訊同樣。是否違規可由學習模型M之作成者指定，亦可基於特定之規則來決定。

作成部302基於已認證資訊及確定資訊，作成學習模型M。僅在利用確定資訊之點上與第1實施方式及其他變化例不同，學習模型M之作成方法本身與第1實施方式及其他變化例同樣。即，作成部302作成學習模型M，以於被輸入有已認證資訊之情形時，輸出為正當之結果，且於被輸入有確定資訊之各者之情形時，輸出與確定資訊建立關聯之結果(為違規或正當之結果)。

根據變化例1-9，藉由基於已認證資訊與確定使用者之確定資訊作成學習模型M，而利用更多之資訊進行學習，學習模型M之精度進一步提昇。

[變化例1-10]

例如，學習模型M可為無監督式學習之模型。作成部302基於已認證資訊作成學習模型M，以使服務中之違規行動成為偏離值。例如，作成部 302作成無監督式學習之學習模型M，以於被輸入有複數個已認證資訊之各者之情形時，該等已認證資訊被聚類為同一群集。該學習模型M中，當被輸入和已認證資訊所示之特徵不同之違規行動相關之資訊時，其被作為偏離值輸出。即，違規行動被視為不屬於已認證資訊之群集而輸出。無監督式學習本身可利用各種方法，例如除上述之聚類之方法以外，亦可利用主成分分析、向量量子化、非負矩陣分解、k-means法、或混合高斯模型等之方法。違規偵測部303基於對象使用者之對象資訊，獲取學習模型M之輸出，只要輸出為偏離值，則判定為違規。違規偵測部303當輸出並非偏離值時，判定為正當。

根據變化例1-10，基於已認證資訊作成利用無監督式學習之學習模型M，以使服務中之違規行動成為偏離值，藉此能夠使利用無監督式學習之學習模型M之作成簡化。又，能夠使學習模型M之作成之一系列處理自動化，從而迅速地作成學習模型M。能夠對違規偵測系統S迅速地應用已學習最新之傾向之學習模型M，從而高精度地偵測違規。結果，防止服務中之違規利用，而使安全性提昇。亦能夠防止便利性降低，如本應正當之對象使用者之行動被推定為違規而無法利用服務等。

[3-2.第2實施方式之變化例]

接下來，對第2實施方式之變化例進行說明。

[變化例2-1]

例如，第2實施方式之違規偵測系統S亦能夠應用於如第1實施方式之 變化例1-1~變化例1-10中所說明之電子結算服務。

圖19係第2實施方式之變化例中之功能方塊圖。圖19中，針對變化例2-1以後之變化例2-2~2-9中之功能亦予以示出。如圖19所示，此處，對由經營者伺服器30實現主要功能之情形進行說明。經營者伺服器30中，包含資料記憶部300、已認證資訊獲取部301、作成部302、違規偵測部303、比較部304、未認證資訊獲取部305、確定資訊獲取部306、輸出獲取部307、評價部308、及處理執行部309。輸出獲取部307、評價部308、及處理執行部309之各者主要實現控制部31。

資料記憶部300與變化例1-1同樣。已認證資訊獲取部301、違規偵測部303、及評價部308與第2實施方式中說明之已認證資訊獲取部301、違規偵測部303、及評價部308同樣。已認證資訊獲取部301及違規偵測部303具有亦與變化例1-1之已認證資訊獲取部301及違規偵測部303共通之功能。評價部308利用如變化例1-1說明之用於偵測第三者因違規登入對結算機構之利用等違規之學習模型M之正確率等，評價學習模型M之精度。該評價之指標不限於正確率如第2實施方式中之說明。

根據變化例2-1，能夠準確地評價用於偵測電子結算服務中之違規之學習模型M之違規偵測之精度。

[變化例2-2]

例如，違規偵測系統S亦可包含處理執行部309，該處理執行部309於 學習模型M之精度未達特定精度之情形時，執行用於利用服務中之最近之行動而作成學習模型M之處理。該處理可為通知學習模型M之作成者重新作成學習模型M之處理，亦可為藉由與第1實施方式同樣之方法而重新作成學習模型M之處理。如第2實施方式中所說明，通知可利用電子郵件等任意機構。重新作成學習模型M之處理可為利用最近之已認證資訊而如第1實施方式作成學習模型M之處理，亦可利用並非尤其如第1實施方式之學習模型M之作成之方法。進而，學習模型M亦可利用違規偵測系統S以外之系統作成。

根據變化例2-2，於學習模型M之精度未達特定精度之情形時，藉由執行用於利用服務中之最近之行動而作成學習模型M之處理，能夠應對學習模型M之違規偵測之精度降低之情形。能夠對違規偵測系統S迅速地應用學習最新之傾向之學習模型M，而高精度地偵測違規。結果，防止服務中之違規利用，而使安全性提昇。亦能夠防止便利性降低，如本應正當之對象使用者之行動被推定為違規而無法利用服務等。

[變化例2-3]

例如，評價部308可基於已認證資訊及確定資訊而評價學習模型M之精度。變化例2-3之違規偵測系統S包含與變化例1-9同樣之確定資訊獲取部306。在確定資訊用於學習模型M之精度之評價之點上與第2實施方式不同，但學習模型M之評價方法本身如第2實施方式中之說明。例如，評價部308不僅利用已認證資訊，還利用確定資訊，來計算正確率。評價部308判定藉由將確定資訊輸入至學習模型M而獲得之輸出是否表示與確定 資訊對應之輸出(例如，是否為學習模型M之作成者所指定之違規之結果)，計算正確率。可利用正確率以外之任意指標之點如第2實施方式中之說明。

根據變化例2-3，藉由基於已認證資訊及確定資訊評價學習模型M之精度，可利用更多之資訊而更準確地評價學習模型M之精度。

[變化例2-4]

例如，與變化例1-2同樣，於可利用第1卡C2及第2卡C3之各者之情形時，輸出獲取部307可基於與第1卡C2對應之已認證資訊，獲取與第1卡C2對應之輸出。評價部308基於與第1卡C2對應之輸出，評價學習模型M之精度。基於學習模型M之輸出而評價學習模型M之精度方法本身如第2實施方式中之說明。

根據變化例2-4，基於與第1卡C2對應之輸出，評價學習模型M之精度。藉由著眼於與正當之概率非常高之第1卡C2對應之已認證資訊，能夠有效地實現第2實施方式中說明之學習模型M之準確評價、對最近之傾向之迅速應對、服務中之違規利用之防止、安全性之提高、及便利性降低之防止。

[變化例2-5]

例如，於違規偵測系統S包含與變化例1-3同樣之比較部304之情形時，輸出獲取部307可基於與第2卡C3對應之已認證資訊，獲取與第2卡C3 對應之輸出。評價部308基於與第1卡C2對應之輸出及與第2卡C3對應之輸出，評價學習模型M之精度。基於學習模型M之輸出而評價學習模型M之精度方法本身如第2實施方式中之說明。例如，評價部308不僅利用與第1卡C2對應之輸出，還利用與第2卡C3對應之輸出，來計算正確率。評價部308判定藉由將與第2卡C3對應之已認證資訊輸入至學習模型M而獲得之輸出是否表示正當，來計算正確率。可利用正確率以外之任意指標之點如第2實施方式中之說明。

根據變化例2-5，於第1卡C2之名義相關之第1名義資訊及第2卡C3之名義相關之第2名義資訊之比較結果為特定之結果之情形時，藉由基於與第1卡C2對應之輸出及與第2卡C3對應之輸出而評價學習模型M之精度，可利用更多之資訊而更準確地評價學習模型M。結果，能夠有效地實現服務中之違規利用之防止、安全性之提高、及便利性降低之防止。

[變化例2-6]

例如，與變化例1-4同樣，變化例2-5之第2卡C3可為不對應持有認證之卡。變化例2-5中說明之第2卡C3僅不對應持有認證，評價部308之評價方法本身如變化例2-5之說明。

根據變化例2-6，即便第2卡C3為不對應持有認證之卡，藉由基於與第2卡C3對應之已認證資訊而評價學習模型M之精度，可利用更多之資訊而更準確地評價學習模型M。

[變化例2-7]

例如，與變化例1-1同樣，違規偵測系統S可包含作成部302。作成部302基於已認證資訊，作成用於偵測服務中之違規之學習模型M，以推定已認證使用者之行動正當。變化例2-7之違規偵測系統S只要具有與變化例1-1同樣之構成即可。

根據變化例2-7，能夠使第1實施方式中說明之學習模型M之作成簡化，從而有效地實現學習模型M之迅速作成、服務中之違規利用之防止、安全性之提高、及便利性降低之防止。

[變化例2-8]

例如，違規偵測系統S可包含與變化例1-5同樣之未認證資訊獲取部305。作成部302可基於未認證資訊，作成表示未認證使用者之行動正當或違規之第2訓練資料，並基於第2訓練資料，使學習模型M學習。變化例2-8之違規偵測系統S只要具有與變化例1-5同樣之構成即可。進而，評價部308亦可評價基於第2訓練資料而作成之學習模型M之精度。該評價方法只要為與第2實施方式或上述說明之變化例同樣之方法即可。

根據變化例2-8，基於未認證資訊，作成表示未認證使用者之行動正當或違規之第2訓練資料，並基於第2訓練資料，使學習模型M學習，藉此利用更多資訊而使學習模型M之精度進一步提昇。

[變化例2-9]

例如，與變化例1-6同樣，作成部302可基於未認證資訊，獲取來自已學習之學習模型M之輸出，並基於該輸出，作成第2訓練資料。變化例2-9之違規偵測系統S只要具有與變化例1-6同樣之構成即可。

根據變化例2-9，基於未認證資訊，獲取來自已學習之學習模型M之輸出，並基於該輸出，作成第2訓練資料，藉此利用更多資訊而使學習模型M之精度進一步提昇。

[3-3.其他變化例]

例如，可將上述說明之變化例加以組合。

例如，於能夠預先獲取使用者之違規度之情形時，可根據違規度而改變持有認證之方法。違規度係表示違規程度之資訊、或表示違規嫌疑大小之資訊。此處，對藉由得分表現違規度之情形進行說明，但違規度可以其他指標表現。例如，違規度可以S等級‧A等級‧B等級等文字表現。例如，可利用學習模型M計算違規度，亦可利用規則計算違規度。例如，可以IP位址越呈現出偏差，違規度越高之方式，計算違規度。又，例如，可以使用者訪問之URL(Uniform Resource Locator，統一資源定位符)越呈現出偏差，違規度越高之方式，計算違規度。又，例如，可以訪問場所距利用中心地越遠，或訪問場所越呈現出偏差，違規度越高之方式，計算違規度。

例如，基於使用者之違規度，第1卡C2之IC晶片cp之記憶區域中利用 NFC認證讀取之記憶區域可不同。例如，於IC晶片cp包含需要密鑰供讀取部進行讀取之第1記憶區域及不需要密鑰供讀取部進行讀取之第2記憶區域之情形時，若使用者之違規度為閾值以上，則可從第1記憶區域獲取輸入電子貨幣ID。若使用者之違規度未達閾值，則可從第2記憶區域獲取輸入電子貨幣ID。於此情形時，可將表示從第1記憶區域或第2記憶區域之哪一個獲取輸入電子貨幣ID之資訊發送至經營者伺服器30，於持有認證中確認該資訊。

又，亦可根據使用者之違規度，從NFC部23A及攝影部26之中決定要在認證中加以利用者。例如，可於違規度為閾值以上之情形時，決定利用NFC部23A，於違規度未達閾值之情形時，決定利用攝影部26。亦可與之相反地，於違規度為閾值以上之情形時決定利用攝影部26，於違規度未達閾值之情形時決定利用NFC部23A。除此以外，例如可於違規度為閾值以上之情形時決定利用NFC部23A及攝影部26之兩者，於違規度未達閾值之情形時決定利用NFC部23A或攝影部26之任一者。可將識別NFC部23A及攝影部26中決定在認證中加以利用者之資訊發送至經營者伺服器30，並於持有認證中確認該資訊。

又，於第1卡C2包含複數個認證資訊之情形時，可基於使用者之違規度來決定要在認證中加以利用之認證資訊。例如，以違規度越高，要在認證中加以利用之認證資訊越多之方式，決定要在認證中加以利用之認證資訊。又，例如，以違規度越低，要在認證中加以利用之認證資訊越少之方式，決定要在認證中加以利用之認證資訊。又，例如於違規度為閾值以上 之情形時，決定利用資訊量相對較多之第1認證資訊，於違規度未達閾值之情形時，決定利用資訊量相對較少之第2認證資訊。

例如，違規偵測系統S能夠應用於行政服務及電子結算服務以外之任意服務。例如，違規偵測系統S亦能夠應用於電子商務服務、旅行預約服務、通訊服務、金融服務、保險服務、拍賣服務、或SNS等其他服務。於將第1實施方式之違規偵測系統S應用於其他服務之情形時，只要利用從使用者終端20執行了持有認證等特定認證之已認證使用者之已認證資訊，作成學習模型M即可。於將第2實施方式之違規偵測系統S應用於其他服務之情形時亦同樣，只要利用已執行持有認證等特定認證之已認證使用者之已認證資訊來評價學習模型M之精度即可。

例如，持有認證中利用之卡可為保險證、許可證、會員證、或學生證等。持有認證中利用之卡亦可為電子卡(虛擬卡)而非實體卡。又，例如於持有認證失敗之情形時，亦可進行管理者之人工判定。又，例如於與某卡號對應之持有認證失敗特定次數之情形時，針對該卡號，可以不再繼續執行持有認證之方式進行限制。於此情形時，只要未經管理者許可，便可以不將該卡登記於應用之方式加以限制。除此以外，例如亦可藉由資訊記憶媒體之讀取來執行持有認證。

例如，對主要功能由伺服器10或經營者伺服器30實現之情形進行了說明，但各功能亦可由複數個電腦分擔。

10:伺服器

20:使用者終端

100:資料記憶部

101:已認證資訊獲取部

102:作成部

103:違規偵測部

104:輸出獲取部

105:評價部

200:資料記憶部

201:顯示控制部

202:受理部

DB1:使用者資料庫

DB2:訓練資料庫

M:學習模型

Claims (15)

1. 一種學習模型評價系統，其包含：已認證資訊獲取部，其從可利用特定之服務之使用者終端獲取：在登入了上述服務之狀態下執行了特定認證之已認證使用者之行動相關之已認證資訊；輸出獲取部，其基於上述已認證資訊，獲取來自用於偵測上述服務中之違規之學習模型之輸出；及評價部，其基於與上述已認證資訊對應之上述輸出，評價上述學習模型之精度。
2. 一種學習模型評價系統，其包含：已認證資訊獲取部，其利用可利用特定之服務之使用者終端，取得執行了持有認證之已認證使用者之與第1卡對應之行動相關之已認證資訊，上述持有認證係用於確認是否持有於上述服務中可利用之上述第1卡；輸出獲取部，其基於與上述第1卡對應之上述已認證資訊，獲取來自用於偵測上述服務中之違規之學習模型之與上述第1卡對應之輸出；評價部，其基於與上述第1卡對應之上述輸出，評價上述學習模型之精度；及比較部，其對上述第1卡之名義相關之第1名義資訊及上述已認證使用者於上述服務可利用之第2卡之名義相關之第2名義資訊進行比較；上述已認證資訊獲取部於上述比較部之比較結果為預定結果之情形 時，獲取與上述第2卡對應之上述已認證資訊，上述輸出獲取部基於與上述第2卡對應之上述已認證資訊，獲取與上述第2卡對應之上述輸出，上述評價部基於與上述第1卡對應之上述輸出及與上述第2卡對應之上述輸出，評價上述學習模型之精度。
3. 如請求項1或2之學習模型評價系統，其中上述已認證資訊獲取部獲取複數個上述已認證資訊，上述輸出獲取部獲取與上述複數個已認證資訊之各者對應之上述輸出，上述評價部基於與上述複數個已認證資訊之各者對應之上述輸出，評價上述學習模型之精度。
4. 如請求項1或2之學習模型評價系統，其中上述學習模型評價系統進而包含處理執行部，該處理執行部於上述學習模型之精度未達特定精度之情形時，執行用於利用上述服務中之最近之行動而作成上述學習模型之處理。
5. 如請求項1或2之學習模型評價系統，其中上述學習模型評價系統進而包含確定資訊獲取部，該確定資訊獲取部獲取已確定是否違規之確定使用者之行動相關之確定資訊，上述評價部基於上述已認證資訊及上述確定資訊，評價上述學習模型之精度。
6. 如請求項2之學習模型評價系統，其中上述第2卡係不對應上述持有認證之卡，與上述第2卡對應之上述已認證資訊係利用未執行上述持有認證之上述第2卡之上述已認證使用者之行動相關之資訊。
7. 如請求項1或2之學習模型評價系統，其中上述學習模型評價系統進而包含作成部，該作成部基於上述已認證資訊，作成用於偵測上述服務中之違規之上述學習模型，以推定上述已認證使用者之行動正當。
8. 如請求項7之學習模型評價系統，其中上述學習模型係監督式學習之模型，上述作成部基於上述已認證資訊，作成表示上述已認證使用者之行動正當之第1訓練資料，並基於上述第1訓練資料，使上述學習模型學習，藉此作成上述學習模型。
9. 如請求項8之學習模型評價系統，其中上述學習模型評價系統進而包含未認證資訊獲取部，該未認證資訊獲取部獲取未認證使用者之行動相關之未認證資訊，上述作成部基於上述未認證資訊，作成表示上述未認證使用者之行動正當或違規之第2訓練資料，並基於上述第2訓練資料，使上述學習模型學習。
10. 如請求項9之學習模型評價系統，其中上述作成部基於上述未認證資訊，獲取來自已學習之上述學習模型之輸出，並基於該輸出，作成上述第2訓練資料。
11. 如請求項1或2之學習模型評價系統，其中上述服務係能夠從上述使用者終端利用之電子結算服務，上述已認證資訊係上述電子結算服務中之上述已認證使用者之行動相關之資訊，上述學習模型係用於偵測上述電子結算服務中之違規之模型。
12. 一種學習模型評價方法，其係電腦執行以下步驟：已認證資訊獲取步驟，其係從可利用特定之服務之使用者終端獲取：在登入了上述服務之狀態下執行了特定認證之已認證使用者之行動相關之已認證資訊；輸出獲取步驟，其係基於上述已認證資訊，獲取來自用於偵測上述服務中之違規之學習模型之輸出；及評價步驟，其係基於與上述已認證資訊對應之上述輸出，評價上述學習模型之精度。
13. 一種學習模型評價方法，其係電腦執行以下步驟：已認證資訊獲取步驟，其利用可利用特定之服務之使用者終端，取得執行了持有認證之已認證使用者之與第1卡對應之行動相關之已認證資 訊，上述持有認證係用於確認是否持有於上述服務中可利用之上述第1卡；輸出獲取步驟，其基於與上述第1卡對應之上述已認證資訊，獲取來自用於偵測上述服務中之違規之學習模型之與上述第1卡對應之輸出；評價步驟，其基於與上述第1卡對應之上述輸出，評價上述學習模型之精度；及比較步驟，其對上述第1卡之名義相關之第1名義資訊及上述已認證使用者於上述服務可利用之第2卡之名義相關之第2名義資訊進行比較；上述已認證資訊獲取步驟係：於上述比較步驟之比較結果為預定結果之情形時，獲取與上述第2卡對應之上述已認證資訊，上述輸出獲取步驟係：基於與上述第2卡對應之上述已認證資訊，獲取與上述第2卡對應之上述輸出，上述評價步驟係：基於與上述第1卡對應之上述輸出及與上述第2卡對應之上述輸出，評價上述學習模型之精度。
14. 一種程式產品，其用於使電腦作為以下部發揮功能，即：已認證資訊獲取部，其從可利用特定之服務之使用者終端獲取：在登入了上述服務之狀態下執行了特定認證之已認證使用者之行動相關之已認證資訊；輸出獲取部，其基於上述已認證資訊，獲取來自用於偵測上述服務中之違規之學習模型之輸出；及評價部，其基於與上述已認證資訊對應之上述輸出，評價上述學習模型之精度。
15. 一種程式產品，其用於使電腦作為以下部發揮功能，即：已認證資訊獲取部，其利用可利用特定之服務之使用者終端，取得執行了持有認證之已認證使用者之與第1卡對應之行動相關之已認證資訊，上述持有認證係用於確認是否持有於上述服務中可利用之上述第1卡；輸出獲取部，其基於與上述第1卡對應之上述已認證資訊，獲取來自用於偵測上述服務中之違規之學習模型之與上述第1卡對應之輸出；評價部，其基於與上述第1卡對應之上述輸出，評價上述學習模型之精度；及比較部，其對上述第1卡之名義相關之第1名義資訊及上述已認證使用者於上述服務可利用之第2卡之名義相關之第2名義資訊進行比較；上述已認證資訊獲取部於上述比較部之比較結果為預定結果之情形時，獲取與上述第2卡對應之上述已認證資訊，上述輸出獲取部基於與上述第2卡對應之上述已認證資訊，獲取與上述第2卡對應之上述輸出，上述評價部基於與上述第1卡對應之上述輸出及與上述第2卡對應之上述輸出，評價上述學習模型之精度。