TWI713823B

TWI713823B - 模型構築系統及模型構築方法

Info

Publication number: TWI713823B
Application number: TW107106853A
Authority: TW
Inventors: 西田幸仁; 曾我朗
Original assignee: 日商東芝股份有限公司
Priority date: 2017-03-29
Filing date: 2018-03-01
Publication date: 2020-12-21
Also published as: JP2018170000A; JP6767356B2; TW201839640A

Abstract

本發明係提供一種可緩和感度下降之影響，且可判別模型是否健全之模型構築系統及模型構築方法。根據實施形態，模型構築系統具備NCLM處理部、過濾部、模型構築部、變數限定部、判定部、及健全度算出部。上述NCLM處理部將包含複數個輸入變數之第1輸入變數群限定為使用最新相關魯汶算法(Nearest Correlation Louvain Method (NCLM))選擇之第2輸入變數群。上述過濾部將上述第2輸入變數群限定為滿足特定條件之第3輸入變數群。上述模型構築部係構築表示上述第3輸入變數群與輸出變數之關係之模型。上述變數限定部將上述第1輸入變數群限定為未使用於上述模型之構築之上述輸入變數。上述判定部判定經構築之上述模型之數是否達到規定數，於上述模型之數未達到上述規定數之情形時，將藉由上述變數限定部限定之上述第1輸入變數群輸出至上述NCLM處理部。上述健全度算出部算出上述規定數之上述模型之綜合之健全度與各個上述模型之健全度。

Description

模型構築系統及模型構築方法

本發明之實施形態一般而言係關於一種模型構築系統及模型構築方法。

為了自複數個輸入變數(說明變數)預測某輸出變數(目的變數)，進行表示輸入變數與輸出變數之關係之模型之構築。作為一例，於在製造裝置進行工件之加工之情形時，有以於製造裝置獲得之各種資料為輸入變數，構築用於預測加工後之工件之品質等之模型之情形。此種模型例如於自於工件之加工中所獲得之資料預測出之品質偏離特定管理範圍之情形時，用以檢測該工件為不良。一般而言，構築之模型隨著使用期間延長而感度會下降，相對於實測值之預測值的誤差會變大。若相對於實測值之預測值的誤差變大，則於自模型輸出之預測值偏離管理範圍之情形時，難以判別此係起因於模型之感度下降還是實際上工件不良。因此，期望開發一種可緩和感度下降之影響，且可判別模型是否健全之技術。

本發明之實施形態係提供一種可緩和感度下降之影響，且可判別模型是否健全之模型構築系統及模型構築方法。根據本發明之實施形態，模型構築系統具備NCLM處理部、過濾部、模型構築部、變數限定部、判定部、健全度算出部。上述NCLM處理部將包含複數個輸入變數之第1輸入變數群限定為使用最新相關魯汶方法(Nearest Correlation Louvain Method (NCLM))選擇之第2輸入變數群。上述過濾部將上述第2輸入變數群限定為滿足特定條件之第3輸入變數群。上述模型構築部係構築表示上述第3輸入變數群與輸出變數之關係之模型。上述變數限定部將上述第1輸入變數群限定為未使用於上述模型之構築之上述輸入變數。上述判定部判定經構築之上述模型之數是否達到規定數，於上述模型之數未達到上述規定數之情形時，將藉由上述變數限定部限定之上述第1輸入變數群輸出至上述NCLM處理部。上述健全度算出部算出上述規定數之上述模型之綜合之健全度與各上述模型之健全度。根據上述構成之模型構築系統，可緩和感度下降之影響，且可判別模型是否健全。

以下，一面參照圖式一面對本發明之各實施形態進行說明。又，於本案說明書與各圖中，對與已說明者相同之要素標註相同符號且適當省略詳細說明。圖1係表示第1實施形態之模型構築系統1之構成之方塊圖。如圖1所表示般，模型構築系統1具備取得部100、NCLM處理部102、過濾部104、模型構築部106、模型資訊保存部108、變數限定部110、判定部112、健全度算出部114、外部輸出部116、規定數資料庫120及變數資料庫122。規定數資料庫120記憶規定數。規定數表示於模型構築系統1中構築之模型之數。規定數例如預先由使用者輸入。於變數資料庫122記憶關於輸入變數及輸出變數之各變數之實測值即變數資料。取得部100自規定數資料庫120及變數資料庫122分別取得規定數及變數資料。取得部100將取得之資訊輸出至NCLM處理部102。上述NCLM處理部將藉由取得部100取得之複數個輸入變數限定於使用最新相關魯汶方法(Nearest Correlation Louvain Method (NCLM))選擇之複數個輸入變數。NCLM為組合NC(Nearest Correlation)法與Louvain Method之方法。藉由使用NC法，可自多個輸入變數之中找出相關關係較高且更類似(相關關係強)之變數。又，Louvain Method為將加權圖分割於複數個組之最優方法之1種。於Louvain Method中，以組內之結合緊密，且組間之結合疏鬆之方式，將加權圖分割於複數組。以NC法找出之類似變數視為結合。藉此，能以類似變數分配於同一組，相關較低之變數分配於不同組之方式實施組分割。對於分配結果，使用部分最小平方(Partial Least Square(PLS))，僅選擇可良好說明輸出變數之組。而且，藉由組合該等方法，可考慮變數間之類似性而將多個輸入變數組群化，以組單位進行輸入變數之選擇。即，NCLM處理部102將複數個輸入變數限定為最能說明輸出變數之1個以上之輸入變數。再者，關於NCLM、NC法、及Louvain Method，於Uchimaru, T., Hazama, K., Fujiwara, K., and Kano, M Nearest Correlation Louvain Method for Fast and Good Selection of Input Variables of Statistical Model. 9th International Symposium on Advanced Control of Chemical Processes. Received November 15, 2014.中有詳細敍述。過濾部104對自NCLM處理部102輸入之複數個輸入變數過濾。藉此，限定為滿足預先設定之特定條件之上述複數個輸入變數之一部分。過濾部104將上述複數個輸入變數之上述一部分輸出至模型構築部106。於以下，為了說明簡潔，亦可將輸入至NCLM處理部102且進行使用NCLM之限定之複數個輸入變數之群稱為「第1輸入變數群」。又，亦可將使用NCLM限定之複數個輸入變數之群稱為「第2輸入變數群」。將自第2輸入變數群藉由過濾部104限定之輸入變數之群稱為「第3輸入變數群」。模型構築部106係構築表示自過濾部104輸入之第3輸入變數群與輸出變數之關係之模型。模型構築部106例如使用複回歸或部分最小平方(Partial Least Square(PLS))構築模型。模型構築部106將構築之模型資訊保存於模型資訊保存部108。變數限定部110將第1輸入變數群限定於未於模型之構築使用之1個以上之輸入變數。即，自第1輸入變數群除去於模型之構築中已使用之輸入變數。變數限定部110將限定之第1輸入變數群輸出至判定部112。判定部112判定保存於模型保存部108之模型資訊之數(藉由模型構築部106構築之模型之數)是否達到規定數。當藉由判定部112判定模型資訊之數未達到規定數時，將藉由變數限定部110限定之第1輸入變數群輸入至NCLM處理部102。於NCLM處理部102及過濾部104中，再次進行向第2輸入變數群及第3輸入變數群之限定。藉由模型構築部106而構築其他模型。此時，於輸入至模型構築部106之第3輸入變數群，不包含已經使用於模型之構築之輸入變數。因此，藉由模型構築部106構築表示還未使用於模型之構築之複數個輸入變數之至少一部分與輸出變數之關係之其他模型。藉由NCLM處理部102、過濾部104、模型構築部106及變數限定部110之處理重複至構築之模型之數量達到規定數為止。當構築之模型之數量達到規定數時，健全度算出部114自模型資訊保存部108取得模型資訊，自變數資料庫122取得變數資料。健全度算出部114基於取得之資料，算出構築之模型群之綜合之健全度及各模型之健全度。具體而言，首先，健全度算出部114對構築之各模型之輸入變數輸入變數資料而得出輸出變數(預測值)。例如，進行輸出變數於特定之範圍內之情形為良，且於範圍外之情形為不良之判定。於該情形時，健全度算出部114對各模型之輸出結果進行該判定。而且，分別統計良之判定數與不良之判定數。健全度算出部114將更多方之判定結果作為綜合之判定結果。或，健全度算出部114算出各模型之預測值之中央值或加權平均值等。健全度算出部114將算出之值作為模型群之代表值。健全度算出部114將代表值處於特定之範圍內之情形作為良，且處於範圍外之情形作為不良而得出綜合之判定結果。而且，健全度算出部114比較實際之輸出變數(實測值)之判定結果與綜合之判定結果。此時，若綜合之判定結果與實際之判定結果一致，則構築之模型群判定為綜合上健全。又，健全度算出部114亦可直接比較實測值與模型群之代表值。於該情形時，可使用均方誤差(Mean Square Error(MSE))、均方根誤差(Root Mean Squared Error(RMSE))、決定係數(R² )或相關係數等作為健全度之指標。其次，健全度算出部114比較實測值與各模型之預測值，比較實測值之判定結果與各模型之判定結果。藉此，健全度算出部114算出各模型之健全度。比較實測值之判定結果與預測值之判定結果之情形係獲得「健全」「異常」等離散值作為健全度。比較實測值與預測值之情形係獲得MSE、RMSE、R2或相關係數等指標作為健全度。或者，亦可將模型群之代表值或綜合之判定結果設為正。藉由比較各模型之預測值或判定結果，可算出各模型之健全度。又，該等健全度之算出方法根據模型構築系統1之應用目的而適當組合，亦可管理模型群與各模型之健全度。例如，於以代替實測或削減實測之頻度為目標之情形時，以模型群之代表值或其判定結果為正，暫時性地算出各模型之健全度。而且，亦可於數量較少之實測點，藉由比較預測值與實測值，或其判定結果彼此，而算出模型群之綜合之健全度及各模型之健全度。外部輸出部116將資訊於顯示器上對使用者顯示，或以特定之文檔形式輸出且輸出至外部。該資訊藉由健全算出部114算出，包含各模型之預測值、各模型之健全度及綜合之模型之健全度。圖2係說明第1實施形態之模型構築系統1之動作之圖。複數個輸入變數(第1輸入變數群)限定於使用NCLM選擇之複數個輸入變數(第2輸入變數群)。將限定之複數個輸入變數過濾。使用藉由NCLM及過濾器進一步限定之複數個輸入變數(第3輸入變數群)而構築第1個模型。於構築第1個模型時，將使用於第2個以後之模型構築之複數個輸入變數限定為未使用於第1個模型者。對該限定之複數個輸入變數，於構築第2個模型時，藉由NCLM及過濾器進一步加以限定。使用限定之複數個輸入變數而構築第2個模型。其後，重複同樣之動作。即，於構築第n-1個模型時，將使用於第n個以後之模型構築之複數個輸入變數限定為未使用於第1、2、…n-1個模型者。使用該限定之複數個輸入變數之至少一部分構築第n個模型。圖3係表示第1實施形態之模型構築方法之流程圖。取得部100自規定數資料庫120及變數資料庫122取得規定數及變數資料(步驟S1)。NCLM處理部102將取得之複數個輸入變數限定於使用NCLM選擇之複數個輸入變數(步驟S2)。過濾部104將藉由NCLM限定之複數個輸入變數過濾，限定於預先設定之滿足特定之條件之複數個輸入變數(步驟S3)。模型構築部106係構築表示藉由NCLM及過濾器限定之複數個輸入變數與輸出變數之關係之模型(步驟S4)。模型構築部106將構築之模型資訊保存於模型資訊保存部108(步驟S5)。變數限定部110將於步驟S1取得之複數個輸入變數限定於步驟S4中未使用(未使用於模型構築)之輸入變數(步驟S6)。判定部112判定構築之模型之數是否達到規定數(步驟S7)。於模型之數未達到規定數之情形時，基於步驟S6限定之輸入變數而再次執行步驟S2～S6。當模型數達到規定數時，健全度算出部114自模型資訊保存部108及變數資料庫122取得模型資訊及變數資料(步驟S8)。健全度算出部114使用取得之變數資料及模型資訊，算出各模型之預測值(步驟S9)。健全度算出部114統計各模型之預測值而算出綜合之健全度(步驟S10)。健全度算出部114算出各模型之健全度(步驟S11)。外部輸出部116將各模型之預測值、各模型之健全度及綜合之模型之健全度輸出至外部 (步驟S12)。此處，對本實施形態之效果進行說明。為了緩和模型之感度降低之影響，亦考慮使用複數個模型，自複數個預測值綜合性地判別模型是否健全。然而，當複數個模型之行為相似時，可能於複數個模型中同樣地感度下降，或同樣地暫時產生較大之誤差。因此，難以判別健全度。於本實施形態之模型構築系統1中，藉由NCLM處理部102限定複數個輸入變數。包含於以NCLM處理部102限定之第2輸入變數群之複數個輸入變數相互相關關係較強。換言之，於以NCLM處理部102限定之輸入變數群與未限定之輸入變數群之間，相關關係變弱。因此，使用該等之輸入變數群構築之模型之行為容易成為彼此不同者。又，於模型構築系統1中，第2輸入變數群藉由過濾部104過濾。因此，相對於輸出變數之模型之精度亦可提高。即，根據模型構築系統1，藉由NCLM處理部102、過濾部104、模型構築部106、及變數限定部110可提高對於各模型之輸出變數之精度，並且構築行為各不相同之複數個模型。而且，構築之模型藉由健全度算出部114而算出各模型之健全度及規定數之模型之綜合之健全度。可確認該等之綜合之健全度及各模型之健全度。藉此，即使於一部分模型之輸出變數偏離管理範圍之情形時，亦可更準確地判別此係起因於模型之感度之下降，還是實際上產生了那種變動。又，本實施形態之模型構築系統1將藉由變數限定部110限定之第1輸入變數群再次輸入至NCLM處理部102。例如，於NCLM處理部102中執行之NCLM之條件可配合構築之模型數之增加而調整。藉由此種方法，可一面進一步提高對各模型之輸出變數之精度，一面構築行為各不相同之複數個模型。 (第2實施形態) 圖4係表示第2實施形態之模型構築系統2之構成之方塊圖。於第1實施形態之模型構築系統1中，變數限定部110將第1輸入變數群限定於在模型之構築中未使用之輸入變數。而且，將限定之第1輸入變數群輸入至NCLM處理部102。於圖4表示之第2實施形態之模型構築系統2中，變數限定部110將第2輸入變數群限定於在模型之構築中未使用之輸入變數。而且，將限定之第2輸入變數群輸入至過濾部104。因此，於模型構築系統2中，未藉由NCLM處理部102限定之除第2輸入變數群以外之第1輸入變數群未於模型之構築中使用。圖5係說明第2實施形態之模型構築系統2之動作之圖。如圖5所表示般，第1個模型與第1實施形態之模型構築系統1同樣，係使用藉由NCLM及過濾器限定之輸入變數而構築。以下之模型雖藉由NCLM限定，但使用未藉由過濾器限定之輸入變數構築。圖6係表示第2實施形態之模型構築方法之流程圖。步驟S21～S25分別與圖3表示之流程圖之步驟S1～S5同樣地執行。變數限定部110將於步驟S22中限定之變數限定於在步驟S24中未使用之變數(步驟S26)。判定部112判定構築之模型之數量是否達到規定數(步驟S27)。於模型之數量未達到規定數之情形時，基於步驟S26中限定之輸入變數再次執行步驟S23～S26。模型之數量達到規定數後，步驟S28～S32分別與圖3表示之流程圖之步驟S8～S12同樣地執行。如於第1實施形態之說明中所敍述般，NCLM處理部102將第1輸入變數群限定於相關關係較強，對輸出變數之精度較高之包含複數個輸入變數之第2輸入變數群。而且，於本實施形態之模型構築系統2中，基於該第2輸入變數群，反覆進行模型之構築及輸入變數之限定。因此，根據本實施形態之模型構築系統，構築之模型之行為雖容易成為相對類似者，但可提高各模型之精度。 (第3實施形態) 圖7係表示第3實施形態之模型構築系統3之構成之方塊圖。於圖7表示之第3實施形態之模型構築系統3中，變數限定部110將第1輸入變數群限定於在模型之構築中未使用之輸入變數。而且，限定之第1輸入變數群作為第2輸入變數群輸入至過濾部104。即，於模型構築系統1中，當構築各模型時，每次均進行藉由NCLM處理部102之輸入變數之限定。於模型構築系統3中，藉由NCLM處理部102進行之輸入變數之限定僅於最初之模型構築時進行。圖8係說明第3實施形態之模型構築系統3之動作之圖。如圖8所表示般，第1個模型與第1實施形態之模型構築系統1同樣，係使用藉由NCLM及過濾器限定之輸入變數而構築。第2個模型使用將未藉由NCLM及過濾器限定之輸入變數以過濾器限定者構築。以下之模型使用將未藉由過濾器限定之輸入變數以過濾器限定者構築。圖9係表示第3實施形態之模型構築方法之流程圖。步驟S41～S45分別與圖3表示之流程圖之步驟S1～S5同樣地執行。變數限定部110將步驟S41中取得之複數個輸入變數限定於步驟S44中未使用之變數(步驟S46)。判定部112判定構築之模型之數是否達到規定數(步驟S47)。於模型之數未達到規定數之情形時，基於步驟S46中限定之輸入變數再次執行步驟S43～S46。模型之數量達到規定數之後，步驟S48～S52分別與圖3表示之流程圖之步驟S8～S12同樣地執行。如於第1實施形態之說明中所敍述般，於以NCLM處理部102限定之輸入變數群與未限定之輸出變數群之間，相關關係變弱。因此，對於未以NCLM處理部102限定之輸入變數群，不反覆以NCLM處理部102進行限定，可構築與第1個模型不同之行為之模型。又，於第2個以下之模型之構築中，由於輸入變數群藉由過濾部104限定，故亦可提高對於輸出變數之精度。因此，根據本實施形態之模型構築系統3，可一面提高對各模型之輸出變數之精度，一面可使行為各不相同之複數個模型較第1實施形態更簡便地構築。 (第4實施形態) 圖10係表示第4實施形態之模型構築系統4之構成之方塊圖。圖10表示之第4實施形態之模型構築系統4於例如未具備變數限定部110之點，與第1～第3實施形態之模型構築系統不同。於模型構築系統4中，藉由NCLM處理部102產生複數個輸入變數之組。即，NCLM處理部102自第1輸入變數群產生複數個第2輸入變數群。產生之第2輸入變數群之數較規定數更多之情形時，例如，NCLM處理部102將複數個第2輸入變數群限定於能更良好地說明輸出變數之規定數之第2輸入變數群。過濾部104將複數個第2輸入變數群分別限定於滿足特定條件之複數個第3輸入變數群。模型構築部106對於各第3輸入變數群，構築表示第3輸入變數群與輸出變數之關係之模型。健全度算出部114算出該等複數個模型之綜合之健全度及各模型之健全度。圖11係說明第4實施形態之模型構築系統4之動作之圖。如圖11所表示般，使用NCLM產生複數個輸入變數之組(複數個第2輸入變數群)。其次，將各第2輸入變數群以過濾器過濾。而且，針對各第2輸入變數群構築模型。圖12係表示第4實施形態之模型構築方法之流程圖。取得部100自規定數資料庫120及變數資料庫122分別取得規定數及變數資料(步驟S61)。NCLM處理部102自取得之複數個輸入變數產生使用NCLM選擇之複數個輸入變數之組(複數個第2輸入變數群)(步驟S62)。上述過濾部將複數個第2輸入變數群分別限定於滿足特定條件之第3輸入變數群(步驟S63)。模型構築部106構築複數個模型(步驟S64)。複數個模型分別表示複數個第3輸入變數群與輸出變數之關係。模型構築部106將複數個模型保存於模型資訊保存部108(步驟S65)。以下之步驟S66～S70分別與圖3表示之流程圖之步驟S8～S12同樣地執行。 (第1實施例) 圖13係例示第1實施例之輸出變數與輸入變數之圖。圖14係例示第1實施例之輸出變數與藉由NCLM選擇之輸入變數之圖。圖15係例示第1實施例之輸出變數與藉由過濾器選擇之輸入變數之圖。圖16係表示第1實施例之實測值與各模型之預測值之曲線圖。於第1實施例中，使用第2實施形態之模型構築系統2。此處，如圖13所表示般，說明基於輸出變數Y與34個輸入變數X之變數資料而構築複數個模型之例。輸出變數Y為工件之品質特性。輸入變數X為於各步驟中加工後之工件之品質。品質係基於加工後之工件之尺寸及工件之加工率之至少一者。首先，將於圖13表示之34個輸入變數(第1輸入變數群)輸入至NCLM處理部102。其結果，藉由NCLM處理部102，如圖14所表示般，限定於15個輸入變數(第2輸入變數群)。其次，將該15個輸入變數輸入至過濾部104。於圖15表示之例中，過濾部104針對各輸入變數算出推定值、標準誤差、t值、p值及VIF(Variance Inflation Factor：變異數膨脹因子)。而且，過濾部104例如將輸入之說明變數限定於滿足P值＜0.0001之輸入變數(第3輸入變數群)。於圖15表示之例中，藉由過濾部104限定於4個輸入變數。藉由模型構築部106而構築表示該4個輸入變數與輸出變數關係之第1模型。其次，藉由變數限定部110，將以NCLM處理部102限定之15個輸入變數(第2輸入變數群)限定於未使用在第1模型之11個輸入變數。此處，簡單地說，模型構築部106使用該等11個輸入變數(限定之第2輸入變數)，構築表示與輸出變數之關係之第2模型。圖16係表示輸出變數Y之實測值與第1模型及第2模型之預測值之曲線圖。自圖16可知，第1模型可較第2模型更高精度地預測實測值。另一方面，第2模型之精度雖劣於第1模型，但並未大幅偏離實測值。再者，得知第1模型與第2模型相對於實測值之變動而顯示不同之行為。即，根據本發明之實施形態之模型構築系統，可一面提高對輸出變數之精度，一面構築行為各不相同之複數個模型。又，使用以該等各模型獲得之預測值，藉由健全度算出部114算出模型群之綜合之健全度及各模型之健全度，可更準確地判別構築之模型是否健全。 (第2實施例) 圖17係例示第2實施例之輸出變數與輸入變數之圖。圖18係例示第2實施例之輸出變數與藉由NCLM選擇之輸入變數之圖。圖19係例示第2實施例之各模型之特性之表。圖20係表示第2實施例之實測值與各模型之預測值之曲線圖。於第2實施例中，如圖17所表示般，說明基於輸出變數Y與270個輸入變數X之變數資料而構築複數個模型之例。輸出變數Y為工件之品質。輸入變數X為於各步驟中獲得之感測器之資料(加工時之溫度或壓力等)。品質係基於加工後之工件之尺寸及工件之加工率之至少一者。於本實施例中，於模型之構築使用第4實施形態之模型構築系統4。首先，將於圖17表示之270個輸入變數(第1輸入變數群)輸入至NCLM處理部102。其結果，產生圖18表示之3個輸入變數之組(3個第2輸入變數群)。1個第2輸入變數群G1包含132個輸入變數。另一個第2輸入變數群G2包含62個輸入變數。又一個輸入變數群G3包含9個輸入變數。將第2輸入變數群G1及G2之各者以過濾器過濾而限定於第3輸入變數群。第2輸入變數群G3由於變數之數已經足夠少，故不以過濾器過濾。於過濾部104中，使用逐步法限定輸入變數。藉此，第2輸入變數群G1限定於22個第3輸入變數群G4。第2輸入變數群G2限定於13個第3輸入變數群G5。使用第3輸入變數群G4、第3輸入變數群G5、及第2輸入變數群G3，藉由模型構築部106分別構築第1模型、第2模型及第3模型。對第1模型至第3模型各者之特性進行評價。圖19表示第1模型及第2模型各者之特性。第3模型由於預測精度較低，故已廢棄。如圖19所表示般，關於第1模型，R² 為約0.64，第1模型之精度顯示為良好。關於第2模型，R² 為約0.42，雖然稍低，但為可容許之精度。圖20表示輸出變數Y之實測值與第1模型及第2模型之預測值之圖。於圖20之曲線圖中，橫軸表示時刻T。於圖20之曲線圖中，表示實測值之平均值A。又，表示下限值L1及上限值L2之一例。下限值L1及上限值L2分別表示製造上可容許之輸出變數之下限及上限。自圖20可知，第1模型可較第2模型更高精度地預測實測值。又，第2模型之精度雖劣於第1模型，但未較大地偏離實測值。第1模型與第2模型相對於實測值之變動而顯示不同之行為。再者，於時刻T126中，相對於實測值處於下限值L1與上限值L2之間，而第1模型之預測值低於下限值L1。因此，於僅使用第1模型之預測中，於時刻T126，可能會錯誤地判定預測之輸出處於不容許之範圍。另一方面，第2模型之預測值處於下限值L1與上限值L2之間。因此，關於時刻T126之預測值，藉由構築更多之模型，算出模型群之綜合之健全度而可準確地進行判定。圖21係例示用於實現各實施形態之模型構築系統之模型構築裝置5之構成之方塊圖。模型構築裝置5例如具備輸入裝置200、輸出裝置202及電腦204。電腦204例如具有ROM(Read Only Memory，唯讀記憶體)206、RAM(Random Access Memory，隨機存取記憶體)208、CPU(Central Processing Unit：中央處理單元)210及記憶裝置HDD(Hard Disc Drive：硬碟驅動器)212。輸入裝置200係使用者對模型構築裝置5進行資訊輸入者。輸入裝置200為鍵盤或觸控面板等。輸出裝置202係用於將由模型構築系統1獲得之輸出結果對使用者輸出者。輸出裝置202為顯示器或印表機等。 ROM206儲存控制模型構築裝置5之動作之程式。於ROM206，儲存用於使電腦204作為如圖1所表示之取得部100、NCLM處理部102、過濾部104、基本模型構築部106、類似度算出部108、變數限定部110、判定部112、健全度算出部114及外部輸出部116發揮功能之程式。 RAM208係作為儲存於ROM206之程式展開之記憶區域而發揮功能。CPU210讀入儲存於ROM103之控制程式，根據該控制程式而控制電腦204之動作。又，CPU210將藉由電腦204之動作而獲得之各種資料於RAM208展開。 HDD212收納於圖1表示之規定數資料庫120及變數資料庫122。又，HDD212亦作為保存構築之模型或算出之類似度之模型資訊保存部及類似度資訊保存部108發揮功能。以上，雖例示了本發明之若干實施形態，但此等實施形態僅係作為例示而提出者，並非意欲限制本發明之範圍。該等新穎實施形態能以其他各種形態實施，可於不脫離發明之主旨之範圍內進行各種省略、置換、變更。該等實施形態及其變化包含於發明之範圍及主旨，並且包含於申請專利範圍所記載之發明及其均等之範圍內。又，上述各實施形態係可互相組合而實施。本申請案以日本專利申請案2017-064333號(申請日：2017年3月29日)及日本專利申請案2017-249763(申請日2017年12月26日)為基礎，自該等申請案享有優先利益。本申請案藉由參照該等申請案而包含該等申請案之全部內容。

1～4‧‧‧模型構築系統5‧‧‧模型構築裝置100‧‧‧取得部102‧‧‧NCLM處理部104‧‧‧過濾部106‧‧‧模型構築部108‧‧‧模型資訊保存部110‧‧‧變數限定部112‧‧‧判定部114‧‧‧健全度算出部116‧‧‧外部輸出部120‧‧‧規定數資料庫122‧‧‧變數資料庫200‧‧‧輸入裝置202‧‧‧輸出裝置204‧‧‧電腦206‧‧‧ROM208‧‧‧RAM210‧‧‧CPU212‧‧‧HDDS1～S12‧‧‧步驟S21～S32‧‧‧步驟S41～S52‧‧‧步驟S61～S70‧‧‧步驟

圖1係表示第1實施形態之模型構築系統之構成之方塊圖。圖2係表示第1實施形態之模型構築系統之動作之圖。圖3係表示第1實施形態之模型構築方法之流程圖。圖4係表示第2實施形態之模型構築系統之構成之方塊圖。圖5係說明第2實施形態之模型構築系統之動作之圖。圖6係表示第2實施形態之模型構築方法之流程圖。圖7係表示第3實施形態之模型構築系統之構成之方塊圖。圖8係說明第3實施形態之模型構築系統之動作之圖。圖9係表示第3實施形態之模型構築方法之流程圖。圖10係表示第4實施形態之模型構築系統4之構成之方塊圖。圖11係說明第4實施形態之模型構築系統4之動作之圖。圖12係表示第4實施形態之模型構築方法之流程圖。圖13係例示第1實施例之輸出變數與輸入變數之圖。圖14係例示第1實施例之輸出變數與藉由NCLM選擇之輸入變數之圖。圖15係例示第1實施例之輸出變數與藉由過濾器選擇之輸入變數之圖。圖16係表示第1實施例之實測值與各模型之預測值之曲線圖。圖17係例示第2實施例之輸出變數與輸入變數之圖。圖18係例示第2實施例之輸出變數與藉由NCLM選擇之輸入變數之圖。圖19係例示第2實施例之各模型之特性之表。圖20係表示第2實施例之實測值與各模型之預測值之曲線圖。圖21係例示用於實現各實施形態之模型構築系統之模型構築裝置之構成之方塊圖。

1‧‧‧模型構築系統

100‧‧‧取得部

102‧‧‧NCLM處理部

104‧‧‧過濾部

106‧‧‧模型構築部

108‧‧‧模型資訊保存部

110‧‧‧變數限定部

112‧‧‧判定部

114‧‧‧健全度算出部

116‧‧‧外部輸出部

120‧‧‧規定數資料庫

122‧‧‧變數資料庫

Claims

一種模型構築系統，其具備：NCLM處理部，其將包含複數個輸入變數之第1輸入變數群限定於使用最新相關魯汶方法(Nearest Correlation Louvain Method(NCLM))選擇之第2輸入變數群；過濾部，其將上述第2輸入變數群限定於滿足特定條件之第3輸入變數群；模型構築部，其構築表示上述第3輸入變數群與輸出變數之關係之模型；變數限定部，其將上述第1輸入變數群限定於未使用於上述模型之構築之1個以上之上述輸入變數；判定部，其判定經構築之上述模型之數是否達到規定數，於上述模型之數未達到上述規定數之情形時，將藉由上述變數限定部限定之上述第1輸入變數群輸出至上述NCLM處理部；及健全度算出部，其算出上述規定數之上述模型之綜合之健全度與各上述模型之健全度；且上述健全度算出部執行：第1處理，其對各上述模型輸入變數資料而獲得預測值；第2處理，其針對自各上述模型獲得之上述預測值，於處於特定範圍內之情形時判定為良，於處於上述範圍外之情形時判定為不良，基於良之判定數與不良之判定數而決定綜合之判定結果，或者，算出基於複數個上述預測值之代表值，於上述代表值處於上述範圍內之情形時作為良，於上述代表值處於上述範圍外之情形時作為不良，而決定綜合之判定結果；及第3處理，其於與上述變數資料對應之實測值處於上述範圍內之情形時判定為良，於上述實測值處於上述範圍外之情形時判定為不良；且基於上述綜合之判定結果與上述實測值之判定結果之比較而算出上述綜合之健全度；上述健全度算出部基於各上述模型之判定結果與上述實測值之判定結果之比較而算出各上述模型之上述健全度。
一種模型構築系統，其具備：NCLM處理部，其將包含複數個輸入變數之第1輸入變數群限定於使用最新相關魯汶方法(Nearest Correlation Louvain Method(NCLM))選擇之第2輸入變數群；過濾部，其將上述第2輸入變數群限定於滿足特定條件之第3輸入變數群；模型構築部，其構築表示上述第3輸入變數群與輸出變數之關係之模型；變數限定部，其將上述第1輸入變數群限定於未使用於上述模型之構築之1個以上之上述輸入變數；判定部，其判定經構築之上述模型之數是否達到規定數，於上述模型之數未達到上述規定數之情形時，將藉由上述變數限定部限定之上述第1輸入變數群輸出至上述NCLM處理部；及健全度算出部，其算出上述規定數之上述模型之綜合之健全度與各上述模型之健全度；且上述健全度算出部對各上述模型輸入變數資料而獲得預測值，算出基於複數個上述預測值之代表值，並基於與上述變數資料對應之實測值與上述代表值之比較而算出上述綜合之健全度；上述健全度算出部基於各上述模型之上述預測值與上述實測值之比較而算出各上述模型之上述健全度。
如請求項1或2之模型構築系統，其進而具備外部輸出部，該外部輸出部將各上述模型之健全度、各上述模型之輸出變數及上述綜合之健全度輸出至外部。
一種模型構築系統，其具備：NCLM處理部，其將包含複數個輸入變數之第1輸入變數群限定於使用最新相關魯汶方法(Nearest Correlation Louvain Method(NCLM))選擇之第2輸入變數群；過濾部，其將上述第2輸入變數群限定於滿足特定條件之第3輸入變數群；模型構築部，其構築表示上述第3輸入變數群與輸出變數之關係之模型；變數限定部，其將上述第2輸入變數群限定於未使用於上述模型之構築之1個以上之上述輸入變數；判定部，其判定經構築之上述模型之數是否達到規定數，於上述模型之數未達到上述規定數之情形時，將藉由上述變數限定部限定之上述第2 輸入變數群輸出至上述過濾部；及健全度算出部，其算出上述規定數之上述模型之綜合之健全度與各上述模型之健全度；且上述健全度算出部執行：第1處理，其對各上述模型輸入變數資料而獲得預測值；第2處理，其針對自各上述模型獲得之上述預測值，於處於特定範圍內之情形時判定為良，於處於上述範圍外之情形時判定為不良，基於良之判定數與不良之判定數而決定綜合之判定結果，或者，算出基於複數個上述預測值之代表值，於上述代表值處於上述範圍內之情形時作為良，於上述代表值處於上述範圍外之情形時作為不良，而決定綜合之判定結果；及第3處理，其於與上述變數資料對應之實測值處於上述範圍內之情形時判定為良，於上述實測值處於上述範圍外之情形時判定為不良；且基於上述綜合之判定結果與上述實測值之判定結果之比較而算出上述綜合之健全度；上述健全度算出部基於各上述模型之判定結果與上述實測值之判定結果之比較而算出各上述模型之上述健全度。
一種模型構築系統，其具備：NCLM處理部，其將包含複數個輸入變數之第1輸入變數群限定於使用最新相關魯汶方法(Nearest Correlation Louvain Method(NCLM))選擇之第2輸入變數群；過濾部，其將上述第2輸入變數群限定於滿足特定條件之第3輸入變數群；模型構築部，其構築表示上述第3輸入變數群與輸出變數之關係之模型；變數限定部，其將上述第2輸入變數群限定於未使用於上述模型之構築之1個以上之上述輸入變數；判定部，其判定經構築之上述模型之數是否達到規定數，於上述模型之數未達到上述規定數之情形時，將藉由上述變數限定部限定之上述第2輸入變數群輸出至上述過濾部；及健全度算出部，其算出上述規定數之上述模型之綜合之健全度與各上述模型之健全度；且上述健全度算出部對各上述模型輸入變數資料而獲得預測值，算出基於複數個上述預測值之代表值，並基於與上述變數資料對應之實測值與上述代表值之比較而算出上述綜合之健全度；上述健全度算出部基於各上述模型之上述預測值與上述實測值之比較而算出各上述模型之上述健全度。
如請求項4或5之模型構築系統，其進而具備外部輸出部，該外部輸出部將各上述模型之健全度、各上述模型之輸出變數及上述綜合之健全度輸出至外部。
一種模型構築系統，其具備：NCLM處理部，其將包含複數個輸入變數之第1輸入變數群限定於使用最新相關魯汶方法(Nearest Correlation Louvain Method(NCLM))選擇之第2輸入變數群；過濾部，其將上述第2輸入變數群限定於滿足特定條件之第3輸入變數群；模型構築部，其構築表示上述第3輸入變數群與輸出變數之關係之模型；變數限定部，其將上述第1輸入變數群限定於未於上述模型之構築使用之1個以上之上述輸入變數；判定部，其判定構築之上述模型之數是否達到規定數，於上述模型之數未達到上述規定數之情形時，將藉由上述變數限定部限定之上述第1輸入變數群作為上述第2輸入變數群輸出至上述過濾部；及健全度算出部，其算出上述規定數之上述模型之綜合之健全度與各上述模型之健全度；且上述健全度算出部執行：第1處理，其對各上述模型輸入變數資料而獲得預測值；第2處理，其針對自各上述模型獲得之上述預測值，於處於特定範圍內之情形時判定為良，於處於上述範圍外之情形時判定為不良，基於良之判定數與不良之判定數而決定綜合之判定結果，或者，算出基於複數個上述預測值之代表值，於上述代表值處於上述範圍內之情形時作為良，於上述代表值處於上述範圍外之情形時作為不良，而決定綜合之判定結果；及第3處理，其於與上述變數資料對應之實測值處於上述範圍內之情形時判定為良，於上述實測值處於上述範圍外之情形時判定為不良；且基於上述綜合之判定結果與上述實測值之判定結果之比較而算出上述綜合之健全度；上述健全度算出部基於各上述模型之判定結果與上述實測值之判定結果之比較而算出各上述模型之上述健全度。
一種模型構築系統，其具備：NCLM處理部，其將包含複數個輸入變數之第1輸入變數群限定於使用最新相關魯汶方法(Nearest Correlation Louvain Method(NCLM))選擇之第2輸入變數群；過濾部，其將上述第2輸入變數群限定於滿足特定條件之第3輸入變數群；模型構築部，其構築表示上述第3輸入變數群與輸出變數之關係之模型；變數限定部，其將上述第1輸入變數群限定於未於上述模型之構築使用之1個以上之上述輸入變數；判定部，其判定構築之上述模型之數是否達到規定數，於上述模型之數未達到上述規定數之情形時，將藉由上述變數限定部限定之上述第1輸入變數群作為上述第2輸入變數群輸出至上述過濾部；及健全度算出部，其算出上述規定數之上述模型之綜合之健全度與各上述模型之健全度；且上述健全度算出部對各上述模型輸入變數資料而獲得預測值，算出基於複數個上述預測值之代表值，並基於與上述變數資料對應之實測值與上述代表值之比較而算出上述綜合之健全度；上述健全度算出部基於各上述模型之上述預測值與上述實測值之比較而算出各上述模型之上述健全度。
如請求項7或8之模型構築系統，其進而具備外部輸出部，該外部輸出部將各上述模型之健全度、各上述模型之輸出變數及上述綜合之健全度輸出至外部。
一種模型構築系統，其具備：NCLM處理部，其自包含複數個輸入變數之第1輸入變數群產生使用最新相關魯汶方法(Nearest Correlation Louvain Method(NCLM))選擇之複數個第2輸入變數群；過濾部，其將上述複數個第2輸入變數群限定於滿足特定條件之複數個第3輸入變數群；模型構築部，其構築表示上述複數個第3輸入變數群之各者與輸出變數之關係之模型；及健全度算出部，其算出上述複數個模型之綜合之健全度與各上述模型之健全度；且上述健全度算出部執行：第1處理，其對各上述模型輸入變數資料而獲得預測值；第2處理，其針對自各上述模型獲得之上述預測值，於處於特定範圍內之情形時判定為良，於處於上述範圍外之情形時判定為不良，基於良之判定數與不良之判定數而決定綜合之判定結果，或者，算出基於複數個上述預測值之代表值，於上述代表值處於上述範圍內之情形時作為良，於上述代表值處於上述範圍外之情形時作為不良，而決定綜合之判定結果；及第3處理，其於與上述變數資料對應之實測值處於上述範圍內之情形時判定為良，於上述實測值處於上述範圍外之情形時判定為不良；且基於上述綜合之判定結果與上述實測值之判定結果之比較而算出上述綜合之健全度；上述健全度算出部基於各上述模型之判定結果與上述實測值之判定結果之比較而算出各上述模型之上述健全度。
一種模型構築系統，其具備：NCLM處理部，其自包含複數個輸入變數之第1輸入變數群產生使用最新相關魯汶方法(Nearest Correlation Louvain Method(NCLM))選擇之複數個第2輸入變數群；過濾部，其將上述複數個第2輸入變數群限定於滿足特定條件之複數個第3輸入變數群；模型構築部，其構築表示上述複數個第3輸入變數群之各者與輸出變數之關係之模型；及健全度算出部，其算出上述複數個模型之綜合之健全度與各上述模型之健全度；且上述健全度算出部對各上述模型輸入變數資料而獲得預測值，算出基於複數個上述預測值之代表值，並基於與上述變數資料對應之實測值與上述代表值之比較而算出上述綜合之健全度；上述健全度算出部基於各上述模型之上述預測值與上述實測值之比較而算出各上述模型之上述健全度。
如請求項10或11之模型構築系統，其進而具備外部輸出部，該外部輸出部將各上述模型之健全度、各上述模型之輸出變數及上述綜合之健全度輸出至外部。
一種模型構築方法，其具備：第1步驟，其將包含複數個輸入變數之第1輸入變數群限定於使用最新相關魯汶方法(Nearest Correlation Louvain Method(NCLM))選擇之第2輸入變數群；第2步驟，其將上述第2輸入變數群限定於滿足特定條件之第3輸入變數群；第3步驟，其構築表示上述第3輸入變數群與輸出變數之關係之模型；第4步驟，其將上述第1輸入變數群限定於上述第3步驟中未使用於上述模型之構築之上述輸入變數；且基於上述第4步驟中限定之上述第1輸入變數群，重複上述第1步驟至上述第4步驟直至構築之上述模型之數達到規定數，且進而具備：第5步驟，其算出上述規定數之上述模型之綜合之健全度與各上述模型之健全度；且於上述第5步驟中執行：第1子步驟，其對各上述模型輸入變數資料而獲得預測值；第2子步驟，其針對自各上述模型獲得之上述預測值，於處於特定範圍內之情形時判定為良，於處於上述範圍外之情形時判定為不良，基於良之判定數與不良之判定數而決定綜合之判定結果，或者，算出基於複數個上述預測值之代表值，於上述代表值處於上述範圍內之情形時作為良，於上述代表值處於上述範圍外之情形時作為不良，而決定綜合之判定結果；及第3子步驟，其於與上述變數資料對應之實測值處於上述範圍內之情形時判定為良，於上述實測值處於上述範圍外之情形時判定為不良；且基於上述綜合之判定結果與上述實測值之判定結果之比較而算出上述綜合之健全度，且基於各上述模型之判定結果與上述實測值之判定結果之比較而算出各上述模型之上述健全度。
一種模型構築方法，其具備：第1步驟，其將包含複數個輸入變數之第1輸入變數群限定於使用最新相關魯汶方法(Nearest Correlation Louvain Method(NCLM))選擇之第2輸入變數群；第2步驟，其將上述第2輸入變數群限定於滿足特定條件之第3輸入變數群；第3步驟，其構築表示上述第3輸入變數群與輸出變數之關係之模型；第4步驟，其將上述第1輸入變數群限定於上述第3步驟中未使用於上述模型之構築之上述輸入變數；且基於上述第4步驟中限定之上述第1輸入變數群，重複上述第1步驟至上述第4步驟直至構築之上述模型之數達到規定數，且進而具備：第5步驟，其算出上述規定數之上述模型之綜合之健全度與各上述模型之健全度；且於上述第5步驟中，對各上述模型輸入變數資料而獲得預測值，算出基於複數個上述預測值之代表值，基於與上述變數資料對應之實測值與上述代表值之比較而算出上述綜合之健全度，且基於各上述模型之上述預測值與上述實測值之比較而算出各上述模型之上述健全度。