TW201928805A - 模型整合方法及裝置 - Google Patents

模型整合方法及裝置 Download PDF

Info

Publication number
TW201928805A
TW201928805A TW107135753A TW107135753A TW201928805A TW 201928805 A TW201928805 A TW 201928805A TW 107135753 A TW107135753 A TW 107135753A TW 107135753 A TW107135753 A TW 107135753A TW 201928805 A TW201928805 A TW 201928805A
Authority
TW
Taiwan
Prior art keywords
model
integration
independent
models
optimization
Prior art date
Application number
TW107135753A
Other languages
English (en)
Other versions
TWI745623B (zh
Inventor
陳露佳
高利翠
聞飆 趙
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201928805A publication Critical patent/TW201928805A/zh
Application granted granted Critical
Publication of TWI745623B publication Critical patent/TWI745623B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Abstract

揭露了一種模型整合方法及裝置。一種模型整合方法包括：確定初始的整合模型，獲得當前的整合模型針對預設的測試事件集輸出的預測結果，並對預測結果進行統計得到整合模型的至少1個指標值；根據預設的最佳化訓練事件集對整合模型進行最佳化處理，所述最佳化處理包括：對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整；若當前的整合模型指標值滿足性能需求，則將當前的整合模型確定為可用整合模型。

Description

模型整合方法及裝置
本說明書實施例關於資料處理技術領域，尤其關於一種模型整合方法及裝置。
智慧化或自動化處理的本質，是由電腦根據給定的輸入資訊，經計算後得到對應輸出資訊的過程，模型則是用於描述上述輸入-輸出關係的一種資訊。簡單的模型可以是根據人工規則建立，在資料時代，基於大數據及機器學習技術進行資料建模則成為主流，目前在多種應用領域中，都已經廣泛使用大數據建模來實現各種智慧化處理功能，但是隨著模型數量的增加，也相應產生了難於管理及資源消耗過多等問題。
以風險控制系統為例，目前以模型驅動的風險控制策略已被廣泛應用，特別是針對一些綜合的業務平臺，可以基於不同場景不同維度的大數據構建出多種模型，從而實現全面的風險控制。然而，在風險預測覆蓋不斷完善的同時，模型的數量也隨之增長，久而久之會導致整體風險控制架構越來越龐大，不僅令管理維護成本變得不可控，而且由於不同的模型之間經常存在冗餘，實際上也造成了系統處理資源的不必要消耗。
針對上述技術問題，本說明書實施例提供一種模型整合方法及裝置，技術方案如下：
根據本說明書實施例的第一態樣，提供一種模型整合方法，該方法包括：
確定初始的整合模型，所述整合模型具有1個整合輸出值、且以至少2個獨立模型的輸出值作為輸入值；
利用以下步驟進行迭代處理，直到滿足預設的迭代停止條件，所述迭代停止條件至少包括：當前的整合模型指標滿足預設的性能需求：
獲得當前的整合模型針對預設的測試事件集輸出的預測結果，並對預測結果進行統計得到整合模型的至少1個指標值，所述指標值用於評價所述整合模型的性能；根據預設的最佳化訓練事件集對整合模型進行最佳化處理，所述最佳化處理包括：對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整；
停止迭代後，若當前的整合模型指標值滿足性能需求，則將當前的整合模型確定為可用整合模型。
根據本說明書實施例的第二態樣，提供一種模型整合方法，該方法包括：
確定初始的整合模型，所述整合模型具有1個整合輸出值、且以至少2個獨立模型的輸出值作為輸入值；
獲得當前的整合模型針對預設的測試事件集輸出的預測結果，並對預測結果進行統計得到至少1個指標值，所述指標值用於評價所述整合模型的性能；
如果指標值不滿足性能需求，則根據預設的最佳化訓練事件集對整合模型進行最佳化處理，所述最佳化處理包括：對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整；
最佳化處理後，若當前的整合模型指標值滿足性能需求，則將當前的整合模型確定為可用整合模型。
根據本說明書實施例的第三態樣，提供一種模型整合裝置，該裝置包括：
初始整合模型確定模組，用於確定初始的整合模型，所述整合模型具有1個整合輸出值、且以至少2個獨立模型的輸出值作為輸入值；
最佳化處理模組，利用以下子模組配合進行迭代處理，直到滿足預設的迭代停止條件，所述迭代停止條件至少包括：當前的整合模型指標滿足預設的性能需求；
性能評價子模組，用於獲得當前的整合模型針對預設的測試事件集輸出的預測結果，並對預測結果進行統計得到整合模型的至少1個指標值，所述指標值用於評價所述整合模型的性能；
最佳化處理子模組，用於根據預設的最佳化訓練事件集對整合模型進行最佳化處理，所述最佳化處理包括：對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整；
輸出模組，用於在停止迭代後，若當前的整合模型指標值滿足性能需求，則將當前的整合模型確定為可用整合模型。
根據本說明書實施例的第四態樣，提供一種模型整合裝置，該裝置包括：
初始整合模型確定模組，用於確定初始的整合模型，所述整合模型具有1個整合輸出值、且以至少2個獨立模型的輸出值作為輸入值；
最佳化處理模組，用於獲得當前的整合模型針對預設的測試事件集輸出的預測結果，並對預測結果進行統計得到至少1個指標值，所述指標值用於評價所述整合模型的性能；如果指標值不滿足性能需求，則根據預設的最佳化訓練事件集對整合模型進行最佳化處理，所述最佳化處理包括：對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整；
輸出模組，用於在最佳化處理後，若當前的整合模型指標值滿足性能需求，則將當前的整合模型確定為可用整合模型。
應用本說明書實施例所提供的技術方案，一方面，可以將多個獨立的模型分值整合為一個綜合分值，使得輸出模型策略更加便於管理，也解決了模型過多所帶來的冗餘問題，提升系統處理資源的使用效率；另一方面，對於整合得到的模型，可以基於性能監控預警，自動觸發整合模型的迭代最佳化，從而保證綜合分值的穩定有效輸出。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本說明書實施例。
此外，本說明書實施例中的任一實施例並不需要達到上述的全部效果。
為了使本領域技術人員更好地理解本說明書實施例中的技術方案，下面將結合本說明書實施例中的附圖，對本說明書實施例中的技術方案進行詳細地描述，顯然，所描述的實施例僅僅是本說明書的一部分實施例，而不是全部的實施例。基於本說明書中的實施例，本領域普通技術人員所獲得的所有其他實施例，都應當屬於保護的範圍。
以金融領域的風險控制場景為例，模型驅動的風險控制系統需要考慮多種風險類型，針對不同的風險類型，需要構建不同的風險控制模型，例如反欺詐模型、反盜用模型、反作弊模型等。而在每種風險類型下又會針對不同場景不同維度設計多種專項模型。以反欺詐模型為例，可以進一步細分為離線欺詐者模型、離線欺詐卡模型、線上FP(轉帳到帳戶)模型、線上FZ(轉帳到卡)模型、兼職被騙模型等等。為了防止風險漏過，模型策略大部分採用多個模型並用(即每個模型分值臨限值加一定規則並行)的方式，例如以下兩條策略並行使用：
策略1為：模型A分值大於0.5且交易金額大於10元；
策略2為：模型B分值大於0.6且排除雙方關係強且交易金額大於100元；
長期來看，每新增一個模型，就需要部署新的模型策略，一定時間累積後會造成模型策略冗余且成本增加不可控，針對上述問題，本說明書提出：將不同模型的輸出分值進行標準處理後，整合輸出一個綜合分值。從而使得輸出模型策略更加便於管理，解決模型過多所帶來的冗餘問題，提升系統處理資源的使用效率；另一方面，對於整合得到的模型，可以基於性能監控預警，自動觸發整合模型的迭代最佳化，從而保證綜合分值的穩定有效輸出。
圖1所示為整合模型與獨立模型的關係示意圖：將多個獨立模型的輸出進行整合，得到1個整合模型，其中每個獨立模型具有1個輸出值，多個獨立模型的輸出值經整合模型後統一輸出1個整合輸出值。
下面將分別從“整合模型構建”以及“整合模型最佳化”兩方面，對本說明書所提供的模型整合方案進行說明。
圖2所示，為本說明書提供的一種整合模型構建方法的流程圖，該方法可以包括以下步驟：
S101，確定待整合的至少2個獨立模型。
首先確定需要參與整合的多個獨立模型，例如離線欺詐者模型、離線欺詐卡模型、線上FP(轉帳到帳戶)模型、線上FZ(轉帳到卡)模型等等。其中每個獨立模型都具有1個專項風險的預測輸出分值、若干個輸入特徵，且不同獨立模型之間可能會複用相同的輸入特徵。
為了保證整合模型的性能，這裡可以選擇性能較好的獨立模型，這裡的“性能較好”的標準可以是預測覆蓋率較高、準確率較高、打擾率較低等等，最好可以具有一定的額外輸出增益。例如在一種具體實施方式中，可以選擇以下獨立模型參與整合：端模型(指部署在手機用戶端的風險識別模型)、低風險識別模型、線上風險識別模型、離線風險識別模型。當然，本說明書並不需要對選擇獨立模型的具體方案進行限定，另外，這裡的獨立模型也可以是基於規則建立的模型，並不局限於狹義的“利用機器學習建立的模型”。
S102，從歷史事件記錄中獲取事件資料集；
針對S101中所確定的參與整合的獨立模型，從歷史事件記錄中獲取事件資料。這裡可以選擇某個時間視窗內(例如過去一周，過去一個月等)的發生過的事件記錄作為資料來源，對於任意事件j，需要獲取的資料包括：
a)每個獨立模型對於事件j的預測輸出值；
b)事件j的綜合風險標籤值；
如表1所示：
表1
其中“風險標籤”是指某事件是否實際構成案件的判定結果，需要說明的是，該結果與各模型的預測結果並不一定完全一致，該標籤值可以根據人工標注確定，也可以根據用戶是否報案確定，本說明書對標籤值的具體來源不需要進行限定。
S103，根據所獲得的事件資料集，生成整合模型訓練樣本；
理想情況下，可以直接利用S102所獲得的事件資料集作為訓練樣本，即對於任意事件j，直接以各獨立模型A的分值作為整合模型的輸入特徵值、以綜合風險標籤值作為整合模型的標籤值。而實際應用中，可能需要對所獲得的事件資料集做進一步處理，以供後續訓練使用。
根據模型訓練的需求，這裡的處理方式可以包括各獨立模型的輸出值進行標準化(standardization)、常態化(normalization)等常規處理方式，從而將各獨立模型的輸出值映射至一定的數值區間。
為了令整合模型的特徵值表達更加精細，還可以將獨立模型的值域劃分為若干個子區間，對於同一模型，當模型輸出值處於不同子區間時，將被映射為不同的數值，具體處理如下：
S103a，子區間劃分：
假設參與整合的獨立模型數量為M，則對於任一獨立模型i，可以將i的輸出值的值域劃分為Li 個子區間(Li ≥2， i=1,2,3…M)。其中，根據不同模型輸出值的實際含義或特性，可以對不同模型採用相同或不同的值域子區間劃分方式(例如子區間的劃分規則、子區間數量等等)。
在本說明書提供的一種具體實施方式中，可以針對S102所獲得的事件資料集，根據獨立模型i對各事件的輸出值的分佈情況，將各獨立模型的輸出值的值域劃分為多個子區間。
例如，假設風險預測輸出分值在[0,1]區間，分值越高代表事件風險越高。在風險控制場景，綜合考慮高準確率、高覆蓋率、低打擾率的性能指標需求，在選取風險判決臨界值時，一般對越高的分段越敏感，相應地對高分段的劃分細微性也應該更為精細，而對於低分段分值，則可以採取相對較為粗糙的劃分細微性。基於上述需求，可以採用劃分策略舉例如下：
首先對所有資料的獨立模型得分進行排序，接著根據排序結果做以下劃分：
將排序在前0.01%的分值對應的區間段，劃分為10個子區間；
將排序在前0.01%~1%的分值對應的區間段，劃分為100個子區間；
將排序在前1%~5%的分值對應的區間段，劃分為20個子區間；
將排序在前5%~100%的分值對應的區間段，劃分為1個子區間；
即將值域區間[0,1]共計劃分為131個子區間。
下面以一個簡化的例子對上述劃分方式進行說明，以表1所示資料為例，假設3個模型的輸出分值都在[0,1]區間，子區間的劃分數量均為3，劃分原則是：分別將得分排序在前0~15%、15%~50%、50%~100%的分值所對應的區段劃分為1個子區間。假設通過統計所有資料(圖1中僅顯示3條)在各個模型輸出值的分佈占比，可以得到以下值域子區間劃分結果：
表2
可以看出，由於採用的是實際資料的分佈占比作為值域子區間的劃分依據，因此即便不同獨立模型的子區間劃分數量相同、子區間對應的輸出值分佈占比相同，其子區間對應的端點也不一定相同。
可以理解的是，上述劃分方式以及實例僅用於示意性說明，不應理解為對本說明書方案的限定。另外在實際應用中，不同獨立模型所選用的值域子區間劃分方式也可以是不同的，本領域技術人員可以根據實際需求進行選擇。
S103b，數值映射：
在已劃分子區間的基礎上，針對於獨立模型i的任意輸出值，可以根據該輸出值所處的子區間，確定該輸出值對應的映射結果。其中，對於獨立模型i的任意輸出值，可以對應一個或多個映射值，舉例說明如下：
對於獨立模型i的任意輸出值，可以根據該輸出值所處的子區間，將該輸出值轉換為One-Hot編碼值。
One-Hot即獨熱編碼，也稱一位元有效編碼，其方法是使用N位元狀態暫存器來對N個狀態進行編碼，每個暫存器位元之間相互獨立，並且在任意時刻，其中只有一位有效。在本說明書中，由於獨立模型輸出值必然屬於Li 個子區間中的任意一個，因此用長度為Li 的One-Hot編碼值表示獨立模型的輸出值：將輸出值所處的區間對應編碼為1，其他(Li -1)個區間對應編碼為0。結合前述的區間劃分方案，可以將原本的一個特徵值進一步稀疏化，從而在一定程度上起到擴充特徵的作用，以便為後續訓練分類模型提供更多的資訊。
以表1所示的資料集合以及表2所示的子區間劃分結果為例，其One-Hot編碼結果如表3所示：
表3
可見，對於任一條資料樣本j，原本M個獨立模型的M個輸出值，將值域統一劃分為L個子區間、並且經One-Hot編碼處理後，變成了共M*L個數值。根據表3示例，M*L=9，這9個數值可以在後續的訓練過程中作為條資料樣本j的9個特徵值使用。
對於獨立模型i的任意輸出值，還可以根據該輸出值所處的子區間，將輸出值所處的子區間的WOE分值確定為該輸出值的映射結果。
WOE(Weight of Evidence，證據權重)，也是一種將數值做離散化處理的方式，WOE值表達的是變數取某個值時對事件結果(例如風險事件)的一種影響。
在本說明書方案中，對於任意數值子區間k，該子區間的對應的WOE值定義為：

上述公式中，“黑樣本”表示綜合風險標籤為1(有風險)的資料樣本，“白樣本”表示綜合風險標籤為0(無風險)的資料樣本。
如表4所示，假設對某個獨立模型i，值域子區間劃分數量為3，總樣本數量是1000，其中白樣本數量為900、黑樣本數量為100，根據黑/白樣本在每個子區間的分佈情況，計算每個子區間的WOE分值如表4所示：
表4
可見，WOE的數值是也是基於各個子區間的樣本分佈占比情況統計得到的，每個子區間的WOE值反映的是每個分段的白/黑樣本比例與總體白/黑樣本比例的差異。根據本說明書方案，首先針對各個獨立模型的值域子區間劃分情況，分別計算出各個獨立模型各子區間對應的WOE分值，進而對於獨立模型i的任意輸出值，該輸出值所處子區間的對應WOE分值即為該輸出值的映射值。
可見，對於任一條資料j，原本M個模型的M個輸出值，經WOE編碼處理後仍然是M個數值，這M個數值可以在後續的訓練過程中作為資料樣本j的M個特徵值使用。
可以理解的是，上述數值映射方式以及實例僅用於示意性說明，不應理解為對本說明書方案的限定。另外在實際應用中，不同獨立模型所選用的數值映射方式也可以是不同的，本領域技術人員可以根據實際需求進行選擇。
S104，利用有監督學習演算法對樣本進行訓練得到整合模型。
根據S103得到的訓練樣本，利用有監督學習演算法進行訓練得到整合模型。整合模型具有1個整合輸出值，且以多個獨立模型的輸出值作為輸入值。
在訓練過程中，每條資料樣本訓練標籤值即為該條資料樣本的綜合風險標籤，而每條資料樣本的訓練特徵值則根據S103的處理方式確定，例如可以是多個獨立模型輸出值本身，也可以是多個獨立模型輸出值經處理後的結果。
整合模型的形式可以根據實際訓練需求選擇，例如線性回歸模型(linear regression model)、邏輯回歸模型(logistic regression model)等等。本說明書對模型的選擇及具體的訓練演算法均不需要進行限定。
由於預測模型是基於一定的歷史資料樣本訓練得到，而隨著時間的推移，可能會有多種因素導致模型的適用性下降，因此需要適時對模型進行最佳化調整。對於整合模型而言也同樣存在最佳化調整的需求，基於整合模型的特性，本說明書進一步提供整合模型的最佳化方法。
圖3所示，為本說明書提供的一種整合模型最佳化方法的流程圖，該方法可以包括以下步驟：
S201，確定初始的整合模型；
本說明書中以“初始整合模型”指代最佳化處理前的整合模型，根據前面實施例的描述，該整合模型是由至少2個獨立模型整合得到，具有1個整合輸出值、且以至少2個獨立模型的輸出值作為輸入值。
在本說明書中,“初始整合模型”用於指代模型的某個待最佳化狀態，既可以是訓練後完全未經最佳化的模型，也可以是上一次最佳化後的結果。另外，該“初始整合模型”可以利用前述的整合模型訓練方法得到，也可以從其他途徑得到，本說明書對初始整合模型的獲得方式並不進行限定。
S202，獲得當前的整合模型針對預設的測試事件集輸出的預測結果，並對預測結果進行統計得到至少1個指標值；
用於評價風險控制預測模型的性能指標，一般包括預測覆蓋率、預測命中率、用戶打擾率等，這些指標同樣適用於整合模型，而這些指標是否表現足夠好，則是決定是否要對整合模型進行最佳化的重要依據。
在本步驟中，利用當前的整合模型，對某個已知結果(即具有風險標注結果)的目標事件集進行預測，將預測結果與風險標籤進行對比，並且統計準確率、打擾率等指標，以便在後續步驟中根據這些指標確定是否開始進行最佳化。實際應用中，該測試事件集可以取自某個時間視窗(例如最近一周、最近一個月等等)，從而實現整合模型性能的依據需求最佳化。
另外，根據圖3可知，一次完整的最佳化過程，可能需要迭代若干個回合才能夠最佳化到位，因此這些指標值同樣可以作為一次完整最佳化中“是否開啟下一回合的最佳化”的判斷依據。實際應用中，對於不同的迭代回合而言，每次使用的測試事件集可以是完全相同的，也可以有一定的差別。例如將測試事件集劃分為多個子集，每次迭代針對其中一個子集進行預測輸出；或者每次從測試事件集中隨機抽取一部分用於本次迭代的預測輸出。
S203，判斷是否滿足預設的迭代停止條件，如果是則進行執行S205，否則執行S204；
根據前面的描述可知，“指標是否表現足夠好”是決定是否要對整合模型進行最佳化的重要依據，因此這裡的迭代停止條件應至少包括：當前整合模型的指標滿足預設的性能需求。例如“用戶打擾率在1%以下”、“預測覆蓋率在90%以上”等等。當存在多個指標值時，可以對各個指標值分別設置判斷標準，也可以根據一定的策略綜合判斷，本說明書對具體的判斷標準不需要進行限定。
可以理解的是，“當前整合模型”在第1輪迭代中指代的是“初始的整合模型”，在第2輪及以後的迭代回合中則指代是上一輪最佳化後得到的整合模型。
實際應用中，對於初始的整合模型，可以週期性(例如每週一次、每月一次等)獲得整合模型預測結果，進而根據統計得到的指標值確定是否需要開始最佳化。也可以持續對整合模型預測結果進行監測，發現性能指標不滿足需求後進行警報提示，並且觸發最佳化流程。
此外，根據實際需求，這裡的迭代停止條件還可以是其他形式，例如：
可以在達到某個預設的迭代次數後控制迭代停止；
可以在連續多次採用同樣的最佳化策略、但卻沒有明顯性能提升的情況下，控制迭代停止；
可以在執行完所有可用的最佳化策略後控制迭代停止；
當然，以上迭代停止條件僅用於示意性說明，不應理解為對本說明書方案的限定。
S204，對整合模型進行最佳化處理；
根據整合模型的特性，本說明書提供多種整合模型最佳化策略，根據策略最佳化物件的不同，整體上可分為兩大類：對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整，其中每一大類策略還可以進一步包含多種實現方式，並且在迭代最佳化的過程中，不同回合的最佳化策略安排還可以產生更為豐富的策略形式。本步驟的具體實現方式將在後面的實施例中詳細說明。
S205，若當前的整合模型指標值滿足性能需求，則將當前的整合模型確定為可用整合模型。
對於初始整合模型、或者任意回合最佳化後得到的整合模型，如果能夠滿足性能需求，則可以作為最終的最佳化結果投入使用。如果在停止迭代處理後，當前的模型仍未滿足性能需求，則可用轉入人工介入其他處理流程，具體處理方式與本說明書方案無關，這裡不再詳細說明。
以上介紹了模型最佳化處理的整體流程，下面將對S204所關於的最佳化策略做進一步展開說明：
根據前面的說明，從“最佳化物件”的維度劃分，可以將最佳化策略分為兩類：
a)對多個獨立模型的整合方式進行調整；
b)對獨立模型進行單獨調整。
此外，如果從“最佳化手段”維度劃分，也可以將最佳化策略分為兩類：
a)不改變模型的輸入特徵、僅對特徵參數進行調整(refit)；
b)增加或減少模型的輸入特徵，重新訓練得到新的模型(retrain)。
根據上述兩個維度的劃分，排列組合後可的最佳化策略如表5所示：
表5
表5所示的4種最佳化策略具體解釋如下：
整合模型refit：不改變參與整合的獨立模型，對獨立模型在整合模型中的整合權重進行調整，這裡的“整合權重”即整合模型的各個特徵值(也就是各個獨立模型的輸出)的參數；
整合模型retrain：增加或減少用於提供整合模型輸入值的獨立模型，重新訓練得到新的整合模型；
獨立模型refit：不改變獨立模型的輸入特徵，對獨立模型的各個特徵參數進行調整；
獨立模型retrain：增加或減少獨立模型的輸入特徵，重新訓練得到新的獨立模型。
當然，以上僅列出了4中典型的最佳化策略，不應理解為對本說明書方案的限定，例如，對於基於人工規則建立的獨立模型，可以直接通過修改或替換規則的方式實現調整。
無論是refit還是retrain，本質上都需要通過訓練完成，由於模型性能不達標的原因很可能是過去可用的模型已經無法滿足最新的情況，因此可以選用最近一段時間(例如最近一周、最近一個月等等)發生的事件作為最佳化訓練事件集，進而根據最佳化訓練事件集進行有監督訓練以實現refit或retrain。
實際應用中，“測試事件集”和“最佳化訓練事件集”可以從同一事件集中獲取，例如將最近一段時間發生過的事件劃分為兩部分，其中一部分用於統計指標值、另一部分用於對整合模型進行最佳化處理。
在一次完整的模型最佳化過程中，可以選用表5所顯示的一種或多種最佳化策略，如果從訓練成本方面考慮，應優先對整合模型進行調整、接著再對獨立模型進行調整；並且優先對模型進行refit、接著再對模型進行retrain。實際應用中，客觀情況可能並不允許隨意增減模型或特徵的數量，因此retrain的策略使用頻率也相對較小。
例如，假設整合模型是由3個獨立模型整合得到，模型運算式如下：
y整 =h(-0.1+0.7y1 +0.2y2 +0.5y3 )
其中y1 ，y2 ，y3 分別表示3個獨立模型的輸出，0.7、0.2、0.5為整合權重。
如果發生性能警報，則在第一個迭代回合中，優先利用最佳化訓練事件集對整合進行refit，假設調整後的整合權重如下：
y整 refit =h(-0.2+0.8y1 +0.1y2 +0.4y3 )
在本例中，不考慮“對整合模型進行retrain”這一策略，因此如果refit後的整合模型仍然不滿足性能需求，則需要進行整合因數拆解，以便分別對各個獨立模型進行最佳化。
對於多個獨立模型的最佳化處理，可以分別獨立進行，也可以按照一定的順序逐個執行。例如，可以各個獨立模型在整合模型中的整合權重，優先對整合權重較高的獨立模型進行調整。
以上述的y整 refit 運算式為例，根據整合權重可知，獨立模型1對整合輸出值的貢獻最大，其次是獨立模型3、最後是獨立模型2，因此獨立模型的調整優先順序為1→3→2。
對每個獨立模型的最佳化策略優先採用refit、接著是retrain。對於同一獨立模型，由於可能包含多種增減參數方案，因此可能包含多個回合的retrain，另外根據實際情況，對於某些獨立模型也可以不進行retrain。
每個回合最佳化完成後，均可以利用測試事件集獲得性能指標值，如果滿足性能需求則停止，否則繼續開啟下一輪最佳化。如果對所有獨立模型均進行最佳化後仍不滿足性能需求，可以轉為人工方式做進一步診斷。
圖3顯示了一種基於迴圈流程的整合模型最佳化方案，其特點是依據需求最佳化，即每次最佳化之後即對最佳化效果進行檢測，如果滿足需求則不再繼續進行最佳化。可以理解的是，在某些情況下也可以不使用迭代方式實現整合模型的最佳化，例如圖4所示的順序最佳化流程，與圖3所示迴圈流程的區別在於，在S303可以一次性執行全部的最佳化策略，例如僅使用一種最佳化策略、或按照固定規則執行多種最佳化策略。順序流程中其他部分的實現均可參見迴圈流程中相應部分的說明，這裡不再重複說明。
以上分別從“模型構建”以及“模型最佳化”兩方面對模型整合方案進行說明，應用模型構建方案，可以將多個獨立的模型分值整合為一個綜合分值，使得輸出模型策略更加便於管理，也解決了模型過多所帶來的冗餘問題，提升系統處理資源的使用效率；應用模型最佳化方案，對於整合得到的模型，可以基於性能監控預警，自動觸發整合模型的迭代最佳化，從而保證綜合分值的穩定有效輸出。可見，本說明書提供的“模型構建”以及“模型最佳化”方案，既可以共同構成一個整體，也可以分別構成獨立的方案以解決不同的技術問題。
可以理解的是，除風險控制場景之外，本說明書方案在其他的應用場景依然能夠有效適用，例如：在文字語義識別場景中，存在多個模型利用不同的文字特徵維度來識別語義；在圖像內容識別場景中，存在多個模型就不同的圖像特徵判斷該圖像是否為某一事物；在嚴格身份認證場景中，存在面部特徵模型、指紋特徵模型等多個模型共同判斷用戶身份；……。事實上，對於針對同一目的、使用不同特徵構建多種模型的應用場景，都可以應用本說明書方案進行模型整合及最佳化，因此本說明書實施例中的使用的場景舉例不應理解為對本說明書方案的限定。
相應於上述方法實施例，本說明書實施例還提供一種模型整合系統，參見圖5所示，該系統可以包括兩部分：用於構建整合模型的裝置以及用於最佳化整合模型的裝置，可以理解的是，上述兩種裝置也可以分別獨立運行以解決不同的技術問題。以下分別進行說明：
參見圖6所示，用於構建整合模型的裝置可以包括：
獨立模型確定模組110，用於確定待整合的至少2個獨立模型，每個獨立模型具有1個輸出值；
事件資料集獲取模組120，用於從歷史事件記錄中獲取事件資料集，每條事件資料中可以包括：每個獨立模型針對該事件的預測輸出值、該事件的綜合標籤值；
訓練樣本生成模組130，用於根據所獲得的事件資料集，生成整合模型訓練樣本；
訓練模組140，用於利用有監督學習演算法對樣本進行訓練得到整合模型，整合模型具有1個整合輸出值、且以多個獨立模型的輸出值作為輸入值。
在本說明書提供的一種具體實施方式中，訓練樣本生成模組可以具體用於：
根據預設的映射規則，對各獨立模型的輸出值進行映射處理，將映射結果確定為用於訓練整合模型的訓練特徵值。
在本說明書提供的一種具體實施方式中，訓練樣本生成模組，可以利用以下方式對各獨立模型的輸出值進行映射處理：
將獨立模型i的輸出值的值域劃分為Li 個子區間；其中Li ≥2， i=1,2,3…M，M為參與整合的獨立模型數量；
對於獨立模型i的任意輸出值，根據該輸出值所處的子區間，確定該輸出值對應的映射結果。
在本說明書提供的一種具體實施方式中，訓練樣本生成模組可以利用以下方式將獨立模型i的輸出值的值域劃分為Li 個子區間：
針對所獲得的事件資料集，根據獨立模型i對各事件的輸出值的分佈情況，將獨立模型i的輸出值的值域劃分為Li 個子區間。
在本說明書提供的一種具體實施方式中，不同獨立模型i所對應的子區間劃分數量Li 相同，且不同獨立模型間的相應子區間對應的輸出值分佈占比相同。
在本說明書提供的一種具體實施方式中，訓練樣本生成模組可以利用以下方式確定輸出值的映射結果：
對於獨立模型i的任意輸出值，將輸出值所處的子區間的WOE分值確定為該輸出值的映射結果；獨立模型i的每個輸出值對應1個訓練特徵值。或者
對於獨立模型i的任意輸出值，根據該輸出值所處的子區間，將該輸出值轉換為長度為Li 的One-Hot編碼值；獨立模型i的每個輸出值對應Li 個訓練特徵值。
上述整合模型構建裝置，還可以進一步配置最佳化處理模組，用於在確定當前的整合模型的指標值不滿足性能需求的情況下，根據預設的最佳化訓練事件集對整合模型進行最佳化處理。例如對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整。具體的最佳化策略使用可以參見本說明書中的其他實施例，這裡不再重複說明。
參見圖7所示，用於最佳化整合模型的裝置可以包括：
初始整合模型確定模組210，用於確定初始的整合模型，整合模型具有1個整合輸出值、且以至少2個獨立模型的輸出值作為輸入值；
最佳化處理模組220，利用以下子模組配合進行迭代處理，直到滿足預設的迭代停止條件，迭代停止條件至少可以包括：當前的整合模型指標滿足預設的性能需求；
性能評價子模組，用於獲得當前的整合模型針對預設的測試事件集輸出的預測結果，並對預測結果進行統計得到整合模型的至少1個指標值，指標值用於評價整合模型的性能；
最佳化處理子模組，用於根據預設的最佳化訓練事件集對整合模型進行最佳化處理，其中最佳化處理可以包括：對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整；
輸出模組230，用於在停止迭代後，若當前的整合模型指標值滿足性能需求，則將當前的整合模型確定為可用整合模型。
在本說明書提供的一種具體實施方式中，最佳化處理子模組可以具體用於：
在迭代處理過程中，優先對多個獨立模型的整合方式進行調整，如果無法滿足性能需求，則在後續的迭代回合中對獨立模型進行單獨調整。
在本說明書提供的一種具體實施方式中，最佳化處理子模組可以具體用於利用以下方式對多個獨立模型的整合方式進行調整：
不改變參與整合的獨立模型，對獨立模型在整合模型中的整合權重進行調整；或者
增加或減少用於提供整合模型輸入值的獨立模型，重新訓練得到新的整合模型。
在本說明書提供的一種具體實施方式中，最佳化處理子模組可以具體用於利用以下方式對獨立模型進行單獨調整：
在迭代處理過程中，根據各個獨立模型在整合模型中的整合權重，優先對整合權重較高的獨立模型進行調整，如果無法滿足性能需求，則在後續的迭代回合中對整合權重較低的獨立模型進行調整。
在本說明書提供的一種具體實施方式中，最佳化處理子模組可以具體用於利用以下方式對獨立模型進行單獨調整：
不改變獨立模型的輸入特徵，對獨立模型的參數進行調整；或者
增加或減少獨立模型的輸入特徵，重新訓練得到新的獨立模型。
在本說明書提供的一種具體實施方式中，用於統計指標值的測試事件集、以及用於對整合模型進行最佳化處理的最佳化訓練事件集，為取自同一事件集的測試集和驗證集。
在圖7所示的用於最佳化整合模型的裝置獨立工作的情況下，初始整合模型確定模組可以用於實現整合模型的構建：
從歷史事件記錄中獲取事件資料集，每條事件資料中可以包括：每個獨立模型針對該事件的預測輸出值、該事件的綜合標籤值；
以所獲得的事件資料集作為樣本，利用有監督學習演算法對樣本進行訓練得到整合模型。
另外，相應於方法實施例中的順序最佳化流程，最佳化處理模組220還可以採用非迴圈的方式執行最佳化，例如僅使用一種最佳化策略、或按照固定規則執行多種最佳化策略等等，具體實現可參見前面實施例，這裡不再重複說明。
本說明書實施例還提供一種電腦設備，其至少包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程式，其中，處理器執行所述程式時實現前述的模型整合方法，具體可以是在一台設備中同時實現前述的整合模型構建方法及整合模型最佳化方法，也可以是在不同設備中分別實現前述的整合模型構建方法及整合模型最佳化方法。
圖8顯示了本說明書實施例所提供的一種更為具體的計算設備硬體結構示意圖，該設備可以包括：處理器1010、記憶體1020、輸入/輸出介面1030、通訊介面1040和匯流排1050。其中處理器1010、記憶體1020、輸入/輸出介面1030和通訊介面1040通過匯流排1050實現彼此之間在設備內部的通訊連接。
處理器1010可以採用通用的CPU(Central Processing Unit，中央處理器)、微處理器、應用專用積體電路(Application Specific Integrated Circuit，ASIC)、或者一個或多個積體電路等方式實現，用於執行相關程式，以實現本說明書實施例所提供的技術方案。
記憶體1020可以採用ROM(Read Only Memory，唯讀記憶體)、RAM(Random Access Memory，隨機存取記憶體)、靜態存放裝置，動態儲存裝置設備等形式實現。記憶體1020可以儲存作業系統和其他應用程式，在通過軟體或者韌體來實現本說明書實施例所提供的技術方案時，相關的程式碼保存在記憶體1020中，並由處理器1010來呼叫執行。
輸入/輸出介面1030用於連接輸入/輸出模組，以實現資訊輸入及輸出。輸入輸出/模組可以作為元件配置在設備中(圖中未顯示)，也可以外接於設備以提供相應功能。其中輸入裝置可以包括鍵盤、滑鼠、觸控式螢幕、麥克風、各類感測器等，輸出設備可以包括顯示器、揚聲器、振動器、指示燈等。
通訊介面1040用於連接通訊模組(圖中未顯示)，以實現本設備與其他設備的通訊互動。其中通訊模組可以通過有線方式(例如USB、網線等)實現通訊，也可以通過無線方式(例如行動網路、WIFI、藍芽等)實現通訊。
匯流排1050包括一通路，在設備的各個元件(例如處理器1010、記憶體1020、輸入/輸出介面1030和通訊介面1040)之間傳輸資訊。
需要說明的是，儘管上述設備僅顯示了處理器1010、記憶體1020、輸入/輸出介面1030、通訊介面1040以及匯流排1050，但是在具體實施過程中，該設備還可以包括實現正常運行所必需的其他元件。此外，本領域的技術人員可以理解的是，上述設備中也可以僅包含實現本說明書實施例方案所必需的組件，而不必包含圖中所示的全部元件。
本說明書實施例還提供一種電腦可讀儲存媒體，其上儲存有電腦程式，該程式被處理器執行時實現前述的模型整合方法，具體可以是在一台設備中同時實現前述的整合模型構建方法及整合模型最佳化方法，也可以是在不同設備中分別實現前述的整合模型構建方法及整合模型最佳化方法。
電腦可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括，但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可程式設計唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁磁片儲存或其他磁性存放裝置或任何其他非傳輸媒體，可用於儲存可以被計算設備存取的資訊。按照本文中的界定，電腦可讀媒體不包括暫存電腦可讀媒體(transitory media)，如調變的資料訊號和載波。
通過以上的實施方式的描述可知，本領域的技術人員可以清楚地瞭解到本說明書實施例可借助軟體加必需的通用硬體平臺的方式來實現。基於這樣的理解，本說明書實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品可以儲存在儲存媒體中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使得一台電腦設備(可以是個人電腦，伺服器，或者網路設備等)執行本說明書實施例各個實施例或者實施例的某些部分所述的方法。
上述實施例闡明的系統、裝置、模組或單元，具體可以由電腦晶片或實體實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦，電腦的具體形式可以是個人電腦、膝上型電腦、蜂巢式電話、相機電話、智慧型電話、個人數位助理、媒體播放機、導航設備、電子郵件收發設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任意幾種設備的組合。
本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於裝置實施例而言，由於其基本相似於方法實施例，所以描述得比較簡單，相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的模組可以是或者也可以不是實體上分開的，在實施本說明書實施例方案時可以把各模組的功能在同一個或多個軟體和/或硬體中實現。也可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。本領域普通技術人員在不付出進步性勞動的情況下，即可以理解並實施。
以上所述僅是本說明書實施例的具體實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本說明書實施例原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本說明書實施例的保護範圍。
S101-S104‧‧‧步驟
S201-S205‧‧‧步驟
S301-S304‧‧‧步驟
110‧‧‧獨立模型確定模組
120‧‧‧事件資料集獲取模組
130‧‧‧訓練樣本生成模組
140‧‧‧訓練模組
210‧‧‧初始整合模型確定模組
220‧‧‧最佳化處理模組
230‧‧‧輸出模組
1010‧‧‧處理器
1020‧‧‧記憶體
1030‧‧‧輸入/輸出介面
1040‧‧‧通訊介面
1050‧‧‧匯流排
為了更清楚地說明本說明書實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本說明書實施例中記載的一些實施例，對於本領域普通技術人員來講，還可以根據這些附圖獲得其他的附圖。
圖1是本說明書實施例的整合模型與獨立模型的關係示意圖；
圖2是本說明書實施例的整合模型構建方法的流程圖；
圖3是本說明書實施例的整合模型最佳化方法的第一種流程圖；
圖4是本說明書實施例的整合模型最佳化方法的第二種流程圖；
圖5是本說明書實施例的模型整合系統的結構示意圖；
圖6是本說明書實施例的用於構建整合模型的裝置的結構示意圖；
圖7是本說明書實施例的用於最佳化整合模型的裝置的結構示意圖；
圖8是用於配置本說明書實施例裝置的一種設備的結構示意圖。

Claims (17)

  1. 一種模型整合方法，該方法包括： 確定初始的整合模型，所述整合模型具有1個整合輸出值、且以至少2個獨立模型的輸出值作為輸入值； 利用以下步驟進行迭代處理，直到滿足預設的迭代停止條件，所述迭代停止條件至少包括：當前的整合模型指標滿足預設的性能需求； 獲得當前的整合模型針對預設的測試事件集輸出的預測結果，並對預測結果進行統計得到整合模型的至少1個指標值，所述指標值用於評價所述整合模型的性能；根據預設的最佳化訓練事件集對整合模型進行最佳化處理，所述最佳化處理包括：對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整； 停止迭代後，若當前的整合模型指標值滿足性能需求，則將當前的整合模型確定為可用整合模型。
  2. 根據申請專利範圍第1項所述的方法，所述對整合模型進行最佳化處理，包括： 在迭代處理過程中，優先對多個獨立模型的整合方式進行調整，如果無法滿足性能需求，則在後續的迭代回合中對獨立模型進行單獨調整。
  3. 根據申請專利範圍第1項所述的方法，所述對多個獨立模型的整合方式進行調整，包括： 不改變參與整合的獨立模型，對獨立模型在整合模型中的整合權重進行調整； 或者 增加或減少用於提供整合模型輸入值的獨立模型，重新訓練得到新的整合模型。
  4. 根據申請專利範圍第1項所述的方法，所述對獨立模型進行單獨調整，包括： 在迭代處理過程中，根據各個獨立模型在整合模型中的整合權重，優先對整合權重較高的獨立模型進行調整，如果無法滿足性能需求，則在後續的迭代回合中對整合權重較低的獨立模型進行調整。
  5. 根據申請專利範圍第1項所述的方法，所述對獨立模型進行單獨調整，包括： 不改變獨立模型的輸入特徵，對獨立模型的參數進行調整； 或者 增加或減少獨立模型的輸入特徵，重新訓練得到新的獨立模型。
  6. 根據申請專利範圍第1項所述的方法，用於統計指標值的測試事件集、以及用於對整合模型進行最佳化處理的最佳化訓練事件集，為取自同一事件集的測試集和驗證集。
  7. 根據申請專利範圍第1項所述的方法，所述確定初始的整合模型，包括： 從歷史事件記錄中獲取事件資料集，每條事件資料中包括：每個獨立模型針對該事件的預測輸出值、該事件的綜合標籤值； 以所獲得的事件資料集作為樣本，利用有監督學習演算法對樣本進行訓練得到整合模型。
  8. 一種模型整合方法，該方法包括： 確定初始的整合模型，所述整合模型具有1個整合輸出值、且以至少2個獨立模型的輸出值作為輸入值； 獲得當前的整合模型針對預設的測試事件集輸出的預測結果，並對預測結果進行統計得到至少1個指標值，所述指標值用於評價所述整合模型的性能； 如果指標值不滿足性能需求，則根據預設的最佳化訓練事件集對整合模型進行最佳化處理，所述最佳化處理包括：對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整； 最佳化處理後，若當前的整合模型指標值滿足性能需求，則將當前的整合模型確定為可用整合模型。
  9. 一種模型整合裝置，該裝置包括： 初始整合模型確定模組，用於確定初始的整合模型，所述整合模型具有1個整合輸出值、且以至少2個獨立模型的輸出值作為輸入值； 最佳化處理模組，利用以下子模組配合進行迭代處理，直到滿足預設的迭代停止條件，所述迭代停止條件至少包括：當前的整合模型指標滿足預設的性能需求； 性能評價子模組，用於獲得當前的整合模型針對預設的測試事件集輸出的預測結果，並對預測結果進行統計得到整合模型的至少1個指標值，所述指標值用於評價所述整合模型的性能； 最佳化處理子模組，用於根據預設的最佳化訓練事件集對整合模型進行最佳化處理，所述最佳化處理包括：對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整； 輸出模組，用於在停止迭代後，若當前的整合模型指標值滿足性能需求，則將當前的整合模型確定為可用整合模型。
  10. 根據申請專利範圍第9項所述的裝置，所述最佳化處理子模組，具體用於： 在迭代處理過程中，優先對多個獨立模型的整合方式進行調整，如果無法滿足性能需求，則在後續的迭代回合中對獨立模型進行單獨調整。
  11. 根據申請專利範圍第9項所述的裝置，所述最佳化處理子模組，具體用於利用以下方式對多個獨立模型的整合方式進行調整： 不改變參與整合的獨立模型，對獨立模型在整合模型中的整合權重進行調整； 或者 增加或減少用於提供整合模型輸入值的獨立模型，重新訓練得到新的整合模型。
  12. 根據申請專利範圍第9項所述的裝置，所述最佳化處理子模組，具體用於利用以下方式對獨立模型進行單獨調整： 在迭代處理過程中，根據各個獨立模型在整合模型中的整合權重，優先對整合權重較高的獨立模型進行調整，如果無法滿足性能需求，則在後續的迭代回合中對整合權重較低的獨立模型進行調整。
  13. 根據申請專利範圍第9項所述的裝置，所述最佳化處理子模組，具體用於利用以下方式對獨立模型進行單獨調整： 不改變獨立模型的輸入特徵，對獨立模型的參數進行調整； 或者 增加或減少獨立模型的輸入特徵，重新訓練得到新的獨立模型。
  14. 根據申請專利範圍第9項所述的裝置，用於統計指標值的測試事件集、以及用於對整合模型進行最佳化處理的最佳化訓練事件集，為取自同一事件集的測試集和驗證集。
  15. 根據申請專利範圍第9項所述的裝置，所述初始整合模型確定模組，具體用於： 從歷史事件記錄中獲取事件資料集，每條事件資料中包括：每個獨立模型針對該事件的預測輸出值、該事件的綜合標籤值； 以所獲得的事件資料集作為樣本，利用有監督學習演算法對樣本進行訓練得到整合模型。
  16. 一種模型整合裝置，該裝置包括： 初始整合模型確定模組，用於確定初始的整合模型，所述整合模型具有1個整合輸出值、且以至少2個獨立模型的輸出值作為輸入值； 最佳化處理模組，用於獲得當前的整合模型針對預設的測試事件集輸出的預測結果，並對預測結果進行統計得到至少1個指標值，所述指標值用於評價所述整合模型的性能；如果指標值不滿足性能需求，則根據預設的最佳化訓練事件集對整合模型進行最佳化處理，所述最佳化處理包括：對多個獨立模型的整合方式進行調整、或者對獨立模型進行單獨調整； 輸出模組，用於在最佳化處理後，若當前的整合模型指標值滿足性能需求，則將當前的整合模型確定為可用整合模型。
  17. 一種電腦設備，包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程式，其中，所述處理器執行所述程式時實現如申請專利範圍第1至8項中任一項所述的方法。
TW107135753A 2017-12-15 2018-10-11 模型整合方法及裝置 TWI745623B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711352413.6A CN108596415B (zh) 2017-12-15 2017-12-15 一种模型整合方法及装置
CN201711352413.6 2017-12-15

Publications (2)

Publication Number Publication Date
TW201928805A true TW201928805A (zh) 2019-07-16
TWI745623B TWI745623B (zh) 2021-11-11

Family

ID=63633347

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107135753A TWI745623B (zh) 2017-12-15 2018-10-11 模型整合方法及裝置

Country Status (6)

Country Link
US (1) US11132624B2 (zh)
EP (1) EP3678072A4 (zh)
CN (1) CN108596415B (zh)
SG (1) SG11202002613VA (zh)
TW (1) TWI745623B (zh)
WO (1) WO2019114421A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI740529B (zh) * 2020-06-05 2021-09-21 財團法人資訊工業策進會 分層建模之方法及系統

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596415B (zh) 2017-12-15 2023-11-24 创新先进技术有限公司 一种模型整合方法及装置
JP6857332B2 (ja) * 2018-03-13 2021-04-14 オムロン株式会社 演算装置、演算方法、及びそのプログラム
CN109255486B (zh) * 2018-09-14 2021-07-20 创新先进技术有限公司 一种策略配置的优化方法及装置
CN110046779B (zh) * 2018-11-01 2023-05-02 创新先进技术有限公司 一种数据处理方法及装置、一种计算设备及存储介质
CN109903165B (zh) * 2018-12-14 2020-10-16 阿里巴巴集团控股有限公司 一种模型合并方法和装置
CN110020425B (zh) * 2019-01-16 2023-04-07 创新先进技术有限公司 模型运营方法和装置
CN110515931B (zh) * 2019-07-02 2023-04-18 电子科技大学 一种基于随机森林算法的电容型设备缺陷预测方法
CN112688897A (zh) * 2019-10-17 2021-04-20 北京观成科技有限公司 一种流量识别的方法、装置、存储介质及电子设备
CN110909775A (zh) * 2019-11-08 2020-03-24 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置及电子设备
CN111091473B (zh) * 2019-11-25 2023-08-15 泰康保险集团股份有限公司 保险问题分析处理方法和装置
CN111988310B (zh) * 2020-08-18 2022-11-22 九源云(广州)智能科技有限公司 基于iec61850协议的数据获取方法及装置
CN112598265B (zh) * 2020-12-18 2022-06-07 武汉大学 基于解耦风险估计的无人机高光谱松材线虫病快速探测方法
CN114119037B (zh) * 2022-01-24 2022-05-17 深圳尚米网络技术有限公司 一种基于大数据的营销反作弊系统
CN114733640B (zh) * 2022-03-03 2023-09-12 江苏丰尚智能科技有限公司 粉碎机加工参数的调节方法、装置和计算机设备
CN114860953B (zh) * 2022-04-29 2024-07-02 重庆邮电大学 一种基于少样本关系预测模型的可解释方法
CN115759684B (zh) * 2022-11-30 2024-03-19 南京贝迪新材料科技股份有限公司 一种量子点扩散板的制备工艺优化方法及系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2171802C (en) 1996-03-14 2001-06-05 Richard Denison Mcdonald Comparative performance modeling for distributed object oriented applications
US6560592B1 (en) 1998-03-19 2003-05-06 Micro Data Base Systems, Inc. Multi-model computer database storage system with integrated rule engine
US6272449B1 (en) * 1998-06-22 2001-08-07 Torrent Systems, Inc. Computer system and process for explaining behavior of a model that maps input data to output data
CN1331079C (zh) 1998-09-30 2007-08-08 凯登丝设计系统公司 基于块的设计方法
AU2001233042A1 (en) 2000-01-27 2001-08-07 Synquiry Technologies, Ltd. Software composition using graph types, graphs, and agents
AU2001271802A1 (en) 2000-07-03 2002-01-14 Oculus Technologies Corporation Access control for a decentralized or emergent model on a computer network
US20090018891A1 (en) * 2003-12-30 2009-01-15 Jeff Scott Eder Market value matrix
US7089592B2 (en) 2001-03-15 2006-08-08 Brighterion, Inc. Systems and methods for dynamic detection and prevention of electronic fraud
US6792431B2 (en) 2001-05-07 2004-09-14 Anadarko Petroleum Corporation Method, system, and product for data integration through a dynamic common model
JP2003006680A (ja) 2001-06-20 2003-01-10 Zenrin Co Ltd ３次元電子地図データの生成方法
US8417360B2 (en) 2001-08-10 2013-04-09 Rockwell Automation Technologies, Inc. System and method for dynamic multi-objective optimization of machine selection, integration and utilization
US6925621B2 (en) 2002-06-24 2005-08-02 Agilent Technologies, Inc. System and method for applying timing models in a static-timing analysis of a hierarchical integrated circuit design
US7376472B2 (en) 2002-09-11 2008-05-20 Fisher-Rosemount Systems, Inc. Integrated model predictive control and optimization within a process control system
US7653563B2 (en) * 2004-03-17 2010-01-26 Schlumberger Technology Corporation Method and apparatus and program storage device adapted for automatic qualitative and quantitative risk assessment based on technical wellbore design and earth properties
CN1300649C (zh) * 2004-11-16 2007-02-14 冶金自动化研究设计院 一种复杂工业过程的组合建模方法
US7509244B1 (en) 2004-12-22 2009-03-24 The Mathworks, Inc. Distributed model compilation
WO2006135756A1 (en) 2005-06-09 2006-12-21 Intepoint, Llc Multi-infrastructure modeling system
US7933849B2 (en) 2006-10-31 2011-04-26 Rockwell Automation Technologies, Inc. Integrated model predictive control of batch and continuous processes in a biofuel production process
US8515862B2 (en) 2008-05-29 2013-08-20 Sas Institute Inc. Computer-implemented systems and methods for integrated model validation for compliance and credit risk
CN102567391B (zh) * 2010-12-20 2014-05-07 中国移动通信集团广东有限公司 一种分类预测混合模型的建立方法及装置
CN102693452A (zh) * 2012-05-11 2012-09-26 上海交通大学 基于半监督回归学习的多模型软测量方法
US9619753B2 (en) * 2014-12-30 2017-04-11 Winbond Electronics Corp. Data analysis system and method
CN105719002A (zh) * 2016-01-18 2016-06-29 重庆大学 一种基于组合预测的风电机组状态参数异常辨识方法
CN107025596B (zh) 2016-02-01 2021-07-16 腾讯科技（深圳）有限公司 一种风险评估方法和系统
CN105843991B (zh) * 2016-03-16 2018-10-19 江汉大学 模型级hla仿真成员组合系统及方法
CN105930900B (zh) * 2016-05-09 2018-02-27 华北电力大学 一种混合风力发电的预测方法及系统
US20170330109A1 (en) * 2016-05-16 2017-11-16 Purepredictive, Inc. Predictive drift detection and correction
CN106650786A (zh) * 2016-11-14 2017-05-10 沈阳工业大学 基于多列卷积神经网络模糊评判的图像识别方法
CN106677763B (zh) * 2016-12-29 2020-02-07 沈阳工业大学 一种基于动态集成建模的油井动液面预测方法
CN106991506A (zh) * 2017-05-16 2017-07-28 深圳先进技术研究院 智能终端及其基于lstm的股票趋势预测方法
CN108596415B (zh) * 2017-12-15 2023-11-24 创新先进技术有限公司 一种模型整合方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI740529B (zh) * 2020-06-05 2021-09-21 財團法人資訊工業策進會 分層建模之方法及系統

Also Published As

Publication number Publication date
TWI745623B (zh) 2021-11-11
US11132624B2 (en) 2021-09-28
SG11202002613VA (en) 2020-04-29
EP3678072A1 (en) 2020-07-08
CN108596415A (zh) 2018-09-28
CN108596415B (zh) 2023-11-24
WO2019114421A1 (zh) 2019-06-20
US20200202255A1 (en) 2020-06-25
EP3678072A4 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
TWI696124B (zh) 模型整合方法及裝置
TW201928805A (zh) 模型整合方法及裝置
US11599393B2 (en) Guaranteed quality of service in cloud computing environments
US20240220990A1 (en) Methods and arrangements to distribute a fraud detection model
EP3895077A1 (en) Explainability-based adjustment of machine learning models
JP2021527288A (ja) データセットのための機械学習モデルの好適性の検出
US20150302433A1 (en) Automatic Generation of Custom Intervals
CN107679856B (zh) 基于交易的业务控制方法和装置
Liu et al. A systematic approach to optimizing h value for fuzzy linear regression with symmetric triangular fuzzy numbers
US10956976B2 (en) Recommending shared products
US20210279618A1 (en) System and method for building and using learning machines to understand and explain learning machines
CN110011847B (zh) 一种传感云环境下的数据源质量评估方法
Chu et al. Variational cross-network embedding for anonymized user identity linkage
Li [Retracted] Prediction and Analysis of Housing Price Based on the Generalized Linear Regression Model
US20220129318A1 (en) Quota Request Resolution On Computing Platform
CN110033276A (zh) 一种针对转账的安全策略生成方法、装置及设备
Jun-Jian et al. User's behavior trust evaluate algorithm based on cloud model
Chen et al. Support vector regression method for wind speed prediction incorporating probability prior knowledge
CN112085369A (zh) 规则模型的安全性检测方法、装置、设备及系统
Quax et al. Information processing features can detect behavioral regimes of dynamical systems
Ding et al. Computational experiment study on selection mechanism of project delivery method based on complex factors
CN111382874B (zh) 实现线上机器学习模型的更新迭代的方法和装置
CN112488141A (zh) 物联卡应用范围的确定方法、装置及计算机可读存储介质
US11665203B1 (en) Automatic monitoring and modeling
US12136123B2 (en) Systems and methods for data monitoring