TW202242727A

TW202242727A - 條件參數最佳化方法及系統

Info

Publication number: TW202242727A
Application number: TW111108282A
Authority: TW
Inventors: 濱陳; 謝爾蓋別洛夫; 拉杜喬巴努
Original assignee: 加拿大商先知公司
Priority date: 2021-03-08
Filing date: 2022-03-08
Publication date: 2022-11-01
Also published as: WO2022187946A1

Abstract

一種用於預測目標函數的數值之機器學習架構的系統，該目標函數的數值概率地取決於其輸入值，該系統包括：至少一個記憶體及至少一個處理器，配置成提供用於參數最佳化的該機器學習架構，以便至少藉由下列步驟來解決相依於複數個控制變數及環境變數的一時變及/或隨機最佳化問題，其中該等控制變數包括參數：在一當前疊代中，使該複數個變數中之每一個與多個第一參數值相關聯，以形成一特徵向量；將該特徵向量作為一訓練樣本輸入至一機器學習模型；用該特徵向量及上一目標函數值疊代地訓練該機器學習模型，以獲得一預測目標函數值；藉由將具有該等第一參數值的該複數個變數輸入該機器學習模型，計算該預測目標函數值；以及當具有該等第一參數值的該複數個變數產生該預測目標函數值時，選擇具有該等第一參數值的該複數個變數，並且採取具有該等第一參數值的該複數個變數來用於一最佳交易策略或一營業流程；否則對於下一疊代，使該複數個變數中之每一個與多個第二參數值動態地相關聯。

Description

條件參數最佳化方法及系統

本發明係有關於最佳化方法及系統，更具體地，它係有關於基於時變及/或隨機環境條件的參數最佳化。

最佳化係一個要找到導致既定目標函數的最小值或最大值之輸入的挑戰性問題，並且有大量的模型及演算法可供選擇來滿足這個目標，只要目標函數是確定性的而不是時變的或「隨機的」(受隨機雜訊或變化的影響)。為了獲得令人滿意的績效，必須根據既定資料集仔細地選擇具有最佳化參數設定的適當模型及/或演算法，因此即使對於確定性目標函數，解決這個高維最佳化問題也是一項挑戰性任務。當函數是隨機的及/或時變的時，沒有普遍可接受的方法來找到解決方案。

一個示例應用是在金融市場下訂單及交易。這些市場中的算法交易員通常使用簡單的演算法來決定買賣訂單的時間、定價、類型及/或大小，亦即，「交易策略」。這種交易策略通常包括少量可調整的參數(「交易參數」)，這些參數通常根據歷史資料(「訓練集」)來進行最佳化並永遠地固定下來。當前最先進的方法通常藉由查看過去平均最佳的參數來找到最佳參數。交易參數亦可以使用擴展的訓練集來定期地重新最佳化。然而，使用這種方法，交易參數無法回應快速變化的市場條件，因為附加資料只是現有訓練集的一小部分。交易參數亦可以使用滾動訓練集來定期地重新最佳化(通常稱為「移動窗格最佳化(Walk Forward Optimization)」)。然而，沒有證據表明最新的滾動訓練集在測試集中提供更好的樣本外(out-of-sample)績效。在缺乏統計顯著性的情況下，太小的滾動訓練集亦會提供不穩定及不可靠的預測結果。這些傳統的最先進最進化程序可以稱為「無條件參數最佳化」，它們具有如上所述的顯著缺點。一個主要的缺點是，即使交易參數平均而言可能是最佳的(亦即，平均值取自歷史訓練集)，但是交易參數可能不是在每個市場條件下都是最佳的。

本發明的一個目的是減輕或消除上述缺點中之至少一個。

在本發明的一個態樣中，提供一種在時變及/或隨機環境條件下將機器學習技術應用於參數最佳化的方法。

在另一個態樣中，提供一種條件參數最佳化系統，其包括一機器學習架構，用於藉由最佳化複數個控制變數、環境變數、參數及參數值來解決一時變及/或隨機最佳化問題。

在另一個態樣中，提供一種用於預測目標函數的數值之機器學習架構的系統，該目標函數的數值概率地取決於其輸入值，該系統包括：至少一個記憶體及至少一個處理器，其配置成提供用於參數最佳化的該機器學習架構，以便至少藉由下列步驟來解決相依於複數個控制變數及環境變數的一時變及/或隨機最佳化問題，其中該等控制變數包括參數：在一當前疊代中，使該複數個變數中之每一個與多個第一參數值相關聯，以形成一特徵向量；將作為從一歷史訓練集獲得之一訓練樣本的一第一部分之該特徵向量輸入至一機器學習模型；將作為該訓練樣本的一第二部分及一最後部分之與該特徵向量相關的從該歷史訓練集獲得之上一目標函數值輸入至一機器學習模型；用該完整訓練樣本疊代地訓練該機器學習模型，以獲得一預測目標函數值；藉由將具有該等第一參數值的該複數個變數輸入該機器學習模型，計算該預測目標函數值；以及當具有該等第一參數值的該複數個變數產生該預測目標函數值時，選擇具有該等第一參數值的該複數個變數，並且在下一疊代中採取具有該等第一參數值的該複數個變數及該預測目標函數值來輸入至該機器學習模型；否則對於該下一疊代，使該複數個變數中之每一個與多個第二參數值動態地相關聯。

在另一個態樣中，提供一種用於解決最佳化問題的電腦實施方法，該方法在一電腦系統中實施，該電腦系統包括至少一個處理器及一電腦可讀取媒體，該電腦可讀取媒體包含指令，該等指令可由該至少一個處理器執行，以至少：汲取與該最佳化問題有關的資訊，並產生用於一機器學習架構的輸入資料；在一當前疊代中，使該複數個變數中之每一個與多個第一參數值相關聯；對該輸入資料進行建模，以剖析該複數個變數的影響；產生用於該複數個變數中之每一個的參數最佳化之一機器學習方法；預測該機器學習方法的結果；測試該機器學習方法的預測結果，以判定具有該等第一參數值的該複數個變數是否產生一最佳預測結果；以及當具有該等第一參數值的該複數個變數產生該最佳預測結果時，選擇具有該等第一參數值的該複數個變數，並且對於下一疊代，採取用於該方法之具有該等第一參數值的該複數個變數及該預測結果；否則對於該下一疊代，使該複數個變數中之每一個與多個第二參數值動態地相關聯。

在另一個態樣中，提供一種用於機器學習架構的系統，該系統包括：至少一個記憶體及至少一個處理器，其配置成提供用於參數最佳化的該機器學習架構，以便至少藉由下列步驟來解決相依於複數個變數的一最佳化問題：汲取與該最佳化問題有關的資訊，並產生用於該機器學習架構的輸入資料；在一當前疊代中，使該複數個變數中之每一個與多個第一參數值相關聯；在該系統內之複數個資料處理模組中對該輸入資料進行建模，其中該複數個資料處理模組與該至少一個處理器一起執行，該等資料處理模組配置成剖析該複數個變數的影響；產生用於該複數個變數中之每一個的參數最佳化之一機器學習方法；預測該機器學習方法的結果；測試該機器學習方法的預測結果，以判定具有該等第一參數值的該複數個變數是否產生一最佳預測結果；以及當具有該等第一參數值的該複數個變數產生該最佳預測結果時，選擇具有該等第一參數值的該複數個變數，並且對於下一疊代，採取用於該方法之具有該等第一參數值的該複數個變數及該預測結果；否則對於該下一疊代，使該複數個變數中之每一個與多個第二參數值動態地相關聯。

在另一個態樣中，提供一種用於在金融市場下訂單的電腦實施系統，該系統包括：一最佳化模組，配置成疊代地：從複數個來源擷取資訊；產生複數個資料集，該複數個資料集包括金融市場資料及一演算法交易策略的結果(例如，其收益或損失資料)中之至少一個；產生具有一機器學習模組的一模型；應用該機器學習模型，以從該等資料集及交易參數的特定值中進行學習；產生一第一交易策略，該第一交易策略包括具有多個第一參數值的交易參數；預測該第一交易策略的結果；根據預定條件判定具有該等第一參數值的該等交易參數是否產生一最佳預測結果；以及當具有該等第一參數值的該等交易參數產生該最佳預測結果時，選擇具有該等第一參數值的該等交易參數及該第一交易策略的結果作為最佳參數，並且採取該等最佳參數用於下一週期的交易策略；否則用具有多個第二參數值的交易參數動態地調整該第一交易策略，以形成一第二交易策略。

在另一個態樣中，提供一種用於下達金融工具及證券訂單的電腦實施方法，該方法包括儲存在一電腦可讀取媒體中的指令，其中該等指令可由一處理器執行，以至少： (a)從複數個來源擷取資訊； (b)從該複數個來源產生複數個資料集，該複數個資料集包括金融市場資料及市集資料中之至少一者； (c)產生具有一機器學習模組的一模型； (d)訓練該機器學習模型，以從該複數個資料集及一組交易參數的特定值中進行學習； (e)藉由輸入代表最新市場條件的特徵以及該等交易參數的各種組合，將機器學習模型應用於現場交易； (f)產生一第一交易策略，該第一交易策略包括具有第一參數值的交易參數； (g)預測該第一交易策略的結果； (h)測試該第一交易策略的預測結果； (i)根據預定條件判定具有該等第一參數值的該等交易參數是否產生一最佳預測結果；以及 (j)當具有該等第一參數值的該等交易參數產生該最佳預測結果時，選擇具有該等第一參數值的該等交易參數作為最佳參數，並且採取該等最佳參數及該預測結果用於下一週期的交易策略；否則用具有第二數值的交易參數動態地調整該第一交易策略，以形成一第二交易策略。

在另一個態樣中，提供一種用於預測目標函數的數值之機器學習架構的系統，該目標函數的數值概率地取決於其輸入值，該系統包括：至少一個記憶體及至少一個處理器，其配置成提供用於參數最佳化的該機器學習架構，以便至少藉由下列步驟來解決相依於至少一個變數的一時變及/或隨機最佳化問題，其中該至少一個變數包括至少一個參數：在一當前疊代中，使該至少一個變數與至少一個第一參數值相關聯，以形成一特徵向量；將該特徵向量作為一訓練樣本輸入至一機器學習模型；使用該特徵向量及上一目標函數值疊代地訓練該機器學習模型，以獲得一預測目標函數值；藉由將具有該至少一個第一參數值的該至少一個變數輸入至該機器學習模型中來計算該預測目標函數值；以及當具有該至少一個第一參數值的該至少一個變數產生該預測目標函數值時，選擇具有該第一參數值的該至少一個變數，並且採取具有該至少一個第一參數值的該至少一個變數；否則對於下一疊代，使該至少一個變數與至少一個第二參數值動態地相關聯。

有利地，本發明描述一種即時條件最佳化方法，該方法使用機器學習來預測在有一組交易參數的情況下所應用之交易策略的報酬，並且使用那些預測來以預定頻率(例如，以一天為周期)最佳化這些參數。於是，可以基於任何市場(例如，股票市場、在線上廣告拍賣市場或零售產品拍賣市場)中快速變化的市場條件來最佳地下訂單。因此，交易參數對市場條件明顯更加敏感，並且產生具有比習知技藝的方法明顯更好的報酬之交易策略。因此，條件參數最佳化方法及系統可以用於在不同市場狀態中藉由調整交易策略的參數以適應那些狀態來提高策略績效；及/或在不同市場狀態中最佳化投資組合之不同成分的分配。條件參數最佳化方法及系統不是僅基於投資組合成分的報酬之歷史平均值及共變異數進行最佳化，而是包含訓練具有大量外部「大數據」特徵的機器學習模型來驅動最佳化程序。

圖1係依據一些具體例之用於條件參數最佳化系統10的實體環境之一個實例的示意方塊圖。提供配置成用於處理諸如神經網路的機器學習架構、從機器學習架構源接收機器學習架構(例如，以資料集的形式儲存)的系統10。資料汲取模組12汲取或接收包括歷史或觀察資料、即時資料的輸入資料14。

輸入資料14被應用於計算環境20內之複數個資料處理模組18中的一個或多個預測模組16，計算環境20亦包括一個或多個處理器30及複數個軟體及硬體組件。一個或多個處理器30及複數軟體及硬體組件配置成執行程式指令，以實施本文所述且在一個或多個資料處理模組18中體現之預測模組16的功能。條件參數最佳化模型配置成剖析複數個時變變數及隨機環境條件或與參數值相關聯的參數之影響。

除了資料汲取模組12之外，複數個資料處理模組18還包括機器學習模組40，機器學習模組40配置成將人工智慧層應用於條件參數最佳化模型，以執行及改進可形成條件輸出設定檔(condition output profile)50之評估、模擬、預報及預測。複數個資料處理模組18還包括最佳化模組60，最佳化模組60配置成測試預測模組16的條件輸出設定案50；並且確判參數值是否產生最佳預測結果52。條件輸出設定檔50亦可以發出與參數值相關聯的警示54，包括其它相關輸出56。

依據各種具體例，機器學習模組40包括模型訓練引擎70，模型訓練引擎70可以是軟體(例如，編譯成機器碼的碼段)、硬體、嵌入式韌體或軟體與硬體的組合。模型訓練引擎70配置成接收代表神經網路模型、隨機森林或其它機器學習模型的一個或多個資料集，並使用隨時間變化的步長值來訓練機器學習模型。通常，任何其它相關資料或超參數都儲存在資料儲存器80中，資料儲存器80配置成保持一個或多個資料集，其包括儲存鏈接及其它資料的資料結構。資料儲存器80可以是關連式資料庫、平面資料儲存器、非關連式資料庫等等。在一些具體例中，資料儲存器80可以儲存代表包括一個或多個基於機器學習模型的修改模型之模型分佈集之資料；包括規則記憶體82及參數記憶體84。

機器學習模型的實例包括全連接神經網路(FCNNs)、遞歸神經網路(RNNs)、長短期記憶(LSTM)網路、深度信念網路、隨機森林或支持向量機。

相較於相對不那麼專用的硬體元件，機器學習模組40的一個實例是一個或多個相對專用硬體元件，其與一個或多個軟體元件結合操作，以相對更有效地訓練神經網路及/或使用神經網路執行推理。相對專用硬體元件的一些實施包括一個或多個硬體邏輯電路元件，例如，電晶體、電阻器、電感器、電容器、導線互連、組合邏輯(例如，NAND、NOR)閘、閂鎖器、暫存器檔案、記憶體陣列、用於記憶體陣列的標籤欄位、內容可定址記憶體、快閃記憶體、ROM、DRAM、SRAM、串聯器/解串器(SerDes)、I/O驅動器等，它們例如藉由定製邏輯、合成邏輯、ASIC及/或FPGA來實施。在一個示例性實施方式中，機器學習模組40能夠根據為訓練神經網路及/或用神經網路推理而執行的計算來處理資料流。

圖2顯示要概述由執行機器學習方法的條件最佳化系統10實施之用於解決相依於複數個控制變數及環境變數的最佳化問題來獲得預測輸出值之示例性步驟的流程圖100。於是，任何預測輸出值本質上是隨著不可預測或隨機且超出系統10的控制之環境變數的性質而隨機或時變的。在步驟102中，系統10汲取與最佳化問題有關的資訊。接下來，在步驟104中，從汲取的資訊中導出資料集，其中這些資訊可能與一個或多個時變變數及/或一個或多個隨機環境條件以及一個或多個先前獲得之目標函數的輸出值有關。在步驟106中，在當前疊代中，使複數個變數中之每一個與第一參數值相關聯，以形成特徵向量。接著，將特徵向量輸入至機器學習架構10中，以判定要使用之合適的預測模型(步驟108)。接下來，在步驟112中，測試機器學習方法的預測結果，以判定具有第一參數值的複數個變數是否產生最佳預測結果。在步驟114中，當具有第一參數值的複數個變數產生最佳預測結果時，則選擇具有第一參數值的複數個變數，並且在下一疊代中採取具有第一參數值的複數個變數作為輸入；否則，對於下一疊代，使複數個變數中之每一個與第二參數值動態地相關聯，因此程序返回至步驟106。於是，疊代地最佳化一個或多個變數的參數值。

圖3顯示要概述由條件參數最佳化系統10實施之用於最佳化交易參數的示例性步驟之流程圖200。在步驟202中，擷取來自複數個來源的資訊並將其儲存在資料儲存器80中。在步驟204中，產生包括金融市場資料及市集資料中之至少一種的複數個資料集。接下來，由機器學習模組生成模型(步驟206)。在步驟208中，選擇具有相關交易參數值的一組預定義變數，以產生交易策略。接著，訓練機器學習模型，從資料集及交易參數的特定值中進行學習，以便預測交易策略的結果(步驟210)。接下來，在步驟212中，機器學習模型藉由輸入代表最新市場條件的特徵以及交易參數的各種組合來應用於現場交易。例如，應用監督式機器學習演算法(例如，具有提升法(boosting)的隨機森林)從獲得現行市場條件的各個方面以及交易參數的特定值之大型特徵集中進行學習，以便預測交易策略的結果。當交易策略應用於股票市場時，一個示範結果是股票未來1天的報酬。在步驟214中，判定該組交易參數是否產生最佳預測結果(例如，股票的最高未來1天報酬)。在步驟216中，當這組交易參數產生最佳預測結果時，選擇這組交易參數作為最佳參數，並採取這組交易參數作為下一週期的交易策略之參數；否則，根據現行市場條件，調整交易策略，以包含用於下一週期的另一組交易參數，並且程序返回至步驟208。於是，交易員可以做出這樣的預測，並儘可能頻繁地調整交易策略，以回應快速變化的市場條件。有利地，這樣的調整之頻率及大小因此不受使用當前最先進無條件最佳化技術進行穩健最佳化所需的大量遺留資料的限制。學習步驟可以至少部分地利用預測最佳隨機控制演算法來執行。

在一個實例中，在指數股票型基金(ETF)上採用具有一組交易參數的示例性交易策略。例如，這個策略根據2006年1月1日至2020年12月31日的資料以1分鐘的頻率利用SPDR Gold Shares(GLD)ETF與Van Eck Market Vectors Gold Miners ETF(GDX)之間的超前-滯後關係，並將其在訓練/測試之間拆分成80%/20%。示例性交易策略包括3個交易參數，例如，進入門檻(entry_threshold)、移動回顧窗口(lookback)及避險比率(GDX_weight)。價差的避險比率(GDX_weight)被定義為：

(1)。

一般而言，在期望實現收益的情況下，投資者的目標是在時間 t 進入GLD的交易(亦即，進入市價單的買入或賣出)，並在時間 t+1 退出。於是，可以在網格(例如，5×10×8網格)上最佳化三個交易參數。示例網格被定義如下：

GDX_weight = {2,2.5,3,3.5,4} entry_threshold = {0.2,0.3,0.4,0.5,0.7,1,1.25,1.5,2,2,5} lookback = {30,60,90,120,180,240,360,720}。

雖然在此考慮GLD及GDX價格以及這些價格的函數來做出交易決策，但是與典型多空對(long-short pair)交易設定不同，只交易GLD/GDX對的第一段過程(GLD)。

接下來，定期(例如，每分鐘)計算等式1中的Spread(t)，並且根據Spread(t)計算Bollinger Bands®。由John Bollinger 開發的布林通道(Bollinger Bands)通常被定義為：

(2)。

其中Spread_EMA係Spread的指數移動平均線，而Spread_VAR係它的指數移動方差。

在下一步驟中，類似於使用布林通道的典型均值回歸(mean-reverting)策略，根據以下規則輸入新的GLD部位：

如果 Z_score＜-entry_threshold(導致多頭部位)，則買進GLD，如果 Z_score＞entry_threshold(導致空頭部位)，則做空GLD，如果 Z_score＞exit_threshold，則結清多頭部位，如果 Z_score＜-exit_threshold，則結清空頭部位。

其中exit_threshold可以在entry_threshold與-entry_threhold之間的任何位置。

在訓練集中的最佳化之後，設定exit_threshold，其中exit_threshold=-0.6*entry_threshold，並且當entry_threshold在未來的無條件或條件參數最佳化中發生變化時，這種關係保持不變。例如，僅對1分鐘的資料執行計算，輸入僅在東部時間9：30至15：59之間的部位，而結清在東部時間16：00的任何部位。對於交易參數的每個組合，例如，記錄產生之當日策略的每日報酬，以形成每日策略收益的時間序列。

在當前最先進的無條件參數最佳化中，考慮使用竭盡式搜尋在3維參數網格上最大化累積樣本內報酬的三個交易參數(GDX_weight、entry_threshold及lookback)。(由於多個局部最大值，基於梯度的最佳化不起作用)。三個最佳交易參數的固定集用於指定測試集上的樣本外策略。

在本申請案的條件參數最佳化中，每天使用的這組交易參數取決於在訓練集上訓練的預測機器學習模型。這個模型在有交易參數及其它市場條件的情況下預測產生的交易策略之未來1天報酬。因為交易參數可以隨意變化(亦即，控制變數)，交易策略可以每天為多組交易參數預測不同的未來報酬，並且選擇可預測最高的未來報酬之最佳集合。於是，那個最佳參數集將用於第二天的交易策略。此步驟是在當天收盤之後及第二天開盤之前進行的。

除了三個交易參數之外，還輸入為了獲得市場條件而選擇的各種預測量或「特徵」至機器學習模型中。例如，這些技術指標可以從技術分析Python庫(Technical Analysis Python library)中獲得：布林通道Z分數(Bollinger Bands Z-score)、資金流量(Money Flow)、力道指數、唐奇安通道(Donchian Channel)、真實波動幅度均值(Average True Range)、動量震盪指標(Awesome Oscillator)及平均動向指標(Average Directional Index)。每個指標實際上產生2×7個特徵，因為這些指標適用於ETFs GLD及GDX價格序列中之每一個，並且每個指標都使用7個不同的回顧窗口計算：50、100、200、400、800、1600及3200分鐘。於是，在此實例中，使用總共11個特徵((3+8) × (2×7))來預測策略的未來1天報酬。然而，因為3個交易參數有400種組合(5×10×8)，所以每個交易日有400列訓練資料，如下表所示：

表1

GDX_weight	entry_threshold	lookback	Z-score-GLD(50)	Z-score-GDX(50)	Money-Flow-GLD(50)	Money-Flow-GDX(50)
2	0.2	0	0.123	0.456	1.23	4.56
2	0.2	0	0.123	0.456	1.23	4.56
2	0.2	0	0.123	0.456	1.23	4.56
...
4	5	40	0.123	0.456	1.23	4.56
4	5	60	0.123	0.456	1.23	4.56
4	5	20	0.123	0.456	1.23	4.56

交易策略可能每天在收盤時強制結清之前執行多次回合(round trips)，此1天報酬是這樣的回合(round-trip)報酬之總和，並且用作目標函數值或目標變數或標籤。在訓練機器學習模型之後，模型可用於現場預測及交易。收盤後的每個交易日，準備一個具有與上表的任一列相似之結構的輸入向量，並且這個輸入向量填充有一組特定的交易參數及技術指標的當前值，以及機器學習模型用於重複地預測第二天交易策略的報酬。此步驟被執行多次，例如，400次，改變交易參數，而技術指標的數值保持不變，以判定預測最高報酬的交易參數集。然後，為第二天的交易策略選擇特定的最佳交易參數集。在數學術語中：

(GDX_weight_optimal, entry_threshold_optimal, lookback_optimal)= argmax(GDX_weight, entry_threshold, lookback){... predict(GDX_weight, entry_threshold, lookback, technical indicators)} (3)。

其中predict是由監督機器學習演算法建構的預測函數。argmax 函數選擇可最大化predict函數的輸出之參數(GDX_weight, entry_threshold, lookback)。在一個實例中，為了下面報告的結果選擇具有提升法的隨機森林，但是神經網路或支持向量機或許多其它機器學習演算法亦可能是合適的。

下面顯示用於訓練模型及進行預測的示例性程式碼片段。

#輸入及創建一個類別實例 from predictnow.pdapi import PredictNowClient import pandas as pd api_key="%KeyProvidedToEachOftheSubscribers" api_host="http：//12.34.567.890：1000" # Predictnow SaaS server username="helloWorld" email="helloWorld@usermail.com" client=PredictNowClient(api_host,api_key) file_path='my_amazing_features.xlsx' labelname='Next_day_strategy_return' import os #對於分類問題 #params={'timeseries'：'yes', 'type'：'classification', 'feature_selection'：'shap', 'analysis'： 'none', 'boost'： 'gbdt', 'testsize'： '0.2', 'weights'： 'no', 'eda'： 'yes', 'prob_calib'： 'no', 'mode'：'train'} #對於適用於CPO的回歸問題 params={'timeseries'：'yes', 'type'： 'regression', 'feature_selection'：'none','analysis'：'none', 'boost'：'gbdt', 'testsize'：'0.2', 'weights'：'no', 'eda'：'yes','prob_calib'：'no', 'mode'：'train'} #藉由將參數傳送至PREDICTNOW.AI來創建模型 response=client.create_model( username=username, model_name="test1", params=params, ) #在局部環境中將檔案加載至PANDAS from pandas import read_csv from pandas import read_excel df=read_excel(file_path, engine="openpyxl") df.name="testdataframe" response = client.train( model_name="test1", input_df=df, label=labelname, username=username, email=email, return_output=False, ) print("FIRST MODEL TRAINING AT PREDICTNOW.AI HAS BEEN COMPLETED!") print(response) #用戶現在可以藉由呼叫getresult函數(及提供常駐在Predictnow.ai伺服器上的模型名稱)來檢查來自模型的訓練/測試集結果 status=client.getstatus(username=username, train_id=response["train_id"]) if status["state"]=="COMPLETED"： response = client.getresult( model_name="test1", username=username, ) import pandas as pd predicted_targets_cv=pd.read_json(response.predicted_targets_cv) print("predicted_targets_cv") print(predicted_targets_cv) predicted_targets_test=pd.read_json(response.predicted_targets_test) print("predicted_targets_test") print(predicted_targets_test) performance_metrics = pd.read_json(response.performance_metrics) print("performance_metrics") print(performance_metrics) ##用戶現在可以對參數的許多組合藉由使用這些參數組合填充example_input_live.csv檔案中的許多列來進行現場預測 if status["state"]=="COMPLETED"： df=read_csv("example_input_live.csv") # 用於現場預測的輸入資料 df.name="myfirstpredictname" #可選的，但被建議 #進行現場預測 response=client.predict( model_name="test1", input_df=df, username=username, eda="yes", prob_calib=params["prob_calib"], ) #對於現場預測：(記住標籤及概率各自可以有許多列對應於許多參數組合 y_pred = pd.read_json(response.labels) print("THE LABELS") print(labels)

表2顯示來自上述步驟的一個示例性輸出標籤檔案。

表2

資料	pred_target
2020-12-24 2.5_30_0.2 20218132334	0.011875
2020-12-24 2.5_60_0.2 20218132344	0.012139
2020-12-24 2.5_90_0.2 20218132354	0.012139
2020-12-24 2.5_120_0.2 20218132364	0.012975
2020-12-24 2.5_180_0.2 20218132374	0.012975
2020-12-24 2.5_240_0.2 20218132384	0.012975
2020-12-24 2.5_360_0.2 20218132394	0.012975
2020-12-24 2.5_720_0.2 20218132404	0.012975

其中2.5_30_0.2是一種參數組合，而2.5_60_0.2是另一種參數組合。

input_features= df['Date’].values for i in range(len(input_features))： #/ 將y_pred[‘Date’]拆分成實際日期及參數串 date_params=input_features[i].split(' ') params=date_params[1] if i==0： #i初始化max_index及其參數值 #例如(2.5, 60, 0.2) params_cond_optimized=params y_pred_max = y_pred[i].values else： if y_pred[i].values ＞= y_pred_max： #更新max_index及其參數值 params_cond_optimized=params y_pred_max = y_pred[i].values # params_cond_optimized是第二天的「條件最佳化」參數

使用機器學習來以技術指標預測GLD(亦即，黃金)報酬(例如，GLD的1天報酬)的習知技藝方法收效甚微，並且會引起套利活動。與習知技藝方法中之機器學習的應用不同，本申請案的條件最佳化方法使用機器學習來預測在有一組交易參數的情況下應用於GLD的交易策略之報酬，並且每天使用那些預測來最佳化這些參數。

在一個示例性實施方式中，對2020年12月31日止的最後3年資料進行無條件與條件參數最佳化的樣本外測試集績效比較，發現3年累積報酬分別為73%及83%。此外，通常使用條件參數最佳化來改進其它指標。表3顯示無條件與條件參數最佳化之間的樣本外績效比較：

表3

	無條件最佳化	條件最佳化
每年報酬	17.29%	19.77%
Sharpe比率	1.947	2.325
Calmar比率	0.984	1.454

Sharpe比率是投資者在評估投資管理產品及專業人士的表現時經常使用的財務指標。Calmar比率是衡量諸如避險基金及期貨投資顧問(CTAs)之投資基金的績效之標準，它是基金平均複合年報酬率與其最大回撤的函數。

在另一個示例性實施方式中，條件參數最佳化方法被實施用於藉由回應現場條件而定期地調整交易策略來最佳化與加密貨幣及代幣相關聯的交易參數及投資組合。

在另一個示例性實施方式中，條件參數最佳化方法及系統可用於最小化等待時間。例如，可以藉由最佳化各種參數(例如，人員配備水準、設備及用品準備情況、出院率等)來最小化醫院急診室的等待時間。當前最先進的方法通常藉由查看過去平均效果最佳的參數來找到最佳參數。也沒有數學函數可以根據這些參數以確定性方式確定等待時間。本申請案的條件參數最佳化方法及系統利用諸如時間、星期、季節、天氣、近期是否有群體性事件等其它變數來預測在各種參數組合下的等待時間，從而找到當前條件下的最佳組合，以便達到最短的等待時間。

在另一個示例性實施方式中，實施條件參數最佳化方法，以便最佳化在線上市場中的商品定價。

在另一個示例性實施方式中，實施條件參數最佳化方法，以便最佳化在網站及社交媒體平台上之線上廣告的下單。

在另一個示例性實施方式中，條件參數最佳化方法可用在例如最佳化產品或物品的交付之物流中。例如，這個方法可以根據任意數量的變數(例如，天氣、交通、星期、電視體育廣播及特殊假日事件等等)來最佳化駕駛員及車輛的分配。

在另一個示例性實施方式中，條件參數最佳化方法可用在採用神經網路技術的自駕車(例如，即時導航及防撞系統)中。

在另一個示例性實施方式中，條件參數最佳化方法可用在可分割任務的工作負荷調度系統中，以例如找到最佳調度工作負荷，使得處理時間最短。

在另一個示例性實施方式中，條件參數最佳化方法可用在能量分配網路中。

在另一個示例性實施方式中，條件參數最佳化方法可用在家庭能源管理系統中，例如藉由根據電價、預報的室外溫度及可再生電力輸出以及用戶偏好來調度可調度家用電器的操作，以最小化用戶的電力成本。

在另一個示例性實施方式中，條件參數最佳化方法可用在通信路由系統中。

在另一個示例性實施方式中，條件參數最佳化方法可用在呼叫中心管理系統中。

在另一個示例性實施方式中，條件參數最佳化方法可用在交通控制及管理系統中。

在一個示例性實施方式中，處理器30可以體現為多核處理器、單核處理器或一個或多個多核處理器與一個或多個單核處理器的組合。例如，處理器30可以體現為各種處理裝置中的一個或多個，例如，協同處理器、微處理器、控制器、數位信號處理器(DSP)、具有或不具有伴隨的DSP之處理電路或各種其它處理裝置，其包含積體電路，例如，應用特定積體電路((ASIC)、現場可程式閘陣列(FPGA)、微控制器單元(MCU)、硬體加速器、專用電腦晶片、應用特定標準產品(ASSPs)、單晶片系統(SOCs)、複雜可程式邏輯元件(CPLDs)、可程式邏輯控制器(PLC)、圖形處理單元(GPUs)等。例如，一些或所有裝置功能或方法序列可以由一個或多個硬體邏輯組件執行。

資料儲存器80可以體現為一個或多個揮發性記憶體裝置、一個或多個非揮發性記憶體裝置及/或一個或多個揮發性記憶體裝置與非揮發性記憶體裝置的組合。例如，記憶體80可以體現為磁儲存裝置(例如，硬碟機、軟碟、磁帶等)、光磁儲存裝置(例如，磁光碟)、CD-ROM(唯讀光碟)、CD-R(可燒錄光碟)、CD-R/W(可重寫光碟)、DVD(多樣化數位光碟)、BD(BLU-RAY™光碟)及半導體記憶體(例如，遮罩ROM、PROM(可程式ROM)、EPROM(可抹除PROM)、快閃ROM、RAM(隨機存取記憶體)等)。

系統10包括I/O模組，其配置成便於提供輸出至計算系統12的用戶及/或接收來自計算系統的用戶之輸入，以及向/從系統10的各種感測器、組件及致動器傳送/接收訊息。I/O模組配置成與處理器30及記憶體80通信。I/O模組的實例包括但不限於輸入介面及/或輸出介面。輸入介面的一些實例可以包括但不限於鍵盤、滑鼠、操縱桿、小鍵盤、觸控螢幕、軟鍵、麥克風等。輸出介面的一些實例可以包括但不限於麥克風、揚聲器、振鈴器、振動器、發光二極體顯示器、薄膜電晶體(TFT)顯示器、液晶顯示器、主動-矩陣有機發光二極體(AMOLED)顯示器等。在一個示例具體例中，處理器30可以包括配置成控制I/O模組的一個或多個元件(例如，揚聲器、麥克風、顯示器等)之至少一些功能的I/O電路。處理器30及/或I/O電路可以配置成用電腦程式指令(例如，儲存在可由處理器30存取之記憶體(例如，資料儲存器80等)上之軟體及/或韌體)來控制I/O模組的一個或多個元件之一個或多個功能。

I/O模組的實例包括但不限於輸入介面及/或輸出介面。輸入介面的一些實例可以包括但不限於鍵盤、滑鼠、操縱桿、小鍵盤、觸控螢幕、軟鍵、麥克風等。輸出介面的一些實例可以包括但不限於麥克風、揚聲器、振鈴器、振動器、發光二極體顯示器、薄膜電晶體(TFT)顯示器、液晶顯示器、主動-矩陣有機發光二極體(AMOLED)顯示器等。在一個示例具體例中，處理器30可以包括配置成控制I/O模組的一個或多個元件(例如，揚聲器、麥克風、顯示器等)之至少一些功能的I/O電路。

通信介面使系統10能夠透過各種類型的有線網路、無線網路或有線與無線網路的組合(例如，網際網路)與其它實體進行通信。在至少一個示例具體例中，通信介面包括配置成能夠透過各種類型的通信網路傳輸及接收資料信號的收發器電路。在一些具體例中，通信介面可以包括適當的資料壓縮及編碼機制，以便透過通信網路安全地傳輸及接收資料。通信介面促進計算系統10與I/O週邊設備之間的通信。

注意，如本文所述的各種示例具體例可以在各式各樣裝置、網路配置及應用中實施。

熟悉該項技藝者將理解，本發明的其它具體例可以在具有多種類型的電腦系統配置(包括個人電腦(PCs)、工業個人電腦、桌上型個人電腦、手持裝置、多處理器系統、基於微處理器或可程式的消費電子產品、網路個人電腦、伺服器電腦、小型電腦、主機電腦等)之網路計算環境中實施。於是，系統10可以經由通信耦接至這些外部裝置，使得系統10是可遠程控制的。具體例亦可以在分散式計算環境中實施，其中任務由(藉由固線鏈、無線鏈或它們的組合)通過通信網路連接的本地及遠程處理裝置執行。在分散式計算環境中，程式模組可以位於本地及遠程記憶儲存裝置中。

在另一個實施方式中，系統10藉由提供對可配置計算資源(例如，伺服器、儲存器、應用程式及/或服務)的共享池(shared pool)之應需網路存取來遵循雲端運算模式，其中可配置計算資源可以由用戶(瘦客戶端的操作員)以最少的資源管理工作(包括與服務提供者的互動)或不需資源管理工作來快速地供應及釋放。

上述益處及優點可能涉及一個具體例或可能涉及數個具體例。具體例不限於解決任何或所有陳述問題的那些具體例或具有任何或所有陳述益處及優點的那些具體例。本文所述之方法的操作可以以任何合適的順序進行或者在合適的情況下同時進行。此外，在不脫離本文所述之標的物的精神及範圍的情況下，可以從任何方法中添加或刪除個別區塊。上述任何實例的態樣可以與所描述之任何其它實例的態樣組合，以形成另外的實例，而不會失去所尋求的效果。

上面已經描述關於特定具體例的益處、其它優點及問題的解決方案。然而，利益、優點、問題的解決方案以及可能導致任何利益、優點或解決方案出現或變得更加明顯的任何要素不應被解釋為任何或所有請求項之關鍵的、必需的或必要的特徵或要素。如本文所用，術語「包括」或其任何其它變體意欲涵蓋非排他性包含，使得包括一系列元素的程序、方法、物品或設備不只包括那些元素，而是可能包括未明確列出或這樣的程序、方法、物品或設備所固有的其它元素。再者，除非明確描述為「必要的」或「關鍵的」，否則本文所述的元素對於本發明的實踐來說不是必需的。

以上描述僅作為實例來提供，熟悉該項技藝者可以進行各種修改。上述說明書、實例及資料提供示例性具體例的結構及使用的完整描述。雖然上面已經以一定程度的詳細或參考一個或多個個別具體例來描述各種具體例，但是熟悉該項技藝者可以在不脫離本說明書的精神或範圍的情況下對所揭露的具體例進行許多的改變。

前面對本發明示例性具體例的詳細描述參考了附圖，這些附圖以說明的方式顯示示例性具體例。儘管對這些示例性具體例進行了足夠詳細的描述以使熟悉該項技通者能夠實踐本發明，但是應當理解，可以實現其它具體例，並且可以在不脫離本發明的精神及和範圍的情況下進行邏輯及機械改變。例如，任何方法或程序請求項中陳述的步驟可以以任何順序執行且不限於所呈現的順序。因此，前面詳細描述僅出於說明而非限制的目的來呈現，並且本發明的範圍由前面描述相對於所附請求項來界定。

10:條件參數最佳化系統 12:資料汲取模組 14:輸入資料 16:預測模組 18:資料處理模組 20:計算環境 30:處理器 40:機器學習模組 50:條件輸出設定檔 52:預測結果 54:警示 56:輸出 60:最佳化模組 70:模型訓練引擎 80:資料儲存器 82:規則記憶體 84:參數記憶體

現在將參考附圖僅以示例的方式描述本發明的數個示例性具體例，其中：

圖1顯示條件參數最佳化系統的操作環境；

圖2顯示要概述用於解決基於時變及/或隨機環境條件的最佳化問題之示例性步驟的流程圖；以及

圖3顯示要概述用於最佳化基於市場條件的交易參數之示例性步驟的流程圖。

10:條件參數最佳化系統

12:資料汲取模組

14:輸入資料

16:預測模組

18:資料處理模組

20:計算環境

30:處理器

40:機器學習模組

50:條件輸出設定檔

52:預測結果

54:警示

56:輸出

60:最佳化模組

70:模型訓練引擎

80:資料儲存器

82:規則記憶體

84:參數記憶體

Claims

一種用於預測一目標函數的數值之一機器學習架構的系統，該目標函數的數值概率地取決於其輸入值，該系統包括：儲存有指令的至少一個記憶體及至少一個處理器，配置成提供用於參數最佳化的該機器學習架構，以便解決相依於複數個控制變數及環境變數的一時變及/或隨機最佳化問題，其中該等控制變數包括多個參數，該等指令可由該至少一個處理器執行，以至少：在一當前疊代中，使該複數個變數中之每一個與多個第一參數值相關聯，以形成一特徵向量；將該特徵向量作為一訓練樣本輸入至一機器學習模型中；用該特徵向量及一先前目標函數值疊代地訓練該機器學習模型，以獲得一預測目標函數值；藉由將具有該等第一參數值的該複數個變數輸入至該機器學習模型中來計算該預測目標函數值；以及當具有該等第一參數值的該複數個變數產生該預測目標函數值時，選擇具有該等第一參數值的該複數個變數，並且採取具有該等第一參數值的該複數個變數；否則對於下一疊代，使該複數個變數中之每一個與多個第二參數值動態地相關聯。
如請求項1之系統，包括一資料汲取模組，用於接收包括歷史或觀察資料及即時資料的輸入資料。
如請求項1之系統，包括一機器學習模組，配置成執行及改進形成一條件輸出設定檔的評估、模擬、預報及預測。
如請求項3之系統，包括一最佳化模組，配置成測試該條件輸出設定檔及判定該等參數值是否產生最佳預測結果。
如請求項4之系統，其中，該條件輸出設定檔可能發出與該等參數值相關聯的警示。
如請求項5之系統，其中，該機器學習架構包括全連接神經網路(FCNNs)、遞歸神經網路(RNNs)、長短期記憶(LSTM)網路、深度信念網路、隨機森林及支持向量機中之至少一者。
如請求項3之系統，其中，該目標函數將用以最佳化金融工具的交易。
如請求項3之系統，其中，該目標函數將用以判定在網站及/或社群媒體平台上之線上廣告的最佳下單。
如請求項3之系統，其中，該目標函數將用以最佳化產品或物品的交付。
如請求項3之系統，其中，該目標函數將用以引導自駕車，同時避免碰撞。
如請求項3之系統，其中，該目標函數將用以判定可分割任務的一工作負荷調度系統。
如請求項3之系統，其中，該目標函數將用以根據能源價格、預報的室外溫度及可再生電力輸出以及用戶偏好來調度可調度家用電器的操作，以最小化相關的能源成本。
如請求項3之系統，其中，該目標函數將用以最佳化通信系統中的流量路由。
一種用於解決最佳化問題的電腦實施方法，該方法在一電腦系統中實施，該電腦系統包括至少一個處理器及一電腦可讀取媒體，該電腦可讀取媒體包含可由該至少一個處理器執行的多個指令，以至少：汲取與該最佳化問題有關的資訊，並產生用於一機器學習架構的輸入資料；在一當前疊代中，使複數個變數中之每一個與多個第一參數值相關聯；對該輸入資料進行建模，以剖析該複數個變數的影響；產生用於該複數個變數中之每一個的參數最佳化之一機器學習方法；預測該機器學習方法的結果；測試該機器學習方法的預測結果，以判定具有該等第一參數值的該複數個變數是否產生一最佳預測結果；以及當具有該等第一參數值的該複數個變數產生該最佳預測結果時，選擇具有該等第一參數值的該複數個變數，並且對於下一疊代，採取用於該方法之具有該等第一參數值的該複數個變數及該預測結果；否則對於該下一疊代，使該複數個變數中之每一個與多個第二參數值動態地相關聯。
如請求項14之方法，其中，該輸入資料包括歷史資料、觀察資料及即時資料中之至少一者。
如請求項14之方法，其中，該機器學習架構包括全連接神經網路(FCNNs)、遞歸神經網路(RNNs)、長短期記憶(LSTM)網路、深度信念網路、隨機森林及支持向量機中之至少一者。
一種用於下達市集訂單的電腦實施系統，該系統包括：一最佳化模組，其配置成疊代地：從複數個來源擷取資訊；從該資訊產生複數個資料集，該複數個資料集包括金融市場資料及市集資料中之至少一者；產生具有一機器學習模組的一模型；應用該機器學習模型，以從該等資料集及交易參數的特定值中進行學習；產生一第一交易策略，該第一交易策略包括具有多個第一參數值的多個交易參數；預測該第一交易策略的結果；測試該第一交易策略的預測結果；根據預定條件判定具有該等第一參數值的該等交易參數是否產生一最佳預測結果；以及當具有該等第一參數值的該等交易參數產生該最佳預測結果時，選擇具有該等第一參數值的該等交易參數及該預測結果作為最佳參數，並且採取該等最佳參數用於下一週期的交易策略；否則用具有多個第二參數值的多個交易參數動態地調整該第一交易策略，以形成一第二交易策略。
如請求項17之系統，其中，該等第一參數值及該等第二參數值取決於盛行及動態的市場條件。
如請求項17之系統，其中，該市集包括股票市場、線上廣告拍賣市場或零售產品拍賣市場中之至少一者。
如請求項17之系統，其中，該機器學習架構包括全連接神經網路(FCNNs)、遞歸神經網路(RNNs)、長短期記憶(LSTM)網路、深度信念網路、隨機森林及支持向量機中之至少一者。
如請求項17之系統，其中，該複數個交易參數包括進入門檻、移動回顧窗口及避險比率中之至少一者。
如請求項20之系統，其中，一機器學習模型接收技術指標作為輸入。
如請求項22之系統，其中，選擇該等技術指標，以獲得市場條件。
如請求項23之系統，其中，該等技術指標包括布林通道Z分數、資金流量、力道指數、唐奇安通道、真實波動幅度均值、動量震盪指標及平均動向指標中之至少一者。
一種用於下達金融工具及證券市場訂單的電腦實施方法，該方法包括儲存在一電腦可讀取媒體中的指令，其中該等指令可由一處理器執行，以至少： (a)從複數個來源擷取資訊； (b)從該複數個來源產生複數個資料集，該複數個資料集包括金融市場資料及市集資料中之至少一者； (c)產生具有一機器學習模組的一模型； (d)訓練該機器學習模型，以從該複數個資料集及一組交易參數的特定值中進行學習； (e)藉由輸入代表最新市場條件的特徵以及該等交易參數的各種組合，將機器學習模型應用於現場交易； (f)產生一第一交易策略，該第一交易策略包括具有多個第一參數值的多個交易參數； (g)預測該第一交易策略的結果； (h)測試該第一交易策略的預測結果； (i)根據預定條件判定具有該等第一參數值的該等交易參數是否產生一最佳預測結果；以及 (j)當具有該等第一參數值的該等交易參數產生該最佳預測結果時，選擇具有該等第一參數值的該等交易參數作為最佳參數，並且採取該等最佳參數及該預測結果用於下一週期的交易策略；否則用具有多個第二數值的該等交易參數動態地調整該第一交易策略，以形成一第二交易策略。
如請求項25之電腦實施方法，其中，該電腦可讀取媒體儲存用於自動交易的一個或多個規則。
如請求項25之電腦實施方法，其中，該機器學習架構包括全連接神經網路(FCNNs)、遞歸神經網路(RNNs)、長短期記憶(LSTM)網路、深度信念網路、隨機森林及支持向量機中之至少一者。
一種用於預測一目標函數的數值之一機器學習架構的系統，該目標函數的數值概率地取決於其輸入值，該系統包括：至少一個記憶體及至少一個處理器，配置成提供用於參數最佳化的該機器學習架構，以便至少藉由下列步驟來解決相依於至少一個變數的一時變及/或隨機最佳化問題，其中該至少一個變數包括至少一個參數：在一當前疊代中，使該至少一個變數與至少一個第一參數值相關聯，以形成一特徵向量；將該特徵向量作為一訓練樣本輸入至一機器學習模型中；使用該特徵向量及一先前目標函數值疊代地訓練該機器學習模型，以獲得一預測目標函數值；藉由將具有該至少一個第一參數值的該至少一個變數輸入至該機器學習模型中來計算該預測目標函數值；以及當具有該至少一個第一參數值的該至少一個變數產生該預測目標函數值時，選擇具有該至少一個第一參數值的該至少一個變數，並且採取具有該至少一個第一參數值的該至少一個變數；否則對於下一疊代，使該至少一個變數與至少一個第二參數值動態地相關聯。
如請求項28之系統，其中，該機器學習架構包括全連接神經網路(FCNNs)、遞歸神經網路(RNNs)、長短期記憶(LSTM)網路、深度信念網路、隨機森林及支持向量機中之至少一者。
一種用於機器學習架構的系統，該系統包括：至少一個記憶體及至少一個處理器，配置成提供用於參數最佳化的該機器學習架構，以便至少藉由下列步驟來解決相依於複數個變數的一最佳化問題：汲取與該最佳化問題有關的資訊，並產生用於該機器學習架構的輸入資料；在一當前疊代中，使該複數個變數中之每一個與多個第一參數值相關聯；在該系統內之複數個資料處理模組中對該輸入資料進行建模，其中該複數個資料處理模組與該至少一個處理器一起執行，該等資料處理模組配置成剖析該複數個變數的影響；產生用於該複數個變數中之每一個的參數最佳化之一機器學習方法；預測該機器學習方法的結果；測試該機器學習方法的預測結果，以判定具有該等第一參數值的該複數個變數是否產生一最佳預測結果；以及當具有該等第一參數值的該複數個變數產生該最佳預測結果時，選擇具有該等第一參數值的該複數個變數，並且對於下一疊代，採取用於該方法之具有該等第一參數值的該複數個變數及該預測結果；否則對於該下一疊代，使該複數個變數中之每一個與多個第二參數值動態地相關聯。
如請求項30之系統，其中，該機器學習架構包括全連接神經網路(FCNNs)、遞歸神經網路(RNNs)、長短期記憶(LSTM)網路、深度信念網路、隨機森林及支持向量機中之至少一者。