TW202137078A - 資料處理系統及資料處理方法 - Google Patents

資料處理系統及資料處理方法 Download PDF

Info

Publication number
TW202137078A
TW202137078A TW109109722A TW109109722A TW202137078A TW 202137078 A TW202137078 A TW 202137078A TW 109109722 A TW109109722 A TW 109109722A TW 109109722 A TW109109722 A TW 109109722A TW 202137078 A TW202137078 A TW 202137078A
Authority
TW
Taiwan
Prior art keywords
machine learning
parameter
data processing
storage
module
Prior art date
Application number
TW109109722A
Other languages
English (en)
Inventor
江嘉振
李孟宇
陳俊宏
李振忠
Original Assignee
廣達電腦股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 廣達電腦股份有限公司 filed Critical 廣達電腦股份有限公司
Priority to TW109109722A priority Critical patent/TW202137078A/zh
Priority to CN202010272693.5A priority patent/CN113449875A/zh
Priority to US16/984,354 priority patent/US11610155B2/en
Publication of TW202137078A publication Critical patent/TW202137078A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一種資料處理方法，包含：產生一機器學習參數，並取得一參數儲存代碼；接收機器學習參數及參數儲存代碼，並依據參數儲存代碼，將機器學習參數儲存到一儲存空間，當機器學習參數被更動時，產生一事件通知；以及依據事件通知產生一載入要求，載入要求用以要求更動後的機器學習參數；其中，於產生載入要求後，從參數儲存代碼對應的儲存空間下載更動後的機器學習參數。

Description

資料處理系統及資料處理方法
本發明是關於一種處理系統，特別是關於一種資料處理系統及資料處理方法。
一般而言，機器學習的資料訓練步驟完成後，開發者需要手動的將參數匯出，並將參數放置在預測資料處理的程式可以存取得到的位置，才能夠載入機器學習參數到機器學習模型中。當參數有異動的時候，需要再次手動匯出新的參數，並手動的停止預測資料處理程式，然後重新載入新的參數，才能作後續的資料預測，這方式對設計機器學習預測的系統相當的不方便。
因此，如何簡化機器學習預測的處理流程，以快速且準確地處理更新或被調整過的參數，已成為本領域需解決的問題之一。
為了解決上述的問題，本揭露內容之一態樣提供了一種資料處理系統，包含一儲存裝置、一機器學習訓練模組、一機器學習參數儲存模組以及一預測資料處理模組。儲存裝置用以提供一儲存空間。機器學習訓練模組用以產生一機器學習參數，並取得一參數儲存代碼。其中，參數儲存代碼對應於儲存空間。機器學習參數儲存模組用以接收機器學習參數及參數儲存代碼，並依據參數儲存代碼，將機器學習參數儲存到儲存空間。當機器學習參數被更動時，機器學習參數儲存模組傳送一事件通知。預測資料處理模組用以接收事件通知，依據事件通知傳送一載入要求，以向機器學習參數儲存模組要求更動後的機器學習參數。其中，機器學習參數儲存模組接收到載入要求後，從參數儲存代碼對應的儲存空間下載更動後的機器學習參數，並傳送更動後的機器學習參數到預測資料處理模組。
為了解決上述的問題，本揭露內容之另一態樣提供了一種資料處理方法，包含：產生一機器學習參數，並取得一參數儲存代碼；其中，參數儲存代碼對應於一儲存空間；接收機器學習參數及參數儲存代碼，並依據參數儲存代碼，將機器學習參數儲存到儲存空間，當機器學習參數被更動時，產生一事件通知；以及依據事件通知產生一載入要求，載入要求用以要求更動後的機器學習參數；其中，於產生載入要求後，從參數儲存代碼對應的儲存空間下載更動後的機器學習參數。
由上述可知，藉由本案的資料處理系統及資料處理方法，預測資料處理模組與機器學習參數儲存模組可以透過共享參數儲存代碼以得知機器學習參數對應的儲存空間，並且在機器學習參數異動後，透過事件通知的機制，使預測資料處理模組重新載入異動後的新的或更動後的機器學習參數，以更新用以預測新的資料的機器學習參數，即使機器學習參數更新頻繁，也能自動儲存並載入最新版的機器學習參數，使預測資料處理模組使用最新版的機器學習參數進行後續應用，因此，藉由案的資料處理系統及資料處理方法可達到簡化機器學習預測的處理流程之功效。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
請參照第1及2圖，第1圖係依照本發明一實施例繪示一種資料處理系統100之方塊圖。第2圖係根據本發明之一實施例繪示一種資料處理方法200之流程圖。
如第1圖所示，資料處理系統100適用於一電子裝置上，電子裝置例如為電腦、手機、平板或其它具有運算功能的裝置。於一實施例中，資料處理系統100包含一機器學習訓練模組110、一機器學習參數儲存模組120、一預測資料處理模組130及一儲存裝置150。於一實施例中，資料處理系統100包含更包含一參數註冊模組140。
於一實施例中，儲存裝置150用以提供一儲存空間，儲存裝置150可被實作為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之儲存媒體。
於一實施例中，一機器學習訓練模組110、一機器學習參數儲存模組120、一預測資料處理模組130及一參數註冊模組140各自或一併可由體積電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路來實施。
於一實施例中，機器學習訓練模組110、機器學習參數儲存模組120、預測資料處理模組130及參數註冊模組140可以由容器(container)虛擬化技術實現之，容器虛擬化技術屬於作業系統層虛擬化，主要依賴作業系統內核(kernel)虛擬化的支援，讓多個使用者空間列項(user-space instance)可以在主機作業系統(host operating system)的內核中各自獨立運行，每個乘載使用者空間列項的資源空間稱為容器，主機內核本身也具管理功能，使各容器之間隔離運行，使得每個容器之間的交互影響最小化。因此每個容器中所執行的程序所使用的運算、儲存、記憶、網路等資源，就像是個別專用的一樣。於一實施例中，機器學習訓練模組110、機器學習參數儲存模組120、預測資料處理模組130及參數註冊模組140是由一或多個的容器(每個容器可用以執行特定的程序)所組成。關於容器虛擬化技術的應用屬於已知技術，例如已知的Docker容器技術、CoreOS rkt(Rocket)容器技術，此些已知技術為實現本發明的一種實施方式，故此處不贅述之。
於步驟210中，機器學習訓練模組110產生一機器學習參數，並取得一參數儲存代碼；其中，參數儲存代碼對應於一儲存空間。
於一實施例中，機器學習訓練模組110可以包含神經網路模型，例如卷積神經網路(Convolutional neural network，CNN) 、遞歸神經網路(Recurrent Neural Network，RNN)、生成對抗網路(Generative Adversarial Network，GAN)…等等，神經網路模型可以應用已知的模型實現。
於一實施例中，透過輸入大量的歷史資料(或訓練資料)到機器學習訓練模組110中，機器學習訓練模組110透過神經網路模型運算出機器學習參數，機器學習參數可包含隱藏層數、數以百計的各層參數、運行歷史資料的次數、學習速度…等等參數。
於一實施例中，機器學習參數為一個資料參數模型。
例如，使用者欲分析某一檔股票的股價歷史資料，此股價歷史資料的資料量巨大，難以由人工計算出精準的股票參數模型，因此將此檔股票的股價歷史資料輸入機器學習訓練模組110，機器學習訓練模組110中的神經網路模型藉由大量的股價歷史資料進行訓練，以輸出關於此檔股價的機器學習參數，機器學習參數可以視為一股票預測模型，也可以被儲存為一檔案。機器學習參數可用以預測此檔股票在未來某時點的股價。於一實施例中，機器學習訓練模組110可從網頁下載、資料夾下載或其他輸入方式取得此檔股票的股價歷史資料。
於一實施例中，參數註冊模組140在第一次接收到機器學習訓練模組110所發出的機器學習參數後，會啟動註冊程序，產生對應此機器學習參數的參數儲存代碼，換言之，參數註冊模組140會將此機器學習參數與參數儲存代碼綁定。於一實施例中，參數註冊模組140可以亂數產生參數儲存代碼，或是依照接收次序產生參數儲存代碼(例如接收到的第一組機器學習參數對應到參數儲存代碼為1，接收到的第二組機器學習參數對應到參數儲存代碼為2)。
於一實施例中，參數註冊模組140接收到機器學習參數後，傳送一空間規劃要求到機器學習參數儲存模組120，促使機器學習參數儲存模組120規劃儲存空間，用以儲存機器學習參數；其中，機器學習參數儲存模組120收到空間規劃要求後，促使一儲存服務155(如第3圖所示)建立儲存空間，參數註冊模組140再將參數儲存代碼對應到此儲存空間。
於一實施例中，參數註冊模組140產生此儲存空間及參數儲存代碼之間的對應關係，並將參數儲存碼傳送到機器學習訓練模組110及預測資料處理模組130。
於一實施例中，機器學習參數儲存模組120收到空間規劃要求後，促使一儲存服務155呼叫Kubernetes的一應用程序編程接口(Application Programming Interface，API)以要求一永續性磁碟區宣告(Persistent Volume Claim，PVC)，透過PVC動態佈建一永續性磁碟區(Persistent Volume，PV)資源，此PV資源作為儲存空間。其中，Kubernetes是用於自動部署、擴展和管理容器化(containerized)應用程式的開源系統，用以提供跨主機集群的自動部署、擴展以及運行應用程式容器的平台，可動態的建立儲存空間，讓機器學習參數可以有一個的存放位置，不需要先行設定好位置。Kubernetes中的PV資源可用於管理叢集中持久可用的儲存空間，PV資源也可以搭配使用網路檔案管理系統(Network File System，NFS) 等其他類型的儲存空間，PV資源的生命週期是由 Kubernetes 代管， PV資源可以動態佈建；使用者不需要手動建立和刪除輔助儲存空間。Kubernetes中的PVC是向PV資源提出的請求和要求。PVC物件會請求PV資源的特定大小、存取模式及設定檔。如果符合該項請求的PV資源存在或可供佈建，則 PVC會繫結至該 PV資源。 由於Kubernetes為已知技術，故此處不贅述之。
於一實施例中，儲存服務155可以透過Kubernetes、雲端硬碟或其他已知方式建立儲存空間。
於步驟220中，機器學習參數儲存模組120接收機器學習參數及參數儲存代碼，並依據參數儲存代碼，將機器學習參數儲存到儲存空間，當此機器學習參數被更動時，機器學習參數儲存模組120傳送一事件通知。
於一實施例中，機器學習參數儲存模組120會將對應到相同參數儲存代碼的機器學習參數作比對，例如，機器學習參數儲存模組120先收到第一版本的機器學習參數，後收到第二版本的機器學習參數(例如，機器學習參數儲存模組110收集到更多股價歷史資料，產生更精準的機器學習參數)，機器學習參數儲存模組120會比對第一版本的機器學習參數與第二版本的機器學習參數是否相同，若不同，則代表第二版本的機器學習參數有更被更動(更新、調整或異常都視為更動)，機器學習參數儲存模組120傳送事件通知到預測資料處理模組130。
於步驟230中，預測資料處理模組130用以接收事件通知，依據事件通知傳送一載入要求，以向機器學習參數儲存模組120要求更動後的機器學習參數；其中，機器學習參數儲存模組120接收到載入要求後，從參數儲存代碼對應的儲存空間下載更動後的機器學習參數，並傳送更動後的機器學習參數到預測資料處理模組130。
於一實施例中，預測資料處理模組130依據事件通知產生一載入要求，並將載入要求傳送到機器學習參數儲存模組120，載入要求用以要求機器學習參數儲存模組120下載更動後的機器學習參數。
於一實施例中，預測資料處理模組130取得更動後的機器學習參數可作其他應用，例如將新的資料透過更動後的機器學習參數進行分析或運算，以得到更準確的預測結果。
藉此，預測資料處理模組130與機器學習參數儲存模組120，可以透過共享參數儲存代碼以得知機器學習參數對應的儲存空間，並且在機器學習參數異動後，透過事件通知的機制，使預測資料處理模組130重新載入異動後的新的或更動後的機器學習參數，以更新用以預測新的資料的機器學習參數。
第3圖係根據本發明之一實施例繪示一種資料處理方法300之示意圖。
於步驟S1中，參數註冊模組140接收機器學習參數。於一實施例中，參數註冊模組140接收機器學習參數後，傳送一空間規劃要求到機器學習參數儲存模組120。
於步驟S2中，機器學習參數儲存模組120依據空間規劃要求進行空間規劃，並傳送一建立儲存空間訊息到一儲存服務155。於一實施例中，機器學習參數儲存模組120收到空間規劃要求後，傳送建立儲存空間訊息，以促使儲存服務155建立儲存空間。
於步驟S3中，儲存服務155建立儲存空間。
於一實施例中，於步驟S2後可依序或同時或亂序執行步驟S3及S4。
於步驟S4中，參數註冊模組140產生參數儲存代碼。
於一實施例中，參數註冊模組140產生此儲存空間及參數儲存代碼之間的對應關係，並將參數儲存碼傳送到機器學習訓練模組110及預測資料處理模組130。
於步驟S5中，機器學習訓練模組110設定參數儲存碼。
於步驟S6中，預測資料處理模組130設定參數儲存碼。
於一實施例中，於步驟S4後可依序或同時或亂序執行步驟S3及S4。在執行完步驟S5~S6後，完成依據機器學習參數設定參數儲存代碼及儲存空間的對應關係。於一實施例中，步驟S1~S6可視為資料處理系統100的初始環境設定。
於步驟S7中，機器學習訓練模組110產生機器學習參數。
於步驟S8中，機器學習參數儲存模組120儲存機器學習參數到對應的儲存空間。
於一實施例中，步驟S1的機器學習參數(例如稱為第一版本的機器學習參數)與步驟S7所述的機器學習參數(例如稱為第二版本的機器學習參數)的內容可能相同也可能不同，因此，於步驟S8中，機器學習參數儲存模組120接收機器學習參數(即第二版本的機器學習參數)及其參數儲存代碼，當機器學習參數儲存模組120比對出第一版的機器學習參數與第二版的機器學習參數對應到同一參數儲存代碼時，機器學習參數儲存模組120進而比對第一版本的機器學習參數與第二版本的機器學習參數是否相同，若不同，則判斷第二版本的機器學習參數被更動，將第二版本的機器學習參數視為更動後的機器學習參數，機器學習參數儲存模組120傳送一事件通知(包含一更動資訊)到預測資料處理模組130，並將儲存第二版本的機器學習參數到對應的儲存空間(可以是覆蓋第一版本的機器學習參數，或是當儲存空間足夠時，第二版本的機器學習參數與第一版本的機器學習參數並存於儲存空間)。
若機器學習參數儲存模組120比對第一版本的機器學習參數與第二版本的機器學習參數相同，則將儲存第二版本的機器學習參數到對應的儲存空間(可以是覆蓋第一版本的機器學習參數，或是當儲存空間足夠時，第二版本的機器學習參數與第一版本的機器學習參數並存於儲存空間，於一些例子中，由於兩個版本的機器學習參數相同，機器學習參數儲存模組120可不進行儲存第二版本的機器學習參數)，並傳送事件通知(包含一未更動資訊)到預測資料處理模組130。
於步驟S9中，預測資料處理模組130接收事件通知，依據事件通知傳送一載入要求到機器學習參數儲存模組120。
於一實施例中，預測資料處理模組130可由接收到的事件通知，可以從事件通知得知資料處理系統100中有新的(更動後的)機器學習參數可作運算，因此傳送載入要求到機器學習參數儲存模組120。
於步驟S10中，機器學習參數儲存模組120收到載入要求後，由對應參數儲存代碼的儲存空間下載更動後的機器學習參數。
於一實施例中，機器學習參數儲存模組120將更動後的機器學習參數傳送到預測資料處理模組130。
於步驟S11中，預測資料處理模組130載入更動後的機器學習參數。
於一實施例中，預測資料處理模組130可以將新的資料透過更動後的機器學習參數進行分析或運算，以得到更準確的預測結果。
由上述可知，藉由本案的資料處理系統及資料處理方法，預測資料處理模組與機器學習參數儲存模組可以透過共享參數儲存代碼以得知機器學習參數對應的儲存空間，並且在機器學習參數異動後，透過事件通知的機制，使預測資料處理模組重新載入異動後的新的或更動後的機器學習參數，以更新用以預測新的資料的機器學習參數，即使機器學習參數更新頻繁，也能自動儲存並載入最新版的機器學習參數，使預測資料處理模組使用最新版的機器學習參數進行後續應用，因此，藉由案的資料處理系統及資料處理方法可達到簡化機器學習預測的處理流程之功效。
100:資料處理系統 110:機器學習訓練模組 120:機器學習參數儲存模組 130:預測資料處理模組 140:參數註冊模組 150:儲存裝置 200, 300:資料處理方法 210~230, S1~S11:步驟 155:儲存服務
第1圖係依照本發明一實施例繪示一種資料處理系統之方塊圖。 第2圖係根據本發明之一實施例繪示一種資料處理方法之流程圖。 第3圖係根據本發明之一實施例繪示一種資料處理方法之示意圖。
200:資料處理方法
210~230:步驟

Claims (10)

  1. 一種資料處理系統，包含： 一儲存裝置，用以提供一儲存空間； 一機器學習訓練模組，用以產生一機器學習參數，並取得一參數儲存代碼；其中，該參數儲存代碼對應於該儲存空間； 一機器學習參數儲存模組，用以接收該機器學習參數及該參數儲存代碼，並依據該參數儲存代碼，將該機器學習參數儲存到該儲存空間，當該機器學習參數被更動時，該機器學習參數儲存模組傳送一事件通知；以及 一預測資料處理模組，用以接收該事件通知，依據該事件通知傳送一載入要求，以向該機器學習參數儲存模組要求更動後的該機器學習參數； 其中，該機器學習參數儲存模組接收到該載入要求後，從該參數儲存代碼對應的該儲存空間下載更動後的該機器學習參數，並傳送更動後的該機器學習參數到該預測資料處理模組。
  2. 如請求項1之資料處理系統，其中該機器學習訓練模組用以接收複數個訓練資料，並將該些訓練資料輸入一神經網路模型，以產生該機器學習參數。
  3. 如請求項1之資料處理系統，其中該資料處理系統更包含： 一參數註冊模組，用以接收該機器學習參數，並產生對應該機器學習參數的該參數儲存代碼。
  4. 如請求項2之資料處理系統，其中該參數註冊模組接收到該機器學習參數後，傳送一空間規劃要求，促使該機器學習參數儲存模組規劃該儲存空間； 其中，該機器學習參數儲存模組收到該空間規劃要求後，促使一儲存服務建立該儲存空間。
  5. 如請求項2之資料處理系統，其中該參數註冊模組產生該儲存空間及該參數儲存代碼之間的對應關係，並將該參數儲存碼傳送到該機器學習訓練模組及該預測資料處理模組。
  6. 如請求項1之資料處理系統，其中該機器學習參數儲存模組呼叫Kubernetes的一應用程序編程接口(Application Programming Interface，API)以要求一永續性磁碟區宣告(Persistent Volume Claim，PVC )，透過該PVC動態佈建一永續性磁碟區(Persistent Volume, PV)資源，該PV資源作為該儲存空間。
  7. 一種資料處理方法，包含： 產生一機器學習參數，並取得一參數儲存代碼；其中，該參數儲存代碼對應於一儲存空間； 接收該機器學習參數及該參數儲存代碼，並依據該參數儲存代碼，將該機器學習參數儲存到該儲存空間，當該機器學習參數被更動時，產生一事件通知；以及 依據該事件通知產生一載入要求，該載入要求用以要求更動後的該機器學習參數； 其中，於產生該載入要求後，從該參數儲存代碼對應的該儲存空間下載更動後的該機器學習參數。
  8. 如請求項7之資料處理方法，更包含： 接收複數個訓練資料，並將該些訓練資料輸入一神經網路模型，以產生該機器學習參數。
  9. 如請求項7之資料處理方法，更包含： 接收該機器學習參數，並產生對應該機器學習參數的該參數儲存代碼。
  10. 如請求項9之資料處理方法，更包含： 接收到該機器學習參數後，傳送一空間規劃要求，該空間規劃要求用以要求一儲存服務建立該儲存空間。
TW109109722A 2020-03-24 2020-03-24 資料處理系統及資料處理方法 TW202137078A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109109722A TW202137078A (zh) 2020-03-24 2020-03-24 資料處理系統及資料處理方法
CN202010272693.5A CN113449875A (zh) 2020-03-24 2020-04-09 数据处理系统及数据处理方法
US16/984,354 US11610155B2 (en) 2020-03-24 2020-08-04 Data processing system and data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109109722A TW202137078A (zh) 2020-03-24 2020-03-24 資料處理系統及資料處理方法

Publications (1)

Publication Number Publication Date
TW202137078A true TW202137078A (zh) 2021-10-01

Family

ID=77808305

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109109722A TW202137078A (zh) 2020-03-24 2020-03-24 資料處理系統及資料處理方法

Country Status (3)

Country Link
US (1) US11610155B2 (zh)
CN (1) CN113449875A (zh)
TW (1) TW202137078A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11592984B2 (en) * 2020-09-11 2023-02-28 Seagate Technology Llc Onboard machine learning for storage device
US11748251B2 (en) * 2021-01-08 2023-09-05 Microsoft Technology Licensing, Llc Storing tensors in memory based on depth
CN114389953B (zh) * 2021-12-30 2024-03-19 中国—东盟信息港股份有限公司 一种基于流量预测的Kubernetes容器动态扩缩容方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141916B1 (en) * 2012-06-29 2015-09-22 Google Inc. Using embedding functions with a deep network
US10055691B2 (en) * 2014-09-08 2018-08-21 Pivotal Software, Inc. Stream processing with dynamic event routing
US11112784B2 (en) * 2016-05-09 2021-09-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for communications in an industrial internet of things data collection environment with large data sets
CN107182206B (zh) * 2016-06-08 2020-07-03 驭势科技（北京）有限公司 车辆自动驾驶的速度规划方法、装置及计算装置
US11620471B2 (en) * 2016-11-30 2023-04-04 Cylance Inc. Clustering analysis for deduplication of training set samples for machine learning based computer threat analysis
US20190102693A1 (en) * 2017-09-29 2019-04-04 Facebook, Inc. Optimizing parameters for machine learning models
TWI639091B (zh) 2017-12-08 2018-10-21 鐘振聲 Big data based automated analysis processing system
CN108076224B (zh) * 2017-12-21 2021-06-29 Oppo广东移动通信有限公司 应用程序控制方法、装置及存储介质和移动终端
CN109271015B (zh) * 2018-10-10 2020-07-24 杭州电子科技大学 一种降低大规模分布式机器学习系统能耗的方法
US11423425B2 (en) * 2019-01-24 2022-08-23 Qualtrics, Llc Digital survey creation by providing optimized suggested content
US10943682B2 (en) * 2019-02-21 2021-03-09 Theator inc. Video used to automatically populate a postoperative report
US20200371778A1 (en) * 2019-05-21 2020-11-26 X Development Llc Automated identification of code changes
US11243746B2 (en) * 2019-07-01 2022-02-08 X Development Llc Learning and using programming styles
CN110689137B (zh) * 2019-09-24 2022-11-25 网易传媒科技（北京）有限公司 参数确定方法、系统、介质和电子设备
US20210192321A1 (en) * 2019-12-18 2021-06-24 X Development Llc Generation and utilization of code change intents

Also Published As

Publication number Publication date
US11610155B2 (en) 2023-03-21
US20210304068A1 (en) 2021-09-30
CN113449875A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
US11966774B2 (en) Workflow generation using multiple interfaces
CN107766126B (zh) 容器镜像的构建方法、系统、装置及存储介质
US10635437B1 (en) Techniques to deploy an application as a cloud computing service
US10387798B2 (en) Machine for development of analytical models
EP3182283A1 (en) Machine for development and deployment of analytical models
EP2423767A2 (en) Automated operator interface generation in a control system
TW202137078A (zh) 資料處理系統及資料處理方法
CN111580926A (zh) 模型发布方法、模型部署方法、装置、设备及存储介质
CN110832458A (zh) 个性化机器学习模型的隐身模式
US11640307B2 (en) Process initiation
EP3126968A1 (en) Data view exposure mechanisms
CN116302448B (zh) 任务调度方法和系统
CN117908980A (zh) 基于Kubernetes资源对象的快速配置方法和系统
US20200202265A1 (en) Automated parenting of work items in a resource management structure
EP4298512A1 (en) System and method of code execution at a virtual machine allowing for extendibility and monitoring of customized applications and services
CN109150993B (zh) 一种获取网络请求切面的方法、终端装置及存储介质
US8826267B2 (en) Association of object elements to operational modes
CN112181401A (zh) 应用构建方法及应用构建平台
US20230168923A1 (en) Annotation of a Machine Learning Pipeline with Operational Semantics
KR102728027B1 (ko) 마이크로서비스 기반의 지능형 지식 공유 방법 및 시스템
US20240272944A1 (en) Computing task allocation for complex multi-task processes
US20240152371A1 (en) Dynamic re-execution of parts of a containerized application pipeline
US20240176919A1 (en) Smart object controller allocation in industrial design environment
US20230409409A1 (en) Site convergence agent and associated method
US20240176332A1 (en) Industrial design environment automation controller program conversion and export