TWM618904U - 基於雲端微服務的人工智慧模型服務伺服器 - Google Patents
基於雲端微服務的人工智慧模型服務伺服器 Download PDFInfo
- Publication number
- TWM618904U TWM618904U TW110205221U TW110205221U TWM618904U TW M618904 U TWM618904 U TW M618904U TW 110205221 U TW110205221 U TW 110205221U TW 110205221 U TW110205221 U TW 110205221U TW M618904 U TWM618904 U TW M618904U
- Authority
- TW
- Taiwan
- Prior art keywords
- processing unit
- analysis result
- artificial intelligence
- intelligence model
- target
- Prior art date
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一種人工智慧模型服務伺服器,在一處理單元經由一通訊單元接收到一來自一使用端的專案請求資料後,該處理單元執行一儲存於一儲存單元的資訊轉換應用程式群組解析該專案請求資料並產生一特定格式的解析結果,並執行一儲存於該儲存單元的安全管理應用程式群組判定該解析結果是否合法,當該處理單元判定出該解析結果合法時,根據該解析結果,利用一對應該解析結果的目標人工智慧模型容器,產生一服務結果,當判定出該專案請求資料不合法時,該處理單元執行該安全管理應用程式群組產生並經由該通訊單元傳送一驗證失敗訊息至該使用端。
Description
本新型是有關於一種人工智慧模型服務伺服器,特別是指一種基於雲端微服務的人工智慧模型服務伺服器。
近年來人工智慧(artificial intelligence, AI)已成為最熱門的技術之一,其可應用在多種領域,例如醫療、交通、金融等領域。
現有的自建AI模型落地案所使用的架構主要是將整個自建AI服務封裝成專門為單一專案的AI模型容器,並將AI模型容器部署在單台虛擬機器(Virtual Machine, VM)上。
然而,將整個服務封裝成容器部署在單台虛擬機器的架構,不同的落地專案間無法共享資源,所有專案的AI模型容器皆是各自進行資訊轉換及授權管理,故在每次進行專案時,需要額外的人力與時間成本,重複地取得固有系統的支援以利完成專案端對端(End to End)的串接,不具高重用性(High Reusability)。
因此,本新型之目的,即在提供一種具有高重用性的人工智慧模型服務伺服器。
於是,本新型人工智慧模型服務伺服器包含一通訊單元、一儲存單元,及一處理單元。
該通訊單元連接一通訊網路,並經由該通訊網路連接一使用端。
該儲存單元儲存一資訊轉換應用程式群組、一安全管理應用程式群組,及多個人工智慧模型容器。
該處理單元電連接該通訊單元及該儲存單元。
其中,在該處理單元經由該通訊單元接收到一來自該使用端的專案請求資料後,該處理單元執行該資訊轉換應用程式群組解析該專案請求資料並產生一特定格式的解析結果,並執行該安全管理應用程式群組判定該解析結果是否合法,當該處理單元判定出該解析結果合法時,該處理單元根據該解析結果,利用該等人工智慧模型容器中之一對應該解析結果的目標人工智慧模型容器,產生一服務結果,當該處理單元判定出該專案請求資料不合法時,該處理單元執行該安全管理應用程式群組產生並經由該通訊單元傳送一驗證失敗訊息至該使用端。
本新型之功效在於:藉由該處理單元執行該資訊轉換應用程式群組解析該專案請求資料產生統一特定格式的該解析結果,以使人工智慧模型容器無需重複處理不同系統間複雜的資訊轉換,且藉由執行該安全管理應用程式群組判定該解析結果是否合法,以使人工智慧模型容器無需自行管理授權資訊,具有高重用性。
參閱圖1,本新型基於雲端微服務的人工智慧模型服務伺服器11的一實施例,包含一通訊單元111、一儲存單元112,及一電連接該通訊單元111及該儲存單元112的處理單元113。
該通訊單元111通訊經由一通訊網路100連接一使用端12及多個資料庫13,該等資料庫13例如是使用資料庫管理系統(Database Management System, DBMS)、安全檔案傳輸協定(Secure File Transfer Protocol, SFTP)、網路附加儲存(Network Attached Storage, NAS)等技術所建立。
該儲存單元112儲存一資訊轉換應用程式群組、一安全管理應用程式群組、一資源分配應用程式群組、多個人工智慧模型容器,及多筆分別相關於該等資料庫13的授權資訊。該資訊轉換應用程式群組包括多個資訊轉換應用程式,該安全管理應用程式群組包括多個安全管理應用程式,該資源分配應用程式群組包括多個資源分配應用程式,該等資源分配應用程式分別對應該等授權資訊。
值得注意的是,該等人工智慧模型容器例如為提取文件詞幹,取得文本可能含義組合之相關於自然語言處理(Natural Language Processing, NLP)的人工智慧模型容器,或辨識人臉影像,取得人臉獨特的特徵值之相關於電腦視覺(Computer Vision, CV)的人工智慧模型容器,該等授權資訊係該處理單元113執行該安全管理應用程式群組以Base64編碼,並將編碼後的該等授權資訊以單次寫入底層Kubernetes環境的記憶體的方式儲存,但不以此為限。
要特別注意的是,每一資源分配應用程式各自獨立,所進行的資源分配的對象不同,例如資料庫管理系統相關的資源分配應用程式只會針對資料庫管理系統的資料庫之授權進行驗證,安全檔案傳輸協定相關的資源分配應用程式只針對安全檔案傳輸協定的資料庫之授權進行驗證。
參閱圖1與圖2,將說明本新型基於雲端微服務的人工智慧模型服務伺服器11的該實施例所執行之步驟流程。
在步驟21中,在該處理單元113經由該通訊單元111接收到一來自該使用端12的專案請求資料後,該處理單元113執行該資訊轉換應用程式群組解析該專案請求資料並產生一特定格式的解析結果,該解析結果包括一具有一金鑰、一有效時間區間的授權碼,及一對應該等人工智慧模型容器之其中一者的模型代碼。
搭配參閱圖3,步驟21包括子步驟211、212,以下說明步驟21包括的子步驟。
在子步驟211中,在該處理單元113經由該通訊單元111接收到該專案請求資料後,該處理單元113執行該資訊轉換應用程式群組對該專案請求資料進行常規正則文本解析(Regular Expression Text Parser),以產生一轉換前解析結果。
在子步驟212中,該處理單元113執行該資訊轉換應用程式群組將該轉換前解析結果轉換成該解析結果。
值得注意的是,在本實施例中,該處理單元113執行該資訊轉換應用程式群組將該轉換前解析結果轉換成JSON(JavaScript Object Notation)的格式,且該解析結果係包括一具有該模型代碼的統一資源標誌符(Uniform Resource Identifier, URI),但不以此為限。
要再注意的是,在子步驟211中,該資訊轉換應用程式群組根據該專案請求資料不同有不同的解析方式,舉例來說,若該專案請求資料包括有一網路路徑,例如為http://aigo.ctbcbank.com/api/hrface/punch,表示進入點直接是RESTful API(即api-gateway),其中<aigo.ctbcbank.com>表示RESTFul 進入點,<hrface>表示專案名稱,<punch>表示所進行的服務,經過常規正則文本解析後,該資訊轉換應用程式群組會將這個專案的需求,轉給專案指定要使用的模型,產生一統一資源標誌符,例如http://feature.hrface.svc.cluster.local:18890,該統一資源標誌符為 Kubernetes 的原生描述方式,其中<feature>即該模型代碼。
若該專案請求資料包括有一具有多個協定網址的電文,如下所示:
<?xml version="1.0" encoding="utf-8"?>
<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema">
<xs:element name="ServiceEnvelope" xmlns:ns0="http://ns.chinatrust.com.tw/XSD/CTCB/ESB/Message/EMF/ServiceEnvelope">
<xs:complexType>
<xs:sequence>
<xs:element name="ServiceHeader" xmlns:ns1="http://ns.chinatrust.com.tw/XSD/CTCB/ESB/Message/EMF/ServiceHeader">
<xs:complexType>
<xs:sequence>
<xs:element name="StandardType" type="xs:string"/>
<xs:element name="StandardVersion" type="xs:unsignedByte"/>
<xs:element name="ServiceName" type="xs:string"/>
<xs:element name="ServiceVersion" type="xs:unsignedByte"/>
<xs:element name="SourceID" type="xs:string"/>
<xs:element name="TransactionID" type="xs:string"/>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name="ServiceBody" xmlns:ns1="http://ns.chinatrust.com.tw/XSD/CTCB/ESB/Message/EMF/ServiceBody">
<xs:complexType>
<xs:sequence>
<xs:element name="AiQnaInqRq" xmlns:ns2="http://ns.chinatrust.com.tw/XSD/CTCB/ESB/Message/BSMF/AiQnaInq/01">
<xs:complexType>
<xs:sequence>
<xs:element name="AiToken" type="xs:string"/>
<xs:element name="AiText" type="xs:string"/>
</xs:sequence>
</xs:complexType>
</xs:element>
</xs:sequence>
</xs:complexType>
</xs:element>
</xs:sequence>
</xs:complexType>
</xs:element>
</xs:schema>
表示進入點為企業服務匯流排(Enterprise Service Bus, ESB)通道,其中<AiQnaInq>表示專案名稱,<01>表示所進行的服務,經過常規正則文本解析後,該資訊轉換應用程式群組會將這個專案的需求,轉給專案指定要使用的模型,產生該統一資源標誌符。
若該專案請求資料包括有一包括一獨立的空間放置路徑,例如/in-nfs/hrface/employeeData,表示進入點是檔案或目錄更動,其中hrface為專案名稱,employeeData 為服務名稱,該資訊轉換應用程式群組直接觸發專案的商業邏輯產生該統一資源標誌符。
在步驟22中,該處理單元113執行該安全管理應用程式群組判定該解析結果是否合法。當判定出該解析結果合法時,流程進行步驟23;而當判定出該解析結果不合法時,流程進行步驟25。
值得注意的是,在本實施例中,該授權碼是由長度大於128小於等於256的隨機字串組成,該處理單元113執行該安全管理應用程式群組判定該授權碼的該金鑰是否合法且該授權碼是否在該有效時間區間內,以判定該解析結果是否合法,當該授權碼的該金鑰合法且該授權碼在該有效時間區間內,該處理單元113判定該解析結果合法;而當該授權碼的該金鑰不合法或該授權碼不在該有效時間區間內,則該處理單元113判定該解析結果不合法,但不以此為限。
要再注意的是,在本實施例中,該處理單元113利用JSON Web Token(JWT)演算法判定該授權碼的該金鑰是否合法,但不以此為限。
在步驟23中,該處理單元113根據該解析結果,利用該等人工智慧模型容器中之一對應該解析結果之該模型代碼的目標人工智慧模型容器,產生一服務結果。值得注意的是,利用的人工智慧模型容器不同,所產生的服務結果不同,該服務結果例如為人臉、印鑑或洗錢防制(Anti-Money Laundering, AML)文件的辨識結果,但不以此為限。
搭配參閱圖4,步驟23包括子步驟231~234,以下說明步驟23包括的子步驟。
在子步驟231中,該處理單元113利用該目標人工智慧模型容器,根據該解析結果產生一對應該等資源分配應用程式中之一目標資源分配應用程式的資源分配請求。
在子步驟232中,該處理單元113執行該安全管理應用程式群組從該等授權資訊中獲得一對應該目標資源分配應用程式及該目標人工智慧模型容器的目標授權資訊。
值得注意的是,在本實施例中,該安全管理應用程式群組,在被啟動時,自底層Kubernetes取得所有的授權資訊,當該目標資源分配應用程式來要求取得授權資訊時,透過雲原生的解碼方式,獲得該目標授權資訊,但不以此為限。
在子步驟233中,該處理單元113執行該目標資源分配應用程式根據該目標授權資訊,取得該等資料庫13中之一對應該目標授權資訊的一目標資料庫的授權,並根據該資源分配請求從該目標資料庫存取一相關於該資源分配請求的分配資料。
在子步驟234中,該處理單元113利用該目標人工智慧模型容器根據該分配資料,產生該服務結果。
在步驟24中,該處理單元113執行該安全管理應用程式群組將該授權碼進行編碼後儲存至該儲存單元112。
在步驟25中,該處理單元113執行該安全管理應用程式群組產生並經由該通訊單元111傳送一驗證失敗訊息至該使用端12。
綜上所述,本新型基於雲端微服務的人工智慧模型服務伺服器,藉由該處理單元113執行該資訊轉換應用程式群組解析該專案請求資料產生統一特定格式的該解析結果,以使人工智慧模型容器無需重複處理不同系統間複雜的資訊轉換,且藉由執行該安全管理應用程式群組判定該解析結果是否合法,以使人工智慧模型容器無需自行管理授權資訊,具有高重用性,並藉由執行該目標資源分配應用程式根據該目標授權資訊取得該目標資料庫的授權,以分權式資源分配 (Decentralized resource allocation) 提供了高併發(High Concurrency)、高吞吐(High Capacity)的保證,此外,該資訊轉換應用程式群組、該安全管理應用程式群組,及該資源分配應用程式群組以微服務集群的方式存在,實現了微服務設計的水平與垂直擴展,使得人工智慧模型不再只是單點的服務,具有高可用性(High Availability),故確實能達成本新型的目的。
惟以上所述者,僅為本新型之實施例而已,當不能以此限定本新型實施之範圍,凡是依本新型申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾,皆仍屬本新型專利涵蓋之範圍內。
11:人工智慧模型服務伺服器
111:通訊單元
112:儲存單元
113:處理單元
12:使用端
13:資料庫
100:通訊網路
21~25:步驟
211、212:子步驟
231~234:子步驟
本新型之其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中:
圖1是一方塊圖,說明本新型人工智慧模型服務伺服器的一實施例;
圖2是一流程圖,說明本新型人工智慧模型服務伺服器的該實施例所執行之步驟;
圖3是一流程圖,輔助說明圖2步驟21的子步驟;及
圖4是一流程圖,輔助說明圖2步驟23的子步驟。
11:人工智慧模型服務伺服器
111:通訊單元
112:儲存單元
113:處理單元
12:使用端
13:資料庫
100:通訊網路
Claims (5)
- 一種人工智慧模型服務伺服器,包含:一通訊單元,連接一通訊網路,並經由該通訊網路連接一使用端;一儲存單元,儲存一資訊轉換應用程式群組、一安全管理應用程式群組,及多個人工智慧模型容器;及一處理單元,電連接該通訊單元及該儲存單元;其中,在該處理單元經由該通訊單元接收到一來自該使用端的專案請求資料後,該處理單元執行該資訊轉換應用程式群組解析該專案請求資料並產生一特定格式的解析結果,該解析結果包括一對應該等人工智慧模型容器之其中一者的模型代碼,並執行該安全管理應用程式群組判定該解析結果是否合法,當該處理單元判定出該解析結果合法時,該處理單元根據該解析結果,利用該等人工智慧模型容器中之一對應該解析結果之該模型代碼的目標人工智慧模型容器,產生一服務結果,當該處理單元判定出該專案請求資料不合法時,該處理單元執行該安全管理應用程式群組產生並經由該通訊單元傳送一驗證失敗訊息至該使用端。
- 如請求項1所述的人工智慧模型服務伺服器,其中,在該處理單元經由該通訊單元接收到該專案請求資料後,該處理單元執行該資訊轉換應用程式群組對該專案請求資料進行常規正則文本解析,以產生一轉換前解析結果,該處理單元再執行該資訊轉換應用程式群組將該轉換前 解析結果轉換成該解析結果。
- 如請求項1所述的人工智慧模型服務伺服器,其中,該解析結果包括一具有一金鑰及一有效時間區間的授權碼,該處理單元執行該安全管理應用程式群組判定該授權碼的該金鑰是否合法且該授權碼是否在該有效時間區間內,以判定該解析結果是否合法,當該授權碼的該金鑰合法且該授權碼在該有效時間區間內,該處理單元判定該解析結果合法。
- 如請求項3所述的人工智慧模型服務伺服器,其中,該處理單元執行該安全管理應用程式群組將該授權碼進行編碼後儲存至該儲存單元。
- 如請求項1所述的人工智慧模型服務伺服器,其中,該通訊單元還經由該通訊網路連接多個資料庫,該儲存單元還儲存一資源分配應用程式群組及多筆分別相關於該等資料庫的授權資訊,該資源分配應用程式群組包括多個資源分配應用程式,該等資源分配應用程式分別對應該等授權資訊,當該處理單元判定出該解析結果合法時,該處理單元利用該目標人工智慧模型容器,根據該解析結果產生一對應該等資源分配應用程式中之一目標資源分配應用程式的資源分配請求,該處理單元執行該安全管理應用程式群組從該等授權資訊中獲得一對應該目標資源分配應用程式及該目標人工智慧模型容器的目標授權資訊,且執行該目標資源分配應用程式根據該目標授權資訊,取得該等資料庫中之一對應該目標授權資訊的 一目標資料庫的授權,並根據該資源分配請求從該目標資料庫存取一相關於該資源分配請求的分配資料,再利用該目標人工智慧模型容器根據該分配資料,產生該服務結果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110205221U TWM618904U (zh) | 2021-05-10 | 2021-05-10 | 基於雲端微服務的人工智慧模型服務伺服器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110205221U TWM618904U (zh) | 2021-05-10 | 2021-05-10 | 基於雲端微服務的人工智慧模型服務伺服器 |
Publications (1)
Publication Number | Publication Date |
---|---|
TWM618904U true TWM618904U (zh) | 2021-11-01 |
Family
ID=79908085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110205221U TWM618904U (zh) | 2021-05-10 | 2021-05-10 | 基於雲端微服務的人工智慧模型服務伺服器 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWM618904U (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI810560B (zh) * | 2021-05-10 | 2023-08-01 | 中國信託商業銀行股份有限公司 | 基於雲端微服務的人工智慧模型服務方法及伺服器 |
-
2021
- 2021-05-10 TW TW110205221U patent/TWM618904U/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI810560B (zh) * | 2021-05-10 | 2023-08-01 | 中國信託商業銀行股份有限公司 | 基於雲端微服務的人工智慧模型服務方法及伺服器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108306877B (zh) | 基于node js的用户身份信息的验证方法、装置和存储介质 | |
CN110602052B (zh) | 微服务处理方法及服务器 | |
US9503447B2 (en) | Secure communication between processes in cloud | |
CN109033757B (zh) | 一种数据共享方法及系统 | |
CN106375323A (zh) | 一种多租户模式下kerberos身份认证的方法 | |
US20170048225A1 (en) | Method, Apparatus, and System for Secure Authentication | |
CN104506487B (zh) | 云环境下隐私策略的可信执行方法 | |
CN105610938A (zh) | 登录状态同步方法和系统 | |
CN107705088B (zh) | 业务处理方法、开放平台和计算机可读存储介质 | |
US10908971B1 (en) | Method and system for generating a customizable connector | |
US20200219094A1 (en) | Hybrid identity as a service for decentralized browser based wallets | |
Omri et al. | Cloud-ready biometric system for mobile security access | |
WO2023029509A1 (zh) | 动态服务发布方法、装置、电子设备及存储介质 | |
TWM618904U (zh) | 基於雲端微服務的人工智慧模型服務伺服器 | |
CN105245369A (zh) | 一种支持多传输协议的组件发布容器方法 | |
CN109857808B (zh) | 基于中立数据结构的纵向数据同步系统及方法 | |
Choi et al. | Improving database system performance by applying NoSQL | |
TWI810560B (zh) | 基於雲端微服務的人工智慧模型服務方法及伺服器 | |
Rongqiang et al. | Sceapi: A unified restful web api for high-performance computing | |
Zhang | 2-Tier Cloud Architecture with maximized RIA and SimpleDB via minimized REST | |
CN112926981A (zh) | 用于区块链的交易信息处理方法、装置、介质及电子设备 | |
Su et al. | An Action‐Based Fine‐Grained Access Control Mechanism for Structured Documents and Its Application | |
CN101883130B (zh) | 页面流会话信息的保存方法及装置 | |
CN106060032A (zh) | 用户数据整合与再分配方法及系统 | |
Kovachev et al. | A cloud multimedia platform |