TWI732381B - 用於計算機程式的線上測試系統及測試方法 - Google Patents

Abstract

本發明揭露一種用於計算機程式的線上測試系統及測試方法。線上測試系統具有一封閉的運行環境。線上測試系統包括一通訊單元、一儲存單元及一運算單元。通訊單元用以與一外部裝置連接，並接收來自外部裝置的一計算機程式。儲存單元用以儲存一原始資料、一程式執行模組、一資料產生模組及一評分模組。當接收計算機程式後，運算單元被配置以：執行資料產生模組，以根據原始資料產生一測試資料及對應於測試資料的一解答；執行程式執行模組，以根據測試資料執行計算機程式以產生一執行結果；及執行評分模組，以根據執行結果及解答產生一分數。

Description

用於計算機程式的線上測試系統及測試方法

本發明是有關於一種計算機程式的線上測試系統及測試方法。

政府機關或企業單位有時會委託外部的程式開發者進行程式開發。受委託的程式開發者在程式開發的階段往往需要委託者提供資料進行測試，以評估所開發的程式是否有達到委託者要求的標準。然而，基於個資法規或企業機密的考量，有些機敏資料例如醫院病歷、銀行帳戶資料、客戶交易歷史資料或稅務資料等並不適合提供給程式開發者。因此，現行常見的方式是藉由線上測試的方式，由程式開發者將要測試的程式上傳至一線上測試平台進行測試，線上測試平台會將測試得到的評分告知程式開發者，以讓程式開發者可以對程式進行改良。然而，這種方式並非萬無一失。有心人士實際上可以透過在程式中添加特定機制、多次上傳以及分析評分結果來盜取機敏資料。

本發明的一方面揭露一種用於計算機程式的線上測試系統。線上測試系統具有一封閉的運行環境。線上測試系統包括一通訊單元、一儲存單元及一運算單元。通訊單元用以與一外部裝置連接，並接收來自外部裝置的一計算機程式。儲存單元用以儲存一原始資料、一程式執行模組、一資料產生模組以及一評分模組。運算單元耦接至通訊單元及儲存單元。當接收計算機程式後，運算單元被配置以：執行資料產生模組，以根據原始資料產生一測試資料及對應於測試資料的一解答；執行程式執行模組，以根據測試資料執行計算機程式以產生一執行結果；以及執行評分模組，以根據執行結果及解答產生一分數。

本發明的另一方面揭露一種用於計算機程式的測試方法，適用於具有一封閉的運行環境的一線上測試系統。測試方法包括：藉由線上測試系統的一通訊單元接收來自一外部裝置的一計算機程式；藉由線上測試系統的一運算單元執行一資料產生模組，以根據儲存於線上測試系統的一儲存單元的一原始資料產生一測試資料及對應於測試資料的一解答；藉由運算單元執行一程式執行模組，以根據測試資料執行計算機程式以產生一執行結果；以及藉由運算單元執行一評分模組，以根據執行結果及解答產生一分數。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

10:線上測試系統

100:通訊單元

102:儲存單元

104:運算單元

106:程式執行模組

108:資料產生模組

110:評分模組

112:驗證模組

90:外部裝置

S201~S309:步驟

PRG:計算機程式

第1圖繪示根據本發明一實施例的用於計算機程式的線上測試系統的方塊圖。

第2圖繪示根據本發明一實施例的用於計算機程式的測試方法的流程圖。

第3圖繪示根據本發明另一實施例的用於計算機程式的測試方法的流程圖。

請參照第1圖，第1圖繪示根據本發明一實施例的用於計算機程式的線上測試系統的方塊圖。線上測試系統10包括一通訊單元100、一儲存單元102、一運算單元104、一資料產生模組108、一評分模組110。線上測試系統10具有一封閉的運行環境。舉例來說，線上測試系統10會限制來自外部網路的存取權限，例如只被允許執行上傳操作，而不允許執行下載或讀取線上測試系統10中的部分或全部資料。

通訊單元100用以與一外部裝置90無線或有線連接，以與外部裝置90傳送/接收訊息或資料。通訊單元100可以是通用的或專用的通訊晶片。

儲存單元102例如是任何型態的固定式或可移動式的隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、相變化記憶體、硬碟(hard disk drive，HDD)、暫存器(register)、固態硬碟(solid state drive，SSD)或類似元件或上述元件的組合。需要注意的是，在本實施例中，儲存單元102指的是用以儲存資料及計算機指令的記憶裝置的 集合，並不限定記憶裝置的數量及類型。儲存單元102可儲存一原始資料。

運算單元104耦接至通訊單元100及儲存單元102。運算單元104例如是中央處理單元(central processing unit，CPU)，或是其他可程式化之一般用途或特殊用途的微控制單元(micro control unit，MCU)、微處理器(microprocessor)、數位信號處理器(digital signal processor，DSP)、可程式化控制器、特殊應用積體電路(application specific integrated circuit，ASIC)、圖形處理器(graphics processing unit，GPU)、算數邏輯單元(arithmetic logic unit，ALU)、複雜可程式邏輯裝置(complex programmable logic device，CPLD)、現場可程式化邏輯閘陣列(field programmable gate array，FPGA)或其他類似元件或上述元件的組合。

程式執行模組106、資料產生模組108以及評分模組110可藉由計算機可讀指令的組合實現，並儲存於儲存單元102中。運算單元104藉由執行儲存於儲存單元102的資料產生模組108以及評分模組110來實現資料產生模組108以及評分模組110的功能。

程式執行模組106用以執行來自外部裝置90上傳的一計算機程式PRG。

資料產生模組108用以根據原始資料產生一測試資料及對應於測試資料的一解答。資料產生模組108可藉由變換順序(shuffling)及/或取樣(sampling)的方式來產生測試資料。舉例來說，假設原始資料共有第一筆至第一百筆共一百筆資料。在藉由變換順序的 實施例中，資料產生模組108可將一百筆的資料隨機排序，以產生測試資料。在取樣的實施例中，資料產生模組108可從一百筆的資料中隨機選出九十筆，以產生測試資料。在同時使用變換順序及取樣的實施例中，資料產生模組108可從一百筆的資料中隨機選出九十筆，並將選出的九十筆資料的隨機排序，以產生測試資料。所謂解答是指當測試資料被用來進行測試計算機程式PRG時所預期得到的正確結果。舉例來說，測試資料包括一百張圖片，解答則是指此一百張圖片中分別顯示的物件為何(例如圖片顯示的是人、汽車或機車等)。測試資料與解答詳細的用途會於下文詳述。

評分模組110用以根據外部裝置90上傳的計算機程式PRG根據測試資料產生的一執行結果及解答產生對應於測試資料的一分數，並將分數傳送至外部裝置90。

為了進一步理解本發明，請參照第2圖，第2圖繪示根據本發明一實施例的用於計算機程式的測試方法的流程圖。測試方法可搭配線上測試系統10進行應用。

S201中，藉由通訊單元100接收來自外部裝置90的計算機程式PRG。計算機程式PRG可以是以Python、Java、R、Julia、Matlab、Octave、Scheme、Processing、Scala、C、C++或組合語言等程式語言所編程的程式。在一實施例中，外部裝置90上傳的計算機程式PRG會被儲存至儲存單元102。

S203中，藉由運算單元104執行資料產生模組108，以根據原始資料產生一測試資料及對應於測試資料的一解答。

S205中，藉由運算單元104執行程式執行模組106，以根據測試資料執行計算機程式PRG，並產生一執行結果。針對每次外部裝置90上傳的計算機程式PRG，資料產生模組108都會產生不同的測試資料及解答，以避免直接使用原始資料，藉以降低原始資料被盜取的風險。

在一實施例中，運算單元104可藉由代理人(agent)來執行計算機程式PRG，並且是以測試資料而非原始資料做為執行計算機程式PRG所使用的資料。舉例來說，當運算單元104執行程式執行模組106時，會致使運算單元104呼叫儲存於儲存單元102的一代理人程式，並由代理人程式來執行計算機程式PRG。藉由這樣的方式，可以使得程式執行模組106可以掌控計算機程式PRG的執行狀況以及令計算機程式PRG在一個權限受限的環境下執行，一旦計算機程式PRG有任何的惡意行為，程式執行模組106便可以透過中止執行代理人程式來強制中止計算機程式PRG，以避免計算機程式PRG對線上測試系統10造成損害。以一實際例子來說，當計算機程式PRG是以Java語言所編程時，代理人程式可為用以執行Java程式的執行器。

S207中，藉由運算單元104執行評分模組110，以根據執行結果及解答產生一分數。一般而言，執行結果與解答會具有相同的格式，以利評分。然而，在某些情況下，例如程式設計失誤導致計算機程式PRG無法產生與解答的格式相應的執行結果時，評分模組110將無法針對格式錯誤的執行結果進行評分。因此，在S207之前，更可包括步驟S206，藉由運算單元104執行線上測試系統10的一驗證模組 112，以判斷執行結果是否可進行評分，也就是判斷執行結果的格式是否與解答的格式相符。驗證模組112可以藉由計算機可讀指令的組合來實現，且儲存於儲存單元102中。當運算單元104執行此些計算機可讀指令時可以實現驗證模組112的功能。當判斷執行結果可進行評分，則執行S207；當判斷執行結果無法進行評分，則執行S208。在一實施例中，計算分數的方式可根據正確率。例如，測試資料包括一百筆資料，具有正確格式執行結果會包括對應於此一百筆資料的一百個結果。評分模組110會將此一百個結果與解答所包括的對應於此一百筆資料的一百個正確答案(ground truth)進行比較，並計算正確率，以產生分數。例如當此一百個結果中有九十個結果與解答相符，則正確率為90%，則分數可為0.9。

S208中，藉由運算單元104將一錯誤訊息記錄至儲存單元102，並將錯誤訊息通過通訊單元100傳遞至外部裝置90。

S209中，藉由運算單元104將分數記錄至儲存單元102，並將分數通過通訊單元100傳遞至外部裝置90。

請參照第3圖，第3圖繪示根據本發明另一實施例的用於計算機程式的測試方法的流程圖。本實施例的方法可用於測試基於機器學習的計算機程式PRG。

S301中，藉由通訊單元100接收來自外部裝置90的計算機程式PRG。計算機程式PRG可以是基於機器學習的程式。

S303中，藉由運算單元104執行資料產生模組108，以根據原始資料產生一訓練資料、一測試資料及對應於測試資料的一解 答。在一實施例中，資料產生模組108會將原始資料切割為一第一部份及一第二部分。資料產生模組108會根據第一部份產生訓練資料。例如，資料產生模組108可將第一部份做為訓練資料，或者資料產生模組108可藉由變換順序及/或取樣的方式根據第一部分產生訓練資料。另一方面，資料產生模組108會根據第二部分產生測試資料及解答，產生的方式與前文所述類似，故不加以贅述。在一實施例中，對於每次上傳的計算機程式PRG，訓練資料可以是相同的。也就是說，第一次計算機程式PRG被上傳時所產生的訓練資料可繼續用於之後上傳的計算機程式的訓練。在另一實施例中，對於每次上傳的計算機程式PRG則會重新產生訓練資料。

S304中，藉由運算單元104執行程式執行模組106，以根據訓練資料執行計算機程式PRG，以對計算機程式PRG進行訓練。

S305中，藉由運算單元104執行程式執行模組106，以根據測試資料執行經過訓練的計算機程式PRG，並產生一執行結果。在一實施例中，運算單元104可藉由代理人(agent)來執行計算機程式PRG，並且是以測試資料而非原始資料做為執行計算機程式PRG所使用的資料。針對每次外部裝置90上傳的計算機程式PRG，資料產生模組108都會產生不同的測試資料及解答，以避免直接使用原始資料來降低原始資料被盜取的風險。

S307中，藉由運算單元104執行評分模組110，以根據執行結果及解答產生一分數。一般而言，執行結果與解答會具有相同的格式，以利評分。然而，在某些情況下，例如程式設計失誤導致計 算機程式PRG無法產生與解答的格式相應的執行結果時，評分模組110將無法針對格是錯誤的執行結果進行評分。因此，在S307之前，更可包括步驟S306，藉由運算單元104執行線上測試系統10的一驗證模組112，以判斷執行結果是否可進行評分，也就是判斷執行結果的格式是否與解答的格式相符。當判斷執行結果可進行評分，則執行S307；當判斷執行結果無法進行評分，則執行S308。計算分數的方式可參考前文所述。

S308中，藉由運算單元104將一錯誤訊息記錄至儲存單元102，並將錯誤訊息通過通訊單元100傳遞至外部裝置90。

S309中，藉由運算單元104將分數記錄至儲存單元102，並將分數通過通訊單元100傳遞至外部裝置90。

本發明可以確保原始資料免於被盜取的前提下對計算機程式進行評分，並將評分告知外部裝置。實際應用上，本發明可應用於線上程式競賽，參賽者可多次上傳計算機程式進行評分，並根據評分來改善計算機程序。然而，參賽者無法直接碰觸到原始資料，且由於線上測試系統測試計算機程式時不是直接使用原始資料進行測試，有心人士也無法透過多次上傳計算機程式及分析評分結果來盜取原始資料。

綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10:線上測試系統

100:通訊單元

102:儲存單元

104:運算單元

106:程式執行模組

108:資料產生模組

110:評分模組

112:驗證模組

90:外部裝置

PRG:計算機程式

Claims (18)

1. 一種用於計算機程式的線上測試系統，具有一封閉的運行環境，該線上測試系統包括：一通訊單元，用以與一外部裝置連接，並接收來自該外部裝置的一計算機程式；一儲存單元，用以儲存一原始資料、一程式執行模組、一資料產生模組以及一評分模組；一運算單元，耦接至該通訊單元及該儲存單元，其中當接收該計算機程式後，該運算單元被配置以執行該資料產生模組，以根據該原始資料產生一測試資料及對應於該測試資料的一解答；執行該程式執行模組，以根據該測試資料執行該計算機程式以產生一執行結果；以及執行該評分模組，以根據該執行結果及該解答產生一分數。
2. 如申請專利範圍第1項所述之線上測試系統，更包括一驗證模組，於該運算單元執行該評分模組，以根據該執行結果及該解答產生該分數之前，該運算模組執行該驗證模組以判斷該執行結果是否可進行評分。
3. 如申請專利範圍第2項所述之線上測試系統，其中當判斷該執行結果無法進行評分，該運算單元將一錯誤訊息記錄至該儲存單元並將該錯誤訊息傳送至該外部裝置。
4. 如申請專利範圍第1項所述之線上測試系統，其中該運算單元更被配置用以將該分數記錄至該儲存單元，並將該分數傳送至該外部裝置。
5. 如申請專利範圍第1項所述之線上測試系統，其中該資料產生模組產生該測試資料的方式包括變換順序、取樣或上述兩者之組合。
6. 如申請專利範圍第1項所述之線上測試系統，其中於該運算單元執行該程式執行模組，以根據該測試資料執行該計算機程式以產生該執行結果時，該程式執行模組致使該運算單元呼叫一代理人程式，並以該代理人程式執行該計算機程式。
7. 如申請專利範圍第1項所述之線上測試系統，其中於該運算單元執行該資料產生模組，以根據該原始資料產生該測試資料及對應於該測試資料的該解答時，該運算單元執行該資料產生模組，以根據該原始資料產生一訓練資料。
8. 如申請專利範圍第7項所述之線上測試系統，其中該資料產生模組將該原始資料劃分為一第一部分及一第二部分，該 資料產生模組根據該第一部份產生該訓練資料，並根據該第二部分產生該測試資料及該解答。
9. 如申請專利範圍第7項所述之線上測試系統，其中於該運算單元執行該程式執行模組，以根據該測試資料執行該計算機程式以產生該執行結果之前，該運算單元更被配置用以執行該程式執行模組，以根據該訓練資料執行該計算機程式以得到訓練後的該計算機程式。
10. 一種用於計算機程式的測試方法，適用於具有一封閉的運行環境的一線上測試系統，該測試方法包括：藉由該線上測試系統的一通訊單元接收來自一外部裝置的一計算機程式；藉由該線上測試系統的一運算單元執行一資料產生模組，以根據儲存於該線上測試系統的一儲存單元的一原始資料產生一測試資料及對應於該測試資料的一解答；藉由該運算單元執行一程式執行模組，以根據該測試資料執行該計算機程式以產生一執行結果；以及藉由該運算單元執行一評分模組，以根據該執行結果及該解答產生一分數。
11. 如申請專利範圍第10項所述之測試方法，於藉由該運算單元執行該評分模組，以根據該執行結果及該解答產生該分數之前更包括：藉由該運算模組執行一驗證模組以判斷該執行結果是否可進行評分。
12. 如申請專利範圍第11項所述之測試方法，其中當判斷該執行結果無法進行評分，藉由該運算單元將一錯誤訊息記錄至該儲存單元並將該錯誤訊息傳送至該外部裝置。
13. 如申請專利範圍第10項所述之測試方法，更包括：藉由該運算單元將該分數記錄至該儲存單元，並將該分數傳送至該外部裝置。
14. 如申請專利範圍第10項所述之測試方法，其中該資料產生模組產生該測試資料的方式包括變換順序、取樣或上述兩者之組合。
15. 如申請專利範圍第10項所述之測試方法，其中於藉由該運算單元執行該程式執行模組，以根據該測試資料執行該計算機程式以產生該執行結果時，該程式執行模組致使該運算單元呼叫一代理人程式，並以該代理人程式執行該計算機程式。
16. 如申請專利範圍第10項所述之測試方法，其中於藉由該運算單元執行該資料產生模組，以根據該原始資料產生該測試資料及對應於該測試資料的該解答時，該運算單元執行該資料產生模組，以根據該原始資料產生一訓練資料。
17. 如申請專利範圍第16項所述之測試方法，其中該資料產生模組將該原始資料劃分為一第一部分及一第二部分，該資料產生模組根據該第一部份產生該訓練資料，並根據該第二部分產生該測試資料及該解答。
18. 如申請專利範圍第16項所述之測試方法，其中於藉由該運算單元執行該程式執行模組，以根據該測試資料執行該計算機程式以產生該執行結果之前更包括：藉由該運算單元執行該程式執行模組，以根據該訓練資料執行該計算機程式以得到訓練後的該計算機程式。

Images