TWI781354B - 測試資料產生系統及測試資料產生方法 - Google Patents

測試資料產生系統及測試資料產生方法 Download PDF

Info

Publication number
TWI781354B
TWI781354B TW108140848A TW108140848A TWI781354B TW I781354 B TWI781354 B TW I781354B TW 108140848 A TW108140848 A TW 108140848A TW 108140848 A TW108140848 A TW 108140848A TW I781354 B TWI781354 B TW I781354B
Authority
TW
Taiwan
Prior art keywords
test data
blocks
test
generation system
adjusted
Prior art date
Application number
TW108140848A
Other languages
English (en)
Other versions
TW202119253A (zh
Inventor
林佩儀
黃亭鈞
蔡宗達
田家瑋
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW108140848A priority Critical patent/TWI781354B/zh
Priority to JP2019216818A priority patent/JP6992039B2/ja
Priority to US16/699,482 priority patent/US11397664B2/en
Publication of TW202119253A publication Critical patent/TW202119253A/zh
Application granted granted Critical
Publication of TWI781354B publication Critical patent/TWI781354B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034—Test or assess a computer or a system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)
  • Debugging And Monitoring (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)
  • General Factory Administration (AREA)

Abstract

一種測試資料產生系統及測試資料產生方法被揭露於此。該測試資料產生系統根據至少第一測試資料與第二測試資料產生模糊測試資料。該第一測試資料是用來測試至少一第一裝置，且該第二測試資料是用來測試一第二裝置。接著，該測試資料產生系統傳送該模糊測試資料給該第二裝置，以測試該第二裝置。

Description

測試資料產生系統及測試資料產生方法
本揭露與測試資料產生系統以及測試資料產生方法有關。更具體而言，本揭露與能夠產生多樣化測試資料的測試資料產生系統及測試資料產生方法有關。
某些網路攻擊行為已從單一性網路攻擊進化為多樣性網路攻擊。所謂單一性網路攻擊是指攻擊者只會針對單一特定裝置的弱點進行攻擊(單一攻擊模式)，而多樣性網路攻擊是指除了針對該特定裝置的弱點進行攻擊之外，也會基於其他裝置的弱點而對該特定裝置進行攻擊(多方攻擊模式)。在此情況下，為了阻擋單一性網路攻擊而對某一特定裝置所進行的傳統測試模式，也會因為缺少其他裝置的測試資訊，而無法抵抗多樣性網路攻擊。據此，提供一種能夠抵抗多樣性網路攻擊的測試模式是相當重要的。
為了至少解決上述問題，本揭露提供一種測試資料產生系統。該測試資料產生系統可包含一儲存器、與該儲存器電性連接的一處理器、以及與該處理器電性連接的一收發器。該儲存器可用以儲存用來測試至少一第一裝置的第一測試資料、以及用來測試一第二裝置的第二測試資料。 該第一測試資料與該第二測試資料符合同一協定。該處理器可用以根據至少該第一測試資料與該第二測試資料產生模糊測試資料。該收發器可用以傳送該模糊測試資料給該第二裝置，以測試該第二裝置。
為了至少解決上述問題，本揭露還提供一種測試資料產生方法。該測試資料產生方法可包含：
一測試資料產生系統根據至少第一測試資料與第二測試資料產生模糊測試資料，其中該第一測試資料用來測試至少一第一裝置，且該第二測試資料用來測試一第二裝置；以及
該測試資料產生系統傳送該模糊測試資料給該第二裝置，以測試該第二裝置。
如上所述，用來測試第二裝置的模糊測試資料是經由合併其本身的第二測試資料以及至少一第一裝置的第一測試資料而產生的。換言之，因模糊測試資料額外包含用來檢測至少一第一裝置的第一測試資料，故能夠彌補第二測試資料的不足，進而提升針對第二裝置進行測試的深度與廣度，使得該測試具有多樣性。因此，相較於傳統的測試模式，透過本揭露中的測試資料產生系統與方法所產生的模糊測試資料來進行測試的測試模式，能夠有效地抵抗多樣性網路攻擊。
11‧‧‧測試資料產生系統
111‧‧‧儲存器
112‧‧‧處理器
113‧‧‧收發器
121‧‧‧第一裝置
122‧‧‧第二裝置
2‧‧‧模糊測試資料之產生流程
201、202、203、204、205、206、207、208‧‧‧動作
5‧‧‧測試資料產生方法
501、502‧‧‧步驟
B11、B12、B13、B14‧‧‧第一區塊
B21、B22、B23、B24‧‧‧第二區塊
D1、D2、D3、D4‧‧‧區塊差異率
FTD‧‧‧模糊測試資料
FTD_1、FTD_2、FTD_3、FTD_4、FTD_5、FTD_6‧‧‧模糊測試子資料
M1、M2、M3、M4、M5‧‧‧變異型態
S1、S2、S3‧‧‧異常狀態
TD1‧‧‧第一測試資料
TD1_1、TD1_2、TD1_3‧‧‧第一測試子資料
TD2‧‧‧第二測試資料
TD2_1、TD2_2、TD2_3‧‧‧第二測試子資料
第1圖例示了根據本發明的一或多個實施例的測試資料產生系統。
第2圖例示了第1圖所示測試資料產生系統如何產生模糊測試資料。
第3A圖例示了根據本發明的一或多個實施例的第一測試資料和第二測 試資料。
第3B圖例示了如何根據該第二測試資料調整該第一測試資料。
第3C圖例示了將該第一測試資料與該第二測試資料合併後的結果。
第4圖例示了第1圖所示測試資料產生系統如何調整變異型態的權重以產生更容易造成裝置異常狀態的測試資料。
第5圖例示了根據本發明的一或多個實施例的測試資料產生方法。
以下所述各種實施例並非用以限制本發明只能在所述的環境、應用、結構、流程或步驟方能實施。於圖式中，與本發明的實施例非直接相關的元件皆已省略。於圖式中，各元件的尺寸以及各元件之間的比例僅是範例，而非用以限制本發明。除了特別說明之外，在以下內容中，相同(或相近)的元件符號可對應至相同(或相近)的元件。在可被實現的情況下，如未特別說明，以下所述的每一個元件的數量是指一個或多個。
第1圖例示了根據本發明的一或多個實施例的測試資料產生系統。第1圖所示內容僅是為了說明本發明的實施例，而非為了限制本發明。
參照第1圖，一測試資料產生系統11可與至少一第一裝置121及一第二裝置122(受測裝置)進行通訊，並且至少根據來自第一裝置121的第一測試資料TD1以及來自第二裝置122的第二測試資料TD2，產生用來測試第二裝置122的模糊測試資料FTD。測試資料產生系統11可以透過單一實體計算機或彼此互相連接的多台實體計算機來實現。測試資料產生系統11基本上可包含一儲存器111、一處理器112以及一收發器113，且處理器112可分別與儲存器111以及收發器113電性連接。
儲存器111可用以儲存測試資料產生系統11所產生的資料或由外部傳入的資料，例如第一測試資料TD1與第二測試資料TD2。儲存器111可包含第一級記憶體(又稱主記憶體或內部記憶體)，且處理器112可直接讀取儲存在第一級記憶體內的指令集，並在需要時執行這些指令集。儲存器111可選擇性地包含第二級記憶體(又稱外部記憶體或輔助記憶體)，且此記憶體可透過資料緩衝器將儲存的資料傳送至第一級記憶體。舉例而言，第二級記憶體可以是但不限於：硬碟、光碟等。儲存器111可選擇性地包含第三級記憶體，亦即，可直接插入或自電腦拔除的儲存裝置，例如隨身硬碟。在某些實施例中，儲存器111還可選擇性地包含一雲端儲存單元。
處理器112可以是具備訊號處理功能的微處理器(microprocessor)或微控制器(microcontroller)等。微處理器或微控制器是一種可程式化的特殊積體電路，其具有運算、儲存、輸出/輸入等能力，且可接受並處理各種編碼指令，藉以進行各種邏輯運算與算術運算，並輸出相應的運算結果。處理器112可被編程以在測試資料產生系統11中執行各種運算或程式。
收發器113可用以和第一裝置121以及第二裝置122進行有線或無線的通訊，且可包含一傳送器(transmitter)和一接收器(receiver)。以無線通訊為例，收發器113可包含但不限於：天線、放大器、調變器、解調變器、偵測器、類比至數位轉換器、數位至類比轉換器等通訊元件。以有線通訊為例，收發器113可以是例如但不限於：一十億位元乙太網路收發器(gigabit Ethernet transceiver)、一十億位元乙太網路介面轉換器(gigabit interface converter，GBIC)、一小封裝可插拔收發器(small form-factor pluggable(SFP)transceiver)、一百億位元小封裝可插拔收發器(ten gigabit small form-factor pluggable(XFP)transceiver)等。
第2圖例示了第1圖所示測試資料產生系統11如何產生模糊測試資料FTD。第2圖所示內容僅是為了說明本發明的實施例，而非為了限制本發明。
假設第二裝置122是待測裝置。如第2圖所示，在一模糊測試資料之產生流程2中，首先，處理器112可從儲存器111擷取第一測試資料TD1以及第二測試資料TD2(標示為動作201)。第一測試資料TD1是適合測試第一裝置121的測試資料，而第二測試資料TD2是適合測試第二裝置122的測試資料。第二裝置122是受測裝置。在某些實施例中，第一測試資料TD1是由第一裝置121傳送給收發器113，且第二測試資料TD2是由第二裝置122傳送給收發器113。在某些實施例中，第一測試資料TD1可以由第一裝置121以外的其他裝置傳送給收發器113，且第二測試資料TD2可以由第二裝置122以外的其他裝置傳送給收發器113。若不需要調整第一測試資料TD1，不需要增加第三測試資料，也不需要變異測試資料，則可以省略動作202-207，且接續在動作201之後的是動作208。因此，在某些實施例中，處理器112可以直接將第一測試資料TD1和第二測試資料TD2合併為模糊測試資料FTD，並透過收發器113傳送模糊測試資料FTD給第二裝置122，以供其進行測試。
在某些實施例中，在產生模糊測試資料FTD之前，處理器112還可以先調整第一測試資料TD1。以下將以第3A-3C圖為例來說明，其中第3A圖例示了根據本發明的一或多個實施例的第一測試資料和第二測試資料，第3B圖例示了如何根據該第二測試資料調整該第一測試資料，且第3C 圖例示了將該第一測試資料與該第二測試資料合併後的結果。第3A-3C圖所示內容僅是為了說明本發明的實施例，而非為了限制本發明。
如第3A圖所示，第一測試資料TD1可包含複數筆測試子資料TD1_1、TD1_2、TD1_3、...，第二測試資料TD2則可包含複數筆測試子資料TD2_1、TD2_2、TD2_3、...。第一測試資料TD1與第二測試資料TD2是符合相同協定的格式的測試資料，且第一測試資料TD1與第二測試資料TD2可分別被區分成彼此相對應的複數個區塊。舉例而言，若第一裝置121與第二裝置122採用的協定是消息隊列遙測傳輸(Message Queuing Telemetry Transport，MQTT)，則第一測試資料TD1與第二測試資料TD2可被區分成例如「標頭」、「負載(payload)長度」、「主題長度」、「主題內容」、「訊息識別碼」、以及「訊息內容」等區塊。
進一步而言，在已知第一測試資料TD1與第二測試資料TD2所符合的協定的情況下，處理器112可透過例如「PyShark」等工具來將第一測試資料TD1區分成多個第一區塊(例如：第一區塊B11、B12、B13以及B14)，且將第二測試資料TD2區分為多個第二區塊(例如：第二區塊B21、B22、B23以及B24)，其中該多個第一區塊分別和該多個第二區塊相對應。在不知道第一測試資料TD1與第二測試資料TD2所符合的協定的情況下，則處理器112可透過例如尼德曼-翁施演算法(Needleman-Wunsch algorithm)」，將第一測試資料TD1區分成該多個第一區塊，且將第二測試資料TD2區分為該多個第二區塊。
雖然第一測試資料TD1與第二測試資料TD2符合同一協定，但因第一裝置121及第二裝置122的操作環境及功能可能有所不同，故第一 測試資料TD1可能無法如同第二測試資料TD2般十分適合用來測試第二裝置122。在此情況下，處理器112可透過分析第二測試資料TD2中的各區塊的資料差異程度，來判斷是否需要調整第一測試資料TD1(標示為動作202)以使其更適合被用來測試第二裝置122。
具體而言，處理器112可根據第二測試資料TD2中的第二區塊B21、B22、B23以及B24的數值變化來分別計算其區塊差異率。舉例而言，處理器112可以透過「尼德曼-翁施演算法」、「史密斯-沃特曼演算法(Smith-Waterman algorithm)」、或「赫什伯格演算法(Hirschberg’salgorithm)」等演算法去分別計算第二區塊B21、B22、B23以及B24的最長共同子序列(Longest Common Subsequence，LCS)，然後藉此求得第二區塊B21、B22、B23以及B24各自的數值變化。以第3圖為例，假設第二區塊B21、B22、B23以及B24的區塊差異率D1、D2、D3以及D4分別是「0%」、「30%」、「40%」以及「90%」。區塊差異率D1為「0%」表示第二區塊B21中的資料內容不存在任何差異(例如，都是「10」)，而區塊差異率D2為「30%」表示第二區塊B22中的資料內容的變化率為30%，以此類推。
在計算出第二測試資料TD2中各區塊的區塊差異率之後，處理器112可判斷各該區塊差異率是否低於一預設的門檻值以決定是否相應地調整第一測試資料TD1。舉例而言，假設該預設門檻值為「5%」，則處理器112可依據區塊差異率D1小於該預設門檻值(表示動作202處的判斷結果為是)而相應地調整第一測試資料TD1中的第一區塊B11(標示為動作203)，以提高第二裝置122對於第一測試資料TD1的接受程度。以第3B圖為例，處理器112可將第一區塊B11調整為如同第二區塊B21的內容，也就是，調整成 「10」。在某些實施例中，假如區塊B21的區塊差異率D1並非「0%」(例如，3%)，則處理器112可將區塊B11的內容調整為區塊B21中重複率最高的數值。
在處理器112調整第一測試資料TD1之後，若不需要增加第三測試資料，也不需要變異測試資料，則可以省略動作204-207，且接續在動作203之後的是動作208。因此，在某些實施例中，則處理器112可以在調整第一測試資料TD1之後，將調整後的第一測試資料TD1和第二測試資料TD2合併為模糊測試資料FTD。以第3C圖為例，處理器112便可將調整後的第一測試資料TD1與第二測試資料TD2合併為包含複數個模糊測試子資料FTD_1、FTD_2、FTD_3、FTD_4、FTD_5、FTD_6的模糊測試資料FTD。然後，收發器113可傳送例如第3圖所示的模糊測試資料FTD給第二裝置122，以供其進行測試。
在某些實施例中，處理器112可判斷是否需要增加符合同一協定的第三測試資料(標示為動作204)，以增加測試資料的多樣性。若動作204處的判斷結果為是，則處理器112可基於第二測試資料TD2以及來自動作201的第一測試資料TD1或來自動作203的調整後的第一測試資料TD1的格式與內容，透過一機器學習演算法建立一資料產生模型，並使用該資料產生模型來產生該第三測試資料(標示為動作205)。舉例而言，該機器學習演算法可以是但不限於一長短期記憶模型(Long Short-Term Memory，LSTM)、一遞歸神經網路(Recurrent Neural Network，RNN)、深度神經網路(Deep Neural Network，DNN)等關於深度學習(deep learning)的演算法。
在處理器112額外產生第三測試資料之後，若不需要變異測 試資料，則可以省略動作206-207，且接續在動作205之後的是動作208。因此，在某些實施例中，則處理器112可以在產生第三測試資料之後，將第一測試資料TD1(或調整後的第一測試資料TD1)、第二測試資料TD2與第三測試資料合併為模糊測試資料FTD。然後，收發器113可傳送模糊測試資料FTD給第二裝置122，以供其進行測試。
在某些實施例中，處理器112可判斷是否要變異測試資料(標示為動作206)。若動作206處的判斷結果為是，則變異測試資料(標示為動作207)，以增加第二裝置122在被測試的過程中出現更多異常狀態的可能性。在某些實施例中，處理器112可以在擷取第一測試資料TD1與第二測試資料TD2(即，動作201)之後，變異第一測試資料TD1與第二測試資料TD2，然後將變異後的該些資料合併為模糊測試資料FTD。在某些實施例中，處理器112可以在調整第一測試資料TD1(即，動作203)之後，變異調整後的第一測試資料TD1與第二測試資料TD2，然後將變異後的該些資料合併為模糊測試資料FTD。在某些實施例中，處理器112可以在增加第三測試資料(即，動作205)之後，變異第二測試資料TD2、第三測試資料以及第一測試資料TD1(或調整後的第一測試資料TD1)，然後將變異後的該些資料合併為模糊測試資料FTD。處理器122可以基於不同的變異型態來變異測試資料，其中每一變異型態表示採用一變異方式來對測試資料中的某一區塊進行變異，其中變異方式可例如是一位元變異、一字元變異或一長度變異等。
在某些實施例中，處理器122還可以根據第二裝置122的前一輪測試結果，決定測試資料的變異型態的權重。以下將以第4圖為例來說明，其中第4圖例示了測試資料產生系統11如何調整變異型態的權重以產生更 容易造成裝置異常狀態的測試資料。第4圖所示內容僅是為了說明本發明的實施例，而非為了限制本發明。
在某些實施例中，處理器112還可先根據第二裝置122的前一輪測試結果而調整測試資料的變異型態的權重，以增加容易造成第二裝置122於測試時出現異常的變異型態的選用機率。如第4圖所示，假設共有五種變異型態M1-M5，且第二裝置122的前一輪測試結果中，變異型態M1造成第二裝置122產生異常狀態S1以及S2，變異型態M2造成第二裝置122產生異常狀態S3，變異型態M3造成第二裝置122產生異常狀態S2以及S3，變異型態M4造成第二裝置122產生異常狀態S1，變異型態M5造成第二裝置122產生異常狀態S1以及S3。其中，狀態S1表示第二裝置122的回應時間過長、狀態S2表示第二裝置122必須重啟，且狀態S3表示第二裝置122的連線必須重置。
進一步而言，在不調整變異型態的權重的情況下，變異型態M1-M5的權重都是「1」，故其選用機率也都一樣。為了提升第二裝置122產生異常狀態的機率，在某些實施例中，處理器122可以採取變異策略A，也就是根據異常狀態S1-S3的權重的總和來設定變異型態M1-M5的權重。在此情況下，變異型態M1-M5的權重將分別被調整為「2」、「1」、「2」、「1」、「2」，藉此提升第二裝置122同時發生多個異常狀態的機率。在某些實施例中，處理器122可以採取變異策略B，也就是先根據異常狀態S1-S3的嚴重程度，調整異常狀態S1-S3的權重，然後再根據異常狀態S1-S3的調整後的權重的總和來設定變異型態M1-M5的權重。在此情況下，變異型態M1-M5的權重將分別被調整為「9」、「3」、「10」、「2」、「5」，藉此不但提升了第二裝置122同時發生多個異常狀態的機率，也提升了第二裝置122發生嚴重異常的機率。在 其他實施例中，處理器122也可以採取其他變異策略來調整變異型態M1-M5的權重，不以第4圖所示的變異策略A和變異策略B為限。
在某些實施例中，第二裝置122在其完成測試後可將其測試結果及/或其測試資料回傳至測試資料產生系統11，以作為下一次產生測試資料的參考依據。
第5圖例示了根據本發明的一或多個實施例的測試資料產生方法。第5圖所示內容僅是為了說明本發明的實施例，而非為了限制本發明。
參照第5圖，一測試資料產生方法5可包含以下步驟：
一測試資料產生系統根據至少第一測試資料與第二測試資料產生模糊測試資料，其中該第一測試資料用來測試至少一第一裝置，且該第二測試資料用來測試一第二裝置(標示為步驟501)；以及
該測試資料產生系統傳送該模糊測試資料給該第二裝置，以測試該第二裝置(標示為步驟502)。
在某些實施例中，測試資料產生方法5還可包含以下步驟：
該測試資料產生系統從該至少一第一裝置接收該第一測試資料；以及
該測試資料產生系統從該第二裝置接收該第二測試資料。
在某些實施例中，測試資料產生方法5還可包含以下步驟：該測試資料產生系統合併該第一測試資料與該第二測試資料，以產生該模糊測試資料。
在某些實施例中，測試資料產生方法5還可包含以下步驟：
該測試資料產生系統基於該第一測試資料與該第二測試資料，透過一機器學習模型產生符合該同一協定的第三測試資料；以及
該測試資料產生系統合併該第一測試資料、該第二測試資料與該第三測試資料，以產生該模糊測試資料。
在某些實施例中，測試資料產生方法5還可包含以下步驟：
該測試資料產生系統變異該第一測試資料與該第二測試資料；以及
該測試資料產生系統合併變異後的第一測試資料與變異後的第二測試資料，以產生該模糊測試資料。在這些實施例中，可選擇地，測試資料產生方法5還可包含：該測試資料產生系統根據該第二裝置的前一輪測試結果，決定該第一測試資料與該第二測試資料的變異型態的權重。
在某些實施例中，測試資料產生方法5還可包含以下步驟：
該測試資料產生系統分割該第一測試資料為多個第一區塊；
該測試資料產生系統分割該第二測試資料為多個第二區塊，並計算各該多個第二區塊的一區塊差異率，該多個第二區塊分別對應到該多個第一區塊；
該測試資料產生系統根據該多個第二區塊中區塊差異率小於一預設門檻值的一或多個第二區塊的內容，分別調整與該一或多個第二區塊相對應的一或多個第一區塊的內容，以產生調整後的第一測試資料；以及
該測試資料產生系統合併至少該調整後的第一測試資料與該第二測試資料，以產生該模糊測試資料。
在某些實施例中，測試資料產生方法5還可包含以下步驟：
該測試資料產生系統分割該第一測試資料為多個第一區塊；
該測試資料產生系統分割該第二測試資料為多個第二區塊，並計算各該多個第二區塊的一區塊差異率，該多個第二區塊分別對應到該多個第一 區塊；
該測試資料產生系統根據該多個第二區塊中區塊差異率小於一預設門檻值的一或多個第二區塊的內容，分別調整與該一或多個第二區塊相對應的一或多個第一區塊的內容，以產生調整後的第一測試資料；
該測試資料產生系統基於該調整後的第一測試資料與該第二測試資料，透過一機器學習模型產生符合該同一協定的第三測試資料；以及
該測試資料產生系統合併該調整後的第一測試資料、該第二測試資料與該第三測試資料，以產生該模糊測試資料。
在某些實施例中，測試資料產生方法5還可包含以下步驟：
該測試資料產生系統分割該第一測試資料為多個第一區塊；
該測試資料產生系統分割該第二測試資料為多個第二區塊，並計算各該多個第二區塊的一區塊差異率，該多個第二區塊分別對應到該多個第一區塊；
該測試資料產生系統根據該多個第二區塊中區塊差異率小於一預設門檻值的一或多個第二區塊的內容，分別調整與該一或多個第二區塊相對應的一或多個第一區塊的內容，以產生調整後的第一測試資料；
該測試資料產生系統變異該調整後的第一測試資料與該第二測試資料；以及
該測試資料產生系統合併變異後的第一測試資料與變異後的第二測試資料，以產生該模糊測試資料。在這些實施例中，可選擇地，測試資料產生方法5還可包含：該測試資料產生系統根據該第二裝置的前一輪測試結果，決定該調整後的第一測試資料與該第二測試資料的變異型態的權重。
除了上述實施例之外，測試資料產生方法5還包含與測試資料產生系統11的上述所有實施例相對應的其他實施例。因本發明所屬技術領域中具有通常知識者可根據上文針對測試資料產生系統11的說明而瞭解測試資料產生方法5的這些其他實施例，於此不再贅述。
雖然本文揭露了多個實施例，但該等實施例並非用以限制本發明，且在不脫離本發明的精神和範圍的情況下，該等實施例的等效物或方法(例如，對上述實施例進行修改及/或合併)亦是本發明的一部分。本發明的範圍以申請專利範圍所界定的內容為準。
5‧‧‧測試資料產生方法
501、502‧‧‧步驟

Claims (10)

  1. 一種測試資料產生系統，包含：一儲存器，用以儲存用來測試至少一第一裝置的第一測試資料、以及用來測試一第二裝置的第二測試資料，該第一測試資料與該第二測試資料符合同一協定；一處理器，與該儲存器電性連接，且用以根據至少該第一測試資料與該第二測試資料產生模糊測試資料；以及一收發器，與該處理器電性連接，且用以傳送該模糊測試資料給該第二裝置，以測試該第二裝置；其中，該處理器還用以：分割該第一測試資料為多個第一區塊；分割該第二測試資料為多個第二區塊，並計算各該多個第二區塊的一區塊差異率，該多個第二區塊分別對應到該多個第一區塊；根據該多個第二區塊中區塊差異率小於一預設門檻值的一或多個第二區塊的內容，分別調整與該一或多個第二區塊相對應的一或多個第一區塊的內容，以產生調整後的第一測試資料；以及合併至少該調整後的第一測試資料與該第二測試資料，以產生該模糊測試資料。
  2. 如請求項1所述的測試資料產生系統，其中該處理器還用以：基於該調整後的第一測試資料與該第二測試資料，透過一機器學習模型產生符合該同一協定的第三測試資料；以及合併該調整後的第一測試資料、該第二測試資料與該第三測試資 料，以產生該模糊測試資料。
  3. 一種測試資料產生系統，包含：一儲存器，用以儲存用來測試至少一第一裝置的第一測試資料、以及用來測試一第二裝置的第二測試資料，該第一測試資料與該第二測試資料符合同一協定；一處理器，與該儲存器電性連接，且用以根據至少該第一測試資料與該第二測試資料產生模糊測試資料；以及一收發器，與該處理器電性連接，且用以傳送該模糊測試資料給該第二裝置，以測試該第二裝置；其中，該處理器還用以：分割該第一測試資料為多個第一區塊；分割該第二測試資料為多個第二區塊，並計算各該多個第二區塊的一區塊差異率，該多個第二區塊分別對應到該多個第一區塊；根據該多個第二區塊中區塊差異率小於一預設門檻值的一或多個第二區塊的內容，分別調整與該一或多個第二區塊相對應的一或多個第一區塊的內容，以產生調整後的第一測試資料；變異該調整後的第一測試資料與該第二測試資料；以及合併變異後的該調整後的第一測試資料與變異後的第二測試資料，以產生該模糊測試資料。
  4. 如請求項3所述的測試資料產生系統，其中該處理器還用以：根據該第二裝置的前一輪測試結果，決定該調整後的第一測試資料與該第二測試資料的變異型態的權重。
  5. 如請求項1-4任一項所述的測試資料產生系統，其中該第一測試資料是由該至少一第一裝置傳送給該收發器，且該第二測試資料是由該第二裝置傳送給該收發器。
  6. 一種測試資料產生方法，包含：一測試資料產生系統根據至少第一測試資料與第二測試資料產生模糊測試資料，其中該第一測試資料用來測試至少一第一裝置，且該第二測試資料用來測試一第二裝置，其中該測試資料產生系統產生該模糊測試資料的步驟還包含：該測試資料產生系統分割該第一測試資料為多個第一區塊；該測試資料產生系統分割該第二測試資料為多個第二區塊，並計算各該多個第二區塊的一區塊差異率，該多個第二區塊分別對應到該多個第一區塊；該測試資料產生系統根據該多個第二區塊中區塊差異率小於一預設門檻值的一或多個第二區塊的內容，分別調整與該一或多個第二區塊相對應的一或多個第一區塊的內容，以產生調整後的第一測試資料；以及該測試資料產生系統合併至少該調整後的第一測試資料與該第二測試資料，以產生該模糊測試資料；以及該測試資料產生系統傳送該模糊測試資料給該第二裝置，以測試該第二裝置。
  7. 如請求項6所述的測試資料產生方法，還包含：該測試資料產生系統基於該調整後的第一測試資料與該第二測試資 料，透過一機器學習模型產生符合該同一協定的第三測試資料；以及該測試資料產生系統合併該調整後的第一測試資料、該第二測試資料與該第三測試資料，以產生該模糊測試資料。
  8. 一種測試資料產生方法，包含：一測試資料產生系統根據至少第一測試資料與第二測試資料產生模糊測試資料，其中該第一測試資料用來測試至少一第一裝置，且該第二測試資料用來測試一第二裝置，其中該測試資料產生系統產生該模糊測試資料的步驟還包含：該測試資料產生系統分割該第一測試資料為多個第一區塊；該測試資料產生系統分割該第二測試資料為多個第二區塊，並計算各該多個第二區塊的一區塊差異率，該多個第二區塊分別對應到該多個第一區塊；該測試資料產生系統根據該多個第二區塊中區塊差異率小於一預設門檻值的一或多個第二區塊的內容，分別調整與該一或多個第二區塊相對應的一或多個第一區塊的內容，以產生調整後的第一測試資料；該測試資料產生系統變異該調整後的第一測試資料與該第二測試資料；以及該測試資料產生系統合併變異後的該調整後的第一測試資料與變異後的第二測試資料，以產生該模糊測試資料；以及該測試資料產生系統傳送該模糊測試資料給該第二裝置，以測試該第二裝置。
  9. 如請求項8所述的測試資料產生方法，還包含： 該測試資料產生系統根據該第二裝置的前一輪測試結果，決定該調整後的第一測試資料與該第二測試資料的變異型態的權重。
  10. 如請求項6-9任一項所述的測試資料產生方法，還包含：該測試資料產生系統從該至少一第一裝置接收該第一測試資料；以及該測試資料產生系統從該第二裝置接收該第二測試資料。
TW108140848A 2019-11-11 2019-11-11 測試資料產生系統及測試資料產生方法 TWI781354B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108140848A TWI781354B (zh) 2019-11-11 2019-11-11 測試資料產生系統及測試資料產生方法
JP2019216818A JP6992039B2 (ja) 2019-11-11 2019-11-29 テストデータ作成システムおよびテストデータ作成方法
US16/699,482 US11397664B2 (en) 2019-11-11 2019-11-29 System and method for producing test data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108140848A TWI781354B (zh) 2019-11-11 2019-11-11 測試資料產生系統及測試資料產生方法

Publications (2)

Publication Number Publication Date
TW202119253A TW202119253A (zh) 2021-05-16
TWI781354B true TWI781354B (zh) 2022-10-21

Family

ID=75845462

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108140848A TWI781354B (zh) 2019-11-11 2019-11-11 測試資料產生系統及測試資料產生方法

Country Status (3)

Country Link
US (1) US11397664B2 (zh)
JP (1) JP6992039B2 (zh)
TW (1) TWI781354B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734161B2 (en) * 2020-01-31 2023-08-22 Raytheon Company System and method for fuzzing test orchestration using reinforcement learning
DE102020213891A1 (de) * 2020-11-04 2022-05-05 Robert Bosch Gesellschaft mit beschränkter Haftung Computerimplementiertes Verfahren und Vorrichtung zur Auswahl einer Fuzzing-Methode zum Testen eines Programmcodes
CN115809622B (zh) * 2023-01-19 2023-05-02 南京集成电路产业服务中心有限公司 具有自动优化配置功能的芯片仿真加速系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044480A (en) * 1996-12-06 2000-03-28 Ncr Corporation Message generation and verification for a communication network
CN104796240A (zh) * 2015-04-30 2015-07-22 北京理工大学 一种有状态网络协议的模糊测试系统
US20150319072A1 (en) * 2014-05-05 2015-11-05 Ixia Methods, systems, and computer readable media for providing fuzz testing functionality
US20170187585A1 (en) * 2015-12-26 2017-06-29 Tze-Hui Yew Technologies for validating operations of devices
US20180197106A1 (en) * 2017-01-09 2018-07-12 International Business Machines Corporation Training data set determination
US20180359273A1 (en) * 2017-06-09 2018-12-13 Raytheon Company Tactical bus fuzz tester
US20190109872A1 (en) * 2017-10-05 2019-04-11 Honeywell International Inc. Intelligent automated security vulnerability detection and analysis for industrial internet of things (iiot) devices

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01233526A (ja) * 1988-03-15 1989-09-19 Fujitsu Ltd データアクセス及びプログラム呼出方式
JP2006227820A (ja) 2005-02-16 2006-08-31 Nomura Research Institute Ltd プログラムテストシステム及びプログラムテスト方法
JP5278310B2 (ja) 2007-03-29 2013-09-04 日本電気株式会社 診断システム
JP5290026B2 (ja) 2009-03-31 2013-09-18 日立建機株式会社 作業機械の学習診断システム、状態診断装置及び状態学習装置
US10037266B2 (en) * 2016-04-01 2018-07-31 Sony Interactive Entertainment America Llc Game stream fuzz testing and automation
JP6533484B2 (ja) 2016-04-22 2019-06-19 日本電信電話株式会社 テストデータ生成プログラム及びテストデータ生成方法
US20170308701A1 (en) 2016-04-22 2017-10-26 Qualcomm Incorporated Methods and Systems for Intelligently Detecting Malware and Attacks on Client Computing Devices and Corporate Networks
JP2018098707A (ja) 2016-12-15 2018-06-21 富士通株式会社 通信ノード試験装置、通信ノード試験方法およびプログラム
US10452526B2 (en) 2017-06-15 2019-10-22 Microsoft Technology Licensing, Llc Machine learning for constrained mutation-based fuzz testing
US20190044942A1 (en) 2017-08-01 2019-02-07 Twosense, Inc. Deep Learning for Behavior-Based, Invisible Multi-Factor Authentication
US11004012B2 (en) * 2017-11-29 2021-05-11 International Business Machines Corporation Assessment of machine learning performance with limited test data
US10515002B2 (en) * 2018-01-08 2019-12-24 Accenture Global Solutions Limited Utilizing artificial intelligence to test cloud applications
US11134456B2 (en) * 2018-07-18 2021-09-28 Octoscope Inc. System and method for synchronizing protocol and RF analyzers during wireless testing
US11205504B2 (en) * 2018-12-19 2021-12-21 Cardinal Health Commercial Technologies, Llc System and method for computerized synthesis of simulated health data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044480A (en) * 1996-12-06 2000-03-28 Ncr Corporation Message generation and verification for a communication network
US20150319072A1 (en) * 2014-05-05 2015-11-05 Ixia Methods, systems, and computer readable media for providing fuzz testing functionality
CN104796240A (zh) * 2015-04-30 2015-07-22 北京理工大学 一种有状态网络协议的模糊测试系统
US20170187585A1 (en) * 2015-12-26 2017-06-29 Tze-Hui Yew Technologies for validating operations of devices
US20180197106A1 (en) * 2017-01-09 2018-07-12 International Business Machines Corporation Training data set determination
US20180359273A1 (en) * 2017-06-09 2018-12-13 Raytheon Company Tactical bus fuzz tester
US20190109872A1 (en) * 2017-10-05 2019-04-11 Honeywell International Inc. Intelligent automated security vulnerability detection and analysis for industrial internet of things (iiot) devices

Also Published As

Publication number Publication date
TW202119253A (zh) 2021-05-16
JP6992039B2 (ja) 2022-01-13
US11397664B2 (en) 2022-07-26
JP2021077307A (ja) 2021-05-20
US20210141715A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
TWI781354B (zh) 測試資料產生系統及測試資料產生方法
Desta et al. Rec-CNN: In-vehicle networks intrusion detection using convolutional neural networks trained on recurrence plots
El-Khatib Impact of feature reduction on the efficiency of wireless intrusion detection systems
US11381599B2 (en) Cyber chaff using spatial voting
CN109947740B (zh) 区块链系统的性能优化方法及装置
Thamilarasu iDetect: an intelligent intrusion detection system for wireless body area networks
KR20190121373A (ko) 시스템 아키텍처를 표현하는 가중 속성 그래프 데이터 모델
CN114615094A (zh) 一种基于物联网和安全芯片的存储方法及装置
WO2023159812A1 (zh) 一种ami网络入侵检测的方法、装置及介质
WO2019107149A1 (ja) ビットアサイン推定装置、ビットアサイン推定方法、プログラム
TWI682295B (zh) 測試資料產生裝置及測試資料產生方法
CN110120874B (zh) 基于物理不可克隆函数的轻量级密钥共享方法
Chatterjee et al. Machine learning assisted PUF calibration for trustworthy proof of sensor data in IoT
Gu et al. Intrusion detection system based on improved abc algorithm with tabu search
Chen et al. Reliability of wireless sensors with code attestation for intrusion detection
Gaglio et al. A TRNG exploiting multi-source physical data
CN114722388B (zh) 一种数据库数据信息安全监视方法
Huang A Data‐Driven WSN Security Threat Analysis Model Based on Cognitive Computing
TWI730927B (zh) 模糊測試裝置及模糊測試方法
Pang et al. Modeling the Trade-off between Throughput and Reliability in a Bluetooth Low Energy Connection
Alshahrani et al. A Transfer Learning Approach to Discover IDS Configurations Using Deep Neural Networks
CN110945832A (zh) 对称群体认证的方法和系统
TWI812355B (zh) 無線網路系統與其資料傳輸方法
Zhang Security Technology of Wireless Sensor Internet of Things Based on Data Fusion.
Farook et al. An Efficient Layered Approach for Intrusion Detection System

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent