TW201229749A - An automated operating system test framework - Google Patents

Description

201229749 六、發明說明： 【發明所屬之技術領域】 本發明係關於自動測試計算系統，且牲^ _ H & δ之係關於 自動測试计异系統之支援介面元件。 ' 【先刖技術】 在該技術中已熟知具有各種測試工具及測試器具，以 測試計算系統。就此而言需要特別關注的測試之一個區 域係處於測試系統中，該等測試系統意欲對外表現為該 等測武系統狀似其他系統—例如，以下測試系統：該 等測試系統經設計成模擬其他系統或系統架構或使其他 系統或系統架構虛擬化’同時該等測試系統具有不同的 内部結構、指令序列及操作特性。另—實例為測試經修 改或增強m以決定㈣、統仍支援前導系統之所有 =能及行為特性（有時稱為「回歸（session)測試」）。 田作業系統之運算子命令行介面在增強之後需要經過測 式時力田作業系統需要使作業系統之命令行介面特性 :見於不同架構上時，需要大量略為重複的測試，從而 成缺乏充足涵蓋範圍及人為錯誤之潛在問題，該等潛 在問題由測試任務之本質引起。 比、、:通㊉已知自動測試系統，但是該等自動測試系統 6未解決以上所述之特定㈣。舉例而f，考慮跨平臺 -用程式轉泽器之測試。在一種示例性情況下，此跨平 201229749 $轉譯15允許為—個作業系統/CPU對而編寫之應用，以 :完全：同的作業系統/CPU對上執行。該技術需要傳 、…作業系統，該附隨作業系統與主機作業系統一 。以及跨平臺應用程式轉譯器’該跨平臺應用程 式議用：該附隨作業系統與該主機作業系統之間的 橋標。在此環琦φ φίΒ&Α 兄中需要自動測試該附隨作業系統，以 確保在使用給定轉譯層的情 統二進制皆以與作章：：二集之下的作業系 、作業系統—·進制在參考平臺上完全相同 的操作方式而進行操作。 在測試下層作業系統二進制時，熟習此項技術者將理 ，需要考慮二進制間的任何相依關係。舉例而言，回 應於在目料H執㈣處的命令而執行對 之測試，對該二進制之測試取決於建立目錄且向目錄提 供擋㈣：進制。因此，檔案調處：進制無法得到測試， 直至已°式驗制定二進制之該目錄及檔案為止。 因此，很難滿万银_认：a ;下層二進制之窮舉及考慮相依性 的自動測4之要求，#| 層二進制在介面層處由複合 命令集表不。因此，霞 需要解決已知測試系統之此等 【發明内容】 因此’本發明在第一 統之方法，該方法包含 複數個系統介面元件； 態樣中提供自動測試第一計算系 以下步驟：識別第二計算系統之 決定在該經識別的複數個系統介 201229749 面元件中之一個系統介面元件的該第一計算系統處的未 經測試之狀態；決定該經識別的複數個系統介面元件中 之該一個系統介面元件對該經識別的複數個系統介面元 件中之另一個系統介面元件的任何相依性的存在；回應 於找尋料存在該相依性，在儲存庫巾尋H统介面元 件測試’該系統介面元件測試對應於該經識別的複數個 系統介面元件中之該—個系統介面元件，且該系統介面 元件測試具有根據該第二計算系統之結構的預期輸出； 以及執行該系統介面元件測試於該第一計算系統處。 "亥方法可進-步包含以下步驟：回應於找尋到存在該 相依f生在D亥儲存庫中尋覓另一系統介面元件測試，該 另系統介面7L件測試對應於該經識別的複數個系統介 面元件中之該另—個备姑At-Μ 個系統介面70件；以及執行該另—系 先"面兀件測式於該第一計算系統處。該方法可進一步 13以下步驟·回應於該尋見步驟失敗，該尋見步驟用 f找尋該系統介面元件測試或該另-系統介面元件測 式而建立新的測試，該新的測試對應於該經識別的複 數個系統介面元件中 ,. T之5玄一個系統介面元件；執行該新 的測試於該第二計董金从士 .、 。异系，洗處；以及將該新的測試及預期 ^儲存於該鍺存〇，該預期輸出對應於該在該第二 系、.先處執仃該新的測試之步驟的輸出。 該方法可進一Α .^步包含以下步驟：將該在該第一計算系 出2 Λ仃^糸統介面元件测試或該新的測試之步驟的輸 25興该儲存庫中夕 Τ之該預期輸出進行比較；以及回應於該 201229749 執仃步驟之該輸出與該預_出之間的失配，引出使用 輪入。杈佳該使用者輸入選擇性地遮蔽該測試之該輸 ▲ 、 °p刀。較佳該第一計算系統經配置以模擬該第二 計算系統之操作。 在第二態樣中’提供一種用於自動測試第一計算系統 系統，该系統包含：識別組件，該識別組件用於識別 二…十算系統之複數個系統介面元件；決定組件，該決 定、且件用於在該經識別的複數個系統介面元件中之一個 统介面兀件的該第一彳算系统冑決定未經測試的狀 :，決疋組件，該決定組件用於決定該經識別的複數個 :、|面元件中之3玄一個系統介面元件對該經識別的複 數個系統介面兀件中之另一個系統介面元件的任何相依 性的存在；尋覓組件，該尋覓組件用於在一儲存庫中尋 覓系統介面元件測試而回應於找尋到不存在該相依 14該系統介面元件測試對應於該經識別的複數個系統 介面元件中之該—個系統介面元件，且該系統介面元件 測試具有根據該第二計算系統之結構的預期輪出；以及 執行組件，該執行組件用於在該第一計算系統處執行該 系統介面元件測試。 該系統可進-步包含：該尋覓組件，該尋覓組件在該 儲存庫中尋覓另一系統介面元件測試而進一步回應於找 J存在„亥相依性，該另一系統介面元件測試對應於該 經識別的複數個系統介面元件中之該另一個系統介面元 件，以及该執行組件，該執行組件進一步經調適成在該 7 201229749 第一計算系統處執行該另—系統介面元件測試。 於該系統可進一步包含：創建器組件，該創建器組件用 Γ應於料覓步料敗，料Μ㈣㈣尋該^ 面70件測試或該另-系統介面元件測試，而建立新的 該新㈣試對應於該經識料複數料統介面元 :„亥自系統;|面凡件；該執行組件，該執行組 進-步經調適成在該第二計算系統處執行 =儲存組件，該儲存組❹於㈣新的測 = =儲存於該儲存庫t，該預期輸出對應於該在該第= 算糸統處執行該新的測試之步驟的輸出。 於一步包含：比較器組件’該比較器組件用 坊左 、’’处執行該系統介面元件測試戋 ==測試之步驟的輸出與該儲存庫中之該預期輸出進 乂，以及輸入引出組件，該輸入引出組件回應於該 =驟之該輸出與該預期輸出之間的失配，引出使用 出的—部:佳該使用者輸入選擇性地遮蔽該測試之該輸 較佳該第一外苜φ μ , 操作。 。算系、、先經配置以模擬該第二計算系統之 在第-‘4樣中，提供—種電腦 電腦程式碼 /钱程式i 3 該電… 電腦程式碼載入電腦系統中且在 行時，使該電腦系統執行根據第一態樣 之方法的所有步驟。 在示例性實施例中’因此本發明提供一種系統、方法 201229749 及電腦程式，該系統、方法& i ^ @ m 乃忒及m驷私式用於以一 統執行作業系統之每一個別命 ’、 依性，s-女古斗，也# v /方式考慮命令的相 亥方式為夕個並行測試寫入器、即時回饋、多 個平臺及測試可攜性作好準備。 【實施方式】 /如以上先前技術部分中所述’難以滿^對於下層作業 糸統二進制之窮舉及考慮相依性的自動測試之要求，該 等下層作業系統二進制在介面層處由複合命令集表示。 根據較佳實施例之示例性系統可創始性地用以測試任 何作業系統，特定言之，可為任何類Unix作業系統該 任何類Unix作業系統係與用以執行該作業系統之硬體 無關，無論此硬體為真實硬體或虛擬硬體。該系統具有 網路化的前端，該網路化的前端由以下組成：互動式測 試開發介面；資料庫，該資料庫儲存測試及相關聯的結 果；以及後端’該後端經由各種通訊方法（咖、胸、 網路插座、FTP)與遠端測試機進行遠端互動，以執行測 式並擷取結果。該等測試在網路介面中被寫成標準作業 系統命令’且系統自該等命令產生一或更多外殼手跡； 將此等外殼手跡傳送至㈣機絲行。當測試寫入器僅 需要輸入系、统命令時’測試寫入器不冑要具有程式經 驗。當類Unix作業系統經常共享許多相同的核心命令 時，此等測試可再次被利用，及在許多作業系統上共享。 9 201229749 統之關鍵部分在於：該系統擴展到許 者寫入及執行測試，且該系統慮及在測試寫人器在數秒 獲得對測試寫入器之測試的回饋時’進行快速測 = ·、、、第1圖’第！圓圖示根據本發明之較佳實施例 、'’。第1圖圖示用於自動測試第一計算系统ι〇2之 且系統1〇0包含：識別組件104，識別組件 刚用於識別第二計算系統⑽之複數個系統介面元件 =二獨立識別第一計算系請之複數個系統介面 107°系統介面元件】06與系統介面元件1〇 集係針對測試開發。 乂 :般技術者將顯而易[此處所描述的系統為簡化 、’且實際上本發明之實施例將涵蓋複數 102 ' 1〇8 〇 | 穴·糸統 系統1〇〇包含：第一決定組件"〇,第一決定組件 用於在該複數個线介面元件刚中之_者之第 系統⑽4決定未經測試的狀態；以及第二決定組= 二12第—决疋組件112用於自元資料決定該複數 "面凡件⑽中之—者對該複數個系統介面元件1〇6中 ^另—者的任何相依性的存在，該元資料由創建器122 提仏系統1〇0亦包含：尋覓組件1 尋覓組件】14 用於回應於找㈣不存在相依性，在儲存庫u6 系統介面元件測試118’系統介面元件測試⑴ 複數個系統介面元件⑽中之―者，且㈣ 201229749 試11 8具有根據第二 r斤系統1 〇 8之社播沾益w 以及執行組件120，勃〜* '° 、頁翊輪出； 10? 執仃組件12〇用於在第一叶笪多 處執行系統介面元件測試118β 算系統 在較佳實施例t ’第— -·*+曾么 丫鼻系統1 02經配置以描 一计算系統1 08之操作。 1 ^模擬第 為了啟動測試根據最佳配 常需要三台機器： 《作業系統心U組合，通 Α·-台词服器’該伺服器通常為執 I^ux機及網路伺服器 庫之X86 ..,.y 磓㊉為爪乂叫】及apache)〜〜 此系統保存儲存庫〗〗6 ; B.個客戶端（該客戶端實質為# μ 制辞搶^ I買馮遇知測試機，該遠端 測4機執行該組合，該遠 疋嗎 知J 6式機思欲用以測試該組合 且通吊執行SSH)——肤系站机选 此系統對應於第一計算系統1〇2; 以及 C.—個參考平臺’在該參考平臺處執行命令，以建立 比較之基礎——此系統對應於第二計算系統⑽。 測試機被提供儘可能多的不同配置選項，該等配置選 項可用於該參考平皋。+趨l 、 哼千臺此舉允許測試儘可能與機器無 關，測試儘可能與機器無關，這對於測試可靠性、可攜 性及品質是必要的。 i系統啟動，該糸統與資料庫進行通訊，且該系 統開始執行對選定專案之測試，該選定專案尚未具有任 何記錄結果。該系統自動決定遠端測試機之架構及作業 系統’該系統經導引以使用該遠端測試機，^該系、统隨 201229749 後：嘗试執行與該架構/作業系統組合相關聯之測n 系統1〇〇亦可包含：創建器組件mi _ 用於回應於尋見步驟失敗，該尋見步驟用於找尋統Γ 面元件測試118或另一系統介面元件測言式124，== 一參考計算系統123處建立新的測試，該新=第 於該複數個系統介面元件106中之一 、忒對應 執行組件120經調適成在第 ’仃組件120, 一 舁系統1 〇8處執 的測試；以及儲存組件126，儲存組件！ = :測試及預期輸出儲存於健存…，該„ = 計算…。8處根據第二參考 =仃該新的測試之步驟的輸出。創建器122具備對於 正在開發中的測試之執行狀態及結果的即時回饋。、 因:’若在資料庫中不存在用於遠端機上之组合的測 =系統對遠端機自動進行二進制檔案「二進 且向資料庫局部提供關於該等二進制之細節， ㈣Γ進制需要為該等二進制所編寫的測試，且該等二 :記錄每一個二進制之描述（在該作業系統能夠 k供6亥描述的情況下）。 之7使新組合在網路介面中出現，且在需要為新組合 :進制編寫測試時’將新組合之子二進制加上旗 :測:試寫入器隨後讀取作業系統文件，並選擇二進制 ，較佳實施例之系統1GG中m件114係經調適 在該儲存庫中尋見另—系統介面元件測試124以回應 12 201229749 於找尋到存在相依性，該另— 應於該複數個系統介面元件1〇6::面：件測試m對 組件m進一步經調適成在 ：另-者；以及執行 另一系統介面元件測試。 ’、統1 〇2處執行該 因此，最初前幾個二進制經任立 測试開始開發，則建立對於 ^選擇；隨後，一旦 此I M t -V & 4 1 <自然優先級。執杆 此舉的方式為該測試寫入器包執仃 統命令，該等系統命令用於測試二進:广他系 當前為二進制編寫測試 “…、’先命令 1有較-w 以相依的系統命令視為 該等系統命令趨向於是系統上最常 、p 7 。备寫入更多測試時，合 万丨志# θ動L地產生此優先級 表。右二進制具有愈多相依性，目丨 . 所賦予的優先級愈高。 ’該一進制的測試 平Γ寫入器隨後執行該二進制，該等系統命令在參考 使用相關聯選項對二進制進行測試’且該測試寫 7輸入命令及預期輸出至系統中。該系統隨後在測試 機上自動地執行該命令，且若輪出與所預期的匹配，則 該系統返回報告。若測試與準確的輸出匹配，則此情況 ^為通過’且將此情況指示為通過。若測試耗時超過標 ?逾寺（例如，1 〇秒），則請求再次執行具有π秒逾時 的j °式並將該測試設置為較低優先級。 田第次執行最快的執行測試時，此舉允許快速回 饋。若執行第二次測試時，測試仍未在20秒内完全執 仃，則再次引起測試之逾時，此次逾時至40秒。若第三 13 201229749 次測試時，測試未在40秒内結束，則將㈣試標示為手 動檢查。若測試在遠端測試機上執行，且該輸出與參考 平臺之輸出不匹配，則將該測試決定為失敗。 該系統可進一步包含··比較器組件128，比較器組件 ⑵用於將在[計算系統1()2處執行該系統介面元件 測試或該新的測試之步驟的輸出與儲存庫ιΐ6中之預期 輸出比較；以及輸入引出組件130,輸入引出組件π〇 用於回應於執行㈣之輸出與該_輸出之間的失配， 引出使用者輸人。該使用者輸入可選擇性地遮蔽測試之 輸出的一部分。 人該系統記錄輸出之差異，且此差異清楚地顯示於網路 二：。在數個情況下，測試之輸出將由於機器與機器 :某些特點的不同（諸如唯一的主機名及巧位址）而 隨之變化，在此等情況下，該測試寫人器將在來自系统 的回饋中識別此等情況，£啰 M寫入器將在輸出中提 己。此專標記為一組標準物件，該等標準物件已知 路協=題，諸如’特定主機名、使用者名稱、網際網 路：乘—t。，位址、曰期、時間 的者與使㈣在輸出中嘗試遮蔽 刀配，則使用者亦能選擇寫入使用者自己的正 現表不式。 =測試執行完成時，系統評估需要執行的測試， 擇—個測試並執行該測試；此整個程序 僅數秒内完成，且此整個程序可預期為接近於即時完 14 201229749 :連：未完成的測試之數目變得過多，則可 資料庫中將測試標㈣的鎖定機制可用以在 時執行相同的測試。 μ止在多個機器上同 之規右保測忒編寫的品質’測試小组將定期檢視系統中 _試’且若該測試小組認為測試編寫且完成得較 試小組將在該系統中標示投票。若測試接收到 執夂：則在二進制之主要列表中將該測試標示為需要 ::夕的工作。除非對於該等測試而言，該等測試具 的贊成票’否則所有測試視為未完成。具有多個 反對示之測試視為具有檢視及校正之較高優先級。 入第2圖圖不自動測試第—計算系統之方法，該方法包 3以下步驟：在開始步驟之後，識別第二計算系統 之複數個系統介而；#丄 件中之一個系統介面元件（步驟 )»亥系統"面几件在第一計算系統處具有未經測試 之狀態，決定測試之存在（步驟2G4),且在步驟212處決 定該複數個系統介面元件中之一者對該複數個系統介面 牛中之$者的任何相依性的存纟；回應於找尋到不 存在該相依性，在儲存庫巾尋見系統介面元件測試（步驟 213) ’該系統介面元件測試對應於該複數個系統介面元 件中之一者，且兮· &入 D系、、先"面元件測試具有根據該第二計 算f統之結構的預期輸出；以及在該第—計算系統處執 行°玄系、克；丨面几件測試（步驟214)。若在步驟216十決定 另一測試有待執行’則系統返回至步驟202。 15 201229749 3於找尋到存在相依性，該方法返回至步驟2〇2。 件:試下步驟：對於用於找尋系統介面元 統；1面元件測試的找尋步驟204回應為 失敗’則建立新的、节丨4 γ 土 新的測忒（步驟206)，該新的測試對應於該 複數個系統介面元 出儲存㈣儲存“之一者，將该新的測試及預期輸 …儲存庫中(步㈣8);以及在該第二計算系統 仃該新的測試（步驟2〇9)。在步驟211中，執行步驟 209之輸出與預期輸出之間的比較，且在失配的情況下， 在步驟21〇中引出輸入，在步驟21〇之後，該程序返回 至建立測試步驟2〇6。若在測試步驟211中存在匹配， 則該程序重返主程序並進入測試步驟21 2。 該方法可進一步包含以下步驟：將在該第一計算系統 處執行该系統介面元件測試或該新的測試（步驟2丨4)之 步驟的輸出與儲存庫中之預期輸出進行比較（步驟 218);以及回應於執行步驟（步驟214)之輸出與預期輸出 之間的失配，引出使用者輸入（步驟22〇)。該程序在結束 步驟222處完成。 一般技術者將容易瞭解，對以上所述之實施例之各種 其他修改將對於一般技術者而言是顯而易見的。 熟習此項技術者將顯而易見，本發明之方法可適合地 實施於邏輯設備中，該邏輯設備包含執行該方法之步驟 的邏輯構件’且該邏輯構件可包含硬體組件或韌體組件。 將瞭解以上所述之方法亦可適合地完全或部分執行於 軟體中’該軟體在一或更多處理器（未圖示）上執行， 16 201229749 且該軟體可提供為電腦程式元件，該電腦程式元件負載 於任何適合的資料載體（亦未圖示）（諸如，電腦磁碟或 光碟）上。用於傳輸資料之通道同樣可包括所有描述中 的儲存媒體以及信號負載媒體，諸如，有線或無線信號 媒體。 ’ 本發明可適合地應用於電腦程式產品，以用於電腦系 統。此應用可包含一系列電腦可讀取指令，該等電腦可 讀取指令固定於有形媒體上，諸如’電腦可讀取媒體（例 如，磁片、CD-ROM、ROM或硬碟），或可經由數據機或 其他介面裝置，經由有形媒體或無形地使用無線技術傳 輸至電腦系統，該有形媒體包括（但不限於）光學或類 比通訊線路’該無線技術包括（但不限於）微波 '紅外 或其他傳輸技術。該系列電腦可讀取指令以本文先前所 描述的功能性之全部或部分來實施。 熟習此項技術者將瞭解此等電腦可讀取指令可用數個 程式語言來編寫’以用於許多電腦架構或作業系統。此 外’此等指令目前或將來可使用任何記憶體技術來儲 存’或此等指令目前或將來可使用任何通訊技術來傳 輸’該記憶體技術包括（但不限於）半導體、磁性或光 學技術’該通訊技術包括（但不限於）光學、紅外或微 波技術。預期此電腦程式產品可分散為具有隨附列印的 或電子文件之可移除媒體（例如，拆封授權軟體 (shrink-wrapped software)，該軟體用電腦系統例如在系 統ROM或固定磁碟上預載入）’或此電腦程式產品可自 17 201229749 飼服器或電子佈告攔分散於網路 球資訊網）上。 (例如 網際網路或全 【圖式簡單說明】 現將參閱隨附圖式 實施例，在圖式中： 僅以舉例方式描述本發明之較佳 第 第 1圖圖示根據本發 2圖圖示根據本發 明之較佳實施例之系統；以及 明之較佳實施例之方法的步驟 【主要元件符號說明】 100 系統 104 識別組件 107 系統介面元件 110 第一決定組件 114 尋覓組件 118 系統介面元件測試 122 創建器組件/創建| 124 另一系統介面元件 126 儲存組件 130 輸入弓丨出級件 202 步驟 206 步驟 209 步驟 102 第一計算系統 106 系統介面元件 108 第二計算系統 112 第二決定組件 116 儲存庫 120 執行組件 123 第一參考計算系 125 第二參考計算系 128 比較器組件 200 步驟 204 步驟 208 步驟 210 步驟 18 201229749 211 213 216 220 步驟 212 步驟 步驟 214 步驟 步驟 218 步驟 步驟 222 步驟 19

Claims (1)

1. 201229749 七、申請專利範圍： 1. -種自動測試一第-計算系統之方法，財法包含以下 步驟： 識別一第二計算系統之複數個系統介面元件； 決定在該經識別的複數個系統介面元件中之一個系 統介面元件的該第一计算系統處的一未經測試之狀態； 決定該經識別的複數個系統介面元件中之該一個系 統介面元件對該經識別的複數個系統介面元件中之另一 個系統介面元件的任何相依性的存在； 回應於找尋到不存在該相依性，在一儲存庫中尋見 一系統介面元件測試，該系統介面元件測試對應於該經 識別的複數個系統介面元件中之該一個系統介面元件， 且該系統介面元件測試具有根據該第二計算系統之一結 構的一預期輸出；以及 執行該系統介面元件測試於該第一計算系統處。 2. 如請求項1所述之方法，該方法進一步包含以下步驟： 回應於找并到存在該相依性，在該儲存庫中尋見另 一系統介面元件測試，該另一系統介面元件測試對應於 該經識別的複數個系統介面元件中之該另一系統介面元 件；以及 執行該另一系統介面元件測試於該第一計算系統 處0 20 201229749 长項1或凊求項2所述之方法，該方法造一步包含 以下步驟： 回應於該尋見步驟之一失敗，該尋覓步驟用於找尋 h系統介面元件測試或該另一系統介面元件測試，而建 立新的測試’該新的測試對應於該經識別的複數個系 統介面元件中之該一個系統介面元件； 執行該新的測試於該第二計算系統處；以及 將忒新的測試及一預期輸出儲存於該·儲存庫中該 預期輸出對應於該在該第二計算系統處執行該新的測試 之步驟的一輸出。 如明求項1至3中任一項所述之方法，該方法進一步包 含以下步驟： 將該在該第一計算系統處執行該系統介面元件測試 或該新的測試之步驟的一輸出與該儲存庫中之該預期輸 出進行比較；以及 回應於s亥執行步驟之該輸出與該預期輪出之門的一 失配’引出一使用者輸入。 5.如請求項4所述之方H中該使用者輸人選擇性地遮 蔽該測試之该輸出的—部分。 21 201229749 6.如前述請求項中任一項所述之方法，其中該第一計算系 統經配置以模擬該第二計算系統之操作。 7. —種用於自動測試一第一計算系統之系統，該系統包含： 一識別組件，該識別組件用於識別一第二計算系統 中之複數個系統介面元件； 一決定組件，該決定組件用於在該經識別的複數個 系統介面7〇件中之一個系統介面元件的該第一計算系統 處決定一未經測試的狀態： 決定組件，該決定組件用於決定該經識別的複數 個系、，先介面元件中之該一個系統介面元件對該經識別的 複數個系統介面元件中之另一個系統介面元件的任何相 依性的存在； 一尋覓組件，該尋覓組件用於在一儲存庫中尋覓一 系統介面元件測試而回應於找尋到不存在該相依性，該 系統介面元件測試對應於該經識別的複數個系統介面元 件中之該-個系統介面元件，且該系統介面元件測試具 有根據該第二計算系統之一結構的一預期輸出；以及 :執行組件，該執行組件用於在該第_計算系統處 執订β亥糸統介面元件測試。 8.如請求項7所述之系統，該系統進一步包含： 該尋見組件，該尋見組件㈣儲存庫 統介面元件測試而進—步回應於找尋到存在該相録 22 201229749 =另—系統介面元件料對應於該經制的複數個系統 “元件令之該另-系統介面元件；以及 外/執仃組件’錢行組件進—步經調適成在該第-汁异系統處執行該另—系統介面元件測試。 9.如請^項^請求項8所述之系統，該系統進—步包含： 驟夕 A J 1器、，且件用於回應於該尋覓步 鄉（一失敗，該尋覓步跡田从上、 „ . 有於找尋該系統介面元件測試 戈該另一系統介面元件測 的測* Λ 而建立一新的測試’該新 的冽。式對應於該經識別的 個系統介面元件； 糸統"面元件中之該一 該執行組件’該執行組件 計算系統處執行該新的測試；以及以調適成在該第二 一儲存組件，該儲存 期輸出儲存於該儲存二該新的測試及一預 …“執行該新的測試之步驟的一輸出。 A如請求们^巾任-項所述之^ 含： 糸統，該系統進一步包 比較器組件’該比較器組 算系統處執行該车#八 、，件用於將該在該第—計 βΛ系統介面元件測y 的-輪出與該儲存庫 * a或該新的測試之步驟 中之5亥預期輪出進行比較·’以及 23 201229749 ~輪入引出組件 驟之該輪出與該預期 輸入0 ，該輸入引出組件回應於該執行步 輪出之間的一失配，引出一使用者 月长項ίο所述之系、统，其中該使用者輸入選擇性地 遮蔽該踯試之該輪出的一部分。 12·如請求項7 $ in rb/ 中任一項所述之系統’其，該第-計 算系統經配置以模擬該第二計算系統之操作。 13.種電腦程式，該雷腦兹十 这電腦私式儲存於一電腦可讀 上’且該電腦程式包含電腦葙 螺體 載入-電腦“ 士 在將該電腦程式碼 u統t且執行於該電m 系統執行如請求項丨至6巾任 使该電服 等步驟。 項所述之方法的所有該 24