TWI510915B - Computer automated test system and test methods, recording media and program products - Google Patents
Computer automated test system and test methods, recording media and program products Download PDFInfo
- Publication number
- TWI510915B TWI510915B TW103118565A TW103118565A TWI510915B TW I510915 B TWI510915 B TW I510915B TW 103118565 A TW103118565 A TW 103118565A TW 103118565 A TW103118565 A TW 103118565A TW I510915 B TWI510915 B TW I510915B
- Authority
- TW
- Taiwan
- Prior art keywords
- recording
- verification module
- test
- signal
- tested
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
- Software Systems (AREA)
Description
本發明有關於一種電腦之技術領域,特別有關於一種電腦之自動化測試系統及測試方法、記錄媒體及程式產品。
工業電腦或BIOS(Basic Input Output System,基本輸入輸出系統)製造商在修改程式碼或硬體設計之後,要經過一連串的測試,以確保新的修正以及新的主機板能夠正常的執行之外,舊有的功能沒有遭到破壞。例如,對於習知的主機板測試系統而言,由於進行測試時可能用到多個測試程式以進行不同的測試功能或流程。然而,這些測試往往伴隨著大量人工,並耗費大量的時間。
有鑒於上述問題,本發明之目的係提供一種電腦之自動化測試系統及測試方法、記錄媒體及程式產品,其利用錄製(Capture)及重播(Replay)的技術,讓測試工程師先在一個正確的系統操作一個測試案例,由自動化測試系統將測試過程錄製下來,以編輯成一個正確的系統行為案例,作為未來回歸測試的正確性參考,當電腦或BIOS有更動或更新而需要檢驗時,這些錄製的測試案例會在待測系統上被自動地執行,無須測試工程師手動地重複操作這些測試案例,而可減少大量人工及節省大量的時間。
本發明之第一態樣提供一種電腦之自動化測試方
法,其包括下列步驟:由一錄製重播驗證模組讀取一系統測試目錄中之一事件檔內之一鍵盤信號或一滑鼠信號、及由該鍵盤信號或該滑鼠信號觸發之延遲時間;由該錄製重播驗證模組根據觸發之延遲時間,經由一通用串列匯流排模擬器傳送該鍵盤信號或該滑鼠信號至待測之一待測系統;根據該鍵盤信號或該滑鼠信號而進行操作之待測之該待測系統發出至少一個回應至該錄製重播驗證模組;以及由該錄製重播驗證模組將該至少一個回應以字串形式與該系統測試目錄中正確之一文字檔內之字串進行驗證比對,或者由該錄製重播驗證模組根據該至少一個回應送出一影像擷取信號至一影像擷取模組,由該影像擷取模組於待測之該待測系統擷取一影像截圖,並將該影像截圖轉換成一影像截圖影像檔以傳送至該錄製重播驗證模組,而由該錄製重播驗證模組將對應於待測之該待測系統之該影像截圖影像檔與該系統測試目錄中正確之該影像截圖影像檔進行驗證比對。
本發明之第二態樣提供一種電腦之自動化測試系統,其包括:一錄製重播驗證模組,接收一鍵盤或一滑鼠所輸出之一鍵盤信號或一滑鼠信號,並接收一待測系統所輸出之至少一個回應;一影像擷取模組,電連接該錄製重播驗證模組與該待測系統;以及一通用串列匯流排模擬器,電連接該錄製重播驗證模組與該待測系統;
其中,由該錄製重播驗證模組、該影像擷取模組及該通用串列匯流排模擬器執行本發明第一態樣之方法。
本發明之第三態樣提供一種內儲一程式之記錄媒體,當一自動化測試系統於該記錄媒體載入該程式並執行後,可完成本發明第一態樣之方法。
本發明之第四態樣提供一種內儲一程式之程式產品,當一自動化測試系統於程式產品載入該程式並執行後,可完成本發明第一態樣之方法。
20‧‧‧錄製重播驗證模組
22‧‧‧影像擷取模組
24‧‧‧USB模擬器
26‧‧‧鍵盤
28‧‧‧滑鼠
30‧‧‧待測系統
圖1為本發明之用於測試電腦之自動化測試系統之方塊圖,圖2為本發明之自動化測試系統操作於錄製模式的情況之流程圖,圖3A為本發明之系統測試畫面之示意圖,圖3B為本發明之在系統測試畫面中建立系統測試目錄之示意圖,圖3C為本發明之在系統測試畫面中之系統測試目錄中建立事件檔、影像檔及文字檔等目錄之示意圖,圖4為本發明之顯示待測系統之影像之示意圖,圖5為本發明之儲存一事件檔之示意圖,圖6為本發明之在系統測試畫面開啟事件檔之示意圖,圖7為本發明之擷取待測系統的影像之示意圖,圖8為本發明之在系統測試畫面開啟事件檔之示意圖,圖9為本發明之擷取待測系統的影像之示意圖,
圖10為本發明之在系統測試畫面開啟螢幕截圖影像檔之示意圖,圖11為本發明之自動化測試系統操作於重播模式的情況之流程圖,圖12為本發明之顯示待測系統之一影像之示意圖,以及圖13為本發明在系統測試畫面中顯示測試成功或失敗之示意圖。
為使熟習本發明所屬技術領域之一般技藝者能更進一步了解本發明,下文特列舉本發明之較佳實施例,並配合所附圖式,詳細說明本發明的構成內容及所欲達成之功效。
圖1為本發明之用於測試電腦之自動化測試系統之方塊圖。在圖1中,自動化測試系統包括一錄製重播驗證模組20、一影像擷取模組22及一USB(Universal Serial Bus,通用串列匯流排)模擬器24。
錄製重播驗證模組20接收一鍵盤26或一滑鼠28所輸出之一鍵盤信號或一滑鼠信號,並接收一待測系統30所輸出之至少一個回應。影像擷取模組22電連接錄製重播驗證模組20與如工業電腦之待測系統30。USB模擬器24電連接錄製重播驗證模組20與待測系統30。
錄製重播驗證模組20將所接收之鍵盤信號轉換成字串資料(例如英文字母字符),並將所接收之滑鼠信號轉換成數位資料(例如座標位置及移動速度的資料),錄製重播驗證模組20將所轉換之字串資料或數位資料儲存成一事件檔,該事件檔亦包括由鍵盤
信號或滑鼠信號觸發之延遲時間,且錄製重播驗證模組20將字串資料或數位資料傳送至USB模擬器24,USB模擬器24將所接收之字串資料或數位資料再分別轉換成鍵盤信號或滑鼠信號,並輸出至待測系統30,以作為待測系統30之操作指令或資料之用。
錄製重播驗證模組20送出一錄製信號至影像擷取模組22,影像擷取模組在接收到該錄製信號後接收由待測系統30所輸出之影像,並將所接收之影像轉換成一接收影像檔以傳送至錄製重播驗證模組20,而由錄製重播驗證模組20根據該接收影像檔於一螢幕(未圖示)上之系統測試畫面中顯示待測系統30目前所執行之影像。
在自動化測試系統於錄製模式的情況,錄製重播驗證模組20接收待測系統30所送出之至少一個回應,並將該至少一個回應以字串形式儲存成一文字檔。錄製重播驗證模組20根據所接收之至少一個回應將目前在系統測試畫面中顯示之影像所對應之接收影像檔設定為正確之螢幕截圖影像檔,而由錄製重播驗證模組20儲存該螢幕截圖影像檔於系統測試目錄中,螢幕截圖影像檔可作為驗證比對之用,以作為正確之待測系統30之影像。
錄製重播驗證模組20在接收一先行條件信號後,將目前在系統測試畫面中顯示之影像所對應之接收影像檔設定為先行條件影像檔,而由錄製重播驗證模組20儲存該先行條件影像檔於系統測試目錄中,先行條件影像檔可作為後續觸發事件之用,以進行錄製正確之待測系統30之影像。
其中,錄製重播驗證模組20在錄製正確之待測系統30之影像之前,錄製重播驗證模組20會將先前暫存之分別相應鍵盤信
號或滑鼠信號之字串資料或數位資料及觸發之延遲時間儲存成一個新的事件檔。
在自動化測試系統於錄製模式的情況,錄製重播驗證模組20將正確之待測系統30之事件檔、作為後續觸發事件之用之先行條件影像檔、作為驗證比對用正確之螢幕截圖影像檔及文字檔之至少一個依正確之待測系統30之在測試操作時先後建立檔案之順序依序地儲存在一系統測試目錄中。
在自動化測試系統於重播模式的情況,錄製重播驗證模組20讀取系統測試目錄中之事件檔、先行條件影像檔、正確之螢幕截圖影像檔及文字檔。錄製重播驗證模組20讀取事件檔內之相應於鍵盤信號之字串資料或相應於滑鼠信號之數位資料及由鍵盤信號或滑鼠信號觸發之延遲時間,錄製重播驗證模組20將字串資料或數位資料及延遲時間傳送至USB模擬器24,USB模擬器24將所接收之字串資料或數位資料轉換成相應之鍵盤信號或滑鼠信號,並根據延遲時間傳送鍵盤信號或滑鼠信號至待測之待測系統30,使待測之待測系統30依據鍵盤信號或滑鼠信號操作其程序。
待測之待測系統30依據執行事件檔內字串資料或數位資料所相應之鍵盤信號或滑鼠信號操作其程序時,待測之待測系統30操作程序的過程中送出至少一個回應至錄製重播驗證模組20,錄製重播驗證模組20根據該至少一個回應送出影像擷取信號至影像擷取模組22,影像擷取模組22於待測之待測系統30擷取其目前所執行之程序的螢幕截圖,並將該螢幕截圖轉換成螢幕截圖影像檔以傳送至錄製重播驗證模組20,錄製重播驗證模組20讀取系統測試目錄中在該執行事件檔之後之先行條件影像檔,並將對應於待測之
待測系統30之螢幕截圖影像檔與先行條件影像檔進行驗證比對,當比較兩者影像檔之內容一致時,錄製重播驗證模組20讀取系統測試目錄中在先行條件影像檔之後的事件檔並繼續執行之。
再者,待測之待測系統30依據執行事件檔內字串資料或數位資料所相應之鍵盤信號或滑鼠信號操作其程序時,待測之待測系統30操作程序的過程中送出一回應至錄製重播驗證模組20,錄製重播驗證模組20將該回應以字串形式與系統測試目錄中正確之一文字檔內之字串進行驗證比對,錄製重播驗證模組20依據驗證比對的結果送出正確或失敗之訊息;或者,錄製重播驗證模組20根據該回應送出影像擷取信號至影像擷取模組22,影像擷取模組22於待測之待測系統30擷取目前所執行之程序的螢幕截圖,並將該螢幕截圖轉換成螢幕截圖影像檔以傳送至錄製重播驗證模組20,錄製重播驗證模組20讀取系統測試目錄中正確之螢幕截圖影像檔,並將對應於待測之待測系統30之螢幕截圖影像檔與正確之螢幕截圖影像檔進行驗證比對,錄製重播驗證模組20依據驗證比對的結果送出正確或失敗之訊息。
在由錄製重播驗證模組20將對應於待測系統30之螢幕截圖影像檔與系統測試目錄中之先行條件影像檔或正確之螢幕截圖影像檔進行驗證比對時,錄製重播驗證模組20可以係採用以全操作畫面進行驗證比對、擷取部分操作畫面進行驗證比對或操作畫面經過光學文字辨認(Optical Character Recognition,OCR)之後所獲得之文字進行驗證比對。
圖2為本發明之自動化測試系統操作於錄製模式的情況之流程圖。在說明圖2之流程步驟時參考圖1之組件。
自動化測試系統利用錄製的技術,在自動化測試系統操作於錄製模式的情況,讓測試工程師先在一個如工業電腦之正確的待測系統操作一個測試案例,由自動化測試系統將正確的待測系統之測試過程錄製下來,以編輯成一個正確的系統行為案例,而作為未來回歸測試的正確性參考。
在圖2中,準備正確之待測系統30以作為在自動化測試系統操作於錄製模式時之待測系統。由錄製重播驗證模組20執行一自動化測試軟體而於螢幕(未圖示)上顯示一系統測試畫面(步驟S40),如圖3A為本發明之系統測試畫面之示意圖所示。測試工程師於系統測試畫面中建立一個新的測試案例,亦即建立一個新的系統測試目錄,如圖3B為本發明之在系統測試畫面中建立系統測試目錄之示意圖所示,並在系統測試目錄中建立事件檔之目錄、影像檔之目錄及文字檔之目錄等,如圖3C為本發明之在系統測試畫面中之系統測試目錄中建立事件檔、影像檔及文字檔等目錄之示意圖所示。
測試工程師於系統測試畫面中點選一錄製按鈕而產生一錄製信號至錄製重播驗證模組20,此時,影像擷取模組22接收正確之待測系統30目前所執行之程序所輸出的影像,並將所接收之影像轉換成一接收影像檔以傳送至錄製重播驗證模組20,而由錄製重播驗證模組20執行該接收影像檔而於系統測試畫面中顯示正確之待測系統30目前所執行之程序之影像(步驟S42),如圖4為本發明之顯示待測系統之一影像之示意圖所示。
測試工程師於正確之待測系統30之操作畫面中藉由鍵盤26或滑鼠28將鍵盤信號或滑鼠信號輸出至錄製重播驗證模組20,由錄製重播驗證模組20將所接收之鍵盤信號轉換成字串資料
(例如英文字母字符),並將所接收之滑鼠信號轉換成數位資料(例如座標位置及移動速度的資料),錄製重播驗證模組20會暫存字串資料或數位資料,亦會暫存由鍵盤26或滑鼠28所觸發的延遲時間。
接著,錄製重播驗證模組20將相應於鍵盤信號或滑鼠信號之字串資料或數位資料傳送至USB模擬器24,USB模擬器24將所接收之字串資料或數位資料再分別轉換成鍵盤信號或滑鼠信號,並將其信號輸出至正確之待測系統30,以作為正確之待測系統30之操作指令或資料之用(步驟S44)。
測試工程師可依實際需求,在自動化測試的任何一個測試時間點,將操作鍵盤26或滑鼠28所產生之事件儲存成一事件檔,亦即由錄製重播驗證模組20將暫存之至少一個相應於鍵盤信號或滑鼠信號之字串資料或數位資料儲存成一個事件檔,而可將整個自動化測試過程中所有鍵盤26或滑鼠28所產生之事件儲存成數個事件檔,如圖5為本發明之儲存一事件檔之示意圖所示,其中該事件檔亦包括由鍵盤信號或滑鼠信號觸發之延遲時間(步驟S46)。
該儲存事件檔可以在系統測試畫面中開啟其內容,並且可對該事件檔之內容進行編輯,如圖6為本發明之在系統測試畫面開啟事件檔之示意圖所示。其中,由鍵盤信號或滑鼠信號觸發之延遲時間可以參數值形式來取代,可使在測試工業電腦時依參數值之設定而縮短其測試時間。
以鍵盤事件的觸發為例,鍵盤事件係通常以測試工程師操作鍵盤26的時間間隔(即延遲時間)做為基準。但是不同的待測系統30在執行其程序時所產生的回應時間長短可能不一定,若自動化測試系統等待該待測系統30之回應的等待時間不夠長而送出鍵
盤事件給待測系統30,則在後續的重播模式可能發生重播錯誤,亦即在自動測試待測系統30的過程中,由於自動化測試系統未收到待測系統30之回應便送鍵盤事件給待測系統30,因而造成鍵盤事件的遺失而使自動化測試失敗;若自動化測試系統等待該待測系統30之回應的等待時間太長,則造成自動化測試的時間過長。若要縮短自動化測試的等待時間,可以在適當的時間點由測試工程師選擇擷取正確之待測系統30的影像,來作為待測系統30之後續事件觸發的先行條件(precondition),如圖7為本發明之擷取待測系統的影像之示意圖所示。自動化測試系統在重播測試案例時可以在前述先行條件滿足下,自動化測試系統逕行觸發後續的事件而傳送至待測系統30。
在適當的時間點由測試工程師選擇擷取正確之待測系統30的操作畫面時,測試工程師點選一先行條件按鈕以發出一先行條件信號至錄製重播驗證模組20,由錄製重播驗證模組20將目前在系統測試畫面中顯示之影像所對應之接收影像檔設定為一先行條件影像檔,錄製重播驗證模組20將該先行條件影像檔依錄製模式中儲存檔案的順序儲存於系統測試目錄中,以將該先行條件影像檔作為進行後續觸發事件之用(步驟S48)。
當測試工程師選擇擷取正確之待測系統30的影像時,錄製重播驗證模組20在接收該先行條件信號之後,先由錄製重播驗證模組20將所有鍵盤26或滑鼠28之事件(即鍵盤26或滑鼠28輸出之鍵盤信號或滑鼠信號)儲存於一事件檔中,並將該事件檔存放於系統測試目錄中,之後再由錄製重播驗證模組20錄製先行條件影像檔。
測試工程師可開啟並編輯該事件檔,如圖8為本發明之在系統測試畫面開啟事件檔之示意圖所示。其中,儲存該事件檔之順序係在步驟S48中儲存該先行條件影像檔之順序之前。
測試工程師持續測試正確之待測系統30,當正確之待測系統30傳送一回應至錄製重播驗證模組20以作為待測系統30的正確行為驗證點時,由錄製重播驗證模組20將該回應以字串形式儲存成一文字檔於系統測試目錄中;或由錄製重播驗證模組20根據該回應將目前在系統測試畫面中顯示之影像(待測系統30之相應該回應之影像,如圖9為本發明之擷取待測系統的影像之示意圖所示)所對應之接收影像檔設定為正確之螢幕截圖影像檔,並將正確之螢幕截圖影像檔儲存於系統測試目錄中,如圖10為本發明之在系統測試畫面開啟螢幕截圖影像檔之示意圖所示(步驟S50)。
在自動化測試系統操作於重播模式時,錄製重播驗證模組20可將相應正確之待測系統30之文字檔及螢幕截圖影像檔作為驗證比對待測之待測系統30之文字檔及螢幕截圖影像檔是否正確之用。
當測試工程師擷取正確之待測系統30之作為正確行為驗證點的文字字串或影像時,錄製重播驗證模組20在儲存文字字串或錄製影像之前,由錄製重播驗證模組20先將所有鍵盤26或滑鼠28之事件(即鍵盤26或滑鼠28輸出之鍵盤信號或滑鼠信號)儲存於一事件檔中,並將該事件檔存放於系統測試目錄中。其中,儲存該事件檔之順序係在步驟S50中儲存該文字檔或該螢幕截圖影像檔之順序之前。
實施步驟S50之後,判斷是否完成測試正確之待測系
統30之測試案例的錄製,亦即判斷是否完成測試正確之待測系統30之所有測試(步驟S52),若未完成錄製,則進行步驟S44;若完成錄製,則產生作為測試待測之待測系統30之測試腳本的系統測試目錄(步驟S54)。錄製重播驗證模組20將正確之待測系統30之事件檔、作為後續觸發事件之用之先行條件影像檔、正確之操作畫面影像檔及文字檔之至少一個依正確之待測系統30之在測試操作時先後建立檔案之順序依序地儲存在系統測試目錄中。
圖11為本發明之自動化測試系統操作於重播模式的情況之流程圖。在說明圖11之流程步驟時參考圖1之組件。
當工業電腦或BIOS有更動或更新而需要檢驗時,自動化測試系統利用重播的技術,在自動化測試系統操作於重播模式的情況,讓測試工程師將操作在錄製模式所錄製的測試案例(即系統測試目錄)會在待測系統上被自動地執行,無須測試工程師手動地重複操作這些測試案例,而可減少大量人工及節省大量的時間。
在圖11中,由錄製重播驗證模組20執行一自動化測試軟體而於螢幕(未圖示)上顯示一系統測試畫面(步驟S60),如圖3A所示。
測試工程師於系統測試畫面中點選一重播按鈕而產生一重播信號至錄製重播驗證模組20,此時,影像擷取模組22接收待測之待測系統30目前所執行之程序所輸出的影像,並將所接收之影像轉換成一接收影像檔以傳送至錄製重播驗證模組20,而由錄製重播驗證模組20執行該接收影像檔而於系統測試畫面中顯示待測之待測系統30目前所執行之程序之一影像(步驟S62),如圖12為本發明之顯示待測系統之一影像之示意圖所示。
接著,錄製重播驗證模組20讀取由測試工程師指定之系統測試目錄(即測試腳本)以對待測之待測系統30進行測試。錄製重播驗證模組20讀取系統測試目錄中之一事件檔內的字串資料(例如英文字母字符)或數位資料(例如座標位置及移動速度的資料)以及由鍵盤26或滑鼠28所觸發的延遲時間,並將所讀取之字串資料或數位資料以及延遲時間傳送至USB模擬器24,USB模擬器24將所接收之字串資料或數位資料再分別轉換成鍵盤信號或滑鼠信號,並依據相應之延遲時間將鍵盤信號或滑鼠信號輸出至待測之待測系統30,以作為待測之待測系統30之操作指令或資料之用(步驟S64)。
待測之待測系統30接收USB模擬器24所輸出之鍵盤信號或滑鼠信號以執行其相應之程序,而錄製重播驗證模組20欲控制USB模擬器24再次輸出鍵盤信號或滑鼠信號至待測之待測系統30,則錄製重播驗證模組20等待由待測之待測系統30執行程序時所產生的回應,在錄製重播驗證模組20接收到待測之待測系統30所傳送之至少一個回應時,由錄製重播驗證模組20送出影像擷取信號至影像擷取模組22,而由影像擷取模組22在接收到影像擷取信號後於待測之待測系統30擷取其回應時之螢幕截圖,並將該螢幕截圖轉換成螢幕截圖影像檔以傳送至錄製重播驗證模組20,錄製重播驗證模組20讀取系統測試目錄中先行條件影像檔,由錄製重播驗證模組20比對相應待測之待測系統30之螢幕截圖影像檔與作為進行後續觸發事件之用之先行條件影像檔(步驟S66)。其中,錄製重播驗證模組20可以係採用以全操作畫面進行驗證比對、擷取部分操作畫面進行驗證比對或操作畫面經過光學文字辨認後所獲得之文字進行驗證比對。
若待測之待測系統30無產生回應,則錄製重播驗證模組20於步驟S66中等待由待測之待測系統30產生回應;若比對相應待測之待測系統30之螢幕截圖影像檔與作為進行後續觸發事件用之先行條件影像檔一致,則錄製重播驗證模組20於系統測試目錄中讀取儲存順序在先行條件影像檔之後的事件檔內的字串資料或數位資料以及由鍵盤26或滑鼠28所觸發的延遲時間,並將所讀取之字串資料或數位資料以及延遲時間傳送至USB模擬器24,USB模擬器24將所接收之字串資料或數位資料再分別轉換成鍵盤信號或滑鼠信號,並依據相應之延遲時間將鍵盤信號或滑鼠信號輸出至待測之待測系統30,以作為待測之待測系統30之操作指令或資料之用(步驟S68)。
待測之待測系統30接收USB模擬器24所輸出之鍵盤信號或滑鼠信號以執行其相應之程序,由自動化測試系統欲驗證待測之待測系統30之執行程序是否正確,則錄製重播驗證模組20等待由待測之待測系統30執行程序時所產生的回應,在錄製重播驗證模組20接收到待測之待測系統30所傳送之回應時,由錄製重播驗證模組20讀取系統測試目錄中之一文字檔,並將該回應以字串形式與該文字檔內之字串進行驗證比對;或者,由錄製重播驗證模組20送出影像擷取信號至影像擷取模組22,而由影像擷取模組22在接收到影像擷取信號後於待測之待測系統30擷取其回應時之螢幕截圖,並將該螢幕截圖轉換成螢幕截圖影像檔以傳送至錄製重播驗證模組20,錄製重播驗證模組20讀取系統測試目錄中正確之螢幕截圖影像檔,由錄製重播驗證模組20驗證比對相應待測之待測系統30之螢幕截圖影像檔與正確之螢幕截圖影像檔(步驟S70)。其中,錄製重播驗
證模組20可以係採用以全操作畫面進行驗證比對、擷取部分操作畫面進行驗證比對或操作畫面經過光學文字辨認後所獲得之文字進行驗證比對。
若驗證比對該回應之字串與該文字檔內之字串不一致或驗證比對相應待測之待測系統30之螢幕截圖影像檔與正確之螢幕截圖影像檔不一致,則由錄製重播驗證模組20產生一失敗訊息而顯示於系統測試畫面中,並結束自動化測試之程序,如圖13為本發明在系統測試畫面中顯示測試成功或失敗之示意圖所示(步驟S72)。
若驗證比對該回應之字串與該文字檔內之字串一致或驗證比對相應待測之待測系統30之螢幕截圖影像檔與正確之螢幕截圖影像檔一致,則判斷自動化測試系統是否完成測試待測之待測系統30之測試案例的重播,亦即判斷是否完成測試待測之待測系統30之所有測試(步驟S74),若未完成重播,則進行步驟S64;若完成重播,則由錄製重播驗證模組20產生一成功訊息而顯示於系統測試畫面中,如圖13所示(步驟S76)。
本發明之上述工業電腦之自動化測試方法可以一程式型態來完成,並可將該程式儲存於一記錄媒體,當自動化測試系統於該記錄媒體載入該程式並執行後,便可完成如上述說明及圖式中所示之方法步驟。
同樣地,本發明之上述之方法可以一程式產品來完成,當系統例如從網路下載該程式產品並執行後,便可完成如上述說明及圖式中所示之方法步驟。
本發明係提供一種電腦之自動化測試系統及測試方
法、記錄媒體及程式產品,其優點係利用錄製及重播的技術,讓測試工程師先在一個正確的系統操作一個測試案例,由自動化測試系統將測試過程錄製下來,以編輯成一個正確的系統行為案例,作為未來回歸測試的正確性參考,當電腦或BIOS有更動或更新而需要檢驗時,這些錄製的測試案例會在待測系統上被自動地執行,無須測試工程師手動地重複操作這些測試案例,而可減少大量人工及節省大量的時間。
雖然本發明已參照較佳具體例及舉例性附圖敘述如上,惟其應不被視為係限制性者。熟悉本技藝者對其形態及具體例之內容做各種修改、省略及變化,均不離開本發明之申請專利範圍之所主張範圍。
20‧‧‧錄製重播驗證模組
22‧‧‧影像擷取模組
24‧‧‧USB模擬器
26‧‧‧鍵盤
28‧‧‧滑鼠
30‧‧‧待測系統
Claims (10)
- 一種電腦之自動化測試方法,其包括下列步驟:由一錄製重播驗證模組讀取一系統測試目錄中之一事件檔內之一鍵盤信號或一滑鼠信號、及由該鍵盤信號或該滑鼠信號觸發之延遲時間;由該錄製重播驗證模組根據觸發之延遲時間,經由一通用串列匯流排模擬器傳送該鍵盤信號或該滑鼠信號至待測之一待測系統;根據該鍵盤信號或該滑鼠信號而進行操作之待測之該待測系統發出至少一個回應至該錄製重播驗證模組;以及由該錄製重播驗證模組將該至少一個回應以字串形式與該系統測試目錄中正確之一文字檔內之字串進行驗證比對,或者由該錄製重播驗證模組根據該至少一個回應送出一影像擷取信號至一影像擷取模組,由該影像擷取模組於待測之該待測系統擷取一螢幕截圖,並將該螢幕截圖轉換成一螢幕截圖影像檔以傳送至該錄製重播驗證模組,而由該錄製重播驗證模組將對應於待測之該待測系統之該螢幕截圖影像檔與該系統測試目錄中正確之該螢幕截圖影像檔進行驗證比對。
- 如申請專利範圍第1項之方法,其中,在由該錄製重播驗證模組讀取該系統測試目錄之步驟之前,包括以下步驟:準備正確之該待測系統;由該錄製重播驗證模組於一螢幕上顯示一系統測試畫面;由該錄製重播驗證模組送出一錄製信號至該影像擷取模組,由該影像擷取模組接收正確之該待測系統所輸出之影像,並將所接收之影像轉換成一接收影像檔以傳送至該錄製重播驗證模 組,而由該錄製重播驗證模組執行該接收影像檔而於該系統測試畫面中顯示正確之該待測系統所輸出之影像;由該鍵盤或該滑鼠輸出該鍵盤信號或該滑鼠信號至該錄製重播驗證模組,由該錄製重播驗證模組暫存該鍵盤信號或該滑鼠信號,並將其信號經由該通用串列匯流排模擬器傳送至正確之該待測系統;由該錄製重播驗證模組將暫存之該鍵盤信號或該滑鼠信號儲存成該事件檔,其中該事件檔亦包括由該鍵盤信號或該滑鼠信號觸發之延遲時間;在正確之該待測系統發出該至少一個回應至該錄製重播驗證模組時,由該錄製重播驗證模組將該至少一個回應以字串形式儲存成該文字檔,或由該錄製重播驗證模組根據該至少一個回應將目前在該系統測試畫面中顯示之影像所對應之該接收影像檔設定為正確之該螢幕截圖影像檔,以將正確之該文字檔及該螢幕截圖影像檔作為驗證比對之用;以及由該錄製重播驗證模組將正確之該待測系統之該事件檔、正確之該螢幕截圖影像檔及該文字檔之至少一個儲存在該系統測試目錄中。
- 如申請專利範圍第2項之方法,更包括以下步驟:由該錄製重播驗證模組接收一先行條件信號,將目前在該系統測試畫面中顯示之影像所對應之該接收影像檔設定為一先行條件影像檔,而將該先行條件影像檔以作為進行後續觸發事件之用;以及由該錄製重播驗證模組將該先行條件影像檔儲存在該系統測試目錄中。
- 如申請專利範圍第3項之方法,其中,在待測之該待測系統發出該至少一個回應至該錄製重播驗證模組之步驟之後,更包括下列步驟:由該錄製重播驗證模組根據該至少一個回應送出該影像擷取信號至該影像擷取模組,由該影像擷取模組於待測之該待測系統擷取該螢幕截圖,並將該螢幕截圖轉換成該螢幕截圖影像檔以傳送至該錄製重播驗證模組,而由該錄製重播驗證模組將對應於待測之該待測系統之該螢幕截圖影像檔與該系統測試目錄中之該先行條件影像檔進行驗證比對;以及當對應於待測之該待測系統之該螢幕截圖影像檔與該先行條件影像檔驗證比對為一致時,由該錄製重播驗證模組根據下一個事件檔內之觸發之延遲時間經由該通用串列匯流排模擬器傳送該鍵盤信號或該滑鼠信號至待測之該待測系統。
- 如申請專利範圍第4項之方法,其中,在由該錄製重播驗證模組將對應於待測之該待測系統之該螢幕截圖影像檔與該系統測試目錄中正確之該螢幕截圖影像檔或該先行條件影像檔進行驗證比對之步驟中,係採用以全操作畫面進行驗證比對、擷取部分操作畫面進行驗證比對及操作畫面經過光學文字辨認後所獲得之文字進行驗證比對之其中一者。
- 如申請專利範圍第3項之方法,其中,在由該錄製重播驗證模組接收該先行條件信號之步驟之前,由該錄製重播驗證模組將暫存之該鍵盤信號或該滑鼠信號及由該鍵盤信號或該滑鼠信號觸發之延遲時間儲存成新的該事件檔。
- 如申請專利範圍第2項之方法,其中,由該錄製重播驗證模組將該鍵盤信號轉換成字串資料,並將該滑鼠信號轉換成數位資 料,由該錄製重播驗證模組暫存所轉換之字串資料及數位資料並傳送至該通用串列匯流排模擬器,由該通用串列匯流排模擬器將所接收之字串資料及數位資料分別轉換成該鍵盤信號或該滑鼠信號,並輸出至該待測系統。
- 一種電腦之自動化測試系統,其包括:一錄製重播驗證模組,接收一鍵盤或一滑鼠所輸出之一鍵盤信號或一滑鼠信號,並接收一待測系統所輸出之至少一個回應;一影像擷取模組,電連接該錄製重播驗證模組與該待測系統;以及一通用串列匯流排模擬器,電連接該錄製重播驗證模組與該待測系統;其中,由該錄製重播驗證模組、該影像擷取模組及該通用串列匯流排模擬器執行申請專利範圍第1至7項中任一項之方法。
- 一種內儲一程式之記錄媒體,當一自動化測試系統於該記錄媒體載入該程式並執行後,可完成申請專利範圍第1至7項中任一項之方法。
- 一種內儲一程式之程式產品,當一自動化測試系統於程式產品載入該程式並執行後,可完成申請專利範圍第1至7項中任一項之方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103118565A TWI510915B (zh) | 2014-05-28 | 2014-05-28 | Computer automated test system and test methods, recording media and program products |
US14/714,263 US9841826B2 (en) | 2014-05-28 | 2015-05-16 | Automatic test system and test method for computer, record medium, and program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103118565A TWI510915B (zh) | 2014-05-28 | 2014-05-28 | Computer automated test system and test methods, recording media and program products |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201544952A TW201544952A (zh) | 2015-12-01 |
TWI510915B true TWI510915B (zh) | 2015-12-01 |
Family
ID=54701887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103118565A TWI510915B (zh) | 2014-05-28 | 2014-05-28 | Computer automated test system and test methods, recording media and program products |
Country Status (2)
Country | Link |
---|---|
US (1) | US9841826B2 (zh) |
TW (1) | TWI510915B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI696959B (zh) * | 2018-06-12 | 2020-06-21 | 蟲洞科技股份有限公司 | 機台參數擷取裝置 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10445166B2 (en) * | 2014-06-24 | 2019-10-15 | International Business Machines Corporation | System verification of interactive screenshots and log files between client systems and server systems within a network computing environment |
CN105338399A (zh) * | 2015-10-29 | 2016-02-17 | 小米科技有限责任公司 | 图像获取方法及装置 |
US9348727B1 (en) * | 2015-11-18 | 2016-05-24 | International Business Machines Corporation | Enhancing GUI automation testing using video |
US20180165180A1 (en) * | 2016-12-14 | 2018-06-14 | Bank Of America Corporation | Batch File Creation Service |
CN107589818B (zh) * | 2017-09-13 | 2022-01-21 | 上海摩软通讯技术有限公司 | 移动终端的自启动测试系统及其测试方法 |
CN107704385A (zh) * | 2017-09-15 | 2018-02-16 | 天津大学 | 基于Appium的手机地图路况加载时延自动测试方法 |
CN107870861A (zh) * | 2017-10-10 | 2018-04-03 | 上海壹账通金融科技有限公司 | 网页爬取的并发测试方法及应用服务器 |
CN108268376A (zh) * | 2018-01-18 | 2018-07-10 | 郑州云海信息技术有限公司 | 一种基于linux平台测试进度自动化统计方法 |
CN108491322A (zh) * | 2018-03-06 | 2018-09-04 | 平安科技(深圳)有限公司 | 自动化测试方法、装置及存储介质 |
CN109189662B (zh) * | 2018-06-27 | 2022-05-20 | 苏州华兴源创科技股份有限公司 | 一种tsp控制设备、测试装置和方法 |
CN110864722A (zh) * | 2018-08-28 | 2020-03-06 | 精英电脑股份有限公司 | 具有远程控制功能的检测装置与系统 |
CA3119214A1 (en) * | 2018-11-09 | 2020-05-14 | Citrix Systems, Inc. | Automated keyboard mapping for virtual desktops |
TWI691836B (zh) * | 2018-11-20 | 2020-04-21 | 神雲科技股份有限公司 | 基本輸入輸出系統的開機階段辨識方法 |
CN109753217B (zh) * | 2018-12-11 | 2021-01-29 | 航天信息股份有限公司 | 动态键盘操作方法、装置、存储介质及电子设备 |
CN112203042B (zh) * | 2020-09-10 | 2022-08-05 | 福建升腾资讯有限公司 | 一种云桌面操作响应时间测试方法、系统、设备及介质 |
CN112182581B (zh) * | 2020-09-24 | 2023-10-13 | 百度在线网络技术(北京)有限公司 | 应用测试方法、装置、应用测试设备和存储介质 |
CN113905001B (zh) * | 2021-09-15 | 2023-06-06 | 深圳市六度人和科技有限公司 | 一种自动回复方法、装置、计算机设备及可读存储介质 |
CN116126568B (zh) * | 2021-11-12 | 2024-02-09 | 博泰车联网(大连)有限公司 | 故障复现方法、装置、设备和可读存储介质 |
CN115408302B (zh) * | 2022-10-31 | 2023-01-10 | 天津华来科技股份有限公司 | 一种app多语文案测试方法及系统 |
CN115982018B (zh) * | 2022-12-21 | 2024-03-29 | 北京水木羽林科技有限公司 | 一种基于ocr的ui测试方法、系统、计算机设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI230857B (en) * | 2002-11-12 | 2005-04-11 | Via Tech Inc | Automatic motherboard testing system and method |
TWI237981B (en) * | 2004-06-04 | 2005-08-11 | Lite On Technology Corp | Automatic system and method for testing mobile phone |
TW200611114A (en) * | 2004-09-17 | 2006-04-01 | Mitac Technology Corp | Automatic test equipment for computer device and processing method thereof |
TW200700760A (en) * | 2005-06-27 | 2007-01-01 | Agilent Technologies Inc | Systems, methods and computer programs for calibrating an automated circuit test system |
US7343558B2 (en) * | 2005-03-31 | 2008-03-11 | Teradyne, Inc. | Configurable automatic-test-equipment system |
US7392438B2 (en) * | 2004-11-24 | 2008-06-24 | Fsp Technology Inc. | Automatic safety test system |
TWI330772B (zh) * | 2007-04-24 | 2010-09-21 | Top Victory Invest Ltd |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5218605A (en) * | 1990-01-31 | 1993-06-08 | Hewlett-Packard Company | Software modules for testing computer hardware and software |
CA2358563A1 (en) * | 2001-10-05 | 2003-04-05 | Ibm Canada Limited - Ibm Canada Limitee | Method and system for managing software testing |
US7162407B2 (en) * | 2001-12-03 | 2007-01-09 | Ms1-Microsoft Corporation | Testing a host's support for peripheral devices |
US7613597B2 (en) * | 2006-01-20 | 2009-11-03 | International Business Machines Corporation | Non-intrusive method for simulation or replay of external events related to an application process, and a system implementing said method |
US7840948B2 (en) * | 2006-11-21 | 2010-11-23 | International Business Machines Corporation | Automation of keyboard accessibility testing |
CN101634860A (zh) * | 2008-07-21 | 2010-01-27 | 鸿富锦精密工业(深圳)有限公司 | 模拟控制设备及应用该模拟控制设备的测试系统及方法 |
US8185910B2 (en) * | 2008-08-27 | 2012-05-22 | Eric Sven-Johan Swildens | Method and system for testing interactions between web clients and networked servers |
US8667468B2 (en) * | 2011-06-14 | 2014-03-04 | International Business Machines Corporation | Software accessibility testing |
CN103810089B (zh) * | 2012-11-12 | 2021-12-03 | Sap欧洲公司 | 自动测试基于姿态的应用 |
US9418181B2 (en) * | 2013-01-09 | 2016-08-16 | Apple Inc. | Simulated input/output devices |
-
2014
- 2014-05-28 TW TW103118565A patent/TWI510915B/zh active
-
2015
- 2015-05-16 US US14/714,263 patent/US9841826B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI230857B (en) * | 2002-11-12 | 2005-04-11 | Via Tech Inc | Automatic motherboard testing system and method |
TWI237981B (en) * | 2004-06-04 | 2005-08-11 | Lite On Technology Corp | Automatic system and method for testing mobile phone |
TW200611114A (en) * | 2004-09-17 | 2006-04-01 | Mitac Technology Corp | Automatic test equipment for computer device and processing method thereof |
US7392438B2 (en) * | 2004-11-24 | 2008-06-24 | Fsp Technology Inc. | Automatic safety test system |
US7343558B2 (en) * | 2005-03-31 | 2008-03-11 | Teradyne, Inc. | Configurable automatic-test-equipment system |
TW200700760A (en) * | 2005-06-27 | 2007-01-01 | Agilent Technologies Inc | Systems, methods and computer programs for calibrating an automated circuit test system |
TWI330772B (zh) * | 2007-04-24 | 2010-09-21 | Top Victory Invest Ltd |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI696959B (zh) * | 2018-06-12 | 2020-06-21 | 蟲洞科技股份有限公司 | 機台參數擷取裝置 |
Also Published As
Publication number | Publication date |
---|---|
TW201544952A (zh) | 2015-12-01 |
US9841826B2 (en) | 2017-12-12 |
US20150347270A1 (en) | 2015-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI510915B (zh) | Computer automated test system and test methods, recording media and program products | |
CN108959068B (zh) | 软件界面测试方法、设备及存储介质 | |
WO2018010552A1 (zh) | 测试方法和装置 | |
KR101881804B1 (ko) | 게임 테스트 자동화 장치 및 방법 | |
US10162742B2 (en) | System and method for end to end performance response time measurement based on graphic recognition | |
TWI622877B (zh) | System and method for recording and replaying mouse behavior, recording media and program products | |
US20160132421A1 (en) | Adaptation of automated test scripts | |
CN107391333B (zh) | 一种osd磁盘故障测试方法及系统 | |
US20080127103A1 (en) | Dynamic deneration and implementation of globalization verification testing for user interface controls | |
US9720791B2 (en) | Device, method and program for performing system testing | |
US20120254662A1 (en) | Automated test system and automated test method | |
US9501388B2 (en) | Method and system for creating reference data | |
US9471472B2 (en) | Method and system for entering information | |
CN112860587B (zh) | Ui自动测试方法和装置 | |
CN117494638A (zh) | 芯片功能的验证方法、验证平台、电子设备及存储介质 | |
CN111078529A (zh) | 客户端写入模块测试方法、装置、电子设备 | |
US20090066984A1 (en) | Device setting apparatus, device setting method, information acquiring apparatus, information acquiring method, storage medium, and program | |
JP3206096B2 (ja) | 入力データ処理装置 | |
US20240211360A1 (en) | Method and system for test script generation and execution | |
JP6072547B2 (ja) | アプリケーション・テストシステム | |
CN111427731B (zh) | 一种自动化拆分码流及验证码流的测试方法和系统 | |
JP5799589B2 (ja) | 検証方法及び検証プログラム | |
CN111522737B (zh) | 一种前端界面的自动化测试校验方法、装置及存储介质 | |
CN118193376A (zh) | 一种测试方法、系统、电子设备、存储介质及测试终端 | |
CN114741303A (zh) | 一种测试脚本的生成方法、装置及电子设备 |