TWI622877B - System and method for recording and replaying mouse behavior, recording media and program products - Google Patents

System and method for recording and replaying mouse behavior, recording media and program products Download PDF

Info

Publication number
TWI622877B
TWI622877B TW105114284A TW105114284A TWI622877B TW I622877 B TWI622877 B TW I622877B TW 105114284 A TW105114284 A TW 105114284A TW 105114284 A TW105114284 A TW 105114284A TW I622877 B TWI622877 B TW I622877B
Authority
TW
Taiwan
Prior art keywords
recording
verification module
mouse
replay
screen
Prior art date
Application number
TW105114284A
Other languages
English (en)
Other versions
TW201740275A (zh
Inventor
鄭永斌
Original Assignee
國立中央大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中央大學 filed Critical 國立中央大學
Priority to TW105114284A priority Critical patent/TWI622877B/zh
Priority to US15/404,664 priority patent/US20170322637A1/en
Publication of TW201740275A publication Critical patent/TW201740275A/zh
Application granted granted Critical
Publication of TWI622877B publication Critical patent/TWI622877B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Debugging And Monitoring (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種錄製與重播滑鼠行為之方法，其包括下列步驟：由錄製重播驗證模組讀取事件檔內之滑鼠移動信號；由錄製重播驗證模組傳送滑鼠移動信號至重播用之待測系統；由錄製重播驗證模組定時送出影像擷取信號至影像擷取模組，影像擷取模組於重播用之待測系統擷取螢幕截圖，並將螢幕截圖轉換成螢幕截圖影像檔以傳送至錄製重播驗證模組；由錄製重播驗證模組將前後所擷取之螢幕截圖影像檔進行比對，以得知游標在重播用之待測系統之螢幕之位置；以及由該錄製重播驗證模組根據所得知游標之位置判斷游標是否移動至螢幕中之指定影像區塊或特定游標座標。

Description

錄製與重播滑鼠行為之系統及方法、記錄媒體及程式產品
本發明有關於一種電腦之技術領域，特別有關於一種錄製與重播滑鼠行為之系統及方法、記錄媒體及程式產品。
在電腦系統的使用或測試，鍵盤與滑鼠的操作方式可視為主要的操作行為。在某些應用情境中，例如測試自動化，往往需要重現人類操作的滑鼠行為。
以一個網路設定為例，從Window作業系統的開機、登入，然後等待作業系統開機完成，接著點選「控制台」，然後使用滑鼠選取「網路與網際網路」，然後再用滑鼠點選「網路與共用中心」，最後點選「設定新的連線與網路」。這一連串的動作必須靠使用者移動滑鼠游標到特定的位置，發出滑鼠點擊的事件，然後等待電腦反應後再進行下一個步驟。
若以上述網路設定作為電腦系統之測試，必須以手動方式一個步驟一個步驟進行操作，因此一個測試人員只能檢測一台電腦系統，並無法達到自動化的目的，且無法達到多台電腦同時進行測試的目的。
有鑒於上述問題，本發明之目的係提供一種錄製與重播滑鼠行為之系統及方法、記錄媒體及程式產品，無需在待測系統安裝 任何滑鼠事件攔截軟體，而利用錄製(Capture)及重播(Replay)的技術，讓測試工程師將一個完整的滑鼠操作行為錄製成一個事件檔，並以事件檔中的滑鼠操作行為之資料以重播方式對待測系統逐一執行滑鼠的操作行為，無須測試人員手動方式逐一操作滑鼠，而可達到自動化及多台電腦同時進行測試的目的。
本發明之第一態樣提供一種錄製與重播滑鼠行為之方法，其包括下列步驟：由一錄製重播驗證模組讀取一滑鼠行為事件檔，該滑鼠行為事件檔包含一指定影像區塊或一特定游標座標；由該錄製重播驗證模組經由一通用串列匯流排模擬器傳送一滑鼠移動信號至重播用之一待測系統；由該錄製重播驗證模組定時送出一影像擷取信號至一影像擷取模組，該影像擷取模組於重播用之該待測系統擷取一螢幕截圖，並將該螢幕截圖轉換成一螢幕截圖影像檔以傳送至該錄製重播驗證模組；由該錄製重播驗證模組將前後所擷取之該螢幕截圖影像檔進行比對，以得知一游標根據該滑鼠移動信號在重播用之該待測系統之一螢幕所移動之位置；以及由該錄製重播驗證模組根據所得知該游標在該螢幕之位置判斷該游標是否移動至該螢幕之相應該指定影像區塊或該特定游標座標之位置。
本發明之第二態樣提供一種錄製與重播滑鼠行為之系統，其包括：一錄製重播驗證模組，接收一鍵盤或一滑鼠所輸出之一鍵盤信號或一滑鼠信號，並輸出至錄製用或重播用之一待測系統； 一影像擷取模組，電連接該錄製重播驗證模組與錄製用或重播用之該待測系統；以及一通用串列匯流排模擬器，電連接該錄製重播驗證模組與與錄製用或重播用之該待測系統；其中，由該錄製重播驗證模組、該影像擷取模組及該通用串列匯流排模擬器執行本發明第一態樣之方法。
本發明之第三態樣提供一種內儲一程式之記錄媒體，當一錄製與重播滑鼠行為之系統於該記錄媒體載入該程式並執行後，可完成本發明第一態樣之方法。
本發明之第四態樣提供一種內儲一程式之程式產品，當一錄製與重播滑鼠行為系統於程式產品載入該程式並執行後，可完成本發明第一態樣之方法。
20‧‧‧錄製重播驗證模組
22‧‧‧影像擷取模組
24‧‧‧USB模擬器
28‧‧‧滑鼠
30‧‧‧待測系統
圖1為本發明之用於錄製與重播滑鼠行為之系統之方塊圖，圖2為本發明之滑鼠行為錄製模式的情況之流程圖，圖3A為本發明之滑鼠行為錄製重播之操作畫面之示意圖，圖3B為本發明之在操作畫面中建立事件檔之示意圖，圖3C為本發明之在操作畫面之目錄中建立事件檔之示意圖，圖4為本發明之顯示待測系統之一影像之示意圖，圖5為本發明之顯示待測系統之一影像之示意圖，圖6為本發明之顯示事件檔內容之畫面之示意圖，圖7為本發明之顯示待測系統之一影像之示意圖，圖8為本發明之滑鼠行為重播模式的情況之流程圖，以及 圖9為本發明之在操作畫面上顯示滑鼠行為重播之執行表之示意圖。
為使熟習本發明所屬技術領域之一般技藝者能更進一步了解本發明，下文特列舉本發明之較佳實施例，並配合所附圖式，詳細說明本發明的構成內容及所欲達成之功效。
圖1為本發明之錄製與重播滑鼠行為之系統之方塊圖。在圖1中，錄製與重播滑鼠行為之系統包括一錄製重播驗證模組20、一影像擷取模組22及一USB(Universal Serial Bus，通用串列匯流排)模擬器24。
錄製重播驗證模組20接收一滑鼠28所輸出之一滑鼠按鍵信號(操作滑鼠之左鍵、右鍵及滾輪所產生之信號)或一滑鼠移動信號。影像擷取模組22電連接錄製重播驗證模組20與作為錄製或重播用之待測系統30。USB模擬器24電連接錄製重播驗證模組20與待測系統30。
在錄製滑鼠行為之模式中，滑鼠28輸出滑鼠按鍵信號或滑鼠移動信號至錄製重播驗證模組20，錄製重播驗證模組20將所接收之滑鼠移動信號轉換成數位資料(例如座標位置及移動速度的資料)，錄製重播驗證模組20將滑鼠按鍵信號及滑鼠滑動信號所轉換之數位資料儲存成一滑鼠行為事件檔，且錄製重播驗證模組20將滑鼠按鍵信號或為數位資料之滑鼠滑動信號傳送至USB模擬器24，USB模擬器24將所接收之數位資料再轉換成滑鼠移動信號，並輸出滑鼠按鍵信號或滑鼠移動信號至待測系統30，以進行待測系統30之操作。
錄製重播驗證模組20定時送出一影像擷取信號至影像 擷取模組22，例如1秒中送出5次影像擷取信號，影像擷取模組22在接收到該影像擷取信號後擷取待測系統30之一螢幕(未圖示)所顯示之影像而獲得一螢幕截圖，並將所獲得之螢幕截圖轉換成一螢幕截圖影像檔以傳送至錄製重播驗證模組20。
在滑鼠行為錄製模式的情況下，錄製重播驗證模組20送出一影像擷取信號至影像擷取模組22，影像擷取模組22於錄製用之待測系統30擷取一螢幕截圖，並將該螢幕截圖轉換成一螢幕截圖影像檔以傳送至錄製重播驗證模組20。
錄製重播驗證模組20顯示相應該螢幕截圖影像檔之螢幕截圖，測試工程師在螢幕截圖上圈選作為一指定影像區塊或一特定游標座標之區塊，並將圈選出之指定影像區塊或特定游標座標寫入滑鼠行為事件檔中。
在將圈選出之指定影像區塊或特定游標座標寫入滑鼠行為事件檔中之後，錄製重播驗證模組20立即執行將待測系統30之螢幕上的游標移動至相應指定影像區塊或特定游標座標之位置，並於待測系統30執行滑鼠按鍵信號之流程。
錄製重播驗證模組20經由USB模擬器24傳送滑鼠移動信號至錄製用之待測系統30，錄製用之待測系統30之螢幕上的游標根據滑鼠滑動信號而移動，在游標於螢幕上移動的期間，影像擷取模組22連續擷取待測系統30之螢幕所顯示之影像而獲得數個螢幕截圖，並將所獲得之數個螢幕截圖轉換成數個相應之螢幕截圖影像檔以傳送至錄製重播驗證模組20。
錄製重播驗證模組20將前後所擷取之螢幕截圖影像檔進行螢幕截圖影像檔中之所有像素值的比對。前後所擷取之螢幕截圖 影像檔中為背景對應的像素值是相同，前一螢幕截圖影像檔中游標所在位置對應的像素值與後一螢幕截圖影像檔中經移動之游標所在位置對應的像素值是不相同，因此將前一螢幕截圖影像檔中的像素值與後一螢幕截圖影像檔中的像素值進行相減，相應前後所擷取之螢幕截圖影像檔中相同的像素值之背景會被消除掉，相應前後所擷取之螢幕截圖影像檔中不同的像素值之游標移動位置將被保留，錄製重播驗證模組20將相應游標移動位置的像素值進行計算以得到游標在螢幕的絕對位置座標及移動速度等資料，並將該等資料進行儲存。
當錄製重播驗證模組20比較前後擷取之螢幕截圖而得知游標移動至相應指定影像區塊或特定游標座標之位置時，錄製重播驗證模組20將滑鼠行為事件檔中之滑鼠按鍵信號經由USB模擬器24傳送至錄製用之待測系統30，錄製用之待測系統30執行該滑鼠按鍵信號。
在滑鼠行為重播模式的情況下，錄製重播驗證模組20經由USB模擬器24傳送滑鼠移動信號至重播用之待測系統30。重播用之待測系統30之螢幕上的游標根據滑鼠滑動信號而移動，在游標於螢幕上移動的期間，影像擷取模組22定時地連續擷取待測系統30之螢幕所顯示之影像而獲得數個螢幕截圖，並將所獲得之數個螢幕截圖轉換成數個相應之螢幕截圖影像檔以傳送至錄製重播驗證模組20。
錄製重播驗證模組20將前後所擷取之螢幕截圖影像檔進行螢幕截圖影像檔中之所有像素值的比對，以獲得游標在螢幕上的絕對座標，並判斷游標在螢幕的位置是否移動至指定影像區塊或特定游標座標之位置。其比對方式如上所述。
若錄製重播驗證模組20判斷螢幕上的游標未移動至指 定影像區塊或特定游標座標之位置，則重播用之待測系統30根據錄製重播驗證模組20送出之滑鼠移動信號使游標朝螢幕上之指定影像區塊或特定游標座標之位置持續移動；若錄製重播驗證模組20判斷螢幕上的游標已移動至指定影像區塊或特定游標座標之位置，則錄製重播驗證模組20經由USB模擬器24傳送滑鼠行為事件檔中之滑鼠按鍵信號至重播用之待測系統30，該待測系統30執行該滑鼠按鍵信號。
圖2為本發明之滑鼠行為錄製模式的情況之流程圖。在說明圖2之流程步驟時參考圖1之組件。
在滑鼠行為錄製模式的情況下，讓測試工程師先在一個錄製用之待測系統30操作一個測試案例，由錄製重播驗證模組20將錄製用之待測系統30之螢幕上游標移動過程(相應滑鼠移動過程)錄製下來，以編輯成一個滑鼠行為的操作案例，而作為未來重播用之待測系統30之滑鼠操作的參考。
在圖2中，由錄製重播驗證模組20執行一滑鼠行為錄製重播軟體而於螢幕(未圖示)上顯示一操作畫面(步驟S40)，如圖3A為本發明之滑鼠行為錄製重播之操作畫面之示意圖所示。測試工程師於操作畫面中建立一個新的事件檔，如圖3B為本發明之在操作畫面中建立事件檔之示意圖所示，並在操作畫面左側之目錄中建立事件檔，如圖3C為本發明之在操作畫面之目錄中建立事件檔之示意圖所示。
測試工程師於操作畫面中點選一錄製按鈕而產生一錄製信號至錄製重播驗證模組20(步驟S42)，此時，影像擷取模組22發出一影像擷取信號給影像擷取模組22，使得影像擷取模組22擷取錄製用待測系統30之螢幕上的影像而獲得一螢幕截圖，並將該螢幕截圖轉換成一螢幕截圖影像檔以傳送至錄製重播驗證模組20(步驟S44)。
而由錄製重播驗證模組20執行該螢幕截圖影像檔而將錄製用之待測系統30之螢幕上的影像疊加至操作畫面上，如圖4為本發明之顯示待測系統之一影像之示意圖所示。測試工程師在螢幕截圖上圈選作為一指定影像區塊或一特定游標座標之區塊，例如圈選圖5為本發明之顯示待測系統之一影像之示意圖中之圖像「TeamViewer」，並將圈選出之指定影像區塊或特定游標座標寫入滑鼠行為事件檔中，而且錄製重播驗證模組20將相應此次圈選之指定影像區塊或特定游標座標之滑鼠按鍵信號寫入滑鼠行為事件檔中(步驟S46)，以作為重播待測系統30之測試腳本之用，如圖6為本發明之顯示事件檔內容之畫面之示意圖所示
在將圈選出之指定影像區塊或特定游標座標寫入滑鼠行為事件檔中之後，錄製重播驗證模組20立即執行將待測系統30之螢幕上的游標移動至相應指定影像區塊或特定游標座標之位置，並於待測系統30執行滑鼠按鍵信號之流程。
由錄製重播驗證模組20將相應於滑鼠移動信號之數位資料傳送至USB模擬器24，USB模擬器24將所接收之數位資料再轉換成滑鼠移動信號，並將其信號輸出至錄製用之待測系統30，以使在螢幕上之游標根據滑鼠移動信號朝螢幕上之相應指定影像區塊或特定游標座標之位置移動(步驟S48)，如圖7為本發明之顯示待測系統之一影像之示意圖所示，游標在螢幕之中間略為左上的位置移動至圖像「TeamViewer」的位置。
在游標在螢幕之中間略為左上的位置移動至圖像「TeamViewer」的位置的期間，錄製重播驗證模組20定時送出一影像擷取信號至影像擷取模組22，影像擷取模組22在接收到該影像擷取信 號後擷取待測系統30之螢幕所顯示之影像而獲得一螢幕截圖，並將所獲得之螢幕截圖轉換成一螢幕截圖影像檔以傳送至錄製重播驗證模組20(步驟S50)。在游標於螢幕上移動的期間，影像擷取模組22連續擷取待測系統30之螢幕所顯示之影像而獲得數個螢幕截圖，並將所獲得之數個螢幕截圖轉換成數個相應之螢幕截圖影像檔以傳送至錄製重播驗證模組20。
錄製重播驗證模組20將前後所擷取之螢幕截圖影像檔進行螢幕截圖影像檔中之所有像素值的比對。將前一螢幕截圖影像檔中的像素值與後一螢幕截圖影像檔中的像素值進行相減，相應前後所擷取之螢幕截圖影像檔中相同的像素值之背景會被消除掉，相應前後所擷取之螢幕截圖影像檔中不同的像素值之游標移動位置將被保留，錄製重播驗證模組20將相應游標移動位置的像素值進行計算以得到游標在螢幕的絕對位置座標及移動速度等資料，並將該等資料進行儲存。
錄製重播驗證模組20將前後所擷取之螢幕截圖影像檔進行螢幕截圖影像檔中之所有像素值的比對，以獲得游標在螢幕上的絕對座標，並判斷游標在螢幕的位置是否移動至螢幕上之指定影像區塊(如圖7之圖像「TeamViewer」)或特定游標座標之位置(步驟S52)。
若錄製重播驗證模組20判斷螢幕上的游標未移動至指定影像區塊(如圖7之圖像「TeamViewer」)或特定游標座標之位置，則實施步驟S50，錄製用之待測系統30根據錄製重播驗證模組20送出之滑鼠移動信號使游標朝螢幕上之指定影像區塊或特定游標座標之位置持續移動；若錄製重播驗證模組20判斷螢幕上的游標已移動至指定影像區塊或特定游標座標之位置，則錄製重播驗證模組20經由USB模擬器24傳送滑鼠按鍵信號至錄製用之待測系統30，該待測系統30執 行滑鼠按鍵信號(步驟S54)。
接著，測試工程師是否已錄製完錄製用之待測系統30之滑鼠行為事件檔(步驟S56)。若未錄製完錄製用之待測系統30之滑鼠行為事件檔，則實施步驟S44，繼續錄製滑鼠行為事件檔之測試腳本；若已錄製完錄製用之待測系統30之滑鼠行為事件檔，則測試工程師於操作畫面中關閉該錄製按鈕之錄製功能(步驟S58)。
圖8為本發明之滑鼠行為重播模式的情況之流程圖。在說明圖8之流程步驟時參考圖1之組件。
在滑鼠行為重播模式的情況，讓測試工程師將操作在錄製模式所錄製的事件檔會在重播用之待測系統30上被自動地執行，無須測試工程師手動地重複操作滑鼠28，而可減少大量人工及節省大量的時間。
在圖8中，由錄製重播驗證模組20執行一滑鼠行為錄製重播軟體而於螢幕(未圖示)上顯示一操作畫面(步驟S60)，如圖3A所示。
測試工程師於操作畫面中點選一重播按鈕而產生一重播信號至錄製重播驗證模組20，由錄製重播驗證模組20讀取滑鼠行為事件檔中滑鼠按鍵信號及指定影像區塊或特定游標座標，如圖6所示，在操作畫面中顯示滑鼠行為事件檔中之資料(步驟S62)。
接著，錄製重播驗證模組20將滑鼠移動信號經由USB模擬器24傳送至重播用之待測系統30，而使在重播用之待測系統30之螢幕上的游標根據滑鼠移動信號而移動(步驟S64)。
在游標於螢幕上移動的期間，由影像擷取模組22定時地連續擷取待測系統30之螢幕所顯示之影像而獲得數個螢幕截圖，並 將所獲得之數個螢幕截圖轉換成數個相應之螢幕截圖影像檔以傳送至錄製重播驗證模組20(步驟S66)。
錄製重播驗證模組20將前後所擷取之螢幕截圖影像檔進行螢幕截圖影像檔中之所有像素值的比對，以獲得游標在螢幕上的絕對座標，並判斷游標在螢幕的位置是否移動至相應指定影像區塊或特定游標座標之位置(步驟S68)。
若錄製重播驗證模組20判斷螢幕上的游標未移動至指定影像區塊或特定游標座標之位置，則實施步驟S66，重播用之待測系統30根據錄製重播驗證模組20送出之滑鼠移動信號使游標朝螢幕上之指定影像區塊或特定游標座標之位置持續移動；若錄製重播驗證模組20判斷螢幕上的游標已移動至指定影像區塊或特定游標座標之位置，則錄製重播驗證模組20經由USB模擬器24傳送滑鼠按鍵信號至重播用之待測系統30，該待測系統30執行滑鼠按鍵信號(步驟S70)。
接著，錄製重播驗證模組20判斷滑鼠行為事件檔中作為測試腳本之滑鼠按鍵信號及指定影像區塊或特定游標座標是否已全部輸出至重播用之待測系統30(步驟S72)，若滑鼠行為事件檔中之測試腳本未全部輸出至重播用之待測系統30，則實施步驟S64；若滑鼠行為事件檔中之測試腳本已全部輸出至重播用之待測系統30，則錄製重播驗證模組20關閉重播功能，並在其操作畫面上顯示滑鼠行為重播之執行表，以供測試工程師觀看重播用之待測系統30的測試結果(步驟S74)，如圖9為本發明之在操作畫面上顯示滑鼠行為重播之執行表之示意圖所示。
本發明之上述錄製與重播滑鼠行為之方法可以一程式型態來完成，並可將該程式儲存於一記錄媒體，當錄製與重播滑鼠行 為之系統於該記錄媒體載入該程式並執行後，便可完成如上述說明及圖式中所示之方法步驟。
同樣地，本發明之上述錄製與重播滑鼠行為之方法可以一程式產品來完成，當錄製與重播滑鼠行為之系統例如從網路下載該程式產品並執行後，便可完成如上述說明及圖式中所示之方法步驟。
本發明係提供一種錄製與重播滑鼠行為之系統及方法、記錄媒體及程式產品，無需在待測系統安裝任何滑鼠事件攔截軟體，而利用錄製及重播的技術，讓測試工程師先在一個完整的滑鼠操作行為錄製成一個事件檔，並以事件檔中的滑鼠操作行為之資料以重播方式對待測系統逐一執行滑鼠的操作行為，無須測試人員手動方式逐一操作滑鼠，而可達到自動化及多台電腦同時進行測試的目的。
雖然本發明已參照較佳具體例及舉例性附圖敘述如上，惟其應不被視為係限制性者。熟悉本技藝者對其形態及具體例之內容做各種修改、省略及變化，均不離開本發明之申請專利範圍之所主張範圍。

Claims (7)

  1. 一種錄製與重播滑鼠行為之方法，其包括下列步驟：由一錄製重播驗證模組讀取一滑鼠行為事件檔，該滑鼠行為事件檔包含一指定影像區塊或一特定游標座標；由該錄製重播驗證模組經由一通用串列匯流排模擬器傳送一滑鼠移動信號至重播用之一待測系統；由該錄製重播驗證模組定時送出一影像擷取信號至一影像擷取模組，該影像擷取模組於重播用之該待測系統擷取一螢幕截圖，並將該螢幕截圖轉換成一螢幕截圖影像檔以傳送至該錄製重播驗證模組；由該錄製重播驗證模組將前後所擷取之該螢幕截圖影像檔進行比對，以得知一游標根據該滑鼠移動信號在重播用之該待測系統之一螢幕所移動之位置；以及由該錄製重播驗證模組根據所得知該游標在該螢幕之位置判斷該游標是否移動至該螢幕之相應該指定影像區塊或該特定游標座標之位置。
  2. 如請求項1之方法，其中，在由該錄製重播驗證模組判斷該游標是否移動至該螢幕之相應該指定影像區塊或該特定游標座標之位置之步驟之後，包括以下步驟：若該游標未移動至該螢幕之相應該指定影像區塊或該特定游標座標之位置，則重覆執行請求項1之步驟；以及若該游標移動至該螢幕之相應該指定影像區塊或該特定游標座標之位置，則由該錄製重播驗證模組讀取該滑鼠行為事件檔內之一滑鼠按鍵信號，並經由該通用串列匯流排模擬器傳送該滑鼠按鍵信號至重播用之該待測系統，而由重播用之該待測系統執行該滑鼠按鍵信號。
  3. 如請求項1之方法，其中，在由該錄製重播驗證模組讀取該滑鼠行為事件檔之步驟之前，包括以下步驟：由該錄製重播驗證模組送出該影像擷取信號至該影像擷取模組，該影像擷取模組於錄製用之該待測系統擷取該螢幕截圖，並將該螢幕截圖轉換成該螢幕截圖影像檔以傳送至該錄製重播驗證模組；由該錄製重播驗證模組顯示相應該螢幕截圖影像檔之該螢幕截圖，在該螢幕截圖上圈選作為該指定影像區塊或該特定游標座標之區塊，並將圈選出之該指定影像區塊或該特定游標座標寫入該滑鼠行為事件檔中；由該錄製重播驗證模組經由該通用串列匯流排模擬器傳送該滑鼠移動信號至錄製用之該待測系統；由該錄製重播驗證模組定時送出該影像擷取信號至該影像擷取模組，該影像擷取模組於錄製用之該待測系統擷取該螢幕截圖，並將該螢幕截圖轉換成一螢幕截圖影像檔以傳送至該錄製重播驗證模組；由該錄製重播驗證模組將前後所擷取之該螢幕截圖影像檔進行比對，以得知該游標根據該滑鼠移動信號在該螢幕所移動之位置；在游標移動到該螢幕相應該指定影像區塊或該特定游標座標之位置時由該錄製重播驗證模組經由該通用串列匯流排模擬器傳送該滑鼠行為事件檔之一滑鼠按鍵信號至錄製用之該待測系統，而由重播用之該待測系統執行該滑鼠按鍵信號；以及判斷是否結束錄製滑鼠行為之程序以決定結束或再次執行前述各項步驟。
  4. 如請求項3之方法，其中，由該錄製重播驗證模組將前後所擷取之該螢幕截圖影像檔進行該螢幕截圖影像檔中之所有像素值的比對。
  5. 一種錄製與重播滑鼠行為之系統，其包括：一錄製重播驗證模組，接收一滑鼠所輸出之一滑鼠按鍵信號或一滑鼠移動信號，並輸出至錄製用或重播用之一待測系統；一影像擷取模組，電連接該錄製重播驗證模組與錄製用或重播用之該待測系統；以及一通用串列匯流排模擬器，電連接該錄製重播驗證模組與錄製用或重播用之該待測系統；其中，由該錄製重播驗證模組、該影像擷取模組及該通用串列匯流排模擬器執行請求項1至4中任一項之方法。
  6. 一種內儲一程式之記錄媒體，當錄製與重播滑鼠行為之系統於該記錄媒體載入該程式並執行後，可完成請求項1至4中任一項之方法。
  7. 一種內儲一程式之程式產品，當錄製與重播滑鼠行為之系統於程式產品載入該程式並執行後，可完成請求項1至4中任一項之方法。
TW105114284A 2016-05-09 2016-05-09 System and method for recording and replaying mouse behavior, recording media and program products TWI622877B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105114284A TWI622877B (zh) 2016-05-09 2016-05-09 System and method for recording and replaying mouse behavior, recording media and program products
US15/404,664 US20170322637A1 (en) 2016-05-09 2017-01-12 Mouse action capture and replay system and method, recording medium, and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105114284A TWI622877B (zh) 2016-05-09 2016-05-09 System and method for recording and replaying mouse behavior, recording media and program products

Publications (2)

Publication Number Publication Date
TW201740275A TW201740275A (zh) 2017-11-16
TWI622877B true TWI622877B (zh) 2018-05-01

Family

ID=60215732

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105114284A TWI622877B (zh) 2016-05-09 2016-05-09 System and method for recording and replaying mouse behavior, recording media and program products

Country Status (2)

Country Link
US (1) US20170322637A1 (zh)
TW (1) TWI622877B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI762907B (zh) * 2020-04-15 2022-05-01 玉山商業銀行股份有限公司 模擬真人操作的方法及電子裝置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11102225B2 (en) 2017-04-17 2021-08-24 Splunk Inc. Detecting fraud by correlating user behavior biometrics with other data sources
US11372956B2 (en) 2017-04-17 2022-06-28 Splunk Inc. Multiple input neural networks for detecting fraud
US11315010B2 (en) * 2017-04-17 2022-04-26 Splunk Inc. Neural networks for detecting fraud based on user behavior biometrics
US11853423B2 (en) * 2018-01-19 2023-12-26 SunStone Information Defense, Inc. Methods and apparatus for interfering with malware using displaced display elements
US10956573B2 (en) 2018-06-29 2021-03-23 Palo Alto Networks, Inc. Dynamic analysis techniques for applications
US11010474B2 (en) 2018-06-29 2021-05-18 Palo Alto Networks, Inc. Dynamic analysis techniques for applications
US11196765B2 (en) * 2019-09-13 2021-12-07 Palo Alto Networks, Inc. Simulating user interactions for malware analysis
CN113391741B (zh) * 2020-11-13 2023-08-29 腾讯科技（深圳）有限公司 操作校验方法和装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200421278A (en) * 2003-04-04 2004-10-16 Jen-Hwang Weng System and method of playing, editing, or recording digital content behavior

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI275966B (en) * 2005-04-15 2007-03-11 Ming-Jang Chen General-purpose complex structure composition method and its computer program
US9424167B2 (en) * 2014-05-21 2016-08-23 Cgi Technologies And Solutions Inc. Automated testing of an application system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200421278A (en) * 2003-04-04 2004-10-16 Jen-Hwang Weng System and method of playing, editing, or recording digital content behavior

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI762907B (zh) * 2020-04-15 2022-05-01 玉山商業銀行股份有限公司 模擬真人操作的方法及電子裝置

Also Published As

Publication number Publication date
TW201740275A (zh) 2017-11-16
US20170322637A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
TWI622877B (zh) System and method for recording and replaying mouse behavior, recording media and program products
TWI510915B (zh) Computer automated test system and test methods, recording media and program products
US10853232B2 (en) Adaptive system for mobile device testing
US10222955B2 (en) Automatically capturing user interactions and evaluating user interfaces in software programs using field testing
US10019346B2 (en) Generating software test script from video
US10162742B2 (en) System and method for end to end performance response time measurement based on graphic recognition
US20100262864A1 (en) Automatic reproduction test device and automatic reproduction test method in embedded system
KR20060128022A (ko) 사용성 테스트를 실시하기 위한 자동화 시스템 및 방법
JP6214824B2 (ja) 自動試験装置
JP5954752B2 (ja) システムのテストを行う装置、方法およびプログラム
WO2018121582A1 (zh) 脚本生成方法及装置
US10334242B1 (en) Test system and test method for audio-video device
CN110837474A (zh) 一种脚本录制方法、装置、终端及存储介质
JP2012103786A (ja) テスト支援装置、制御方法、及びプログラム
Havranek et al. V2S: a tool for translating video recordings of mobile app usages into replayable scenarios
US11813538B2 (en) Videogame telemetry data and game asset tracker for session recordings
US20180336122A1 (en) Generating application flow entities
KR101460860B1 (ko) 상태 기반의 테스트 시나리오 모델을 이용한 gui 테스트 장치 및 방법
KR20150048365A (ko) 애플리케이션 자동 검증 시스템 및 방법
CN107515821B (zh) 控件测试方法和装置
KR101166128B1 (ko) 소프트웨어 테스트 장치 및 그 방법
JP6290743B2 (ja) 情報処理装置及びプログラム
CN109684525B (zh) 文档显示方法、装置、存储介质及测试设备
CN110569184A (zh) 一种测试方法及终端设备
WO2023220902A1 (zh) 用户界面的检测方法及装置