TWI476586B - 以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體 - Google Patents

以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體 Download PDF

Info

Publication number
TWI476586B
TWI476586B TW100124798A TW100124798A TWI476586B TW I476586 B TWI476586 B TW I476586B TW 100124798 A TW100124798 A TW 100124798A TW 100124798 A TW100124798 A TW 100124798A TW I476586 B TWI476586 B TW I476586B
Authority
TW
Taiwan
Prior art keywords
test
cloud
virtual machine
server
target
Prior art date
Application number
TW100124798A
Other languages
English (en)
Other versions
TW201303582A (zh
Inventor
Shiangjiun Chen
Shanglun Chiang
Hanchao Lee
Original Assignee
Inst Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inst Information Industry filed Critical Inst Information Industry
Priority to TW100124798A priority Critical patent/TWI476586B/zh
Priority to CN201110234253.1A priority patent/CN102880532B/zh
Priority to US13/278,259 priority patent/US8719818B2/en
Publication of TW201303582A publication Critical patent/TW201303582A/zh
Application granted granted Critical
Publication of TWI476586B publication Critical patent/TWI476586B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/34Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/20Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Debugging And Monitoring (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Description

以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體
本發明是有關於一種測試系統、方法以及其電腦可讀取記錄媒體,且特別是有關於一種以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體。
隨著資訊科技的高度發展,電腦硬體裝置的應用也愈趨普及。無論是電腦相關的硬體裝置、系統、或應用軟體,在開發完成之後,都需要進行各式各樣的測試,以了解硬體裝置/系統/應用軟體是否在各種狀況下功能是否正常運作及其效能如何等。
電腦硬體裝置,例如使螢幕顯示資料之顯示卡、使電腦發出聲音之音效卡及連結網路之網路卡等,對整體運作均有其意義。如果沒有顯示卡則螢幕無法顯示,如果沒有網路卡則電腦主機就無法連結上網際網路。一般在測試網路卡時,會先啟用網路卡,然後確認主機是否能夠連結上網際網路,以及連結上網路所耗費的時間,來驗證網路卡的功能以及效能。又例如,在進行電腦硬體裝置功能的壓力測試時,亦可藉由多台實體電腦,同時經由網路對待測裝置執行測試項目,以測試此待測裝置是否可承受多台實體電腦同時連線並執行測試項目。
然而,目前技術中,藉由多台實體電腦進行測試所需之實體電腦,必須自行建置,硬體建置成本較高。為了能降低硬體建置成本,所建置用來進行測試之實體電腦的數量就有限制,通常採用一台實體電腦模擬多台電腦的狀況來進行測試,因此無法反應出真實狀況,致使測試的結果有失真問題。
因此,本發明之一態樣是在提供一種以雲端技術為基礎之測試系統,應用複數個雲端系統進行測試。其中,每一雲端系統包含複數個雲端伺服器以提供一雲端資源,並藉由該雲端資源虛擬出複數個測試虛擬機器,且該測試系統包含複數個次要伺服器以及一主伺服器。每一次要伺服器分別對應該些雲端系統中之一,且與對應雲端系統之該些雲端伺服器建立連結,以控制其所虛擬出的該些測試虛擬機器。主伺服器通訊連接該些次要伺服器,其包含一儲存元件以及一處理元件。儲存元件儲存一測試虛擬機器表。該測試虛擬機器表記錄每一該些次要伺服器所控制之該些測試虛擬機器之資訊。其中,該資訊包含該些測試虛擬機器可執行之測試項目及其目前是否可執行測試資訊。處理元件電性連接該儲存元件,包含一指令接收模組、一決定模組和一指令傳送模組。指令接收模組用以接收一客戶端之一測試指令,並產生對應的一測試環境條件,其中,該測試指令係對一目標電子裝置執行一目標測試項目;決定模組根據該測試指令和該測試虛擬機器表,以決定執行該目標測試項目之測試虛擬機器,進而取得控制該執行之測試虛擬機器之該次要伺服器資訊;而指令傳送模組傳送該測試指令及其對應的該測試環境條件至控制該執行之測試虛擬機器之該次要伺服器,藉此使控制該執行之測試虛擬機器之該次要伺服器依據測試環境條件,控制該些執行目標測試項目之測試虛擬機器,對該目標電子裝置執行該目標測試項目。
本發明之另一態樣是在提供一種以雲端技術為基礎之測試方法,應用一以雲端技術為基礎之測試系統以及複數個雲端系統進行測試。其中,每一雲端系統包含複數個雲端伺服器以提供一雲端資源,並藉由該雲端資源虛擬出複數個測試虛擬機器。該測試系統包含複數個次要伺服器以及一主伺服器。該些次要伺服器中每一次要伺服器分別對應該些雲端系統中之一,與對應雲端系統之該些雲端伺服器建立連結,以控制其所虛擬出的該些測試虛擬機器。該主伺服器儲存一測試虛擬機器表,該測試虛擬機器表記錄每一該些次要伺服器所控制之該些測試虛擬機器之資訊,該資訊包含該些測試虛擬機器可執行之測試項目及其目前是否可執行測試資訊。以雲端技術為基礎之測試方法包含:藉由該主伺服器自一客戶端接收一測試指令,並產生對應的一測試環境條件,其中該測試指令係對一目標電子裝置執行一目標測試項目;使該主伺服器根據該測試指令和該測試虛擬機器表,以決定執行該目標測試項目之測試虛擬機器,進而取得控制該執行之測試虛擬機器之該次要伺服器資訊;以及,使該主伺服器傳送該測試指令及其對應的該測試環境條件至控制該執行之測試虛擬機器之該次要伺服器,藉此使控制該執行之測試虛擬機器之該次要伺服器依據測試環境條件,控制該些執行目標測試項目之測試虛擬機器,對該目標電子裝置執行該目標測試項目。
本發明之另一態樣是在提供一種電腦可讀取記錄媒體,儲存一電腦程式,用以執行上述以雲端技術為基礎之測試方法。方法步驟流程如上所述,在此不再重複贅述。
應用本發明具有下列優點。可藉由多個雲端系統所提供的測試虛擬機器,模擬多台實體機器以對目標電子裝置進行測試。由於測試虛擬機器係由不同雲端系統中的多台雲端伺服器所提供之雲端資源所虛擬,不同的雲端系統可以提供不同可執行測試項目,也可配置不同數量的測試虛擬機器,使得測試系統資源進行測試時可以更加有彈性地分配資源,並有效率地完成測試。更進一步時,不同的雲端系統可能有不同的收費條件,也具有不同的安全性能,不同的客戶可依據自身的需求,來選擇符合適當的雲端系統來進行測試。
以下將以圖式及詳細說明清楚說明本發明之精神,任何所屬技術領域中具有通常知識者在瞭解本發明之較佳實施例後,當可由本發明所教示之技術,加以改變及修飾,其並不脫離本發明之精神與範圍。
請參照第1圖,其繪示依照本發明一實施方式的一種以雲端技術為基礎之測試系統之功能方塊圖。以雲端技術為基礎之測試系統,應用複數個雲端系統(100、200)進行測試,其中每一雲端系統包含複數個雲端伺服器(如103、104、203、204等)提供雲端資源,並藉由雲端資源虛擬出數個測試虛擬機器,以對目標電子裝置執行目標測試項目。
以雲端技術為基礎之測試系統應用數個雲端系統100、200進行測試。其中,雲端系統100包含數個雲端伺服器103、104以提供一雲端資源,並藉由雲端資源虛擬出數個測試虛擬機器。雲端系統200亦包含數個雲端伺服器203、204亦提供一雲端資源,並藉由雲端資源虛擬出數個測試虛擬機器。雲端系統100、200所虛擬出之各測試虛擬機器所能執行之測試項目可能不同、可能部份相同、也可能全部相同。然而,在其他實施例中,本案測試系統可依需求鏈結至不同數量之雲端系統,各雲端系統也可各自配置不同數量之雲端伺服器,並不限於上述所揭露之數量。
以雲端技術為基礎之測試系統包含數個次要伺服器601、602以及一主伺服器300。主伺服器300經由通訊網路(如網際網路402)以通訊連接到次要伺服器601、602。主伺服器300可以設置在上述複數個雲端系統100、200中的其中之一、或是設置在另一雲端系統中、或是非雲端系統中的一獨立設備。次要伺服器601與其對應之雲端系統100的雲端伺服器103、104建立連結,以控制雲端系統100所虛擬出之測試虛擬機器。次要伺服器602與其對應之雲端系統200的雲端伺服器203、204建立連結,以控制雲端系統200所虛擬出之測試虛擬機器。次要伺服器可以分別設置在其對應的雲端系統中,或是設置在其他雲端系統中,或是非雲端系統中的獨立設備。
主伺服器300包含一儲存元件310以及一處理元件320。儲存元件310儲存一測試虛擬機器表。測試虛擬機器表記錄測試虛擬機器之資訊。測試虛擬機器之資訊包含測試虛擬機器可執行之測試項目及其目前是否可執行測試資訊。此外,所記錄之測試虛擬機器的資訊更進一步可包括,測試虛擬機器(亦即雲端系統、雲端伺服器)的所在地(實際地理位置)、測試虛擬機器執行測試的效率資訊(例如先前完成測試所需的時間、等待回應的間隔時間)、各雲端系統的使用費用資訊、以及各雲端系統的安全性等級資訊等。
處理元件320包含一指令接收模組321、一決定模組322以及一指令傳送模組323。指令接收模組321用以透過網際網路402,接收一客戶端401之一測試指令,並產生對應的一測試環境條件。其中,測試指令係用以對一目標電子裝置403(例如電腦、伺服器、行動裝置、PDA、或各種電子機器設備等)執行一目標測試項目(例如功能正常性測試、安全測試、同步性測試、壓力測試......等)。客戶端401可經由一操作介面來編輯、或是傳送測試指令到指令接收模組321,以進行不同之測試。例如,處理元件320可透過網際網路402提供一網頁介面,或者客戶端401可安裝特定的應用程式或操作介面,供客戶端401進行操作以編輯產生測試指令。所產生之測試環境條件係指執行測試時,主伺服器300和次要伺服器601、602及其測試虛擬機器之間進行通訊或溝通的相關設定,例如傳送資料的格式、頻率、方式、使用系統等。更進一步時,測試指令中可包括客戶端401所指定進行測試之雲端系統/雲端伺服器的所在地(如實際地理位置、所屬國別/區域別、所在經緯度等)和測試虛擬機器執行測試的效率資訊。
決定模組322根據測試指令和測試虛擬機器表,以決定執行目標測試項目之測試虛擬機器,進而取得用以控制執行目標測試項目測試虛擬機器之次要伺服器的資訊。例如,根據測試指令可知道客戶端401所欲進行的目標測試項目,需要多少測試虛擬機器來進行測試;根據測試虛擬機器表可知道各測試虛擬機器可進行哪些測試項目,以及目前哪些測試虛擬機器可進行測試,決定模組322進行資訊比對判斷之後,即可決定由哪些測試虛擬機器來執行目標測試項目。根據各次要伺服器601、602和雲端系統100、200/測試虛擬機器的對應關係,可取得執行目標測試項目測試虛擬機器的次要伺服器資訊,亦即,可知道是由那些次要伺服器,來控制被決定的測試虛擬機器,以執行目標測試項目。
指令傳送模組323傳送測試指令及其對應的測試環境條件至控制執行目標測試項目之測試虛擬機器之次要伺服器。因此,控制執行目標測試項目之測試虛擬機器之次要伺服器依據測試環境條件,控制執行目標測試項目之測試虛擬機器,對目標電子裝置403執行目標測試項目,如此一來,可藉由不同雲端系統中的多個測試虛擬機器,模擬多台實體機器對目標電子裝置403進行測試,此外,由於測試虛擬機器係由多台雲端伺服器所提供之雲端資源所虛擬,因此測試虛擬機器之數量將不會受限於單一雲端系統(如有限之運算資源或有限之連線頻寬),其資源的應用更加有彈性。且經由不同雲端系統之測試虛擬機器來進行測試,將應用到不同的雲端伺服器、網路連線及實際環境,和習知之使用少數測試設備模擬多台測試設備。經由同一網路連線及重複進行測試的技術相較之下,可更貼近的模擬出藉由多台不同實體機器進行測試之狀況。
此外,在沒有足夠的目前虛擬機器執行測試時,本發明更進一步,可使得能夠執行目標測試項目的雲端系統釋放雲端資源,以新增虛擬機器之數量。因此,決定模組322更可判斷次要伺服器601、602所控制之可執行目標測試項目及其目前可執行測試之測試虛擬機器之數量是否大於目標測試項目所需之數量。當不大於時,次要伺服器601、602分別驅動所連結之雲端伺服器103、104、203、204,釋放雲端資源中一可釋放資源,利用可釋放資源新增數個新增虛擬機器,作為新增的測試虛擬機器,以進行目標測試。如此一來,各雲端系統中可不需事先虛擬出大量的測試虛擬機器,以節省雲端系統的資源,當有需要時,再藉由可執行目標測試項目的雲端系統釋放可釋放資源,例如其他使用者在當時可中斷、暫停或停止使用之測試虛擬機器,以釋放出其CPU、記憶體、儲存媒體......等,以增加可供使用之測試虛擬機器之數量,將可使雲端系統的資源應用更有彈性。
另外,在另一實施例中,當欲執行測試卻沒有足夠的測試虛擬機器可執行測試時,亦可藉由各雲端系統的可用資源,例如目前尚未被使用到的CPU、記憶體以及儲存媒體,來新增測試虛擬機器之數量。因此,決定模組322更可判斷次要伺服器601、602所控制之可執行目標測試項目及其目前可執行測試之測試虛擬機器之數量,是否大於目標測試項目所需之數量。當不大於時,次要伺服器601、602分別利用其可控制之雲端資源中一可用資源,新增數個新增虛擬機器,作為測試虛擬機器。如此一來,可藉由各雲端系統目前可用資源,增加測試虛擬機器之數量。
主伺服器300更可包含一範本資料庫,用以儲存數筆預設測試指令之範本。於是,客戶端401之使用者可選用、修改或組合主伺服器300之範本資料庫中的範本,來編輯測試指令。使用者可依需求修改範本測試內容進行測試行為。更進一步時,本案系統若無法新增測試虛擬機器、或是在新增測試虛擬機器後,仍未有足夠之測試虛擬機器來執行目標測試項目時,可通知客戶端401之使用者目前可使用之測試虛擬機器之數量、或是何時有充足測試虛擬機器可執行目標測試項目。於是,客戶端401之使用者可根據上述通知,判斷是否修改測試指令或是執行測試之時間。此外,亦可根據各雲端系統可釋放資源或可用資源之數量(如目前可使用記憶體的多寡或處理元件之運算資源的多寡),判斷是否可新增足夠之虛擬機器執行目標測試項目,作為是否進行上述通知之依據。
由於透過網際網路402進行測試時,與受測之目標電子裝置403之所在地點,將可能影響測試結果、測試所需時間、測試成本、測試穩定性或是安全性,而客戶端401對於不同地理位置之雲端系統亦可能會有安全性、費用等因素的考量。因此,決定模組322更可依據雲端伺服器103、104、203、204之所在地點,以及客戶端的測試指令中是否有對雲端系統提出限制條件等,來決定執行目標測試項目之測試虛擬機器。其中,雲端伺服器103、104、203、204之所在地點可以預先紀錄,或是依據雲端伺服器103、104、203、204之網際網路通訊協定(Internet Protocol,IP)位址來判斷。
此外,處理元件320更可包含一測試結果處理模組。測試結果處理模組自控制執行目標測試項目之測試虛擬機器之次要伺服器,取得執行目標測試項目之測試虛擬機器對目標電子裝置403執行目標測試項目之一測試結果,並將測試結果回傳至該主伺服器300並呈現於客戶端401。其中,測試結果處理模組可先將取得之測試結果儲存於儲存元件310,再傳送至客戶端401顯示。此外,在由多個次要伺服器所控制之測試虛擬機器進行測試時,測試結果處理模組325可自所選擇之各次要伺服器分別蒐集測試結果,並進行彙整或是產生一結果報告,再傳送至客戶端401顯示。另一實施方式,亦可由控制執行目標測試項目之測試虛擬機器之次要伺服器,自行從所控制之虛擬機器蒐集測試結果,主動回傳給主伺服器300的測試結果處理模組325。
此外,主伺服器300之處理元件320可經由通訊連接次要伺服器601、602,取得各次要伺服器601、602所控制之測試虛擬機器之資訊,予以紀錄並更新至存於儲存元件310之測試虛擬機器表。在本發明之一實施例中,處理元件320可定時更新儲存元件310中之測試虛擬機器表。在本發明之另一實施例中,主伺服器300之處理元件320可在次要伺服器601、602所控制之測試虛擬機器有異動時,即時更新儲存元件310中之測試虛擬機器表。在本發明之又一實施例中,主伺服器300之處理元件320可在接收到客戶端401的測試指令時進行更新,以取得各雲端系統100、200中的測試虛擬機器的最新狀態。在另一實施例中,處理元件320每隔一固定時間即和次要伺服器601、602進行通訊,以取得各測試虛擬機器目前是否可使用之資訊,或是各次要伺服器601、602每隔一固定時間主動傳送其所控制之測試虛擬機器目前是否可使用之資訊至處理元件320。
更進一步時,主伺服器300之儲存元件310,更可儲存測試系統的歷史測試資料,例如每一個客戶端以往在進行測試時所使用的測試指令、所使用到的虛擬測試機器數量、所用到虛擬測試機器的所在地、所使用的時間、或是所獲得的測試結果等。決定模組322更根據該歷史測試資料,計算測試系統整體所需的虛擬測試機器數量,以作為該些次要伺服器所控制之測試虛擬機器的總數量。計算測試系統整體所需的虛擬測試機器數量,其可以有多種方式,例如,根據以往所有客戶端的歷史測試資料,估算每一客戶端可能所需要的測試虛擬機器,然後加總合計以產生整體所需數量。又例如,依據系統在進行客戶端之測試的歷史測試資料,取得到測試系統出現過的最大測試虛擬機器使用量,作為整體所需數量。又例如,取得測試系統在一段時間內所使用到平均測試虛擬機器的使用量,作為整體所需數量。
在一較佳實施例中,本案之測試系統可事先估算和建置系統整體所需的虛擬測試機器數量,以使得複數個雲端系統中該些次要伺服器所控制之測試虛擬機器的總數量即為整體所需的虛擬測試機器數量,以縮短測試系統對客戶端的反應時間。更進一步時,決定模組322還可維持該些次要伺服器所控制之測試虛擬機器的總數量,並隨時保持在整體所需的虛擬測試機器數量。當某一客戶端進行測試時,可使用特定數量,且分別由不同的次要伺服器所控制之虛擬測試機器,例如經由次要伺服器601使用了30個虛擬測試機器,經由次要伺服器602使用了20個虛擬測試機器。當執行測試時,亦即上述共50個虛擬測試機器被啟用時,決定模組322則通知對應的次要伺服器601和602,分別補足被使用且同類型的測試虛擬機器30個和20個。當測試執行完畢,原被啟用的50個虛擬測試機器會被釋放出來,決定模組322可通知對應的次要伺服器601和602,分別刪除同類型的測試虛擬機器30個和20個。也就是說,測試系統會一直保持特定數量的虛擬機器。次要伺服器601和602在補足或是刪除測試虛擬機器時,可通知處理元件320,更新虛擬機器測試表,並儲存於儲存元件310中。
第2圖係繪示依照本發明一實施方式的一種以雲端技術為基礎之測試方法之流程圖。以雲端技術為基礎之測試方法藉由雲端伺服器所提供之雲端資源,虛擬出數個虛擬機器,以對目標電子裝置執行目標測試項目。以雲端技術為基礎之測試方法可實作為一電腦程式,並儲存於一電腦可讀取記錄媒體中,而使電腦讀取此記錄媒體後執行以雲端技術為基礎之測試方法。電腦可讀取記錄媒體可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。
同時參照第1圖以及第2圖。以雲端技術為基礎之測試方法500應用一以雲端技術為基礎之測試系統以及數個雲端系統100、200進行測試。其中,雲端系統100包含數個雲端伺服器103、104以提供一雲端資源,並藉由雲端資源虛擬出數個測試虛擬機器。雲端系統200亦包含數個雲端伺服器203、204以提供一雲端資源,並藉由雲端資源虛擬出數個測試虛擬機器。雲端系統100、200所虛擬出之各測試虛擬機器所能執行之測試項目可能不同,可能有部分相同、也可能全部相同。
測試系統包含數個次要伺服器601、602以及一主伺服器300。次要伺服器601、602中每一次要伺服器分別對應該些雲端系統100、200中之一,例如次要伺服器601對應雲端系統100,次要伺服器602對應雲端系統200。每一次要伺服器與對應雲端系統之該些雲端伺服器建立連結,以控制其所虛擬出的該些測試虛擬機器。主伺服器300儲存一測試虛擬機器表。測試虛擬機器表記錄每一次要伺服器601、602所控制之測試虛擬機器之資訊。測試虛擬機器之資訊包含測試虛擬機器可執行之測試項目及其目前是否可執行測試資訊。
以雲端技術為基礎之測試方法500包含以下步驟:在步驟510中,藉由主伺服器300自一客戶端401接收一測試指令,並產生對應的一測試環境條件。其中,測試指令係對一目標電子裝置403執行一目標測試項目。所產生之測試環境條件係指執行測試時,主伺服器300和次要伺服器、虛擬機器之間進行通訊或溝通的相關設定,例如傳送資料的格式、頻率、方式、使用系統等。
在步驟520中,主伺服器300根據測試指令和測試虛擬機器表,以決定執行目標測試項目之測試虛擬機器,進而取得用以控制執行之測試虛擬機器之次要伺服器之資訊。
在步驟530中,主伺服器300傳送測試指令及其對應的測試環境條件至控制執行之測試虛擬機器之次要伺服器。
於是,在步驟540中,控制執行之測試虛擬機器之次要伺服器依據測試環境條件,控制執行目標測試項目之測試虛擬機器,對目標電子裝置執行目標測試項目。
此外,在本發明之一實施例中,可在沒有足夠的目前虛擬機器執行測試時,在步驟520中更可釋放雲端資源,以新增測試虛擬機器之數量。藉由該主伺服器300判斷該些次要伺服器601、602所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量,而當不大於時,該些次要伺服器驅動所連結之該些雲端伺服器,釋放該雲端資源中一可釋放資源,並利用該可釋放資源新增複數個新增虛擬機器,作為新增的該些測試虛擬機器。
在本發明之另一實施例中,可在沒有足夠的目前虛擬機器執行測試時,在步驟520中更可藉由該主伺服器300判斷該些次要伺服器601、602所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量,而當不大於時,該些次要伺服器601、602利用該雲端資源中一可用資源新增複數個新增虛擬機器,作為新增的該些測試虛擬機器。
由於透過網際網路402進行測試時,與受測之目標電子裝置403之所在地點,將可能影響測試結果、測試所需時間、測試成本、測試穩定性或是安全性。因此,以雲端技術為基礎之測試方法500更可包含以下步驟:藉由該主伺服器301,依據雲端伺服器103、104、203、204之所在地點,以決定執行目標測試項目之測試虛擬機器。其中,雲端伺服器103、104、203、204之所在地點可以預先紀錄,或是依據雲端伺服器103、104、203、204之網際網路通訊協定位址來判斷。
此外,可在步驟540後,主伺服器300自控制執行目標測試項目之測試虛擬機器之次要伺服器,取得執行目標測試項目之測試虛擬機器,對目標電子裝置403執行目標測試項目之一測試結果,並將測試結果回傳至主伺服器300儲存並呈現於客戶端403。
以雲端技術為基礎之測試方法500更可包含以下步驟:由主伺服器300經由通訊連接次要伺服器601、602,以取得各次要伺服器601、602所控制之測試虛擬機器之資訊,予以紀錄並更新測試虛擬機器表所紀錄之測試虛擬機器之資訊。
以雲端技術為基礎之測試方法500更可包含以下步驟:主伺服器300更儲存客戶端401的歷史測試資料,根據該歷史測試資料,預估給客戶端401執行目前測試的測試虛擬機器數量,以作為測試虛擬機器啟用數量(activated virtual machine number),進而決定執行該目標測試項目之測試虛擬機器。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100、200...雲端系統
103、104、203、204...雲端伺服器
300...主伺服器
310...儲存元件
320...處理元件
321...指令接收模組
322...決定模組
323...指令傳送模組
401...客戶端
402...網際網路
403...目標電子裝置
500...以雲端技術為基礎之測試方法
510~540...步驟
601、602...次要伺服器
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:
第1圖繪示依照本發明一實施方式的一種以雲端技術為基礎之測試系統之功能方塊圖。
第2圖係繪示依照本發明一實施方式的一種以雲端技術為基礎之測試方法之流程圖。
100、200...雲端系統
103、104、203、204...雲端伺服器
300...主伺服器
310...儲存元件
320...處理元件
321...指令接收模組
322...決定模組
323...指令傳送模組
401...客戶端
402...網際網路
403...目標電子裝置
601、602...次要伺服器

Claims (16)

  1. 一種以雲端技術為基礎之測試系統,應用複數個雲端系統進行測試,其中,每一雲端系統包含複數個雲端伺服器以提供一雲端資源,並藉由該雲端資源虛擬出複數個測試虛擬機器,且該測試系統包含:複數個次要伺服器,其中每一次要伺服器分別對應該些雲端系統中之一,且與對應雲端系統之該些雲端伺服器建立連結,以控制該對應雲端系統所虛擬出的該些測試虛擬機器;以及一主伺服器,通訊連接該些次要伺服器,包含:一儲存元件,儲存一測試虛擬機器表,該測試虛擬機器表記錄每一該些次要伺服器所控制之該些測試虛擬機器之資訊,其中該資訊包含該些測試虛擬機器可執行之測試項目及該些測試虛擬機器目前是否可執行測試;以及一處理元件,電性連接該儲存元件,其中該處理元件包含:一指令接收模組,用以接收一客戶端之一測試指令,並產生對應的一測試環境條件,其中該測試指令係對一目標電子裝置執行一目標測試項目,其中該測試環境條件係指執行測試時,該主伺服器和該些次要伺服器及該些測試虛擬機器之間進行通訊或溝通的相關設定;一決定模組,根據該測試指令和該測試虛擬機器表,以決定執行該目標測試項目之測試虛擬機器,進而取得控制該執行之測試虛擬機器之該次要伺服器資訊;以及一指令傳送模組,傳送該測試指令及其對應的該 測試環境條件至控制該執行之測試虛擬機器之該次要伺服器,藉此使控制該執行之測試虛擬機器之該次要伺服器依據測試環境條件,控制該些執行目標測試項目之測試虛擬機器,對該目標電子裝置執行該目標測試項目。
  2. 如請求項1所述之以雲端技術為基礎之測試系統,其中該決定模組更判斷該些次要伺服器所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量,而當不大於時,該些次要伺服器驅動所連結之該些雲端伺服器,釋放該雲端資源中一可釋放資源,並利用該可釋放資源新增複數個新增虛擬機器,作為新增的該些測試虛擬機器。
  3. 如請求項1所述之以雲端技術為基礎之測試系統,其中該決定模組更判斷該些次要伺服器所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量,而當不大於時,該些次要伺服器利用該雲端資源中一可用資源新增複數個新增虛擬機器,作為新增的該些測試虛擬機器。
  4. 如請求項2和請求項3二者其中之一所述之以雲端技術為基礎之測試系統,其中該主伺服器更包含:一範本資料庫,儲存複數筆預設測試指令之範本。
  5. 如請求項1所述之以雲端技術為基礎之測試系 統,其中該決定模組更依據該些雲端伺服器之所在地點,以決定執行該目標測試項目之測試虛擬機器。
  6. 如請求項1所述之以雲端技術為基礎之測試系統,其中該處理元件更包含:一測試結果處理模組,自控制該執行之測試虛擬機器之該次要伺服器,取得執行該目標測試項目之測試虛擬機器對該目標電子裝置執行該目標測試項目之一測試結果,並將該測試結果回傳至該主伺服器並呈現於該客戶端。
  7. 如請求項1所述之以雲端技術為基礎之測試系統,其中該測試虛擬機器表所紀錄該些測試虛擬機器之資訊,係由該主伺服器經由通訊連接該些次要伺服器,以取得該些測試虛擬機器之資訊,予以紀錄並更新。
  8. 如請求項1所述之以雲端技術為基礎之測試系統,其中該儲存元件更儲存該測試系統的一歷史測試資料,且該決定模組更根據該歷史測試資料,計算該測試系統整體所需的虛擬測試機器數量,以作為該些次要伺服器所控制之測試虛擬機器的總數量。
  9. 一種以雲端技術為基礎之測試方法,應用一以雲端技術為基礎之測試系統以及複數個雲端系統進行測試,其中,每一雲端系統包含複數個雲端伺服器以提供一雲端資源,並藉由該雲端資源虛擬出複數個測試虛擬機器,且 該測試系統包含複數個次要伺服器以及一主伺服器,該些次要伺服器中每一次要伺服器分別對應該些雲端系統中之一,與對應雲端系統之該些雲端伺服器建立連結,以控制該對應雲端系統所虛擬出的該些測試虛擬機器,該主伺服器儲存一測試虛擬機器表,該測試虛擬機器表記錄每一該些次要伺服器所控制之該些測試虛擬機器之資訊,該資訊包含該些測試虛擬機器可執行之測試項目及該些測試虛擬機器目前是否可執行測試,其中該以雲端技術為基礎之測試方法包含:藉由該主伺服器自一客戶端接收一測試指令,並產生對應的一測試環境條件,其中該測試指令係對一目標電子裝置執行一目標測試項目,其中該測試環境條件係指執行測試時,該主伺服器和該些次要伺服器及該些測試虛擬機器之間進行通訊或溝通的相關設定;使該主伺服器根據該測試指令和該測試虛擬機器表,以決定執行該目標測試項目之測試虛擬機器,進而取得控制該執行之測試虛擬機器之該次要伺服器資訊;以及使該主伺服器傳送該測試指令及其對應的該測試環境條件至控制該執行之測試虛擬機器之該次要伺服器,藉此使控制該執行之測試虛擬機器之該次要伺服器依據測試環境條件,控制該些執行目標測試項目之測試虛擬機器,對該目標電子裝置執行該目標測試項目。
  10. 如請求項9所述之以雲端技術為基礎之測試方法,更包含: 藉由該主伺服器判斷該些次要伺服器所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量,而當不大於時,該些次要伺服器驅動所連結之該些雲端伺服器,釋放該雲端資源中一可釋放資源,並利用該可釋放資源新增複數個新增虛擬機器,作為新增的該些測試虛擬機器。
  11. 如請求項9所述之以雲端技術為基礎之測試方法,更包含:藉由該主伺服器判斷該些次要伺服器所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量,而當不大於時,該些次要伺服器利用該雲端資源中一可用資源新增複數個新增虛擬機器,作為新增的該些測試虛擬機器。
  12. 如請求項9所述之以雲端技術為基礎之測試方法,更包含:藉由該主伺服器依據該些雲端伺服器之所在地點,以決定執行該目標測試項目之測試虛擬機器。
  13. 如請求項9所述之以雲端技術為基礎之測試方法,更包含:藉由該主伺服器自控制該執行之測試虛擬機器之該次要伺服器,取得執行該目標測試項目之測試虛擬機器對該目標電子裝置執行該目標測試項目之一測試結果,並將該 測試結果回傳至該主伺服器並呈現於該客戶端。
  14. 如請求項9所述之以雲端技術為基礎之測試方法,其中該測試虛擬機器表所紀錄該些測試虛擬機器之資訊,係由該主伺服器經由通訊連接該些次要伺服器,以取得該些測試虛擬機器之資訊,予以紀錄並更新。
  15. 如請求項9所述之以雲端技術為基礎之測試方法,其中該主伺服器更儲存該測試系統的歷史測試資料,以及根據該歷史測試資料,計算該測試系統整體所需的虛擬測試機器數量,以作為該些次要伺服器所控制之測試虛擬機器的總數量。
  16. 一種電腦可讀取記錄媒體,儲存一電腦程式,用以執行一種以雲端技術為基礎之測試方法,其中該測試方法應用一以雲端技術為基礎之測試系統以及複數個雲端系統進行測試,每一雲端系統包含複數個雲端伺服器以提供一雲端資源,並藉由該雲端資源虛擬出複數個測試虛擬機器,且該測試系統包含複數個次要伺服器以及一主伺服器,該些次要伺服器中每一次要伺服器分別對應該些雲端系統中之一,與對應雲端系統之該些雲端伺服器建立連結,以控制該對應雲端系統所虛擬出的該些測試虛擬機器,該主伺服器儲存一測試虛擬機器表,該測試虛擬機器表記錄每一該些次要伺服器所控制之該些測試虛擬機器之資訊,該資訊包含該些測試虛擬機器可執行之測試項目及 該些測試虛擬機器目前是否可執行測試,其中該以雲端技術為基礎之測試方法包含:藉由該主伺服器自一客戶端接收一測試指令,並產生對應的一測試環境條件,其中該測試指令係對一目標電子裝置執行一目標測試項目,其中該測試環境條件係指執行測試時,該主伺服器和該些次要伺服器及該些測試虛擬機器之間進行通訊或溝通的相關設定;使該主伺服器根據該測試指令和該測試虛擬機器表,以決定執行該目標測試項目之測試虛擬機器,進而取得取得控制該執行之測試虛擬機器之該次要伺服器資訊;以及使該主伺服器傳送該測試指令及其對應的該測試環境條件至控制該執行之測試虛擬機器之該次要伺服器,藉此使控制該執行之測試虛擬機器之該次要伺服器依據測試環境條件,控制該些執行目標測試項目之測試虛擬機器,對該目標電子裝置執行該目標測試項目。
TW100124798A 2011-07-13 2011-07-13 以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體 TWI476586B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW100124798A TWI476586B (zh) 2011-07-13 2011-07-13 以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體
CN201110234253.1A CN102880532B (zh) 2011-07-13 2011-08-12 以云端技术为基础的测试系统与方法
US13/278,259 US8719818B2 (en) 2011-07-13 2011-10-21 Cloud-based test system utilizing cloud systems that include cloud servers to simulate virtual test machines to test an electrical device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100124798A TWI476586B (zh) 2011-07-13 2011-07-13 以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體

Publications (2)

Publication Number Publication Date
TW201303582A TW201303582A (zh) 2013-01-16
TWI476586B true TWI476586B (zh) 2015-03-11

Family

ID=47481867

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100124798A TWI476586B (zh) 2011-07-13 2011-07-13 以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體

Country Status (3)

Country Link
US (1) US8719818B2 (zh)
CN (1) CN102880532B (zh)
TW (1) TWI476586B (zh)

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579507B1 (en) * 2006-08-14 2020-03-03 Akamai Technologies, Inc. Device cloud provisioning for functional testing of mobile applications
US8819490B2 (en) * 2011-12-30 2014-08-26 Microsoft Corporation Test execution spanning cloud and local devices
US9760928B1 (en) * 2012-03-26 2017-09-12 Amazon Technologies, Inc. Cloud resource marketplace for third-party capacity
CN103853655A (zh) * 2012-11-30 2014-06-11 英业达科技有限公司 于待测装置外部产生虚拟测试单元的测试系统及其方法
KR102033999B1 (ko) * 2012-12-21 2019-10-21 삼성전자주식회사 컨텐트 중심 네트워크에서의 통신 방법 및 장치
KR101540631B1 (ko) * 2012-12-28 2015-07-30 삼성에스디에스 주식회사 가상 클러스터의 동적 확장 시스템, 방법 및 그 프로그램이 저장된 기록매체
US9436725B1 (en) 2013-02-28 2016-09-06 Amazon Technologies, Inc. Live data center test framework
US9396160B1 (en) 2013-02-28 2016-07-19 Amazon Technologies, Inc. Automated test generation service
US9444717B1 (en) 2013-02-28 2016-09-13 Amazon Technologies, Inc. Test generation service
TWI502342B (zh) * 2013-03-08 2015-10-01 Chunghwa Telecom Co Ltd Method and system for automatic synchronization of dual - track test
EP2979180B1 (en) * 2013-03-27 2019-10-30 Keysight Technologies Singapore (Sales) Pte. Ltd. Methods, systems, and computer readable media for emulating virtualization resources
US9584364B2 (en) 2013-05-21 2017-02-28 Amazon Technologies, Inc. Reporting performance capabilities of a computer resource service
US9569205B1 (en) * 2013-06-10 2017-02-14 Symantec Corporation Systems and methods for remotely configuring applications
GB2516986B (en) * 2013-08-06 2017-03-22 Barclays Bank Plc Automated application test system
US9246935B2 (en) 2013-10-14 2016-01-26 Intuit Inc. Method and system for dynamic and comprehensive vulnerability management
US9485207B2 (en) * 2013-10-30 2016-11-01 Intel Corporation Processing of messages using theme and modality criteria
TWI528187B (zh) * 2013-11-12 2016-04-01 財團法人資訊工業策進會 雲端自動測試系統、方法及其非暫態電腦可讀取紀錄媒體
US9313281B1 (en) 2013-11-13 2016-04-12 Intuit Inc. Method and system for creating and dynamically deploying resource specific discovery agents for determining the state of a cloud computing environment
US9501345B1 (en) 2013-12-23 2016-11-22 Intuit Inc. Method and system for creating enriched log data
US9323926B2 (en) 2013-12-30 2016-04-26 Intuit Inc. Method and system for intrusion and extrusion detection
US9325726B2 (en) 2014-02-03 2016-04-26 Intuit Inc. Method and system for virtual asset assisted extrusion and intrusion detection in a cloud computing environment
US20150304343A1 (en) 2014-04-18 2015-10-22 Intuit Inc. Method and system for providing self-monitoring, self-reporting, and self-repairing virtual assets in a cloud computing environment
US9866581B2 (en) 2014-06-30 2018-01-09 Intuit Inc. Method and system for secure delivery of information to computing environments
US10757133B2 (en) 2014-02-21 2020-08-25 Intuit Inc. Method and system for creating and deploying virtual assets
US9276945B2 (en) 2014-04-07 2016-03-01 Intuit Inc. Method and system for providing security aware applications
US10313207B2 (en) * 2014-03-10 2019-06-04 Sk Techx Co., Ltd. Method for testing cloud streaming server, and apparatus and system therefor
US20150269064A1 (en) * 2014-03-21 2015-09-24 Intuit Inc. Method and system for testing cloud based applications in a production environment using fabricated user data
US9245117B2 (en) 2014-03-31 2016-01-26 Intuit Inc. Method and system for comparing different versions of a cloud based application in a production environment using segregated backend systems
US11294700B2 (en) 2014-04-18 2022-04-05 Intuit Inc. Method and system for enabling self-monitoring virtual assets to correlate external events with characteristic patterns associated with the virtual assets
US9374389B2 (en) 2014-04-25 2016-06-21 Intuit Inc. Method and system for ensuring an application conforms with security and regulatory controls prior to deployment
US9900322B2 (en) 2014-04-30 2018-02-20 Intuit Inc. Method and system for providing permissions management
US9319415B2 (en) 2014-04-30 2016-04-19 Intuit Inc. Method and system for providing reference architecture pattern-based permissions management
US9330263B2 (en) 2014-05-27 2016-05-03 Intuit Inc. Method and apparatus for automating the building of threat models for the public cloud
US9473481B2 (en) 2014-07-31 2016-10-18 Intuit Inc. Method and system for providing a virtual asset perimeter
US10102082B2 (en) 2014-07-31 2018-10-16 Intuit Inc. Method and system for providing automated self-healing virtual assets
US9734036B2 (en) 2014-08-13 2017-08-15 International Business Machines Corporation Optimizing a cloud-computing environment
CN105446872B (zh) * 2014-08-29 2018-04-10 国际商业机器公司 测试移动应用的管理器、测试代理器及方法
CN105511936B (zh) * 2014-09-22 2020-04-24 北京奇虎科技有限公司 测试系统、方法和装置
US9858174B2 (en) 2014-09-26 2018-01-02 Oracle International Corporation Updatable native mobile application for testing new features
US9851968B2 (en) 2014-09-26 2017-12-26 Oracle International Corporation High performant iOS template based application build system
US10073679B2 (en) 2014-09-26 2018-09-11 Oracle International Corporation Efficient and intuitive databinding for mobile applications
US9826045B2 (en) 2014-09-26 2017-11-21 Oracle International Corporation Efficient means to test server generated applications on mobile device
US10290133B2 (en) 2014-09-26 2019-05-14 Oracle International Corporation High fidelity interactive screenshots for mobile applications
US20160132420A1 (en) * 2014-11-10 2016-05-12 Institute For Information Industry Backup method, pre-testing method for environment updating and system thereof
US9953053B2 (en) 2014-12-18 2018-04-24 International Business Machines Corporation Reliability improvement of distributed transaction processing optimizations based on connection status
US11102313B2 (en) 2015-08-10 2021-08-24 Oracle International Corporation Transactional autosave with local and remote lifecycles
US10582001B2 (en) 2015-08-11 2020-03-03 Oracle International Corporation Asynchronous pre-caching of synchronously loaded resources
US10013668B2 (en) 2015-08-14 2018-07-03 Oracle International Corporation Secure storage of enterprise certificates for cloud services
US10452497B2 (en) 2015-08-14 2019-10-22 Oracle International Corporation Restoration of UI state in transactional systems
US10419514B2 (en) 2015-08-14 2019-09-17 Oracle International Corporation Discovery of federated logins
US10582012B2 (en) 2015-10-16 2020-03-03 Oracle International Corporation Adaptive data transfer optimization
US10025698B2 (en) * 2015-11-16 2018-07-17 Cognizant Technology Solutions India Pvt. Ltd System and method for efficiently predicting testing schedule and stability of applications
WO2017099732A1 (en) * 2015-12-08 2017-06-15 Hewlett Packard Enterprise Development Lp Cloud-based testing
TWI627528B (zh) * 2015-12-30 2018-06-21 Chunghwa Telecom Co Ltd System and method applied to cloud virtual machine automated test environment deployment
CN107025205B (zh) * 2016-01-30 2021-06-22 华为技术有限公司 一种分布式系统中的训练模型的方法及设备
US10341215B2 (en) 2016-04-06 2019-07-02 Keysight Technologies Singapore (Sales) Pte. Ltd. Methods, systems, and computer readable media for emulating network traffic patterns on a virtual machine
US10454940B2 (en) 2016-05-11 2019-10-22 Oracle International Corporation Identity cloud service authorization model
US10425386B2 (en) 2016-05-11 2019-09-24 Oracle International Corporation Policy enforcement point for a multi-tenant identity and data security management cloud service
US10878079B2 (en) 2016-05-11 2020-12-29 Oracle International Corporation Identity cloud service authorization model with dynamic roles and scopes
US10341410B2 (en) 2016-05-11 2019-07-02 Oracle International Corporation Security tokens for a multi-tenant identity and data security management cloud service
US9838377B1 (en) 2016-05-11 2017-12-05 Oracle International Corporation Task segregation in a multi-tenant identity and data security management cloud service
US10581820B2 (en) 2016-05-11 2020-03-03 Oracle International Corporation Key generation and rollover
US10585682B2 (en) 2016-08-05 2020-03-10 Oracle International Corporation Tenant self-service troubleshooting for a multi-tenant identity and data security management cloud service
US10735394B2 (en) 2016-08-05 2020-08-04 Oracle International Corporation Caching framework for a multi-tenant identity and data security management cloud service
US10255061B2 (en) 2016-08-05 2019-04-09 Oracle International Corporation Zero down time upgrade for a multi-tenant identity and data security management cloud service
US10516672B2 (en) 2016-08-05 2019-12-24 Oracle International Corporation Service discovery for a multi-tenant identity and data security management cloud service
US10263947B2 (en) 2016-08-05 2019-04-16 Oracle International Corporation LDAP to SCIM proxy service
US10530578B2 (en) 2016-08-05 2020-01-07 Oracle International Corporation Key store service
US10721237B2 (en) 2016-08-05 2020-07-21 Oracle International Corporation Hierarchical processing for a virtual directory system for LDAP to SCIM proxy service
US10484382B2 (en) 2016-08-31 2019-11-19 Oracle International Corporation Data management for a multi-tenant identity cloud service
US10846390B2 (en) 2016-09-14 2020-11-24 Oracle International Corporation Single sign-on functionality for a multi-tenant identity and data security management cloud service
US10594684B2 (en) 2016-09-14 2020-03-17 Oracle International Corporation Generating derived credentials for a multi-tenant identity cloud service
US10511589B2 (en) 2016-09-14 2019-12-17 Oracle International Corporation Single logout functionality for a multi-tenant identity and data security management cloud service
US10484243B2 (en) 2016-09-16 2019-11-19 Oracle International Corporation Application management for a multi-tenant identity cloud service
US10341354B2 (en) 2016-09-16 2019-07-02 Oracle International Corporation Distributed high availability agent architecture
US10791087B2 (en) 2016-09-16 2020-09-29 Oracle International Corporation SCIM to LDAP mapping using subtype attributes
US10445395B2 (en) 2016-09-16 2019-10-15 Oracle International Corporation Cookie based state propagation for a multi-tenant identity cloud service
WO2018053258A1 (en) 2016-09-16 2018-03-22 Oracle International Corporation Tenant and service management for a multi-tenant identity and data security management cloud service
US10567364B2 (en) 2016-09-16 2020-02-18 Oracle International Corporation Preserving LDAP hierarchy in a SCIM directory using special marker groups
US10904074B2 (en) 2016-09-17 2021-01-26 Oracle International Corporation Composite event handler for a multi-tenant identity cloud service
CN106484623A (zh) * 2016-10-21 2017-03-08 郑州云海信息技术有限公司 一种软件测试的方法、装置及系统
US10944643B2 (en) 2017-01-12 2021-03-09 Hitachi Vantara Llc Cloud infrastructure voting
US10120788B2 (en) * 2017-01-23 2018-11-06 Accenture Global Solutions Limited Cloud connected automated testing in multiple operating environments using multiple parallel test threads
US10261836B2 (en) 2017-03-21 2019-04-16 Oracle International Corporation Dynamic dispatching of workloads spanning heterogeneous services
US10938687B2 (en) * 2017-03-29 2021-03-02 Accenture Global Solutions Limited Enabling device under test conferencing via a collaboration platform
US10454915B2 (en) 2017-05-18 2019-10-22 Oracle International Corporation User authentication using kerberos with identity cloud service
CN107423218B (zh) * 2017-07-20 2023-05-30 北京小米移动软件有限公司 应用测试方法、装置及终端
US10348858B2 (en) 2017-09-15 2019-07-09 Oracle International Corporation Dynamic message queues for a microservice based cloud service
US10831789B2 (en) 2017-09-27 2020-11-10 Oracle International Corporation Reference attribute query processing for a multi-tenant cloud service
US11271969B2 (en) 2017-09-28 2022-03-08 Oracle International Corporation Rest-based declarative policy management
US10834137B2 (en) 2017-09-28 2020-11-10 Oracle International Corporation Rest-based declarative policy management
US10705823B2 (en) 2017-09-29 2020-07-07 Oracle International Corporation Application templates and upgrade framework for a multi-tenant identity cloud service
WO2019089446A1 (en) * 2017-10-30 2019-05-09 Hitachi Vantara Corporation Generating testing infrastructure on a cloud for testing software applications
US10572283B2 (en) * 2017-11-16 2020-02-25 International Business Machines Corporation Implementing requests on a model of a system prior to implementing on the system
US10715564B2 (en) 2018-01-29 2020-07-14 Oracle International Corporation Dynamic client registration for an identity cloud service
CN108063832B (zh) * 2018-02-06 2021-04-30 上海地面通信息网络股份有限公司 一种云存储系统及其存储方法
US10931656B2 (en) 2018-03-27 2021-02-23 Oracle International Corporation Cross-region trust for a multi-tenant identity cloud service
US11165634B2 (en) 2018-04-02 2021-11-02 Oracle International Corporation Data replication conflict detection and resolution for a multi-tenant identity cloud service
US10798165B2 (en) 2018-04-02 2020-10-06 Oracle International Corporation Tenant data comparison for a multi-tenant identity cloud service
US11258775B2 (en) 2018-04-04 2022-02-22 Oracle International Corporation Local write for a multi-tenant identity cloud service
US10904281B2 (en) * 2018-04-18 2021-01-26 Oracle International Corporation Cloud-based security testing interface with security scanners
CN108737162B (zh) * 2018-04-20 2020-07-10 腾讯科技(深圳)有限公司 测试方法、测试系统及测试设备
CN108733549A (zh) * 2018-05-28 2018-11-02 厦门集微科技有限公司 一种弹性伸缩测试方法、装置和系统
US11012444B2 (en) 2018-06-25 2021-05-18 Oracle International Corporation Declarative third party identity provider integration for a multi-tenant identity cloud service
US10764273B2 (en) 2018-06-28 2020-09-01 Oracle International Corporation Session synchronization across multiple devices in an identity cloud service
CN110690929A (zh) * 2018-07-04 2020-01-14 中国信息通信研究院 通信设备的测试装置、云端服务器及测试方法
EP3605333B1 (en) * 2018-08-03 2022-06-15 Accenture Global Solutions Limited Intelligent quality assurance orchestration tool
CN109086120A (zh) * 2018-08-03 2018-12-25 北京奇虎科技有限公司 虚拟机资源的管理方法、装置及计算设备
CN109324962B (zh) * 2018-08-17 2024-04-26 中国平安人寿保险股份有限公司 一种基于云物联技术的应用程序的测试方法及设备
US10732869B2 (en) * 2018-09-20 2020-08-04 Western Digital Technologies, Inc. Customizing configuration of storage device(s) for operational environment
CN109299011A (zh) * 2018-09-26 2019-02-01 深圳壹账通智能科技有限公司 一种应用程序的测试方法及系统
US11693835B2 (en) 2018-10-17 2023-07-04 Oracle International Corporation Dynamic database schema allocation on tenant onboarding for a multi-tenant identity cloud service
US11321187B2 (en) 2018-10-19 2022-05-03 Oracle International Corporation Assured lazy rollback for a multi-tenant identity cloud service
US11651357B2 (en) 2019-02-01 2023-05-16 Oracle International Corporation Multifactor authentication without a user footprint
US11061929B2 (en) 2019-02-08 2021-07-13 Oracle International Corporation Replication of resource type and schema metadata for a multi-tenant identity cloud service
US11321343B2 (en) 2019-02-19 2022-05-03 Oracle International Corporation Tenant replication bootstrap for a multi-tenant identity cloud service
US11669321B2 (en) 2019-02-20 2023-06-06 Oracle International Corporation Automated database upgrade for a multi-tenant identity cloud service
US11423111B2 (en) 2019-02-25 2022-08-23 Oracle International Corporation Client API for rest based endpoints for a multi-tenant identify cloud service
US11792226B2 (en) 2019-02-25 2023-10-17 Oracle International Corporation Automatic api document generation from scim metadata
CN111831539A (zh) * 2019-04-18 2020-10-27 中科寒武纪科技股份有限公司 一种测试方法及相关产品
CN110417613B (zh) * 2019-06-17 2022-11-29 平安科技(深圳)有限公司 基于Jmeter的分布式性能测试方法、装置、设备及存储介质
CN110471815A (zh) * 2019-06-28 2019-11-19 武汉迎风聚智科技有限公司 基于Driver组件的监听方法以及驱动器设备
CN111193634B (zh) * 2019-09-12 2021-08-31 腾讯科技(深圳)有限公司 一种压力测试方法、装置和计算机可读存储介质
US11687378B2 (en) 2019-09-13 2023-06-27 Oracle International Corporation Multi-tenant identity cloud service with on-premise authentication integration and bridge high availability
US11870770B2 (en) 2019-09-13 2024-01-09 Oracle International Corporation Multi-tenant identity cloud service with on-premise authentication integration
US11611548B2 (en) 2019-11-22 2023-03-21 Oracle International Corporation Bulk multifactor authentication enrollment
CN111444052B (zh) * 2020-03-26 2024-02-13 杭州涂鸦信息技术有限公司 一种产测方法及其系统和装置
US11115502B1 (en) 2020-08-25 2021-09-07 Bank Of America Corporation System for real-time management of session objects and for application programming interface (API) mocking
US11323354B1 (en) 2020-10-09 2022-05-03 Keysight Technologies, Inc. Methods, systems, and computer readable media for network testing using switch emulation
US11483227B2 (en) 2020-10-13 2022-10-25 Keysight Technologies, Inc. Methods, systems and computer readable media for active queue management
CN112702225B (zh) * 2020-12-10 2022-09-30 树根互联股份有限公司 云平台性能测试装置、方法、计算机终端和可读存储介质
CN114157701B (zh) * 2021-11-19 2023-11-28 北京百度网讯科技有限公司 一种任务测试方法、装置、设备以及存储介质
CN114615171B (zh) * 2022-03-16 2024-01-30 网易(上海)网络有限公司 云游戏服务器的压测处理方法、设备、介质及程序产品
CN114465919B (zh) * 2022-04-12 2022-07-12 北京天维信通科技有限公司 一种网络服务测试方法、系统、电子设备及存储介质
US20240045884A1 (en) * 2022-08-05 2024-02-08 Open Text Sa Ulc System and method for cloud-based replication of data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200638054A (en) * 2004-12-09 2006-11-01 Advantest Corp Method and system for performing installation and configuration management of tester instrument modules
US20090300423A1 (en) * 2008-05-28 2009-12-03 James Michael Ferris Systems and methods for software test management in cloud-based network
TW201015299A (en) * 2008-10-01 2010-04-16 Inventec Corp A method of testing the virtual device
US20110010691A1 (en) * 2009-07-08 2011-01-13 Vmware, Inc. Distributed Software Testing Using Cloud Computing Resources

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388805B (zh) * 2007-09-13 2011-06-15 英业达股份有限公司 测试监控方法及系统
CN101414930B (zh) * 2007-10-16 2011-02-09 英业达股份有限公司 远程测试提示系统及方法
US8122282B2 (en) * 2010-03-12 2012-02-21 International Business Machines Corporation Starting virtual instances within a cloud computing environment
US8607203B1 (en) * 2010-12-17 2013-12-10 Amazon Technologies, Inc. Test automation framework using dependency injection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200638054A (en) * 2004-12-09 2006-11-01 Advantest Corp Method and system for performing installation and configuration management of tester instrument modules
US20090300423A1 (en) * 2008-05-28 2009-12-03 James Michael Ferris Systems and methods for software test management in cloud-based network
TW201015299A (en) * 2008-10-01 2010-04-16 Inventec Corp A method of testing the virtual device
US20110010691A1 (en) * 2009-07-08 2011-01-13 Vmware, Inc. Distributed Software Testing Using Cloud Computing Resources

Also Published As

Publication number Publication date
CN102880532A (zh) 2013-01-16
US20130019242A1 (en) 2013-01-17
CN102880532B (zh) 2015-11-25
US8719818B2 (en) 2014-05-06
TW201303582A (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
TWI476586B (zh) 以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體
US10949158B2 (en) Screenshot method and apparatus
US9921940B2 (en) Creating a software performance testing environment on a virtual machine system
US9632914B2 (en) Error diagnostic in a production environment
US10664368B2 (en) Modifying aspects of a storage system associated with data mirroring
CN109416639B (zh) 用于在虚拟机上拟真网络流量模式的方法、系统以及计算机可读介质
US20150234725A1 (en) Testing a virtualized network function in a network
WO2017016212A1 (zh) 桌面云系统的测试方法及装置
JP2016071730A (ja) システムのテストを行う装置、方法およびプログラム
JP6283096B2 (ja) プログラム試験サービス
US20120197624A1 (en) System and method for managing a storage array using simulation
US20140331205A1 (en) Program Testing Service
WO2015049771A1 (ja) コンピュータシステム
US10200271B2 (en) Building and testing composite virtual services using debug automation
US8819174B2 (en) Information processing system, information processing method, and storage medium
WO2017193285A1 (zh) 软件管理方法及装置
CN106775954B (zh) Unix服务器仿真方法、系统及虚拟现实服务器
US9785539B2 (en) Application development via a multi-unit device
KR101498700B1 (ko) 가상화시스템 환경에서의 스토리지 성능 테스팅장치
US11880586B2 (en) Storage array remote replication
US11374811B2 (en) Automatically determining supported capabilities in server hardware devices
JP7134937B2 (ja) 情報処理装置、プログラムおよび情報処理システム
KR20190103896A (ko) 스마트 콘텐츠 테스트 방법 및 장치
CN116016661A (zh) 云平台与虚拟机之间的通讯方法、系统和设备
Siebert VMware VI3 implementation and administration