TWI760691B

TWI760691B - 自動測試軟體相容性的方法、測試裝置與系統

Info

Publication number: TWI760691B
Application number: TW109104314A
Authority: TW
Inventors: 劉俊成
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2020-02-12
Filing date: 2020-02-12
Publication date: 2022-04-11
Also published as: TW202131212A

Abstract

一種自動測試軟體相容性的方法、測試裝置與其系統，所述系統包括一測試平台，經安裝一軟體映像檔後，可以測試其軟體相容性，系統包括一控制主機，用以產生軟體相容性測試時的指令，系統提出一自動測試裝置，自動測試裝置包括有一電源切換模組，受控於控制主機，以重啟測試平台，以及一儲存裝置切換模組，也是受控於控制主機，用以切換暫存軟體映像檔的儲存裝置至所述的測試平台端，之後重啟測試平台後安裝軟體映像檔，並根據測試參數開始軟體相容性測試。

Description

自動測試軟體相容性的方法、測試裝置與系統

本發明關於一種軟體驗證技術，特別是指一種針對特定平台的可自動測試軟體相容性的方法，以及執行此方法的測試裝置與系統。

在電腦技術多樣性發展的現今，開發出各式各樣的軟硬體的產品與服務，但是不同軟硬體彼此的相容性成為是否可以持續發展的關鍵之一。舉例來說，在使用者人手一機的行動裝置上，逐漸走向少數幾種作業系統壟斷的狀態，目前至少包括有Google^TM與Apple^TM兩間公司分別提出的安卓(Android^TM)與iOS^TM等作業平台，開發者或廠商在開發行動裝置上的軟體與硬體時需要符合相容性規範，才能順利運行在這些平台上。

針對行動裝置，現行如Google^TM公司要求所有執行安卓系統的行動裝置都要通過官方提出的相容性測試，使用相容性測試套件(Compatibility Test Suite，CTS)，目的是確保安卓平台生態系的品質，相容性測試包括實作品質、完成度與使用者體驗等，所以軟體開發者、供應商在依照Google^TM公司提出的相容性定義文件(Compatibility Definition Document，CDD)實作後，再執行相容性測試，當軟體程式通過測試後即可確保符合安卓平台的規範，如此，各種基於安卓系統的應用程式也能在基於同一個應用程式介面(API)版本的裝置上面執行。並且，各種電腦裝置設備必須通過此相容性測試才可以獲得相關商標使用權，如Android^TM的商標，並且擁有在所屬市場販售的許可權，適用於各種平台，例如：手機、平板電腦、車載娛樂系統等。

另外，Google^TM也提出一種供應商測試套件(Vendor Test Suite，VTS)，這是可以通過掃描參與安卓系統廠商的硬體設備進行檢測的工具，協助廠商找漏洞或缺陷，並能協助發布修補程式。服務方面的則有Google^TM公司提出的行動服務測試套件(Google Mobile Services Test Suite，GTS)，關於Google^TM軟體服務如搜尋、語音搜尋(Search by Voice)、電子郵件(如Gmail)、聯絡人同步(Contact Sync)、行事曆同步(Calendar Sync)、地圖服務(Google Maps)、街景(Street View)、線上影音服務(Youtube)與安卓商店(Google Play Store)等，行動服務測試套件可以協助廠商使用各種Google^TM軟體服務。

如此，當有軟體或硬體通過個平台提出的測試後，可以順利相容於相關平台，通過者才能順利上架、上市，以對使用者販售相容特定平台的軟體與硬體。

然而，在電腦裝置設備取得安卓系統所屬市場販售的許可前，硬體設備或軟體程式都可能需要經過無數次的改動與更新。例如，廠商可能需要依照客戶需求客製化，加上Google^TM公司也會常常更新系統，如每季需要安全性修補升級(Security Patch Level，SPL)、相容性測試包升級等，每次軟體的更動都可能會影響相容性認證錯誤。

因此每次系統方面的軟體更新後，軟硬體開發商都必須驗證相容性是否能順利完成，確保軟體與裝置可以順利通過相關認證後取得安卓市場許可權。如此，每執行一次相容性認證都必須經由人工更換驗證的軟體映像檔，並設定繁瑣環境設定與前置作業，使得通過認證的效率降低。

說明書公開一種自動測試軟體相容性的方法、測試裝置與系統，通過所述的方法與實現此方法的系統，主要目的之一是能自動化軟體相容性測試，以有效降低傳統為了符合特定平台規範時進行軟體相容性測試需要花費人工的效率。

根據自動測試軟體相容性的系統的實施例，系統主要的元件包括一測試平台，其中設有一嵌入式系統，經安裝軟體映像檔後，可測試其軟體相容性；系統包括一控制主機，控制主機用以產生軟體相容性測試時的指令；以及一自動測試裝置，自動測試裝置連接上述測試平台與控制主機，自一主機提供待測試相容性的軟體映像檔，再儲存軟體映像檔至一內建或外接的儲存裝置中。

之後，可根據控制主機產生的切換指令以切換儲存裝置連線至測試平台，再根據控制主機產生的重啟指令以重啟該測試平台，以及根據控制主機的安裝指令使得測試平台進入一安裝模式，以安裝軟體映像檔。於所述測試平台中，即可根據測試參數進行軟體相容性測試。

優選地，所述主機中運行的系統由一用在版本控制的自動軟體開發服務程式所實現，為收集並儲存多個待測試的軟體映像檔，用以編譯一軟體程式以產生軟體映像檔。於自動測試裝置中，確認所要測試的軟體映像檔的版本以及環境設定後，可建立一自動執行腳本，以能自動執行軟體相容性測試。

優選地，自動測試裝置包括一電源切換電路，電性連接測試平台，並受控於控制主機，以根據重啟指令重啟該測試平台的電源。

優選地，自動測試裝置包括一儲存裝置切換電路，電性連接測試平台，同樣受控於控制主機，用以切換儲存裝置至測試平台端，以開始軟體相容性測試。

根據所述自動測試裝置的實施例之一，自動測試裝置包括有一通信埠，用於連接測試平台，並用以傳輸執行軟體相容性所需的環境參數與指令；包括所述電源切換電路，用於重啟測試平台的電源；包括所述儲存裝置切換電路，用以切換暫存軟體映像檔的儲存裝置至測試平台端，以開始軟體相容性測試。

在自動測試裝置中運行的自動測試軟體相容性的方法中，先自所述主機提供待測試相容性的軟體映像檔，並儲存此軟體映像檔至儲存裝置內，之後，可根據控制主機產生的切換指令，通過儲存裝置切換電路切換儲存裝置連線至測試平台，再根據控制主機產生的重啟指令切換並重啟測試平台，以及根據控制主機的安裝指令，使得測試平台進入安裝模式，以安裝軟體映像檔，由測試平台根據測試參數進行軟體相容性測試。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

10:自動測試裝置

16:測試平台

100:嵌入式系統

12:控制主機

14:主機

141:映像檔一

142:映像檔二

143:映像檔三

20:自動測試裝置

26:測試平台

200:嵌入式系統

201:儲存裝置切換模組

203:電源切換模組

205:通信埠

24:主機

22:控制主機

步驟S301~S311:自動測試軟體相容性的流程

步驟S401~S421:自動測試軟體相容性的流程

圖1顯示執行自動測試軟體相容性的方法的系統實施例圖之一；圖2顯示執行自動測試軟體相容性的方法的系統實施例圖之二；圖3顯示自動測試軟體相容性的方法的實施例流程圖；以及圖4顯示自動測試軟體相容性的流程實施例圖。

以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。

應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者信號，但這些元件或者信號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一信號與另一信號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

常見行動平台廠商如Google^TM、Apple^TM公司，常常會因為系統升級或安全性元件更新而更新作業系統，如此會使得相關電腦裝置設備與軟體程式為了取得Android^TM或iOS^TM系統所屬市場販售的許可，也會隨著系統更新而需要多次的改動與更新以通過相容性、安全性等驗證測試，以確保軟體與裝置可以順利通過相關認證後取得各平台市場許可權，但這個驗證測試的過程通常是繁瑣而低效率的，有鑑於此，說明書公開一種自動測試軟體相容性的方法、測試裝置與系統，所提出的方案可是用各種平台相容性測試的需求，且因應所需驗證測試的各平台的軟體時時需要升級與更新，其中自動化的程序將有效簡化整個驗證測試過程。

例如Google^TM公司提出的相容性測試套件(CTS)、供應商測試套件(VTS)與行動服務測試套件(GTS)等，所述自動測試軟體相容性的方法實際運行時並不受限Google^TM平台，還如Apple^TM公司的iOS^TM、微軟的軟體平台等，可以使得可以在各式各樣的硬體裝置中的軟體進行自動化相容性測試。

根據說明書公開的自動測試軟體相容性的系統實施例之一，如圖1所示，其中提出一取代人工更換軟體映像檔的自動測試裝置10，自動測試裝置10可以為一個電腦主機(細節不在此贅述)，通過特定通信埠(如USB、RS232等工業標準通信埠)連接一測試平台16，測試平台16中運行一個執行軟體相容性測試的嵌入式系統100，嵌入式系統100如一由處理器、記憶體、晶片組等組成的電腦系統，當中可預先安裝各種版本的Linux^TM作業系統(但並不限於此)，其中設有各種測試軟體工具，經處理器(未示於此圖)執行後，可對所接收的軟體映像檔進行相容性測試。

自動測試裝置10可通過一或多個對外實體通信介面或是軟體介面連接外部裝置，如圖中控制主機12，控制主機12在此代表實現執行控制、提供環境參數與提供軟體映像檔等的一或多個功能的電腦系統，用以啟始自動測試軟體相容性的測試流程。

在此執行自動測試軟體相容性的方法的系統中，提出一個用於提供與編譯軟體映像檔的管理伺服器或特定電腦設備，如圖示的主機14，用以管理各端提出待測試相容性的軟體程式並編譯為軟體映像檔，控制主機12通過特定通訊方式(如網路)連線此主機14，此主機14主要是提出一個儲存空間，用以收集與儲存各種需要進行自動驗證軟體相容性的映像檔(image)，示意如映像檔一141、映像檔二142與映像檔三143等，其中可以為新開發出來的軟體程式所編譯產生的映像檔，可以為已經發行的軟體程式的更新版或升級版的映像檔，都是待驗證的映像檔。

在此一提的是，根據系統實施例，以上所述測試平台16、自動測試裝置10、控制主機12與主機14等，可以為多個獨立系統所實現，或可以由一個整合多功能的電腦系統所實現這些功能。

根據自動測試軟體相容性的系統再一實施例，其中部分細節可參考圖2顯示的系統架構實施例示意圖。

圖2顯示有一自動測試裝置20，這是一個取代傳統人工安裝要進行驗證測試的軟體映像檔的電腦主機，通過通信埠205連線此例中的測試平台26，連線方式包括實體介面或軟體介面，如通用序列匯流排(USB)等工業規格的通信介面，或是有線或無線網路。接著由測試平台26執行所述相容性測試，除了軟體相容性以外，還可包括供應商測試與行動服務測試，或是其他類似軟體測試，測試平台26中包括一個嵌入式系統(embedded system)200，具有一些電腦元件並安裝一嵌入式作業系統，用以運行接受驗證測試的軟體程式。

自動測試裝置20通過特定連線方法(如通用序列匯流排(USB)等工業規格的通信介面，或是有線或無線網路)連接一伺服器或特定電腦設備，如圖示的主機24，主機24包括儲存各種待驗證測試的軟體映像檔的儲存器，實現此主機24的系統如由爪哇(Java)編寫的開源的持續整合工具Jenkins，這類自動軟體開發服務程式常用在版本控制，當中可維護多種開發中的軟體程式，當有人提交新版本的軟體程式，將可自動觸發編譯程序產生需要執行驗證測試的軟體映像檔(image)，用以提供給所述自動測試裝置20，首先，可先儲存在特定儲存裝置中。

自動測試裝置20即用以模擬人工安裝操作行為將軟體映像檔案安裝到測試平台26上，並通過特定連線方式(如網路、USB)等，自控制主機22接收預先設定的環境參數與指令，始能經由通信埠205自動輸入測試所需要的命令至測試平台26，例如安裝指令、環境設定指令、安裝軟體映像檔指令等，如此，完成前置處理後就可進行軟體相容性認證測試。

自動測試裝置20包括有處理器、記憶體與晶片組等電腦系統的電路元件，根據功能可以包括以軟體與硬體實現的幾個功能模組，如儲存裝置切換模組201以及電源切換模組203，其中儲存裝置切換模組201如設於自動測試裝置20內的儲存裝置切換電路，受控於控制主機22，而電源切換模組203如設於自動測試裝置20內的電源切換電路，同樣也受控於控制主機22。當要開始測試程序，自動測試裝置20的電源切換模組203將測試平台26電源重新啟動，之後再經通信埠205傳送安裝指令，使得測試平台26進入安裝模式。這時，儲存裝置切換模組201用以將指定的軟體映像檔案(某版本)從暫存的儲存裝置切換至測試平台26，使得自動測試裝置20將軟體映像檔通過通信埠205安裝至測試平台26的嵌入式系統200中。

圖中顯示的控制主機22通過特定連線方式連接自動測試裝置20，並能以軟體程序控制其中電源切換模組203以及儲存裝置切換模組201，這部分為一自動執行腳本程序(script)，可以不需人工介入就可自動安裝軟體映像檔以及執行測試前的前置指令，使得測試平台26能自動進行軟體相容性驗證測試。當以軟體映像檔安裝至測試平台26中的嵌入式系統200完成後，自動測試裝置20通過電源切換模組20203重新啟動嵌入式系統200，重新啟動後將啟始一個運行要進行驗證的軟體映像檔的作業環境。

在測試平台26中，可以解譯出映像檔後取得軟體程式後，由其中嵌入式系統200利用測試工具與相關參數進行測試，所述相容性測試還可涵蓋供應商測試、行動服務測試與安全性測試等，其中細節運作方式為相關領域一般技術人員可以理解並實施，並不在此贅述。

值得一提的是，進行軟體相容性測試時，由控制主機22提供自動測試裝置20的環境參數，以安卓系統為例，可參考由Google^TM公司提出的相容性定義文件(CDD)中定義的各種測試環境下的參數，如 VERSION.RELEASE、VERSION.SDK、SUPPORTED_ABIS、CPU_ABI、MODEL等，各種參數與其定義可參考Google^TM的官方文件。

圖3顯示自動測試軟體相容性的方法的主要流程實施例，方法運行於一自動測試裝置中，自動測試裝置連接了控制主機以及執行軟體相容性測試的測試平台。

在此方法的主要流程中，執行自動測試軟體相容性的系統提供需要進行軟體相容性測試的軟體映像檔(步驟S301)，軟體映像檔由一主機提供，這個主機較佳地可以一用在版本控制的自動軟體開發服務程式編譯軟體程式以產生此軟體映像檔。

之後，自動測試裝置儲存軟體映像檔至儲存裝置(步驟S303)，並通過切換電路將儲存裝置由電腦端切換到測試平台(步驟S305)，所述切換電路例如自動測試裝置中的儲存裝置切換電路，儲存裝置切換電路電性連接測試平台，並受控於控制主機，根據控制主機產生的切換指令以切換儲存裝置至測試平台端。其中儲存裝置可以為自動測試裝置內建(如裝置內儲存裝置)或外接(通過USB)的儲存器，例如隨身碟。

自動測試裝置也包括電源切換電路，電源切換電路電性連接測試平台，同樣受控於控制主機，可根據控制主機產生的重啟指令重啟測試平台的電源，讓測試平台重開機(步驟S307)，以能接著安裝軟體映像檔至測試平台中的嵌入式系統中(步驟S309)，之後，自動測試裝置通過通信埠傳輸執行軟體相容性所需的環境參數與指令，以根據測試參數進行軟體相容性測試(步驟S311)。

所述運行於自動測試裝置中的自動測試軟體相容性的方法可參考圖4顯示的方法實施例流程圖。在此方法流程中，在測試流程開始時，需要確認所要測試的軟體程式(軟體映像檔)的版本，以及相關環境設定，包括驗證裝置的驗證指令。完成環境設定後，建立一自動執行腳本(script)。

提出驗證需求的電腦系統將需要界接(如網路、直接連線)此自動測試軟體相容性的系統，所述方法適用於新產生或更新後的軟體程式上，在特定主機中，如一伺服器或電腦設備，通過其中軟體程式將開發者提供的軟體程式編譯為提供測試的軟體映像檔(步驟S401)，當自動測試裝置自主機接收一待測試軟體相容性的軟體映像檔，即觸發此自動測試軟體相容性流程(步驟S403)，此時，自動測試裝置先將軟體映像檔複製(暫存)到一儲存裝置上(步驟S405)。

接著，通過系統中的控制主機發出一切換指令，通過自動測試裝置的儲存裝置切換電路(如圖2的儲存裝置切換模組201)以軟體手段控制所述儲存裝置從電腦端(如提出驗證需求的電腦系統)轉換至測試平台(步驟S407)。這時，控制主機產生的重啟指令，特別是用以重啟或重置測試平台的電源的指令，使得自動測試裝置通過其中的電源切換電路(如圖2的電源切換模組203)將測試平台電源重新啟動，目的是重新啟動測試平台中的嵌入式系統(步驟S409)，之後，控制主機產生安裝指令，通過自動測試裝置的通信埠傳送至測試平台(步驟S411)，測試平台進入安裝模式，使得測試平台中嵌入式系統將所接收的軟體映像檔安裝(或是一種燒入的動作)到測試平台中。安裝完成後，控制主機控制自動測試裝置的儲存裝置切換電路，將所述儲存裝置再度切換回電腦端。

接著，自動測試裝置透過通信埠傳送測試參數，包括執行軟體相容性驗證的相關指令與環境參數至測試平台上(步驟S413)，相關指令如開啟ABD連線模式、保持測試平台不進入睡眠模式等。設定測試平台的測試環境參數，這些是關於特定廠商提出的軟體與硬體環境能相容特定平台一致性的環境參數，通過預先設定環境參數與測試指令，自動輸入至測試平台的嵌入式系統中，測試參數如一組環境參數，通過此組環境參數建構出可以與平台業者(如Google^TM、Apple^TM等)提出的作業系統相容的測試環境，即完成前置作業，以進行後續相容性測試。

接著進行軟體相容性驗證測試，以驗證此次更新的軟體映像檔是否符合特定平台(如Google Android^TM、Apple iOS^TM等)的認證規範。舉例來說，可以開啟一除錯模式，如ADB(Android Debug Bridge)連線模式，這是一個運行在安卓平台的除錯工具，提供外部系統(如控制主機)通過通信介面對自動測試裝置中的軟體程式下指令，再傳送到測試平台，並保持自動測試裝置不進入睡眠模式。

最終產生一測試結果(步驟S417)。以Google^TM提出的平台為例，使用以上所述的相容性測試套件，對運行於測試平台中的軟體程式執行測試，並等待相容性測試套件測試完成的結果，產生測試結果(步驟S419)。之後，可將測試報告儲存至主機或是特定伺服主機以方便管理以及查閱(步驟S421)。

最後，如步驟S415，驗證程序完成並產生結果後，再如步驟S417，驗證程序再自動將此份報告重新驗證一次，避免有些隨機出現的驗證錯誤出現，驗證完畢後會將此次的驗證報告儲存，提供特定目標(步驟S419)，方便查閱以及備份。

值得一提的是，在驗證測試軟體相容性的步驟為驗證此次更新的軟體映像檔是否符合特定平台業者提出的相容性認證規範，測試完畢後還會自動將此份認證報告重新驗證一次，避免有些隨機出現的認證錯誤出現，最終測試完畢後才將此次的報告儲存起來。

如此，通過所提出的自動測試軟體相容性的方法，可以在不需經由人工更換軟體映像檔以及前置處理就可執行相容性驗證測試，通過此測試自動化的解決方案可提昇整體測試軟體程式的環境的效率，並可降低人工成本。

綜上所述，以上實施例所描述的自動測試軟體相容性的方法以及系統，因應各廠商的硬體設備與其中運行的軟體程式需要取得特定市場許可權前，必須經過無數次的相容性認證以確保每次軟體更新都是符合相關平台的規範條件，但以現有的相容性認證技術而言，都是以人工方式更換軟體的映像檔，以及執行前置作業與環境配置，揭露書所提出自動測試軟體相容性的方法提出所述自動測試裝置，透過特定自動軟體開發服務程式(如Jenkins)編譯並產生軟體映像檔後，先將軟體映像檔暫存到儲存裝置，並模擬人工安裝操作行為將軟體映像檔案安裝到測試平台上，以設定好的環境參數與指令進行相容性測試，如此可有效降低進行認證前需要花費大量人工時間處理的前置作業。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。