TW201638784A - 自動測試裝置 - Google Patents

Abstract

自動測試裝置100，包括操作部103，執行測試對象裝置200的輸入機器之操作；取得部104，取得測試對象裝置200的輸出畫面顯示內容；學習部106，反覆實行包含對操作部103預先設定1以上的操作與對應操作的輸出畫面顯示內容是否從取得部104取得的指示之測試步驟群，學習對應各操作的複數的輸出畫面顯示內容的偏差範圍及偏差傾向，產生用以判定是否通過對測試對象裝置200的測試之學習數據；顯示部110，顯示學習數據；以及判定部108，對操作部103，實行測試步驟預先設定的操作，進行比較取得部104取得的輸出畫面顯示內容與學習數據，進行對測試對象裝置200的測試合格與否判定。

Description

自動測試裝置

本發明係關於執行顯示畫面的軟體測試之自動測試裝置。

近年來，行動電話機、平板終端、車載機器、還有這些機器使用的網站應用程式等使用GUI(圖形使用者界面)。為了保持製品品質，對於UI(使用者界面)畫面也必須進行充分的測試，UI畫面變得複雜且多量，UI畫面的顯示圖案有增加傾向。

一直以來，UI畫面根據人的操作與人的判斷進行判定，但隨著UI畫面的顯示圖案增加，UI畫面的測試需要的時間與成本增加，製造商或開發者要求效率化。

又，近年來，提議並實現使用個人電腦上的自動測試軟體或自動測試機器人等的技術使測試效率化的方法。一般來說，進行UI畫面的測試時係準備以預先期待UI畫面上顯示的內容作為圖像數據之正確畫面圖像，取得測試對象在實動作時的UI畫面顯示作為對象畫面圖像，比較正確畫面圖像與對象畫面圖像判定有無差異或類似度，藉此執行測試UI畫面的顯示之方法。

不過，根據測試對象，由於測試對象的實行環境或實行時 序不同，動畫等的UI畫面的特定顯示區域變化，在準備的正確畫面圖像與測試對象的UI畫面的顯示上有時會發生差異。

在此情況下，對全部畫面的正確畫面圖像是必需的，由於UI畫面的複雜化，對全部畫面的正確畫面圖像的準備有時是困難的。

對於此問題，例如專利文件1中，提示的方法係準備預先變化區域作為光罩區域，比較對象畫面圖像與正確畫面圖像之際，比較除去光罩區域的區域。

又，從正確畫面圖像與對象畫面圖像削除變化區域再比較的方法。不過，此方法在變化區域是複雜形狀的情況下，準備除外的變化區域輪廓的工時增加，還有削除時未削除區域留下比較時恐怕發生差異。

對於此問題，例如專利文件2中，提示的方法係UI畫面內的每件物件保持物件本體與形狀，準備透過處理比較對象外的背景區域之物件正確圖像，比較前調整尺寸等之後合成對象畫面，比較合成結果圖像與正確圖畫。

還有，例如專利文件3中提示，學習對網站應用程式實行的網站瀏覽器環境產生的差異，從測試不合格判定除去實施測試時依存於環境而發生的畫面顯示差異。

[先行技術文件]

[專利文件]

[專利文件1]日本專利第2009-134406號公開公報

[專利文件2]日本專利第2012-043062號公開公報

[專利文件3]日本專利第2013-077301號公開公報

習知的UI畫面測試方法，必需準備正確畫面圖像或光罩數據。不過，近年來GUI中常使用動畫，根據測試實施的條件或時序畫面顯示有時會變化。

因此，習知的測試方法中，雖然準備了正確畫面圖像或光罩數據，但準備對應動態變化的UI畫面之正確畫面圖像或光罩數據，必須對應測試實施的條件或時序而準備，還有因為UI畫面複雜化，需要許多準備，又，形狀複雜的情況下，準備充分的測試數據極困難。

又，對實施測試時的測試對象的環境之負載狀況或測試條件，根據時序，UI畫面有時會變化。例如，根據測試環境的負載狀況改變處理速度，顯示處理狀況的進度條的顯示少許不合，根據測試實施時刻時鐘部分的顯示文字列變化等。不過，對於這些變化，由於處理速度引起的少許不合或變化，理所當然時刻顯示或動畫變化等在測試中的不合格判定有時是不必的。

不過，習知的UI畫面的測試方法中，測出UI畫面圖像的細微差異，判定為不合格。又，由於光罩處理完全除去變化區域，藉此從測試對象完全除去此區域，之後有必須由人判斷的問題。

因為本發明係用以解決上述問題點而形成，藉由自動產生正確畫面圖像或光罩數據，以削減測試準備必需的時 間或成本為目的。又，學習根據測試實施的環境或時序發生的差異傾向，在測試時使用，可以容許通常會發生的UI畫面顯示的偏差。還有，相較於習知的光罩處理或單純的畫面圖像的比較，不從畫面比較除去變化區域，還有，因為也可以進行包含細微變化的比較，可以削減之後必須由人判斷的狀態。

因為本發明係用以解決上述問題點而形成，提供自動測試裝置，包括操作部，執行測試對象裝置的輸入機器之操作；取得部，取得上述測試對象裝置的輸出畫面顯示內容；學習部，反覆實行包含對上述操作部預先設定1以上的操作與對應上述操作的輸出畫面顯示內容是否從上述取得部取得的指示之測試步驟群，學習對應各操作的複數的輸出畫面顯示內容的偏差範圍及偏差傾向，產生用以判定是否通過對上述測試對象裝置的測試之學習數據；顯示部，顯示上述學習數據；以及判定部，對上述操作部，實行測試步驟預先設定的操作，進行比較上述取得部取得的輸出畫面顯示內容與上述學習數據，進行對上述測試對象裝置的測試合格與否判定。

根據本發明，可以削減自動產生測試用數據所需要的時間和成本。

1‧‧‧處理器

2‧‧‧記憶裝置

3‧‧‧測試操作界面

4‧‧‧圖像取得界面

5‧‧‧輸入裝置

6‧‧‧顯示裝置

100‧‧‧自動測試裝置

101‧‧‧記錄部

102‧‧‧控制部

103‧‧‧操作部

104‧‧‧取得部

105‧‧‧比較部

106‧‧‧學習部

107‧‧‧反映部

108‧‧‧判定部

109‧‧‧輸入部

110‧‧‧顯示部

111‧‧‧推斷部

112‧‧‧輸出部

113‧‧‧補正部

200‧‧‧測試對象裝置

201‧‧‧記錄部

202‧‧‧控制部

203‧‧‧產生部

204‧‧‧輸入部

205‧‧‧顯示部

206‧‧‧記錄輸出部(輸出部)

300‧‧‧數據庫部

301‧‧‧測試步驟

302‧‧‧學習數據

303‧‧‧測試結果

304‧‧‧推斷設定

305‧‧‧測出設定

306‧‧‧參數

501‧‧‧基準畫面圖像

502‧‧‧差異圖案

507‧‧‧合格與否判定基準學習結果

[第1圖]係顯示本發明的本第一實施例的自動測試裝置的硬體構成的一範例之方塊圖； [第2圖]係顯示本第一實施例的自動測試裝置的機能構成的一範例之方塊圖；[第3圖]係顯示使用本第一實施例的自動測試裝置的系統機能構成的一範例之方塊圖；[第4圖]係顯示本第一實施例的自動測試裝置的學習模式時的處理之流程圖；[第5圖]係顯示本第一實施例的自動測試裝置的學習模式之動作影像；[第6圖]係顯示本第一實施例的自動測試裝置的合格與否判定基準學習之動作影像；[第7圖]係顯示本第一實施例的自動測試裝置的合格與否判定基準再學習之動作影像；[第8圖]係顯示本第一實施例的自動測試裝置的測試模式時的處理之流程圖；[第9圖]係顯示本第一實施例的自動時化裝置的合格與否判定方法的一範例之動作影像；[第10圖]係基準畫面圖像為複數時，以學習模式取得的畫面圖像群的一範例；[第11圖]係差異圖案變冗長的合格與否判定基準學習數據302的一範例；[第12圖]係具有複數的基準畫面圖像與差異圖案時合格與否判定基準學習數據203的一範例；[第13圖]係顯示使用本第二實施例的自動測試裝置的系統機能構成的一範例之方塊圖； [第14圖]係顯示本第二實施例的自動測試裝置的學習模式時的處理之流程圖；[第15圖]係顯示使用本第三實施例的自動測試裝置的系統機能構成的一範例之方塊圖；[第16圖]係說明本第三實施例的自動測試裝置納入製品中使用時的動作之流程圖；[第17圖]係使用本第三實施例的自動測試裝置的錯誤測出設定與UI畫面圖像比較之動作影像；[第18圖]係顯示使用本第四實施例的自動測試裝置的系統機能構成的一範例之方塊圖；以及[第19圖]係顯示使用本第四實施例的自動測試裝置的參數補正處理之流程圖。

[第一實施例]

第1圖係概略顯示本發明第一實施例的自動測試裝置100的硬體構成的具體例之方塊圖。如第1圖所示，第一實施例的自動測試裝置100，包括進行控制上述裝置的處理器1、記憶裝置2、測試操作界面3、圖像取得界面4、輸入裝置5、輸出裝置6。

記憶裝置2係ROM(唯讀記憶體)、RAM(隨機存取記憶體)等的記憶體、硬碟等的外部記憶裝置的總稱，以處理器1進行讀寫程式、數據，還有也用作暫時數據的收納處。

測試對象操作界面3，係進行操作測試對象裝置的輸入機器之裝置，係USB纜線、LAN纜線、紅外線、藍芽(註冊商標) 等的有線或無線的通訊機器、機器人、語音控制裝置等。測試對象操作界面3中，也可以包含用以操作測試對象裝置的輸入機器之程式或數據、通訊路徑，也可以從記錄裝置2讀出必需的資訊並接受處理器1的指示而動作。

圖像取得界面4，係用以取得測試對象裝置的輸出畫面顯示內容(UI畫面圖像)之裝置，係攝影機等的捕獲裝置。圖像取得界面4也可以包含用以取得測試對象裝置的UI畫面圖像之程式或數據、通訊路徑，也可以從記錄裝置2讀出必需的資訊並接受處理器1的指示而動作。

輸入裝置5，係鍵盤或滑鼠、觸控面板、有線或無線的通訊界面、語音辨識、各種感應器等的輸入機器與其控制程式、通訊路徑等。

輸出裝置6，係用以通知使用者自動測試裝置100中使用的設定數據或輸出數據等的裝置，係進行數據輸出至外部的顯示機器(未圖示)之通訊路徑與其控制程式或通訊路徑。

第2圖係顯示本第一實施例的自動測試裝置100的機能方塊圖。第2圖中，控制部102係具有作為自動測試裝置100的製品的機能特徵之程式，一般此控制部102執行自動測試裝置100的控制。

記錄部101，在記憶裝置2中保持用以使自動測試裝置100動作的程式或數據、暫時數據等。又，記憶裝置2作為記錄部101，以控制部102執行對記錄部101的讀出及寫入處理也可以。

控制部102，進行自動測試裝置100的各機能的控制或各 機能間的數據交換。

測試對象操作部(操作部)103，係經由測試對象操作界面3用以進行對測試對象裝置200的操作或數據輸入之通訊路徑或紅外線等的發送模組、語音輸出裝置、機器人驅動用的命令發送纜線或往馬達等的驅動裝置的信號線等。又，測試對象操作部103中，也可以包含進行構成測試對象操作部103的機器的控制或用以執行控制的信號變換等之程式或數據。

從測試對象操作部103經由測試對象操作界面3，測試對象裝置200的操作或數據輸入係進行輸入機器操作用的命令文字列數據的發送或紅外線等的波形輸出、操作機器人的控制命令發送、往語音輸出裝置的語音輸出圖案設定、製品中預先準備的操作用命令發送等，代替原本人對測試對象裝置200進行的操作或數據輸入。又，測試對象操作界面3作為測試對象操作部103，以控制部102進行對測試對象操作部103的控制也可以。

畫面圖像取得部(取得部)104，經由圖像取得界面4從測試對象裝置200取得UI畫面的顯示內容作為點陣圖或JPEG(聯合圖像專家組)方式等的靜止圖像數據。經由圖像取得界面4，畫面圖像取得部104從測試對象裝置200取得的UI畫面的顯示內容中，測試對象裝置200從產生部204往顯示部205發送的靜止圖像數據從通訊路徑上取得，或者從產生部204往顯示部205發送的影像數據以任意的時序取入，在圖像取得界面4或是畫面圖像取得部104中轉換為靜止圖像數據也可以。還有，在圖像取得界面4中從攝影機等取得測試對象裝置 200在顯示部205顯示的內容作為靜止圖像數據也可以。圖像取得界面4作為畫面圖像取得部104，以控制部102進行對畫面圖像取得部104的控制也可以。

圖像比較部(比較部)105，比較任意2個圖像數據，測出一致或差異。圖像數據的比較中，比較任意2個圖像數據的各畫素的RGB成份等的色資訊或配色圖案等，測出色資訊或配色圖案不同的畫素位置或範圍與RGB成份等的數值差等作為差異。

合格與否判定學習部(學習部)106，對測試對象裝置200，反覆實施測試步驟301內包含的操作，學習各UI畫面的顯示偏差範圍或傾向，產生測試時用作合格與否判定基準的合格與否判定基準學習數據(學習數據)302。又，此合格與否判定基準學習部(學習部)106稱作學習模式。

使用者反饋部(反映部)107，對合格與否判定基準學習部106學習的合格與否判定基準學習數據302，進行根據使用者產生的妥當性確認結果反映，進行再度執行學習模式產生的合格與否判定基準的再學習或測試結果303的修正。

妥當性的確認，例如，對使用者每次操作合格與否判定基準學習數據302的內容，顯示基準畫面圖像、差異圖案、學習時取得的UI畫面圖像群、UI畫面圖像群中合格與否判定中合格物與不合格物，即對基準畫面圖像應用差異圖案的偏差範圍內包含之物與未包含之物的分類以及各發生比例等。

使用者反饋部107，對UI畫面圖像群的各UI畫面圖像，提供經由使用者可變更合格與否狀態的顯示部110之界面。使 用者，藉由對各UI畫面圖像確認合格與否的狀態判斷合格與否判定基準的妥當性，判斷有錯誤時，對使用者反饋部107提供的界面，經由輸入部109指示UI畫面圖像合格與否的狀態變更。接受合格與否的狀態變更指示之使用者反饋部107，對合格與否判定基準學習部106，交付包含合格與否的狀態變更之合格與否判定基準學習數據302，進行再學習的指示。

合格與否判定部(判定部)108，測試實施時對測試對象裝置200的UI畫面圖像進行與合格與否判定基準學習數據302的比較，進行測試的合格與否判定。

輸入部109，接受對自動測試裝置100的使用者操作或數據輸入等的要求。

顯示部110，在顯示裝置6顯示根據使用者的要求變更的自動測試裝置100的設定數據(設定資訊)或實行的測試結果。

又，記錄部101、控制部102、測試對象操作部103、畫面圖像取得部104、圖像比較部105、合格與否基準學習部106、使用者反饋部107、合格與否判定部108、輸入部109、顯示部110，藉由處理器1實行記憶裝置2內記憶的程式實現。又，複數的處理器及複數的記憶體合作實行上述機能也可以。

第3圖係顯示使用本第一實施例的自動測試裝置的系統構成的一範例。

測試對象裝置200，係成為測試對象的軟體或包含軟體的行動電話機、平板終端、車載機器、個人電腦等的資訊機器等。測試對象裝置200，具有記錄部201、控制部202、產生部203、輸入部204、顯示部205。

記錄部201，記憶用以使測試對象裝置200動作的程式或數據之記憶體或硬體裝置等的記錄媒體。

控制部202，係從測試對象裝置200的記錄部201讀出程式或數據，並根據讀出的內容與來自輸入部204的輸入內容，控制測試對象裝置200的各機能之處理器或通訊路徑。又，控制部202，根據從記錄部201讀出的程式或數據、與來自輸入部204的輸入內容，在UI畫面產生部203產生UI畫面的顯示內容，指示往顯示部205的輸出。又，進行各機能或機器之間的數據交換。

UI畫面產生部(產生部)203，係由於控制部202的指示，依照從記錄部201讀出的程式或數據，根據來自輸入部204的輸入內容，產生往UI畫面的顯示內容之程式或處理器、通訊路徑等。

輸入部204，接受對測試對象裝置200的操作或數據輸入，係鍵盤或滑鼠、觸控面板、有線或無線的通訊界面、語音辨識、各種感應器等的輸入機器與其控制程式、通訊路徑等。

顯示部205，係從測試對象裝置200往用以執行UI畫面顯示的顯示器等的顯示機器、外部的顯示機器進行數據輸出的通訊路徑與其控制程式或通訊路徑。

數據庫部300，係保持使自動測試裝置100動作之際使用的數據之硬碟或記憶體等的記憶媒體。還有，數據庫部300，可以是經由網路的伺服器上的硬碟或記憶體等的記憶裝置。又，數據庫部300，也可以內建在自動測試裝置100的記憶裝置2內。

測試步驟301，係顯示自動測試裝置100對測試對象裝置200執行的操作內容或步驟、等待時間、輸入數據、有無確認UI畫面圖像、步驟的一部分或全體與其反覆次數等之數據。又，測試步驟301，對測試對象裝置200，根據想實施的測試內容準備複數個也可以。又，測試的實行環境或實行時序容易受影響而UI畫面顯示容易變化時，或是發生過以前發生機率低的UI畫面顯示的偏差引起的不良等的理由，想增加對於特定的操作的UI畫面圖像的取樣量等，如果有想重點進行確認的UI畫面或操作步驟的話，增加這些反覆次數以測試步驟301進行強化測試等的指定也可以。又，進行操作時序或等待時間產生的UI畫面顯示變化的測試時，藉由測試步驟301內組合並設定等待時間與有無確認UI畫面圖像，可以實現。

合格與否判定基準學習數據(學習數據)302，係顯示自動測試裝置100的合格與否基準學習部106產生的各UI畫面的顯示偏差範圍或傾向之數據。

測試結果303，係顯示以自動測試裝置100測試實施得到的結果之數據。測試結果303，係記錄測試步驟301的各操作中測試的合格與否判定結果與UI畫面圖像等的動作結果之數據。

其次說明動作。本發明的大動作的流程，首先，根據學習模式實施學習測試對象裝置100的UI畫面顯示的偏差範圍或傾向，其次根據測試模式實施實施自動測試裝置100的測試，利用學習模式學習的UI畫面顯示的偏差範圍或傾向進行測試的合格與否判定。

最初說明學習模式的動作。第4圖顯示學習模式的動作流程。又，本實施形態中，關於具有對測試對象裝置200的操作或數據輸入實行x次的測試步驟群(群)之測試步驟301反覆實施n次之範例，進行說明。

自動測試裝置100的控制部102，從數據庫部300讀出測試步驟301，叫出學習部106(S101)。

學習部106，根據讀出的測試步驟301，從測試對象操作部103對測試對象裝置200的輸入部204，進行操作或數據輸入(S102)。又，學習部106，根據測試步驟301，繼續測試對象裝置200的操作中，從構成測試步驟301的測試用命令群等之中，測出測試步驟301中從測試對象裝置200取得UI畫面圖像的步驟作為UI畫面圖像取得命令命令等的情況下，畫面圖像取得部104從測試對象裝置200取得當時測試對象裝置200的UI畫面圖像作為圖像數據(S103)。

學習部106，直到完成測試步驟301為止，根據上述測試對象裝置200的操作與需要從測試對象裝置200反覆取得UI畫面圖像(S104)。

學習部106，完成全部的測試步驟301群時，測試測試步驟301的次數，進行與預先設定的反覆次數n的比較，測試的次數比n還少的情況下，再度進行測試步驟301的測試實行(S105)。

第5圖中顯示學習模式到此為止的動作影像。

學習部106，經由操作部103，依序實施群內包含的各操作或數據輸入，有UI畫面圖像取得指示的情況下經由取得部 104，取得當時的UI畫面圖像。

學習部106，藉由反覆實施群，只以反覆數量取得對應群的各操作與步驟的UI畫面圖像。又，對於群中相同的操作步驟每次反覆的UI畫面圖像的集合(第5圖的點線圍繞的UI畫面圖像的集合)，稱作UI畫面圖像群。

回到第4圖的流程圖的說明。

合格與否基準學習部106，根據測試步驟301得到的UI畫面圖像，產生合格與否判定基準學習數據302(S106)。又，本實施形態中，說明關於使用基準畫面圖像與差異圖案的方法，作為合格與否判定基準學習數據302的一範例。

第6圖係合格與否基準學習部106學習合格與否基準的實施例。

首先，合格與否基準學習部106，產生基準畫面圖像501。又，基準畫面圖像501係合格與否基準學習部106以反覆次數實施測試步驟301而得到，作為對應各操作的UI畫面圖像群的平均資訊。在此，基準畫面圖像作為UI畫面圖像群內包含的各UI畫面圖像的各畫素的RGB成份的平均值，如同第6圖的基準畫面圖像501的畫面1、畫面2、畫面x，根據對應各操作的UI畫面圖像群產生基準畫面圖像。第6圖的基準畫面圖像501中，顯示表現基準畫面圖像為圖像影像之範例。

其次合格與否基準學習部106，產生差異圖案502。差異圖案502對於對應剛產生的測試步驟301的各操作之基準畫面圖像，具有對應測試步驟301的各操作之UI畫面圖像群的各UI畫面圖像，作為顯示差異範圍與傾向之數據。 本實施形態中，差異範圍係對於對應各操作的UI畫面圖像群的基準畫面圖像，抽出UI畫面圖像群內包含的各UI畫面圖像的各畫素的RGB成份最小時的差異(第6圖的503)與最大時的差異(第6圖的504)。

又，合格與否基準學習部106，算出對UI畫面圖像群的各UI畫面圖像的基準畫面圖像之差異發生傾向。本實施形態中，作為差異傾向，UI畫面圖像群內包含的各UI畫面圖像的各畫素的RGB成份對於基準畫面圖像，小的情況下為第6圖的503的傾向，大的情況下為第6圖的504的傾向，算出分佈在哪一邊作為對於UI畫面圖像群內包含的UI畫面圖像數量之比例。

還有，第6圖的範例中，畫面1的情況下，顯示UI畫面圖像群的各UI畫面圖像全部固定的情況，因為對基準畫面圖像無差異，差異的範圍中無差異，發生傾向100%。畫面2的情況顯示，對於基準畫面圖像，UI畫面圖像內的斜線的矩形部分505在UI畫面中有時不顯示，UI畫面圖像內的矩形部分506在UI畫面中有時會顯示。畫面x的情況，也顯示與畫面2的情況相同，UI畫面圖像內的斜線的矩形部分505在UI畫面中有時不顯示，UI畫面圖像內的矩形部分506在UI畫面中有時會顯示。

還有，本實施例的形態中，以反覆次數實施測試步驟301的操作後，實施合格與否判定基準學習(S106)，但實施測試步驟301的各操作，以從測試對象裝置200取得UI畫面圖像的時序隨時實施合格與否判定基準學習(S106)也可以。

其次控制部102，叫出顯示部110，通知使用者合格與否判定基準學習的結果。使用者，進行學習結果的確認，進行判定是否是妥當的內容(S107)。在此，說明關於必須根據使用者的學習結果確認的理由。合格與否基準學習部106，在合格與否判定基準學習(S106)中，正在學習UI畫面顯示的偏差範圍和傾向的時候，由於偶發的問題，有時UI畫面顯示發生異常以及有時包含不良。在此情況下，維持原狀作為學習數據進行測試時，因為恐怕影響合格與否判定，藉由使用者進行學習數據的確認，從學習數據除去異常的UI畫面顯示資訊，保證測試模式時使用的合格與否判定基準學習數據302的妥當性。

作為使用者的學習結果確認，想出的方法係通知使用者合格與否判定基準學習(S106)產生的基準畫面圖像與差異圖案、對應的測試步驟301內的操作。通知使用者合格與否判定基準學習(S106)得到的學習數據之際，為了使用者容易辨識差異，也可以如同3D圖或熱圖以圖表顯示。使用者確認通知的內容(S107)，判斷合格與否判定基準學習(S106)的結果是否妥當(S108)，如果使用者判斷學習結果有問題時，藉由上述妥當性的確認，例如需要對於對合格與否判定基準學習數據302的各UI畫面圖像的合格與否狀態之反饋的內容輸入至自動測試裝置100的輸入部109。

需要反饋的內容，例如是「根據第X次操作產生的UI畫面顯示以現在的學習結果分類為合格，但因為UI畫面顯示內容異常，再學習以免包含在基準畫面圖像、差異圖案內」、「根 據第Y次的操作產生的UI畫面顯示以現在的學習結果分類為合格，但因為UI畫面顯示內容異常，使用者判斷為合格，選擇其他的反覆時使用與第Y次操作產生的UI畫面顯示相同的圖像，進行基準畫面圖像、差異圖案的再學習」等。

輸入部109，交付使用者反饋部107必須從使用者接受反饋的資訊。使用者反饋部107進行反映從使用者接受的反饋內容之合格與否判定基準的再學習(S109)。

利用第5圖，說明關於再學習的範例。第5圖中，反覆第n次測試步驟301群之中，相較於對於操作x的畫面x的顯示反覆第1次、反覆第2次，具有進行顯示往畫面中央部的矩形(反白文字XXX)的差異。此差異的發生在反覆次數n之中只有1次的情況下，第6圖的合格與否判定基準學習結果507的發生傾向為1/n。使用者，由於看到此發生傾向值，相較於其他發生傾向，明顯發生頻度低，可以判斷為特異的傾向。

又，使用者預先知道UI畫面圖像的正確顯示結果時，可以目視判斷UI畫面圖像群中507的顯示內容異常。

判斷學習數據異常的使用者，在上述範例的情況下，輸入輸入部109測試步驟301的群反覆第n次中畫面x異常。使用者反饋部107，根據輸入至輸入部109的內容，實施合格與否判定基準的再學習。

使用者反饋部107，在合格與否判定基準的再學習中，從第5圖中各UI畫面圖像的取得結果，在使用者指定為異常的測試步驟301群反覆第n次中除去圖像x，對於對剩下的所有每次反覆的各操作之UI畫面圖像，以與合格與否判定基準學 習(S106)相同的步驟，進行合格與否判定基準的再學習。再學習的結果、合格與否判定基準的學習結果，為第7圖所示。第7圖中，畫面x中往畫面中央部的矩形顯示(反白文字XXX)排除於對基準畫面圖像的差異圖案之外。即，排除於測試模式時的合格基準之外。

反覆實施上述的步驟S107~109直到使用者判斷不用反饋為止(S108)。

使用者判斷不用反饋時，記錄部101，記錄學習模式得到的測試步驟301群中各操作對應的UI畫面圖像群、基準畫面圖像、差異圖案作為數據庫部300的合格與否判定基準學習數據302(S110)。

還有，以本實施形態以及其他方法進行合格與否判定基準學習的情況下，記錄部101記錄需要此其他方法的合格與否判定基準學習數據302。

以上係使用基準畫面圖像與差異圖案的學習模式的動作之範例。

其次說明測試模式的動作。第8圖顯示測試模式的動作流程。

最初控制部102，從數據庫部300讀出測試步驟301，叫出學習部106(S201)。

學習部106，根據讀出的測試步驟301，從測試對象操作部103對測試對象裝置200的輸入部204，進行操作或數據輸入(S202)。

學習部106，根據測試步驟301，繼續測試對象裝置200 的操作中，測試步驟301測出來自測試對象裝置200的UI畫面圖像取得的步驟時，畫面圖像取得部104從測試對象裝置200取得當時的測試對象裝置200的UI畫面圖像作為圖像數據(S203)。

學習部106，直到完成測試步驟301為止，根據上述測試對象裝置200的操作與需要反覆從測試對象裝置200取得UI畫面圖像(S204)。

學習模式以反覆次數反覆實行測試步驟301群收集UI畫面圖像，測試模式只實行一次測試步驟301群，收集UI畫面圖像。

學習模式在全部結束測試步驟301的步驟後(S204)，合格與否判定部108使用學習模式產生的合格與否判定基準學習數據302，實施對測試對象裝置200的UI畫面圖像之測試的合格與否判定(S205)。

利用第9圖說明關於合格與否判定的範例。本實施形態中，說明關於使用學習模式產生的基準畫面圖像與差異圖案之合格與否判定方法作為合格與否判定方法的一範例。

合格與否判定由合格與否判定部108執行。合格與否判定部108，使用圖像比較部105，進行比較對應測試模式(第8圖：S201~S204)得到的測試步驟301的各操作之UI畫面圖像與對應學習模式(第1圖：S101~S110)得到的測試步驟301的各操作之基準畫面圖像。

合格與否判定部108，進行比較對應測試模式得到的各操作之UI畫面圖像與對應之基準畫面圖像，產生的差異收納至 對應各操作的差異圖案的範圍內的情況下，合格與否判定為合格，否定的情況下，判斷為不合格。

例如，對應測試模式得到的測試步驟301的操作2之UI畫面圖像，與對應學習模式得到的測試步驟301的操作2之基準畫面圖像相比較的情況下，因為差異收納至合格與否判定基準學習數據302的範圍內，操作2的測試合格與否判定為合格。

又，對應測試模式得到的測試步驟301的操作x之UI畫面圖像，與對應學習模式得到的測試步驟301的操作x之基準畫面圖像相比較的情況下，測出畫面中央部的矩形部分為差異。因為此差異不包含在合格與否判定基準學習數據的差異圖案內，對應測試步驟301的操作x之測試合格與否判定為不合格。

合格與否判定部108對測試步驟301的全部操作，如上述進行合格與否判定。

還有，本實施形態中，說明實施全部測試步驟301的操作結束後實施測試合格與否判定(S205)，但實施測試步驟301的各操作，以從測試對象裝置200取得UI畫面圖像的時序隨時實施測試合格與否判定(S205)也可以。

其次合格與否判定部108，通知使用者測試的合格與否判定結果是否是妥當的內容之確認(S206)。給使用者的通知，使用顯示部110。

合格與否判定部108，也合併通知使用者確認自動測試裝置100產生的測試合格與否是否妥當。

還有，本實施形態中，說明關於得到測試合格與否版手的結果後合格與否判定部對使用者進行通知之範例，但進行對此使用者的通知之步驟，在測試模式結束後，在使用者側對自動測試裝置100有要求的時刻進行也可以。

顯示部110，通知使用者對應測試步驟301的各操作之合格與否判定結果與測試模式得到的UI畫面圖像、基準畫面圖像與對應此的差異、差異圖案等，作為測試合格與否判定(S205)的結果。通知的方法與學習模式時的給使用者的確認同樣地，使用圖表顯示容易辨識也可以。

使用者，確認通知的合格與否判定結果與測試模式得到的UI畫面圖像、對基準畫面圖像的差異、差異圖案等，判斷合格與否結果有問題的情況下，輸入必須反饋的內容至自動測試裝置100的輸入部109(S207)。

輸入部109，交付使用者反饋部107需要從使用者接受反饋之資訊。使用者反饋部107進行反映成為從使用者接受的反饋內容的內容之合格與否判定基準的再學習及測試合格與否判定結果的修正(S208)。

第9圖中，測試步驟301的操作x的UI畫面圖像根據使用者的確認結果為合格時，與學習模式時的範例中第6圖到第7圖進行再學習的情況相同，包含對應UI畫面圖像群中以測試模式得到的測試步驟301的操作x之UI畫面圖像，進行合格與否判定基準的再學習，更新合格與否判定基準學習數據302。

此時的合格與否判定基準的再學習結果如第6圖所示。 又，使用者判斷為合格的測試步驟301的操作x的合格與否判定結果從不合格修正為合格。判定部108。直到使用者判定不用反饋為止，反覆實施上述步驟S206~S208(S207)。

記錄部101，在數據庫部300記錄對應以測試模式得到的測試步驟301的各操作之UI畫面圖像與測試的合格與否判定結果作為測試結果303。又，記錄部101，在數據庫部300記錄更新的合格與否判定基準學習數據302。

以上係使用基準畫面圖像與差異圖案的測試模式的動作範例。

還有，學習模式、測試模式中產生的數據或從測試對象裝置200得到的UI畫面圖像，藉由使用者對自動測試裝置100的輸入部109輸入要求操作，可以利用顯示部110隨時確認。

如上述，藉由自動操作測試對象裝置200取得UI畫面圖像，可以自動產生習知的正確畫面圖像或光罩數據的資訊作為合格與否判定基準學習數據302，可以削減測試準備需要的時間、成本。

又，使用測試步驟302，複數次實施同樣的操作步驟，藉由學習對應相同操作步驟的UI畫面圖像的偏差範圍或傾向作為合格與否判定基準並使用於測試的合格與否判定，可以容許以通常的動作能夠發生的測試可容許的UI畫面顯示的偏差，習知作為測試對象區域即使光罩處理等的準備困難之區域也成為自動測試的對象，變得可以削減需要使用者判斷之作業。

本實施形態中，合格與否判定基準學習數據302 內包含的基準畫面圖像與差異圖案對應測試步驟301的各操作為1個，但合格與否判定基準學習數據302內包含的基準畫面圖像與差異圖案對應測試步驟301的各操作具有複數個也可以。

利用第10圖、第11圖、第12圖，說明有關合格與否判定基準學習數據302的基準畫面圖像與差異圖案對應測試步驟301的任意操作具有複數個的情況下的範例。

對應測試步驟301的任意操作反覆實施的結果得到的UI畫面圖像群顯示於第10圖。

合格與否判定基準學習的結果，以基準畫面圖像與差異圖案表現UI畫面圖像圖的正常實例時，如第11圖所示，為冗長的合格與否判定基準學習數據302，有可能降低合格與否判定基準的準確度。在此情況下，進行上述第4圖的學習結果確認(S107)中的學習結果的妥當性確認，結果，經由使用者反饋部107使用者根據合格與否判定基準學習數據302檢查UI畫面圖像一覽，為了可以選擇特定的UI畫面圖像作為別的正常實例，從使用者反饋部107提供使用者選擇項。

如同使用者反饋，使用者選擇特定的UI畫面圖像作為別的正常實例的情況下，進行再學習，如第12圖所示對於對應特定操作的UI畫面顯示，可以保持複數的基準畫面圖像與差異圖案在合格與否判定基準學習數據302中。

合格與否判定基準學習數據302中對於1個測試步驟301的操作具有複數的基準畫面圖像與差異圖案的情況下，第8圖所示的測試模式中的測試合格與否判定(S205)，如第12圖複 數的基準畫面圖像及差異圖案的全部實例比較測試得到的UI畫面圖像，與其中任何基準畫面圖像及差異圖案一致時，判定為合格。

藉由此方法，根據操作步驟或輸入數據的內容，可以對應UI畫面顯示變化很大的情況。

[第二實施例]

本實施形態中，說明關於第一實施例加上錯誤推斷機能的情況。

第13圖係加上錯誤推斷機能的情況下使用自動測試裝置100的系統構成的一範例。第13圖中，與第3圖相同符號的記錄部101、控制部102、操作部103、取得部104、比較部105、學習部106、反映部107、判定部108、輸入部109、顯示部110、記錄部201、控制部202、產生部203、輸入部204、顯示部205、測試步驟301、學習數據302、測試結果303，表示相同或相當的部分，與第3圖所說明的相同。

自動測試裝置100的錯誤推斷部(推斷部)111，根據從數據庫部300讀出的錯誤推斷設定(推斷設定)304，學習模式中的合格與否判定基準學習(S106)或測試模式中的合格與否判定基準學習數據302產生的測試與否判定(S205)之外，再加上由於測試對象裝置200的UI畫面圖像的偏差範圍或傾向具有特定的偏差，推斷為錯誤。

數據庫部300的錯誤推斷設定(推斷設定)304，係錯誤推斷部111中用於錯誤推斷的數據，顯示成為錯誤推斷基準的偏差範圍或傾向，由使用者設定。

還有，錯誤推斷部111經由處理器1實行記憶裝置2內記憶的程式而實現。又，複數的程式及複數的記憶體合作實行上述機能也可以。

說明關於使用錯誤推斷的動作。第14圖顯示使用錯誤推斷的學習模式的動作流程。還有，本實施形態中，利用第一實施例使用的合格與否判定基準學習數據302的基準畫面圖像、差異圖案作為範例。

首先，控制部102，從數據庫部300讀出錯誤推斷設定304。錯誤推斷設定304，如第13圖所示，從外部(經由網路的伺服器或外部記憶裝置)取得也可以，如同自動測試裝置100的記錄部101記錄在自動測試裝置100中內建的記錄媒體中再根據需要讀出也可以。又，錯誤推斷設定304的內容變更為使用者希望的任意錯誤推斷基準也可以，從過去取得的合格與否判定基準學習數據302以錯誤推斷設定304的形式抽出，改良再使用抽出的結果也可以。

其次推斷部111，利用讀出的錯誤推斷設定304與合格與否判定基準學習數據302進行錯誤推斷(S301)。

錯誤推斷設定的範例，第6圖的合格與否判定基準學習數據302的差異圖案的發生傾向是固定比例e/n以下時，設定判斷為錯誤。

第一實施例中，合格與否判定基準學習(S106)之後，藉由通知使用者基準畫面圖像或差異圖案等的合格與否判定基準學習數據302與學習模式得到的測試對象裝置200的UI畫面圖像群，根據使用者進行學習結果的妥當性確認。相對於此， 利用錯誤推斷的本實施形態的情況下，錯誤推斷實施(S301)中，對於合格與否判定基準學習(S106)得到的差異圖案，以錯誤推斷設定304設定的差異圖案的發生傾向是e/n以下時，測出錯誤。例如，第6圖的507的發生傾向d/n在錯誤推斷設定304的發生傾向e/n以下時，分類為第6圖的507的各UI畫面圖像中，測出有異常的可能性。

第一實施例的說明中，與對第4圖的合格與否判定基準學習(S106)的結果實行的相同，錯誤推斷部111測出的結果，在S107~S109中通知使用者，進行判斷是否需要使用者的確認與反饋。

例如，與錯誤推斷部111的錯誤推斷相同，使用者判斷通知使用者的UI畫面圖像異常時，由使用者輸入其內容至輸入部109，使用者反饋部107(S108)與第一實施例相同，實施合格與否判定基準的再學習(S109)。

於是，錯誤推斷部111，自動判斷符合錯誤推斷設定304設定的條件之內容，藉由通知使用者，可以減輕使用者測出判斷合格與否判定基準學習數據302的妥當性確認與異常需要的負擔，可以削減自動產生測試用數據需要的時間與成本。

還有，本實施形態中，錯誤推斷(S301)的實施在測試步驟301的步驟完成並在合格與否判定基準學習(S106)之後進行，但也可以根據需要變更處理的順序。

[第三實施例]

本實施例中，說明關於除了第一實施例之外再加 上發明對象的自動測試裝置100內建於製品或測試環境的情況。藉由內建自動測試裝置100於製品或測試環境中，使用於已經上市的製品動作中的UI畫面顯示可測出的異常、或開發階段或市場不良發生後的UI畫面顯示可測出的異常在再現測試中的測出。

第15圖，係顯示使用本發明第三實施例的自動測試裝置的系統機能構成的一範例。還有，本實施形態中，進行說明測試對象裝置200作為製品或測試環境的第15圖中，與第3圖相同符號的記錄部101、控制部102、操作部103、取得部104、比較部105、學習部106、反映部107、判定部108、輸入部109、顯示部110、記錄部201、控制部202、產生部203、輸入部204、顯示部205、測試步驟301、學習數據302、測試結果303，表示相同或相當的部分，與第3圖所說明的相同。

數據庫部300的錯誤測出設定(測出設定)305，係保持異常測出需要的資訊之數據。

錯誤測出設定305，係用以判別UI畫面圖像為異常的基準。在此，錯誤測出設定305記錄製品出貨前預先準備的操作、對應操作的基準畫面圖像與差異圖案。比較錯誤測出設定305與UI畫面圖像的結果，不包含在錯誤測出設定305內時，可以判斷UI畫面圖像顯示為異常。還有，錯誤測出設定305，由使用者製作與基準畫面圖像及差異圖案相同的資訊也可以，採取為了判斷基準畫面圖像及差異圖案內包含的內容不正常而為異常而設定的方法也可以。

自動測試裝置100的記錄輸出部(輸出部)112，係 與測試對象操作部103類似的構成，異常測出時，對測試對象裝置200通知異常發生，指示記錄輸出或記憶體轉存等之後的異常解析作業使用的數據記錄。還有，藉由處理器1實行在記憶裝置2內記憶的程式，實現記錄輸出部112。又，複數的處理器及複數的記憶體合作實行上述機能也可以。

測試對象裝置200的記錄輸出部(輸出部)206，從自動測試裝置100接受異常發生的通知，記錄記錄輸出或記憶體轉存等的資訊。記錄處，可以是測試對象裝置200的記錄部201，也可以通知自動測試裝置100記錄至自動測試裝置100的記錄部101。又，通知數據庫部300等的外部的記錄媒體進行記錄也可以。

其次，利用第16圖，說明關於納入製品中使用自動測試裝置時的動作。

自動測試裝置100的控制部102，在測試對象裝置200啟動時讀入數據庫部300的錯誤測出設定305(S401)。

本實施形態中，錯誤測出設定305的數據係顯示第一實施例的第6圖中使用的畫面2的UI畫面圖像群的基準畫面圖像與差異圖案，錯誤測出設定305的數據內容，變更為任意的畫像數據等也可以。

取得部104，以取得部104的內部或控制部102等具有的計時器測量時間，經過預先設定的時間(S402)時，從測試對象裝置200取得UI畫面圖像，叫出圖像比較部105。

在測試對象裝置200運轉中，自動測試裝置100以畫面圖像取得部104從UI畫面產生部203取得測試對象裝 置200的畫面顯示內容(S403)。在此，例如從測試對象裝置200取得UI畫面顯示內容，係以短時間的間隔定期取得UI畫面顯示內容。

從測試對象裝置200取得UI畫面圖像的時間間隔或畫面大小、位置等的條件以錯誤測出設定305設定也可以。還有，這些設定係控制部102在讀入錯誤測出設定305之際進行設定。

圖像比較部105進行比較取得的UI畫面圖像與錯誤測出設定305的內容。

合格與否判定部108，接受圖像比較部105的結果，判斷從測試對象裝置200取得的UI畫面圖像是否包含在錯誤測出設定305的條件內。還有，本實施的形態中，因為錯誤測出設定305中使用基準畫面圖像與差異圖案，利用合格與否判定部108，比較從測試對象裝置200取得的UI畫面圖像與錯誤測出設定305(S404)。

製品納入的情況下，製品的操作由使用者進行，因為不由自動測試裝置100進行操作，錯誤測出設定305內包含的基準畫面圖像與差異圖案不能完全對應使用者的操作步驟。因此，本實施形態中，從測試對象裝置200取得的UI畫面圖像對錯誤測出設定305內包含的全部基準畫面圖像與差異圖案進行循環比較。此範例顯示於第17圖。又，製品出貨前預先取得對全部操作的基準畫面圖像與差異圖案並記錄在錯誤測出設定305內。

合格與否判定部108比較從測試對象裝置200取得的UI 畫面圖像與錯誤測出設定305，不包含在錯誤測出設定305內時，判斷為異常(S404)。

上述中，合格與否判定部108判斷為異常時，合格與否判定部108經由控制部102通知記錄輸出部112異常，記錄輸出部112對測試對象裝置200，進行異常發生通知(S405)。

接受異常發生通知的測試對象裝置200由記錄輸出部206對記錄部201等的記錄媒體進行動作記錄或記憶體轉存等的動作資訊之記錄(S406)。

於是，平時接受測試對象裝置200在通常動作時的UI畫面顯示，藉由與錯誤測出設定305內預先準備的基準畫面圖像、差異圖案等的異常判別資訊比較，自動測出異常發生，可以記錄記錄輸出或記憶體轉存等的動作資訊，能夠有效進行之後的解析作業。

尤其在異常發生頻度特別低的情況下，人的記錄、記憶體轉存的解析作業的話因為費時費力，無效率。

根據本發明自動測出影響畫面顯示的異常，只自動記錄需要的資訊，能夠減輕人的解析作業的負擔。如記憶體的不當存取等，系統中顯示明確異常的不良在程式上容易發現，但起因於市場的動作環境之問題或程式上的錯誤測出處理不能發現的設計或組裝的不良流出引起的極低頻度中的不當UI畫面顯示發生時，尤其認為得到本發明中的效果。

本實施形態中說明的製品納入的範例中，除了第一實施例的構成之外再加上追加異常的測出與動作資訊的記錄需要的機能，但不用的話，市場中的製品納入時除去自動測試裝置100 的合格與否基準學習部106或使用者反饋部107等的機能或數據庫部300的學習數據302、測試結果303等的資訊也可以。

又，自動測試裝置100的機能，包含在測試對象裝置200內也可以，獨立也可以。還有，實行記錄輸出等的動作資訊記錄的指示與實施的機能集中在自動測試裝置100或測試對象裝置200也可以，或者，分散至各裝置也可以，由通訊等對外部進行通知也可以。

[第四實施例]

本實施形態中，除了第一實施例之外，再加上由於自動測試裝置100的處理器1等的處理速度或測試操作界面3、圖像取得界面4、控制部102的處理速度或通訊速度，或是測試對象裝置200的處理速度等的影響，為了對應自動測試裝置100或測試對象裝置200的處理時序的變化，具有根據參數產生的補正機能。

第18圖係具有根據參數產生的補正機能的情況下使用自動測試裝置100的系統構成的一範例。第18圖中，與第3圖相同符號之記錄部101、控制部102、操作部103、取得部104、比較部105、學習部106、反映部107、判定部108、輸入部109、顯示部110、記錄部201、控制部202、產生部203、輸入部204、顯示部205、測試步驟301、學習數據302、測試結果303，表示相同或相當的部分，與第3圖說明的相同。

自動測試裝置100的參數補正部(補正部)113，根據從數據庫部300讀出的補正參數(參數)306，提早或延遲學習模式或測試模式中測試步驟301內包含的各操作或數據輸入、UI畫面 圖像取得的時序。

數據庫部300的補正參數306，係以補正部113對測試步驟301內包含的操作或數據輸入、UI畫面圖像取得，用於縮短預先設定的等待時間、追加等待時間之數據，為了補正測試步驟301內包含的操作或數據輸入、UI畫面圖像取得的時序，由使用者設定。

還有，補正部113係藉由處理器1實行記憶裝置2內記憶的程式實現。又，複數的處理器及複數的記憶體合作實行上述機能也可以。

說明關於使用參數補正的動作。使用參數補正的測試步驟301的實施流程顯示於第19圖。還有，本實施形態中，使用第一實施例中使用之測試模式中的測試步驟301的實施作為範例。

首先，自動測試裝置100的控制部102，從數據庫部300讀出測試步驟301及補正參數306，叫出學習部106(S201)。

學習部106，對測試對象裝置200執行讀出的測試步驟301內包含的操作或數據輸入之前，交付讀出的補正參數306與測試步驟301給參數補正部113指示補正(S601)。

例如參數補正，第5圖的學習模式中操作1的操作，數據輸入S102之中實施UI畫面圖像取得S103為止的等待時間定義為1秒。又，補正參數306中對於每次反覆測試步驟301的操作1，包含往UI畫面圖像取得轉移為止的等待時間追加1秒的內容。

在此雖然以學習模式的測試步驟301為範例，但因為測試 步驟301的內容即使是測試模式也同等，沒有問題。參數補正部113，從補正參數306檢索對應從測試步驟301讀出的操作1的補正資訊，找到追加等待時間1秒的內容。參數補正部113，從測試步驟301讀出的操作1的操作，在數據輸入S102中找到等待時間為1秒的資訊，反映從補正參數306找到的等待時間追加1秒的內容，等待時間為2秒返回至學習部106。學習部106，根據從參數補正部113接受的資訊，等待以外的操作或數據輸入實施後，直到UI畫面圖像取得為止進行2秒的等待(S202)。UI畫面圖像取得(S203)以後的流程與第一實施例相同。

如上述，藉由對於已經準備的測試步驟301進行參數補正，由於自動測試裝置100或測試對象裝置200的處理性能等，可以調整一部分的測試步驟301的操作或UI畫面圖像取得的時序。構成自動測試裝置100或測試對象裝置200的各要素處理性能變化時，雖然假設UI畫面顯示係往下一UI畫面顯示遷移速度等的變化，但藉由進行參數補正，不變更已使用的測試步驟301或合格與否判定基準學習數據302，只追加參數補正部113，就能夠實施在不同的處理性能的自動測試裝置100或測試對象裝置200中的學習模式或測試模式，可以實行資源的有效活用或作業的效率化。

100‧‧‧自動測試裝置

101‧‧‧記錄部

102‧‧‧控制部

103‧‧‧操作部

104‧‧‧取得部

105‧‧‧比較部

106‧‧‧學習部

107‧‧‧反映部

108‧‧‧判定部

109‧‧‧輸入部

110‧‧‧顯示部

Claims (5)

1. 一種自動測試裝置，包括：操作部，執行測試對象裝置的輸入機器之操作；取得部，取得上述測試對象裝置的輸出畫面顯示內容；學習部，反覆實行包含對上述操作部預先設定1以上的操作與對應上述操作的輸出畫面顯示內容是否從上述取得部取得的指示之測試步驟群，學習對應各操作的複數的輸出畫面顯示內容的偏差範圍及偏差傾向，產生用以判定是否通過對上述測試對象裝置的測試之學習數據；顯示部，顯示上述學習數據；以及判定部，對上述操作部，實行測試步驟預先設定的操作，進行比較上述取得部取得的輸出畫面顯示內容與上述學習數據，進行對上述測試對象裝置的測試合格與否判定。
2. 如申請專利範圍第1項所述的自動測試裝置，更包括：輸入部，輸入對於上述學習數據的妥當性；反映部，對上述學習數據，進行反映上述妥當性的再學習，產生再學習數據；其中，上述判定部，對上述操作部，實行預先在測試步驟中設定的操作，進行上述取得部取得的輸出畫面顯示內容與上述再學習數據的比較，進行對上述測試對象裝置的測試之合格與否判定。
3. 如申請專利範圍第1或2項所述的自動測試裝置，更包括：推斷部，對於上述學習部產生的學習數據，推斷取得的輸出畫面顯示內容的偏差範圍及偏差傾向為錯誤。
4. 如申請專利範圍第1至3項中任一項所述的自動測試裝置，更包括：輸出部，上述判定部判斷為異常時，對上述測試對象裝置輸出異常測出引起的記錄輸出或記憶體轉存的動作資訊之記錄。
5. 如申請專利範圍第1至4項中任一項所述的自動測試裝置，更包括：補正部，補正上述測試步驟群設定的各操作的等待時間。