TW201512838A - 測試案例優先排序方法 - Google Patents

Abstract

一種測試案例優先排序方法，主要係應用資料探勘技術管理、分析各相關文件建立規則，評估新需求可能造成的邊界效應，提高回歸測試的效率及文件內容的正確性，進而提昇軟體品質，並透過分析歷史程式異動清單和需求屬性的關係建立資料探勘規則，並演算出可能需求屬性集合，優先排序歷史測試案例提高回歸測試的效率，透過分析比對機制提供各相關文件內容修訂的判斷依據進而提昇內容正確性，以避免在需求新增及異動時配合撰寫的分析、開發及測試等等文件，因分析不完全或設計錯誤等疏失導致系統功能上線後產生功能缺陷之問題發生。

Description

測試案例優先排序方法

本發明係一種在軟體需求新增及異動時，透過分析比對提供各相關文件內容修訂的判斷依據進而提昇內容正確性的測試案例優先排序方法。

因應使用者需求的不斷新增及異動，軟體功能也隨之異動頻繁，相對應的文件亦需一併新增及修訂，如用來描述使用者對於系統功能的訴求的需求文件及用來描述因應需求文件而產生分析文件等。為了確保軟體品質，在軟體開發各階段，需確認各相關文件內容符合需求文件所述，除針對該需求設定相關測試案例外，為了檢驗軟體原有的功能亦能維持正常運作，需要透過回歸測試去驗證軟體功能仍具正確性，然而，隨著軟體系統功能越來越複雜，有限的時間內要執行測試案例越來越多的情況，維持一定的測試覆蓋率並有效率地執行測試案例視為一個重要議題。

美國專利US 20080126867A1，運用原先組件程式和異動程式組件交互比對，比對可能修改的程式模組範圍，並針對此修改模組的範圍去資料庫內選擇適合的測試案例確保軟體開發的品質，然而，此項專利僅著重在程式的覆蓋率，忽略了現實狀況，即使測試全部修改的相關程式使程式覆蓋率達到100%，還是無法確保軟體的舊有功能在程式修改後還可符合使用者的需求，另外，此專利也缺乏對於軟體研發流程相關文件的管理。

本發明之主要目的在於提供一種提高回歸測試的效率及文件內容的正確性，進而提昇軟體品質之測試案例優先排序方法。

本發明之次要目的在於提供一種在軟體需求新增及異動時，或測試活動進行前，透過分析比對機制提供各相關文件內容修訂的判斷依據進而提昇內容正確性之測試案例優先排序方法。

本發明之又一目的在於提供一種在測試活動進行中，優先排序歷史測試案例提高回歸測試效率測試案例優先排序方法。

為達上述目的，本發明之試案例優先排序方法，主要係建立一需求文件及一產生需求屬性追朔表，先利用資料探勘模型和演算法分析歷史程式異動清單和需求屬性的關係，確立資料探勘規則，再利用資料探勘規則推論此次程式異動清單的可能需求屬性集合S_RA'，然後將可能需求屬性集合S_RA'和此次需求新增及異動的相關文件內容透過比對分析機制做比對，確認相關文件內的需求屬性追溯表包含的需求屬性集合S_RA是否已有存在可能需求屬性集合S_RA'，再將S_RA'和歷史的測試案例的S_RA做交叉比對，產生優先排序的測試案例並執行回歸測試，最後於測試活動進行前重新檢視相關文件內容提昇正確性，並於測試活動進行中優先排序歷史測試案例提高回歸測試效率，以提昇軟體品質。

101‧‧‧建立需求文件

102‧‧‧產生需求屬性追朔表

103‧‧‧利用資料探勘技術及演算法分析演算出可能需求屬性集合S_RA'

104‧‧‧將S_RA'和此次需求新增及異動的相關文件內容透過比對分析機制做比對，確認相關文件內的需求屬性追溯表包含的S_RA是否已有存在S_RA'

105‧‧‧將S_RA'和歷史的測試案例的S_RA做交叉比對，產生優先排序的測試案例並執行回歸測試

21‧‧‧需求文件

211‧‧‧需求屬性集合S_RA

22‧‧‧分析文件

221‧‧‧需求屬性集合S_RA

23‧‧‧程式異動清單

231‧‧‧需求屬性集合S_RA

24‧‧‧測試案例

241‧‧‧需求屬性集合S_RA

第1圖 為本發明試案例優先排序方法之流程圖；第2圖 為本發明試案例優先排序方法之需求文件；第3圖 為本發明試案例優先排序方法之分析文件； 第4圖 為本發明試案例優先排序方法之程式異動清單；第5圖 為本發明試案例優先排序方法之測試案例。

請參閱第1圖，本發明之試案例優先排序方法，其係軟體系統因使用者需求而針對軟體的功能進行新增或修改，主要流程包括：

步驟一、建立需求文件101

步驟二、產生需求屬性追溯表102

步驟三、利用資料探勘技術及演算法分析演算出可能需求屬性集合S_RA' 103

步驟四、將S_RA'和此次需求新增及異動的相關文件內容透過比對分析機制做比對，確認相關文件內的需求屬性追溯表包含的S_RA是否已有存在S_RA' 104

步驟五、將S_RA'和歷史的測試案例的S_RA做交叉比對，產生優先排序的測試案例並執行回歸測試105。

請參閱第1~5圖，本發明之試案例優先排序方法，其中步驟一及步驟二，依據需求文件21的內容，先明確標示需求屬性RA(Requirement Attributes)211和各文件中要清楚標明和需求屬性的對應關係，即需求屬性追溯表，該需求文件21定義了需求屬性集合S_RA211={RA₁，RA₂，……，RA_n}，並依需求屬性集合S_RA211撰寫相關文件，該相關文件包括分析文件22、程式異動清單23及測試案例(Test Cases)24，分析文件22包含分析文件n與各需求屬性集合S_RA221={RA₁，RA₂，……，RA_n}的關係，如表一分析文件表格中紀錄RA₁及RA₂和分析文件的章節對應關係，從表一中可清楚得知RA₂在此分析文件21中對應的章節為3.1、3.2、3.3和3.4，程式異動清單23包含程式異動清單n與各需求屬性集合S_RA231={RA₁，RA₂，……，RA_n}的關係，如表二程式異動清單表格中紀錄異動的程式和RA₁及RA₂的關係，從表二中可清楚得知RA₁在此次需異動程式A007、A010、A011及A032，RA₂在此次需異動程式A003、A005及A038，另外，測試案例(Test Cases)24，應包含TC_n與各需求屬性集合S_RA241={RA₁，RA₂，……，RA_n}的關係，如表三測試案例表格中紀錄測試案例和RA₁及RA₂的關係，從此表中可清楚得知RA₁對應了TC₁和TC₂，RA₂對應TC₁。

請參閱第1~5圖，本發明之試案例優先排序方法，其中該步驟三、利用資料探勘技術及演算法分析演算出可能需求屬性集合S_RA' 103，首先針對欲分析的資料配合欲選擇的資料探勘模型進行整理，透過資料探勘技術的關聯規則模型進行分析，關聯規則模型可定義相關輸出參數設定，如可定義規則的最小機率及最低重要性，如表四所示，可定義項目集的最小支援、項目集大小下限及最大資料列數，如表五所示，及相依性網路關係圖可調整連接顯示的強弱關係，可使軟體系統的需求定義使訓練出來的規則更具有參考價值，分析出來的結果如表四可顯示各程式和需求屬性的重要性，其中程式A038對於需求屬性RA₃的重要性大於程式A038對於需求屬性RA₂的重要性，再配合從分析結果，可以得知當設定特定的強弱關係，透過資料探勘的技術可以去除弱連結，僅顯示程式和需求屬性間的強連結，可以解釋為程式A003、A005及A0038和需求屬性RA₂和RA₃有關聯性較強的連結，然後，將此次需求新增及異動的新產生的程式異動清單以資料探勘的規則為基礎做分析比較，推論出此程式異動清單的可能需求屬性S_RA'，如表二程式異動清單為例，此次異動的程式為A003、A005、A008、A007、A010、A011及A032，雖然文件中紀錄這些程式是因為RA₁和RA₂所異動，但是依據前一流程資料探勘的規則發現此次異動的程式A003、A005及A038和RA₂及RA₃存在關聯性較強的連結，進而推論此次異動程式的S_RA'={RA₁、RA₂、RA₃}。

本發明之試案例優先排序方法，該步驟四、將S_RA'和此次需求新增及異動的相關文件內容透過比對分析機制做比對，確認相關文件內的需求屬性追溯表包含的S_RA是否已有存在S_RA' 104，若S_RA'≧S_RA，透過比對 分析機制確認文件內容確實缺漏S_RA'的內容描述，則請相關人員修訂對應的內容，確保文件的正確性，本實施例中S_RA'={RA₁、RA₂、RA₃}，但此分析文件中S_RA={RA₂}，比對分析機制已存在RA₁也應該存在於文件內容中的規則，則分析人員必須對該分析文件內容及需求屬性追溯表修訂為S_RA={RA₁、RA₂、RA₃}，以確保文件內容的正確性；而若S_RA'≦S_RA，比對分析機制內無該規則，且經相關人員確認文件內容確實需含有S_RA-S_RA'的內容，則文件不需修改但必須將該規則設定於比對分析機制，此實施例中S_RA'={RA₁、RA₂、RA₃}，若此分析文件S_RA={RA₁、RA₂、RA₃、RA₄}，則表示該分析文件所涵蓋的需求屬性S_RA多於S_RA'，比對分析機制內無該規則，且經分析人員確認RA₄確實是需要新增的需求屬性，文件內容則不需修訂但必須將該規則設定於比對分析機制；比對分析機制內已存在該規則，則需移除分析文件中對於RA₄的相關描述。

另外，該步驟五、將S_RA'和歷史的測試案例的S_RA做交叉比對，產生優先排序的測試案例並執行回歸測試105，若S_RA'≦S_RA，則此歷史測試案例優先度最高，此實施例中S_RA'={RA₁、RA₂、RA₃}，若有歷史測試案例的S_RA1={RA₁、RA₂、RA₃、RA₄}、S_RA2={RA₁、RA₂}及S_RA3={RA₁、RA₂、RA_3}，則此三個是歷史測試案例優先排序為S_RA1>S_RA3>S_RA2，而若S_RA'≧S_RA，則使歷史測試案例的優先度依其S_RA' ∩ S_RA的數量多寡，交集需需求屬性越多則優先度越高；反之，依序遞減，此實施中S_RA'={RA₁、RA₂、RA₃}，若有歷史測試案例S_RA2={RA₁、RA₂}、S_RA3={RA₁}及S_RA4={RA₂}，則此三個歷史測試案例優先排序為S_RA2>S_RA3=S_RA4。

綜上所述，本發明之測試案例優先排序方法，可於測試活動 進行前重新檢視相關文件程式的正確性，並於測試活動進行中優先排序歷史測試案例提高回歸測試效率，因此可確保軟體的舊有功能在程式修改後還可符合使用者的需求，並同時可對軟體研發流程相關文件進行管理。

上列詳細說明係針對本創作之一可行實施例之具體說明，惟該實施例並非用以限制本創作之專利範圍，凡未脫離本創作技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

101‧‧‧建立需求文件

102‧‧‧產生需求屬性追溯表

103‧‧‧利用資料探勘技術及演算法分析演算出可能需求屬性集合S_RA'

104‧‧‧將S_RA'和此次需求新增及異動的相關文件內容透過比對分析機制做比對，確認相關文件內的需求屬性追溯表包含的S_RA是否已有存在S_RA'

105‧‧‧將S_RA'和歷史的測試案例的S_RA做交叉比對，產生優先排序的測試案例並執行回歸測試

Claims (6)

1. 一種優先案例測試排序方法，主要係軟體系統因使用者需求而針對軟體的功能進行新增或修改，其流程步驟包括：步驟一、建立一需求文件，該需求文件內對需求屬性集合S_RA進行定義；步驟二、產生需求屬性追朔表，該需求屬性追朔表係依據需求文件內容標示需求屬性及需求屬性與各相關文件的對應關係所產生；步驟三、利用資料探勘模型和演算法分析歷史程式異動清單和需求屬性的關係，確立資料探勘規則；步驟四、利用資料探勘規則推論此次程式異動清單的可能需求屬性集合S_RA'；步驟五、將可能需求屬性集合S_RA'和此次需求新增及異動的相關文件內容透過比對分析機制做比對，確認相關文件內的需求屬性追溯表包含的需求屬性集合S_RA是否已有存在可能需求屬性集合S_RA'，透過比對分析機制確認文件內容確實缺漏S_RA'的內容描述，則需修訂文件內容；若S_RA'≧S_RA，若S_RA'≦S_RA，比對分析機制內無該規則，且經相關人員確認文件內容確實需含有S_RA-S_RA'的內容，則文件不需修改但必須將該規則設定於比對分析機制；步驟六、將S_RA'和歷史的測試案例的S_RA做交叉比對，產生優先排序的測試案例並執行回歸測試，若S_RA'≦S_RA，則此歷史測試案例優先度最高，若S_RA'≧S_RA，則使歷史測試案例的優先度依其S_RA' ∩ S_RA的數量多寡，交集需需求屬性越多則優先度越高，反之，依序 遞減。
2. 如請求項1所述之優先案例測試排序方法，其中該相關文件包括分析文件、程式異動清單及測試案例。
3. 如請求項2所述之優先案例測試排序方法，其中該分析文件包括分析文件與各需求屬性集合的對應關係。
4. 如請求項2所述之優先案例測試排序方法，其中該程式異動清單包括程式異動清單與各需求屬性集合的對應關係。
5. 如請求項2所述之優先案例測試排序方法，其中該測試案例包括測試案例與各需求屬性集合的對應關係。
6. 如請求項1所述之優先案例測試排序方法，其中該資料探勘模型和演算法為關聯規則的Apriori及決策樹的ID3，或其他等效演算法。