TWI436277B - 軟體驗證系統、方法及其電腦可讀取媒體 - Google Patents

Description

軟體驗證系統、方法及其電腦可讀取媒體

本發明係關於一種軟體驗證系統、方法及其電腦可讀取媒體，更特別的是關於一種進行螺旋式驗證步驟之軟體驗證系統、方法及其電腦可讀取媒體。

一般的軟體驗證方法皆是在配合軟體發展程序的情況下來執行的。軟體發展程序包括常見的快速雛形模式(RAPID Prototype Model)、漸進模式(Incremental Model)與瀑布模型(Waterfall Model)等。

配合這些軟體發展程序而進行的軟體驗證工作往往會產生許多缺失，例如：

1、配合快速雛形模式發展之軟體驗證工作中，其需要不斷修改且缺少嚴謹的分析與設計，無法以系統化的方式來控制軟體的發展，故驗證工作無法有效配合。此外，執行軟體驗證的人力需隨時大量地參與，使得專案資源無法被有效地管制。

2、配合漸進模式發展之軟體驗證工作中，由於軟體係被視為數個元件來設計、實做與測試，而每個元件係由不同的發展模式來開發，並於最後才執行整合與驗證。如此，由於各個元件是逐漸加入已有的系統結構中，所以加入之元件需不破壞已整合完成的系統結構。如此，軟體驗證工作之複雜度將增加，且在新元件加入後，對於已驗證過之系統無法判定其穩定度是否不受影響。

3、配合瀑布模式發展之軟體驗證工作中，軟體的開發需依據各項嚴格的線性程序來執行，因此，於當前的發展程序完成時，必須進行嚴謹的驗證工作，如驗證通過才可進入下一個發展階段，否則需修訂其發展工作直至驗證通過為止。如此，其驗證工作往往會造成時程的延宕，且此發展程序太過理想化，已經不再適合現代的軟體開發模式。

此外，一般在專案的執行過程中，因其資源有限，包括人力、預算與時程等，而產品開發所需的資源往往就佔用了總體資源的絕大部分，使得最後驗證工作的執行在人員及時程短缺的壓力下，往往犧牲驗證工作的完整性與完備性。

尤其當軟體驗證方法應用於關鍵控制服務時，例如：醫療設備、飛機自動導航系統、太空船控制系統、車控系統與核電廠自動控制系統等，由於關鍵控制服務的發展是以安全性需求為主要考量，故無論在法規或是常規的要求中，軟體發展與軟體驗證的工作皆需具備完整性與完備性，因而軟體發展與軟體驗證皆需使用嚴謹的方法來執行。

然而，在專案資源有限的情況下，相關驗證工作之執行則往往無法滿足驗證工作本身之品質要求，進而使軟體的服務品質、成功率及穩定度大幅降低。

本發明之一目的在於提出一種軟體驗證系統及方法，可動態地調整執行之工作(即，驗證工作的迴圈次數)，以使資源的利用最佳化，並保持軟體驗證工作的服務品質，進而增加關鍵控制服務產品的品質與專案之成功機率。

本發明之另一目的在於降低開發與驗證工作之風險，並於系統化與循序漸進的過程中降低軟體發展中的衝突發生率。

為達上述目的及其他目的，本發明提出之軟體驗證系統包含：一驗證項目初始化模組，係根據待驗證系統的資料類別及屬性解析出至少一關鍵特性及對應該至少一關鍵特性的允收準則；一測試驗證程序處理模組，係根據該至少一關鍵特性及其允收準則的定義，提交一外部測試系統以進行每一項關鍵特性中允收準則通過與否的測試，以及對無法通過允收準則測試的關鍵特性進行證據補充程序並記錄測試結果；一重複執行單元，係根據該測試驗證程序處理模組的測試結果，針對仍無法通過允收準則測試之關鍵特性的項目，重新解析出下一驗證迴圈程序之規劃，進而可供該測試驗證程序處理模組調整所需之關鍵特性及其允收準則以進行螺旋式的驗證程序，其中新制定之關鍵特性及其允收準則係供該測試驗證程序處理模組進行每一項關鍵特性中允收準則通過與否的測試；及一驗證結果處理單元，係整合所有之測試結果並輸出一結果報告。

其中，較佳地，該重複執行單元係依據貝式規則正向推算，以建立用於估算下一驗證程序所需資源的貝式網路估算模式。

於本發明之一實施例中，該驗證項目初始化模組包含：一關鍵特性制定單元，係根據該待驗證系統之資料類別及屬性自一關鍵特性資料庫中篩選適合之該至少一關鍵特性，以產生一專案之關鍵特性；及一允收準則制定單元，係根據該待驗證系統之資料類別及屬性自一允收準則資料庫中篩選對應該專案之每一關鍵特性的允收準則。

於本發明之一實施例中，該測試驗證程序處理模組包含：一測試單元，係根據該至少一關鍵特性及其允收準則的定義，提交該外部測試系統以進行每一項關鍵特性中允收準則通過與否的測試；及一證據補充單元，將無法通過測試的允收準則以歷史運轉資料取代，以供該測試單元測試再一次進行允收準則通過與否的測試。

於本發明之一實施例中更包含：一資料輸入處理單元，係供該待驗證系統之資料類別及屬性的輸入，並將其儲存於一資料輸入庫。

此外，本發明更提供一種軟體驗證方法，其包含：蒐集待驗證系統的資料類別及屬性；根據該待驗證系統之技術規範及所蒐集之資料類別及屬性，訂定至少一關鍵特性；根據所訂定之該至少一關鍵特性，建立每一關鍵特性對應之允收準則；根據所建立之該等允收準則，進行每一項關鍵特性中允收準則通過與否的測試，並於所有允收準則皆通過後輸出一結果報告，其中，將未通過測試之允收準則以歷史運轉資料取代，並再一次進行允收準則通過與否的測試；及於再一次進行允收準則通過與否的測試後，針對仍無法通過允收準則測試之關鍵特性的項目，重新解析出下一驗證程序所需之關鍵特性及其允收準則，並對新制定之關鍵特性及其允收準則進行每一項關鍵特性中允收準則通過與否的測試。

其中，較佳地，於重新解析出下一驗證程序所需之關鍵特性及其允收準則的步驟中，係依據貝式規則正向推算，以建立用於估算下一驗證程序所需資源的貝式網路估算模式。

於本發明之一實施例中，於訂定至少一關鍵特性的步驟中，係依據物理特性、性能特性及可恃性特性此三種特性來訂定。

再者，本發明復提供一種電腦可讀取記錄媒體，係用於內儲一程式，並於電腦載入該程式且執行後，可完成前述之軟體驗證方法。

藉此，本發明可動態調整對於關鍵控制服務的軟體驗證工作，應用此系統可使驗證工作依關鍵控制服務所涵蓋控制系統範圍的大小執行完善之軟體驗證工作。

此外，螺旋式的軟體驗證系統為本發明執行的核心，其可使技術評估與允收程序工作相互交替地進行，而克服傳統的不可逆驗證方法，使其在專案發展的過程中，於遭遇無法預期之專案風險情況下，驗證工作仍符合專案整體時程規劃與品質需求。

為充分瞭解本發明之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本發明做一詳細說明，說明如後：軟體為系統中用來控制或執行各項功能服務的核心，所有的控制邏輯皆是透過軟體發展來實現的，因此軟體驗證的正確與有效率地執行就變得相當重要。

於本發明之採用螺旋式軟體驗證工作執行方法的軟體驗證系統中，其可動態調整軟體驗證工作的程序與執行範圍，應用此系統及方法可使驗證工作依關鍵控制服務所涵蓋控制系統範圍的大小執行完善之軟體驗證工作。

軟體驗證作業程序之主要工作項目有技術評估(Technical Evaluation)與允收程序(Acceptance Process)。技術評估包括蒐集待檢証系統相關資訊、執行技術評估與決定關鍵特性、及規劃驗證策略與建立關鍵特性允收準則。允收程序則包括各項關鍵特性品質証據之蒐集、審查、評估與驗證、各項關鍵特性品質証據之補充及驗證結論之建構。

請參閱第1圖，係本發明於一實施例中軟體驗證系統的示意圖。本發明之軟體驗證系統包含：驗證項目初始化模組200、測試驗證程序處理模組300、重複執行單元400及驗證結果處理單元500。

該驗證項目初始化模組200係根據待驗證系統的資料類別及屬性解析出至少一關鍵特性及對應該至少一關鍵特性的允收準則。其中，較佳地，如第1圖所示，該驗證項目初始化模組200包含：關鍵特性制定單元213及允收準則制定單元223。關鍵特性制定單元213係根據該待驗證系統之資料類別及屬性自一關鍵特性資料庫211中篩選適合之該至少一關鍵特性，以產生一專案之關鍵特性；允收準則制定單元223則是根據該待驗證系統之資料類別及屬性自一允收準則資料庫221中篩選對應該專案之每一關鍵特性的允收準則。此外，關鍵特性制定單元213亦可接收來自重複執行單元400重新解析出下一驗證迴圈程序之規劃策略的規劃結果，重新調整專案中的關鍵特性及其允收準則，舉例來說：可依據測試驗證程序處理模組300的結果，評估此階段之關鍵特性或是相對於關鍵特性之允收準則是否必須重新調整，以作為關鍵特性制定單元213之參考。

待驗證系統的資料類別及屬性通常為待驗證系統的硬體規格、程序規則、程式碼、軟體(韌體)發展計劃書、軟體(韌體)設計文件等，其可透過本發明另包含之資料輸入處理單元113輸入並儲存至資料輸入庫111中，而該驗證項目初始化模組200中的關鍵特性制定單元213及允收準則制定單元223即可根據此等資料類別及屬性的關鍵字自關鍵特性資料庫211與221允收準則資料庫中定義與篩選出相關之關鍵特性及其允收準則。

透過系統之技術規範與輸入之相關報告，本發明之軟體驗證系統所訂定之關鍵特性包含三項：物理特性、性能特性及可恃性特性。

(1)　物理特性要求主要包括：產品的外觀、標示、版次、規格與介面要求等。

(2)　性能特性要求主要包括：功能需求、績效需求、環境(嚴酷或溫和)需求與異常或失效狀況下之行為等。

(3)　可恃性特性要求為：內建品質、建構控制與追溯性要求等。

對於機械與電氣設備而言，關鍵特性主要為物理特性與性能特性。然而對數位設備而言，關鍵特性除了包含物理特性與性能特性外，對於具有軟體之儀控設備，其可恃性特性更顯的重要。因此，螺旋式的軟體驗證方法之關鍵特性較佳地係著重於可恃性特性之要求。

可恃性特性是指無法透過檢視或是測試的方式來驗證其正確性的特性，此特性一般是受到設備的發展程序影響。硬體的失效主要的原因為製造缺失與老化等因素，但軟體失效與造成硬體失效的原因特性大不相同，主要為設計缺失或是不符合於應用需求等。可恃性的特性包括可靠度與內建品質，主要是受到數位設備的發展程序、設計人員、驗證與確認的影響。對於軟體系統而言，其品質的高低取決於是否遵循系統化的發展生命週期(需求、設計、實做、測試等)、驗證與確認的執行與發展生命週期內文件的要求等。

舉例來說，物理特性之關鍵特性為：硬體規格中的尺寸，則其允收準則可為：紀錄長、寬、高尺寸以確認符合採購需求。性能特性之關鍵特性為：環境(嚴酷或溫和)需求中的濕度，則其允收準則可為：審查環境耐受度測試報告是否符合安裝地點之濕度需求。可恃性特性之關鍵特性為：設計與設計相關文件，則其一之允收準則可為：是否清楚定義程式執行、控制流程與資料流。

該測試驗證程序處理模組300，係根據該至少一關鍵特性及其允收準則的定義，提交至一外部測試系統350以進行每一項關鍵特性中允收準則通過與否的測試，以及對無法通過允收準則測試的關鍵特性進行證據補充程序並記錄測試結果。其中，較佳地，如第1圖所示，該測試驗證程序處理模組包含：測試單元313及證據補充單元315。測試單元313係根據該至少一關鍵特性及其允收準則的定義，提交該外部測試系統350以進行每一項關鍵特性中允收準則通過與否的測試；證據補充單元315則是將無法通過測試的允收準則以歷史運轉資料取代，以供該測試單元313測試再一次進行允收準則通過與否的測試。其中，無法通過允收準則的關鍵特性，證據補充單元315會自動評估是否以歷史運轉資料取代此允收標準，如評估可用歷史運轉資料取代此允收標準則可將其視為通過測試，且此時之允收準則已被替換。其中，歷史運轉資料可為在相同的環境下，其軟體正常運轉無任何錯誤產生的時間，一般而言關鍵控制服務對歷史運轉時間需求為300百萬小時。舉例來說：對於該測試單元313無法通過之可恃性特性關鍵特性來說，若軟體本身能具備量好(例如：有一定程度的穩定運轉時間)的歷史運轉資料的話，則可視為通過。

證據補充單元315並會統計通過的允收準則，若未百分之百通過，則會由重複執行單元400續行驗證程序；反之，若所有的允收準則皆通過，則驗證結果處理單元500整合所有之測試結果並輸出一結果報告。

重複執行單元400係根據證據補充單元315的測試結果，針對仍無法通過允收準則測試之關鍵特性的項目，重新解析出下一驗證迴圈程序之規劃，進而可供關鍵特性制定單元213及允收準則制定單元223調整所需之關鍵特性及其允收準則，再次根據剩餘且為新制定的關鍵特性及其允收準則進行驗證程序。

若再一次的驗證仍未通過，重複執行單元400即再次重新解析出第三驗證迴圈程序之規劃，直至所有允收準則皆可通過。如此，進行一種螺旋式的驗證程序。至於重複執行單元400的解析方式，較佳地，係依據貝式規則正向推算，以建立用於估算下一驗證程序所需資源的貝式網路估算模式，進而使關鍵特性制定單元213及允收準則制定單元223可根據此網路估算模式調整所需之關鍵特性及其允收準則。其中，貝式網路(Bayesian Belief Network,BBN)為一種有向的非循環圖形，主要由兩個部分所組成，包含了節點與連結線，並結合了一組狀態機率表。在此有向圖中，每一個節點用來表示隨機變數，而連結線用來表示兩個變數之間的關聯或因果關係，每一個節點的機率表則提供了節點中變數之每一個狀態的機率。簡而言之，此有向圖形用狀態機率表表示這些變數間的影響關係程度。每一節點附有一表達因果之間關係的條件機率表，此表的數值由專家決定或統計得來。一有新的證據，整個網路的節點數值，可由正向(由父節點至子節點)或反向(由子節點至父節點)計算，全部更新。因此，於此建立驗證程序所需資源的貝式網路，用以推算執行下一驗證程序所需之資源。

接著請參閱第2圖，係本發明於一實施例中軟體驗證方法的流程圖。其步驟包含：

步驟S1：蒐集待驗證系統的資料類別及屬性。

步驟S2：根據該待驗證系統之技術規範及所蒐集之資料類別及屬性，訂定至少一關鍵特性。

步驟S3：根據所訂定之該至少一關鍵特性，建立每一關鍵特性對應之允收準則。一般來說，一個關鍵特性可能對應有複數個不同的允收準則。

步驟S4：根據所建立之該等允收準則，執行各項關鍵特性品質證據之蒐集、審查、評估與驗證，以進行每一項關鍵特性中允收準則通過與否的測試，並於所有允收準則皆通過後輸出一結果報告，其中，將未通過測試之允收準則以歷史運轉資料取代(步驟S41)，並再一次(僅一次)進行允收準則通過與否的測試。

步驟S5：於再一次進行允收準則通過與否的測試後，針對仍無法通過允收準則測試之關鍵特性的項目，重新解析出下一驗證程序所需之關鍵特性及其允收準則，並對新制定之關鍵特性及其允收準則進行每一項關鍵特性中允收準則通過與否的測試。此時，先前已完成測試之關鍵特性及其允收準則將不需再次進行驗證。

步驟S6：驗證結論之建構，係整合所有之測試結果並輸出一結果報告。其報告內容可含：螺旋式軟體驗證工作總結說明、異常與解決方案總結說明、軟體品質整體評估、建議等。

據此，關鍵控制服務之螺旋式軟體驗證系統其執行的流程主要功能分成三部分。第一部分為待驗證系統相關資訊輸入。第二部分功能為主要驗證執行之執行，包括前述提及之技術評估與允收程序，此技術評估與允收程序可分為五部分：執行技術評估與決定關鍵特性(步驟S2)、規畫驗證策略與建立關鍵特性允收準則(步驟S3)、各項關鍵特性品質證據之蒐集、審查、評估與驗證及各項關鍵特性品質證據之補充(步驟S4)、及驗證工作重複執行策略(步驟S5)。最後第三部份為驗證結論之建構(步驟S6)。其中第二部分(步驟S2至S5)為螺旋式軟體驗證系統的執行核心，技術評估與允收程序工作相互交替執行，其優點是克服傳統的不可逆驗證方法，動態地調整執行的工作(工作迴圈次數)，使其在專案發展過程中，於遭遇無法預期之專案風險情況下，驗證工作仍符合專案整體時程規劃與品質需求。

其中，前述之資料輸入庫111、關鍵特性資料庫211及允收準則資料庫221亦可整合為單一資料庫。

此外，於一種實施態樣下，本發明之軟體驗證方法係形成為一程式產品，此程式係內儲於電腦可讀取記錄媒體，並於電腦載入該程式且執行後可完成本發明之軟體驗證方法。

綜上所述，本發明關鍵控制服務之軟體驗證系統、方法及其電腦可讀取媒體可在專案有限的資源下，保持軟體驗證工作之品質要求，增加專案之成功機率。其特點為：

1.可驗證傳統快速雛形模式之軟體發展方法下發展之軟體。

2.可驗證傳統瀑布模型之軟體發展方法下發展之軟體。

3.採用軟體工程中演進式方法，其驗證過程可由軟體模組先執行驗證，再逐漸驗證軟體模組整合之子系統直至整個系統，以降低與專案發展的衝突。

4.採用反覆式(Iterative)軟體驗證工作之執行方法，即螺旋式驗證方法，降低開發與驗證工作之風險。

5.軟體驗證程序的執行具備回饋與評估機制，即螺旋式驗證方法與貝式規則，可於最後驗證結論建構前，確認問題並完善解決。

本發明在上文中已以較佳實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本發明之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本發明之範疇內。因此，本發明之保護範圍當以申請專利範圍所界定者為準。

111．．．資料輸入庫

113．．．資料輸入處理單元

200．．．驗證項目初始化模組

211．．．關鍵特性資料庫

213．．．關鍵特性制定單元

221．．．允收準則資料庫

223．．．允收準則制定單元

300．．．測試驗證程序處理模組

313．．．測試單元

315．．．證據補充單元

350．．．外部測試系統

400．．．重複執行單元

500．．．驗證結果處理單元

S1~S6．．．步驟

第1圖為本發明於一實施例中軟體驗證系統的示意圖。

第2圖為本發明於一實施例中軟體驗證方法的流程圖。

111．．．資料輸入庫

113．．．資料輸入處理單元

200．．．驗證項目初始化模組

211．．．關鍵特性資料庫

213．．．關鍵特性制定單元

221．．．允收準則資料庫

223．．．允收準則制定單元

300．．．測試驗證程序處理模組

313．．．測試單元

315．．．證據補充單元

350．．．外部測試系統

400．．．重複執行單元

500．．．驗證結果處理單元

Claims (9)

1. 一種軟體驗證系統，其包含：一驗證項目初始化模組，係根據待驗證系統的資料類別及屬性解析出至少一關鍵特性及對應該至少一關鍵特性的允收準則；一測試驗證程序處理模組，係根據該至少一關鍵特性及其允收準則的定義，提交一外部測試系統以進行每一項關鍵特性中允收準則通過與否的測試，以及對無法通過允收準則測試的關鍵特性進行證據補充程序並記錄測試結果；一重複執行單元，係根據該測試驗證程序處理模組的測試結果，針對仍無法通過允收準則測試之關鍵特性的項目，重新解析出下一驗證迴圈程序之規劃，進而可供該測試驗證程序處理模組調整所需之關鍵特性及其允收準則以進行螺旋式的驗證程序，其中新制定之關鍵特性及其允收準則係供該測試驗證程序處理模組進行每一項關鍵特性中允收準則通過與否的測試；及一驗證結果處理單元，係整合所有之測試結果並輸出一結果報告。
2. 如申請專利範圍第1項所述之軟體驗證系統，其中該驗證項目初始化模組包含：一關鍵特性制定單元，係根據該待驗證系統之資料類別及屬性自一關鍵特性資料庫中篩選適合之該至少一關鍵特性，以產生一專案之關鍵特性；及一允收準則制定單元，係根據該待驗證系統之資料類別及屬性自一允收準則資料庫中篩選對應該專案之每一關鍵特性的允收準則。
3. 如申請專利範圍第2項所述之軟體驗證系統，其中該測試驗證程序處理模組包含：一測試單元，係根據該至少一關鍵特性及其允收準則的定義，提交該外部測試系統以進行每一項關鍵特性中允收準則通過與否的測試；及一證據補充單元，將無法通過測試的允收準則以歷史運轉資料取代，以供該測試單元測試再一次進行允收準則通過與否的測試。
4. 如申請專利範圍第1項所述之軟體驗證系統，其中該重複執行單元係依據貝式規則正向推算，以建立用於估算下一驗證程序所需資源的貝式網路估算模式。
5. 如申請專利範圍第1項所述之軟體驗證系統，其中更包含：一資料輸入處理單元，係供該待驗證系統之資料類別及屬性的輸入，並將其儲存於一資料輸入庫。
6. 一種軟體驗證方法，其包含：蒐集待驗證系統的資料類別及屬性；根據該待驗證系統之技術規範及所蒐集之資料類別及屬性，訂定至少一關鍵特性；根據所訂定之該至少一關鍵特性，建立每一關鍵特性對應之允收準則；根據所建立之該等允收準則，進行每一項關鍵特性中允收準則通過與否的測試，並於所有允收準則皆通過後輸出一結果報告，其中，將未通過測試之允收準則以歷史運轉資料取代，並再一次進行允收準則通過與否的測試；及於再一次進行允收準則通過與否的測試後，針對仍無法通過允收準則測試之關鍵特性的項目，重新解析出下一驗證程序所需之關鍵特性及其允收準則，並對新制定之關鍵特性及其允收準則進行每一項關鍵特性中允收準則通過與否的測試。
7. 如申請專利範圍第6項所述之軟體驗證方法，其中，於重新解析出下一驗證程序所需之關鍵特性及其允收準則的步驟中，係依據貝式規則正向推算，以建立用於估算下一驗證程序所需資源的貝式網路估算模式。
8. 如申請專利範圍第6項所述之軟體驗證方法，其中，於訂定至少一關鍵特性的步驟中，係依據物理特性、性能特性及可恃性特性此三種特性來訂定。
9. 一種電腦可讀取記錄媒體，係用於內儲一程式，並於電腦載入該程式且執行後，可完成如申請專利範圍第6至8項中任一項所述之軟體驗證方法。