TWI770732B - 儲存管理系統及其搜尋排序方法 - Google Patents

Abstract

一種儲存管理系統，包含一輸入單元；以及一檔案系統伺服器，包含至少一儲存單元，以一檔案系統為基礎；以及一應用程式介面伺服器，包含以一物件儲存為基礎之一應用程式介面；該應用程式介面伺服器根據至少一目錄字串，列出並排序該至少一儲存單元之該檔案系統中同一階層所有檔案及所有目錄名稱，再列出符合該至少一目錄字串之至少一符合檔案或至少一符合目錄做為一結果清單；若該結果清單包含至少一符合目錄，該應用程式介面伺服器增加列出並排序該至少一符合目錄中所有檔案及所有目錄，直到所列出之該結果清單皆為符合檔案資料為止。

Description

儲存管理系統及其搜尋排序方法

本發明係指一種儲存管理系統及其搜尋排序方法，尤指一種可避免花費大量時間排序而導致超時停止之儲存管理系統及其搜尋排序方法。

在習知技術中，使用者由以物件儲存(object storage)為基礎之雲端伺服器(如亞馬遜雲端運算服務，Amazon Web Services，AWS)轉為使用以檔案系統為基礎之網路附加儲存(Network Attached Storage，NAS)伺服器或其他以檔案系統為基礎的電子產品時，由於使用者已習慣以物件儲存方式呈現儲存檔案資料內容，因此以檔案系統為基礎之網路附加儲存伺服器會提供以物件儲存為基礎之一應用程式介面供使用者操作。

然而，透過檔案系統模擬成物件儲存，當單一目錄內含有大量的檔案及目錄時，以習知物件儲存方式先列出全部內容會花費大量時間而導致超時(timeout)停止。有鑑於此，習知技術實有改進之必要。

因此，本發明之主要目的即在於提供一種可避免花費大量時間排序 而導致超時停止儲存管理系統及其搜尋排序方法。

本發明揭露一種儲存管理系統，包含一輸入單元，用來取得一客戶端所提供之至少一目錄字串；以及一檔案系統伺服器，包含至少一儲存單元以及一應用程式介面伺服器，該至少一儲存單元以一檔案系統為基礎，該應用程式介面伺服器包含以一物件儲存為基礎之一應用程式介面；其中，該應用程式介面伺服器根據該至少一目錄字串，列出並排序該至少一儲存單元之該檔案系統中同一階層所有檔案及所有目錄名稱，之後該應用程式介面伺服器列出符合該至少一目錄字串之至少一符合檔案或至少一符合目錄做為一結果清單，若該應用程式介面伺服器所列出之該結果清單包含該至少一符合目錄，該應用程式介面伺服器增加列出並排序該至少一符合目錄中所有檔案及所有目錄，直到所列出之該結果清單皆為符合檔案資料為止並將該結果清單之該符合檔案資料回傳給該應用程式介面，該應用程式介面傳送該結果清單之該符合檔案資料給該客戶端。

本發明另揭露一種搜尋排序方法，用於一儲存管理系統，該儲存管理系統中一檔案系統伺服器包含至少一儲存單元以及一應用程式介面伺服器，該至少一儲存單元以一檔案系統為基礎，該應用程式介面伺服器包含以一物件儲存為基礎之一應用程式介面，該搜尋排序流程包含：取得一客戶端所提供之至少一目錄字串(prefix)；根據該至少一目錄字串，列出並排序該至少一儲存單元之該檔案系統中同一階層所有檔案及所有目錄名稱；列出符合該至少一目錄字串之至少一符合檔案或至少一符合目錄做為一結果清單；若所列出之該結果清單包含該至少一符合目錄，增加列出並排序該至少一符合目錄中所有檔案及所有目錄，直到所列出之該結果清單皆為符合檔案資料為止；以及傳送該結果 清單之該符合檔案資料給該客戶端。

30:儲存管理系統

32:客戶端

300:輸入單元

302:檔案系統伺服器

304:儲存單元

306:應用程式介面伺服器

308:應用程式介面

40:流程

400~418:步驟

PF:目錄字串

MR:結果清單

MD:符合檔案資料

第1圖為檔案系統之存放方式之示意圖。

第2圖為物件儲存之存放方式之示意圖。

第3圖為本發明實施例一儲存管理系統之示意圖。

第4圖為本發明實施例一搜尋排序流程之示意圖。

第5圖至第6圖為本發明實施例第3圖所示檔案系統伺服器之操作示意圖。

第7圖為本發明實施例第3圖所示檔案系統伺服器之另一操作示意圖。

請參考第1圖及第2圖，第1圖為檔案系統之存放方式之示意圖，第2圖為物件儲存之存放方式之示意圖。如第1圖及第2圖所示，由於物件儲存之存放方式較為分散而不如檔案系統之存放方式具有階層關係，因此在客戶端設定搜尋條件欲取得相關檔案資料時，物件儲存之存放方式需先列出並排序所有檔案，接著去除不符合搜尋條件的檔案，然後去除多餘的檔案，最後返回結果。

舉例來說，客戶端設定搜尋條件為“家具/臥室/”之一目錄字串(prefix)並要求列出100筆資料，則物件儲存之存放方式除需先列出並排序“家具/臥室/”目錄下所有檔案外，亦需列出並排序同一階層“家具/客廳/”及“家具/餐廳/”目錄下所有檔案，接著再去除不符合搜尋條件“家具/臥室/”之檔案，然後返回“家具/臥室/”目錄下100筆檔案。

在此情況下，對於以檔案系統為基礎之網路附加儲存(Network Attached Storage，NAS)伺服器或其他以檔案系統為基礎的電子產品，在提供以物件儲存為基礎之一應用程式介面供使用者操作時，若仍先列出並排序所有檔案，當單一目錄內含有大量的檔案及目錄時，會花費大量時間而導致超時(timeout)停止，而對檔案系統之存放方式具有階層關係之伺服器造成無謂的錯誤。

請參考第3圖，第3圖為本發明實施例一儲存管理系統30之示意圖。如第3圖所示，儲存管理系統30包含一輸入單元300以及一檔案系統伺服器302，檔案系統伺服器302包含至少一儲存單元304以及一應用程式介面(Application Programming Interface)伺服器306(或一代理伺服器，proxy server)。簡單來說，輸入單元300可取得一客戶端32所提供之至少一目錄字串(prefix)PF，至少一儲存單元304以一檔案系統為基礎，應用程式介面伺服器306包含以一物件儲存(object storage)為基礎之一應用程式介面308。

在此結構下，當輸入單元300接收來自客戶端32之至少一目錄字串PF時，應用程式介面伺服器306根據至少一目錄字串PF，列出並排序至少一儲存單元304之檔案系統中同一階層所有檔案及所有目錄，之後應用程式介面伺服器306列出符合至少一目錄字串PF之至少一符合檔案或至少一符合目錄做為一結果清單MR；若應用程式介面伺服器306所列出之結果清單MR包含至少一符合目錄，應用程式介面伺服器306增加列出並排序至少一符合目錄中所有檔案及所有目錄，直到所列出之結果清單MR皆為符合檔案資料MD為止(即不包含任何符合目錄)並將結果清單MR之符合檔案資料MD回傳給應用程式介面308，應用程式介面308傳送結果清單MR之符合檔案資料MD給客戶端32。如此一來，本發明 實施例僅需列出符合客戶端32搜尋條件(如目錄字串PF)之符合檔案資料再依終止條件進行回傳，而不需將至少一儲存單元304中所有檔案先列出並排序，以避免花費大量時間排序而導致超時停止。

詳細來說，請參考第4圖，第4圖為本發明實施例一搜尋排序流程40之示意圖。搜尋排序流程40用於應用程式介面伺服器306中，其包含以下步驟：

步驟400：開始。

步驟402：根據一搜尋條件之目錄字串PF決定起點。

步驟404：列出並排序同一階層所有檔案及所有目錄做為一清單之項目。

步驟406：依序取出清單中之項目。

步驟408：所取出之項目是否滿足一終止條件？若是，則進行步驟410；若否，則進行步驟412。

步驟410：列出結果清單MR。

步驟412：所取出之項目是否滿足一搜尋條件？若是，則進行步驟414；若否，則進行步驟406。

步驟414：將取出之項目放入結果清單MR。

步驟416：所取出之項目是否為一資料夾？若是，則進行步驟418；若否，則進行步驟406。

步驟418：增加列出並排序所取出資料夾中所有檔案及所有目錄。

舉例來說，請一併參考第5圖至第6圖，第5圖至第6圖為第3圖所示檔案系統伺服器302之操作實施例之示意圖。如第4圖至第6圖所示，在至少一儲存單元304之檔案系統結構如第5圖至第6圖右側所示的情況下，當接收來自客戶端 32之搜尋條件中目錄字串為“b/”及終止條件中限數(limit)為5時(即最後所列出結果清單之符合檔案資料之數量小於或等於5)，搜尋排序流程40根據目錄字串“b/”決定起點(步驟402)，然後列出並排序同一階層所有目錄a/、b/、c/、d/做為一清單之項目(步驟404)。接著，依序取出清單中之項目(步驟406)，由於所取出之項目a/不滿足目錄字串為“b/”之搜尋條件(步驟412)，因此再取下一項目b/(步驟406)；此時項目b/滿足目錄字串為“b/”之搜尋條件(步驟412)，因此將項目b/放入結果清單MR(步驟414)。由於項目b/為一資料夾(步驟416)，增加列出並排序所取出資料夾b/中一目錄b/b1/(步驟418)。然後，再取下一項目b/b1/重覆上述動作後，由於項目b/b1/亦為一資料夾(步驟416)，增加列出並排序所取出資料夾b/b1/中一目錄b/b1/b2/(步驟418)。最後，再取下一項目b/b1/b2/重覆上述動作後，由於項目b/b1/b2/亦為一資料夾(步驟416)，增加列出並排序所取出資料夾b/b1/中檔案b/b1/b2/file1~b/b1/b2/file10(步驟418)。

在此情況下，由於終止條件中限數為5，因此在將檔案b/b1/b2/file1~b/b1/b2/file5放入結果清單MR，再取下一項目b/b1/b2/file6(步驟406)後，會判斷結果清單MR中符合檔案資料之數量等於限數5之終止條件(步驟408)，而列出結果清單MR中符合檔案b/b1/b2/file1~b/b1/b2/file5，並儲存此時據以產生結果清單MR之搜尋清單於快取(cache)或其他記憶單元供下次查詢使用。如此一來，相較於習知技術需先列出並排序第5圖至第6圖右側所示兩百多萬筆資料而導致超時停止，本發明實施例僅需列出並排序符合客戶端32搜尋條件之搜尋清單(約十幾筆)，再依終止條件列出結果清單MR，而可避免花費大量時間排序而導致超時停止。

值得注意的是，由上述可知，本發明實施例僅需列出並排序符合客 戶端32搜尋條件之搜尋清單(約十幾筆)，再依終止條件列出結果清單MR，而可避免花費大量時間排序而導致超時停止。本領域具通常知識者當可據以進行修飾或變化，而不限於此。舉例來說，上述實施例中以目錄字串“b/”為搜尋條件而限數5為終止條件，但在其它實施例中，亦使用或增加其它條件做為搜尋條件及終止條件。

具體而言，請參考第7圖，第7圖為第3圖所示檔案系統伺服器302之另一操作實施例之示意圖。如第7圖所示，由於第7圖之操作是接續第6圖之操作且存有前次搜尋清單，因此接收來自客戶端32之一新搜尋條件所包含目錄字串同樣為“b/”時，可直接預讀取(preload)使用上次搜尋清單不需進行第5圖至第6圖之操作重新列出並排序，此時新搜尋條件中可另包含一標籤(marker)，用來指示搜尋清單中依序取出之一起始位置(如標籤為b/b1/b2/file5，則依序取出之起始位置為b/b1/b2/file6)。接著，在將檔案b/b1/b2/file6~b/b1/b2/file10放入結果清單MR後，判斷後續所取出之項目c/、d/不滿足目錄字串為“b/”之搜尋條件(步驟412)，此時即使結果清單MR中符合檔案資料之數量為5小於本次限數為10之終止條件，但仍滿足搜尋清單已空(即已達搜尋清單中最後一者)之終止條件，因而列出結果清單MR中符合檔案b/b1/b2/file6~b/b1/b2/file10。如此一來，本發明在相同目錄字串時可使用相同搜尋清單以節省時間，且可使用標籤指示搜尋清單中依序取出之起始位置而更具彈性。

除此之外，客戶端32對儲存管理系統30進行查詢之輸入方式並未有限制。舉例來說，使用者在客戶端32可透過一使用者介面(user interface)輸入搜尋條件及終止條件進行查詢，在使用者介面為一視窗介面的情況下，使用者點擊一資料夾即相當於發出相對應目錄字串及預設限數(如預設限數為1000)， 而在使用者介面為一指令介面的情況下，使用者可自行輸入目錄字串及限數，而不限於此。再者，輸入單元300亦可取得客戶端32所提供之一限制條件中一分隔符號(delimitor)，使結果清單MR不列出分隔符號後之內容。

此外，檔案系統伺服器302可包含一處理裝置及一儲存單元。處理裝置可為一微處理器或一特殊應用積體電路(application-specific integrated circuit，ASIC)。儲存單元可為任一資料儲存裝置，用來儲存一程式碼，並透過處理裝置讀取及執行程式碼，以執行上述操作。儲存單元可為硬碟(hard disk drives，HDD)、固態硬碟(solid state drives，SDD)、用戶識別模組(subscriber identity module，SIM)、唯讀式記憶體(read-only memory，ROM)、隨機存取記憶體(random-access memory，RAM)、光碟唯讀記憶體(CD-ROMs)、磁帶(magnetic tapes)、軟碟(floppy disks)、光學資料儲存裝置(optical data storage devices)等等，而不限於此。

綜上所述，本發明可僅需列出並排序符合客戶端搜尋條件之搜尋清單，再依終止條件列出結果清單，而可避免花費大量時間排序而導致超時停止。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

30:儲存管理系統

32:客戶端

300:輸入單元

302:檔案系統伺服器

304:儲存單元

306:應用程式介面伺服器

308:應用程式介面

PF:目錄字串

MR:結果清單

MD:符合檔案資料

Claims (18)

1. 一種儲存管理系統，包含：一輸入單元，用來取得一客戶端所提供之至少一目錄字串(prefix)；以及一檔案系統伺服器，包含至少一儲存單元以及一應用程式介面(Application Programming Interface)伺服器，該至少一儲存單元以一檔案系統為基礎，該應用程式介面伺服器包含以一物件儲存(object storage)為基礎之一應用程式介面；其中，該應用程式介面伺服器根據該至少一目錄字串，列出並排序該至少一儲存單元之該檔案系統中同一階層所有檔案及所有目錄名稱，之後該應用程式介面伺服器列出符合該至少一目錄字串之至少一符合檔案或至少一符合目錄做為一結果清單，若該應用程式介面伺服器所列出之該結果清單包含該至少一符合目錄，該應用程式介面伺服器增加列出並排序該至少一符合目錄中所有檔案及所有目錄，直到所列出之該結果清單皆為符合檔案資料為止並將該結果清單之該符合檔案資料回傳給該應用程式介面，該應用程式介面傳送該結果清單之該符合檔案資料給該客戶端。
2. 如請求項1所述之儲存管理系統，其中該輸入單元取得該客戶端所提供之一終止條件中一限數(limit)，該結果清單之該符合檔案資料之數量小於或等於該限數。
3. 如請求項2所述之儲存管理系統，其中該結果清單之該符合檔案資料之數量等於該限數時，該應用程式介面伺服器將該結果清單之該符合檔案資料回傳給該應用程式介面，該應用程式介面傳送該結果清單之該符 合檔案資料給該客戶端。
4. 如請求項2所述之儲存管理系統，其中該結果清單之該符合檔案資料之數量小於該限數且已達一搜尋清單中最後一者時，該應用程式介面伺服器將該結果清單之該符合檔案資料回傳給該應用程式介面，該應用程式介面傳送該結果清單之該符合檔案資料給該客戶端。
5. 如請求項1所述之儲存管理系統，其中該應用程式介面伺服器於將該結果清單之該符合檔案資料回傳給該應用程式介面時，儲存據以產生該結果清單之一搜尋清單。
6. 如請求項5所述之儲存管理系統，其中於該輸入單元取得該客戶端所提供之一新搜尋條件包含該至少一目錄字串時，預讀取(preload)該搜尋清單。
7. 如請求項6所述之儲存管理系統，其中於該新搜尋條件包含一標籤(marker)，用來指示該搜尋清單中依序取出之一起始位置。
8. 如請求項1所述之儲存管理系統，其中該客戶端透過一使用者介面(user interface)輸入該至少一目錄字串。
9. 如請求項1所述之儲存管理系統，其中該輸入單元取得該客戶端所提供之一限制條件中一分隔符號(delimitor)，使該結果清單不列出分隔符號後之內容。
10. 一種搜尋排序方法，用於一儲存管理系統，該儲存管理系統中一檔案系統伺服器包含至少一儲存單元以及一應用程式介面(Application Programming Interface)伺服器，該至少一儲存單元以一檔案系統為基礎，該應用程式介面伺服器包含以一物件儲存(object storage)為基礎之一應用程式介面，該搜尋排序流程包含：取得一客戶端所提供之至少一目錄字串(prefix)；根據該至少一目錄字串，列出並排序該至少一儲存單元之該檔案系統中同一階層所有檔案及所有目錄名稱；列出符合該至少一目錄字串之至少一符合檔案或至少一符合目錄做為一結果清單；若所列出之該結果清單包含該至少一符合目錄，增加列出並排序該至少一符合目錄中所有檔案及所有目錄，直到所列出之該結果清單皆為符合檔案資料為止；以及傳送該結果清單之該符合檔案資料給該客戶端。
11. 如請求項10所述之搜尋排序方法，其另包含取得該客戶端所提供之一終止條件中一限數(limit)，該結果清單之該符合檔案資料之數量小於或等於該限數。
12. 如請求項11所述之搜尋排序方法，其中傳送該結果清單之該符合檔案資料給該客戶端之步驟包含有：該結果清單之該符合檔案資料之數量等於該限數時，傳送該結果清單之該符合檔案資料給該客戶端。
13. 如請求項11所述之搜尋排序方法，其中傳送該結果清單之該符合檔案資料給該客戶端之步驟包含有：該結果清單之該符合檔案資料之數量小於該限數且已達一搜尋清單中最後一者時，傳送該結果清單之該符合檔案資料給該客戶端。
14. 如請求項10所述之搜尋排序方法，其另包含有傳送該結果清單之該符合檔案資料給該客戶端時，儲存據以產生該結果清單之一搜尋清單。
15. 如請求項14所述之搜尋排序方法，其另包含取得該客戶端所提供之一新搜尋條件包含該至少一目錄字串時，預讀取(preload)該搜尋清單。
16. 如請求項15所述之搜尋排序方法，其中於該新搜尋條件包含一標籤(marker)，用來指示該搜尋清單中依序取出之一起始位置。
17. 如請求項10所述之搜尋排序方法，其中該客戶端透過一使用者介面(user interface)輸入該至少一目錄字串。
18. 如請求項10所述之搜尋排序方法，其另包含取得該客戶端所提供之一限制條件中一分隔符號(delimitor)，使該結果清單不列出分隔符號後之內容。

Images