TWI794158B - 垃圾回收方法及裝置 - Google Patents

垃圾回收方法及裝置 Download PDF

Info

Publication number
TWI794158B
TWI794158B TW106104934A TW106104934A TWI794158B TW I794158 B TWI794158 B TW I794158B TW 106104934 A TW106104934 A TW 106104934A TW 106104934 A TW106104934 A TW 106104934A TW I794158 B TWI794158 B TW I794158B
Authority
TW
Taiwan
Prior art keywords
business
target
recycling
type
types
Prior art date
Application number
TW106104934A
Other languages
English (en)
Other versions
TW201734900A (zh
Inventor
張傑
張辰
何樂
史英傑
黃儼
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201734900A publication Critical patent/TW201734900A/zh
Application granted granted Critical
Publication of TWI794158B publication Critical patent/TWI794158B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1727—Details of free space management performed by the file system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G06F2212/1044—Space efficiency improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/70—Details relating to dynamic memory management
    • G06F2212/702—Conservative garbage collection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Refuse Collection And Transfer (AREA)
  • Processing Of Solid Wastes (AREA)

Abstract

本發明提供了一種垃圾回收方法及裝置，透過獲取所有的業務專案所包括的目標業務類型，確定與每個目標業務類型對應的目標回收元件，利用各目標回收元件對所對應的目標業務類型的垃圾進行回收。本發明中以業務類型為粒度建構的回收元件，為不同的業務類型對應不同的回收元件，基於這些元件進行垃圾回收，可以靈活地對業務類型進行擴展，可以實現對異構的業務類型的回收，通用性較高。

Description

垃圾回收方法及裝置
本發明屬於電腦領域，尤其有關一種垃圾回收方法及裝置。
現有的甲骨文互聯網目錄垃圾回收系統(Oracle Internet Directory Garbage Collection Framework)中支援對輕型目錄訪問協定(Lightweight Directory Access Protocol，簡稱LDAP)類型的垃圾進行回收。而阿豆比Adobe AEM的垃圾回收系統針對資料包、暫存檔案和工作流負責這些類型的垃圾進行回收。還有WorldServer的垃圾回收系統主要對資料庫中產生的垃圾進行回收。
由上可知，現有的垃圾回收系統基本上都是針對具有相同領域特徵的垃圾類型進行回收，對於多樣性的異構垃圾回收情況不能通用。
本發明提供一種垃圾回收方法及裝置，用以解決現有的垃圾回收系統均是針對具有相同領域特徵的垃圾類型進 行回收，並不能用來對多樣性的異構垃圾的回收，通用性較差。
為了實現上述目的，本發明提供了一種垃圾回收方法，包括：獲取所有的業務專案所包括的目標業務類型；其中，不同的業務類型對應不同的回收元件；確定與各目標業務類型所對應的目標回收元件；利用各目標回收元件對所對應的目標業務類型的垃圾進行回收。
為了實現上述目的，本發明提供了一種垃圾回收裝置，包括：獲取模組，用以獲取所有的業務專案所包括的目標業務類型；其中，不同的業務類型對應不同的回收元件；確定模組，用以確定與各目標業務類型所對應的目標回收元件；回收模組，用以利用各目標回收元件對所對應的目標業務類型的垃圾進行回收。
為了實現上述目的，本發明提供了一種垃圾回收裝置，包括：掃描器，用以獲取所有的業務專案所包括的目標業務類型；其中，不同的業務類型對應不同的回收元件；調度器，用以確定與各目標業務類型所對應的目標回收元件；執行器，用以利用各目標回收元件對所對應的目標業 務類型的垃圾進行回收。
本發明提供的垃圾回收方法及裝置，透過獲取所有的業務專案所包括的目標業務類型，確定與每個目標業務類型對應的目標回收元件，利用各目標回收元件對所對應的目標業務類型的垃圾進行回收。本發明中以業務類型為粒度建構的回收元件，為不同的業務類型對應不同的回收元件，基於這些元件進行垃圾回收，可以靈活地對業務類型進行擴展，可以實現對異構的業務類型的回收，通用性較高。
10‧‧‧建構模組
11‧‧‧獲取模組
12‧‧‧確定模組
13‧‧‧回收模組
14‧‧‧監控模組
15‧‧‧中斷點恢復模組
21‧‧‧掃描器
22‧‧‧調度器
23‧‧‧執行器
24‧‧‧故障處理器
111‧‧‧掃描單元
112‧‧‧產生單元
121‧‧‧判斷單元
122‧‧‧獲取單元
123‧‧‧刪除單元
124‧‧‧確定單元
131‧‧‧分配單元
132‧‧‧載入單元
133‧‧‧線程分配單元
134‧‧‧執行單元
圖1為本發明實施例一的垃圾回收方法的流程示意圖；圖2為本發明實施例二的垃圾回收方法的流程示意圖；圖3為本發明實施例二的垃圾回收方法的應用示意圖；圖4為本發明實施例三的垃圾回收裝置的結構示意圖；圖5為本發明實施例四的垃圾回收裝置的結構示意圖；圖6為本發明實施例五的垃圾回收裝置的結構示意圖。
下面結合附圖而對本發明實施例提供的垃圾回收方法及裝置進行詳細描述。
實施例一
如圖1所示，其為本發明實施例一的垃圾回收方法的流程示意圖。該垃圾回收方法包括以下步驟：
S101、獲取所有的業務專案所包括的目標業務類型。
其中，不同的業務類型對應不同的回收元件。
在獲取所有的業務專案所包括的目標業務類型之前，為不同的業務類型建構與其對應的回收元件。具體而言，為每一個業務類型建構一個對應的回收元件，但是在實際應用中，有些業務類型的垃圾回收邏輯是相同，為了節省資源，具有相同垃圾回收邏輯的業務類型可以複用一個回收元件，在這種情況下，為不同業務類型建構對應的回收元件的過程如下：具體而言，為具有相同的垃圾回收邏輯的所有業務類型建構一個與其對應的回收元件；其中，具有相同的垃圾回收邏輯所有業務類型複用所述與其對應的回收元件。例如，業務類型A和業務類型B具有相同的垃圾回收邏輯，為業務類型A和業務類型B建構一個與其對應的回收元件1。業務類型A和業務類型B則複用該回收元件1。而業務類型D和業務類型G具有相同的垃圾回收邏輯，則為業務類型D和業務類型G建構一個回收元件5， 業務類型D和業務類型G複用該回收元件5。
進一步地，由於除了具有相同的垃圾回收邏輯的所有業務類型之外的其他業務類型之間的垃圾回收邏輯均是不同的，則為每個其他業務類型分別建構與其對應的回收元件。例如，業務類型C、業務類型E、業務類型F稱為其他業務類型，業務類型C、業務類型E以及業務類型F三者的垃圾回收邏輯均不同，則分別建構於業務類型C、業務類型E以及業務類型F對應的回收元件2、回收元件3以及回收元件4。
為了滿足能夠動態地對垃圾類型可擴展的需求，在本實施例中，透過回收元件對垃圾回收邏輯進行封裝，回收元件具有可熱插拔的功能，基於回收元件就可以實現對垃圾類型進行靈活地擴展的目的。
進一步地，為了實現對大量異構的垃圾類型進行回收，本實施例中，針對不同的業務類型建構不同的回收元件，一般情況下，一個業務類型對應至少一個回收元件。在本實施例中提供的垃圾回收方法中以業務類型為粒度建構的回收元件，提高了該方法的通用性，能夠適用於大資料處理環境。
在本實施例中，對所有的業務專案進行掃描，將掃描結果產生業務專案列表。其中，業務項目列表中包括所有的業務專案所包括的目標業務類型。在掃描獲取到業務專案列表後，可以將業務專案列表進行儲存。在本實施例中，可以定時對所有的業務專案進行掃描，從而能自動地 觸發垃圾回收流程，而且用戶可以根據業務情況來設定回收週期。例如，用戶可以透過前端介面來配置定時的時間間隔，可以以每小時/每天/每週/每月等作為時間間隔來進行定時，在啟動掃描後，則相應地啟動垃圾回收流程。可選地，可以透過用戶手動操作，在前端介面上進行操作，啟動掃描以完成垃圾回收流程。
S102、確定與各目標業務類型所對應的目標回收元件。
在獲取到所有業務專案所包括的目標業務類型後，由於每個業務類型對應至少一個回收元件，則根據所包括的目標業務類型，確定與目標業務類型對應的目標回收元件。
S103、利用各目標回收元件對所對應目標業務類型的垃圾進行回收。
在獲取到所有的目標回收元件後，利用各目標回收元件對所對應的目標業務類型產生的垃圾進行回收。具體而言，將每個業務專案所包括的目標業務類型作為一個任務分配到對應的目標回收元件中，載入所有的目標回收元件，並為各目標回收元件分配所需的線程池，啟動所有的目標回收元件使用所分配的線程池來執行垃圾回收邏輯，各目標回收元件對所對應的目標業務類型的垃圾進行回收。其中，可以為目標回收元件分配多個線程池，當線程池為多個時，目標回收元件可以並行地執行垃圾回收邏輯對所對應的目標業務類型的垃圾進行回收。
本實施例提供的垃圾回收方法，透過獲取所有的業務專案所包括的目標業務類型，確定與目標業務類型對應的目標回收元件，利用目標回收元件對目標業務類型的垃圾進行回收。在本實施例中，以業務類型為粒度建構的回收元件，為不同的業務類型對應不同的回收元件，基於這些元件進行垃圾回收，可以靈活地對業務類型進行擴展，可以實現對異構的業務類型的回收，通用性較高。
實施例二
如圖2所示，其為本發明實施例二的垃圾回收方法的流程示意圖。該垃圾回收方法包括以下步驟：
S201、對所有的業務專案進行掃描。
在本實施例中，對所有的業務專案進行掃描，將掃描結果產生業務專案列表。其中，業務項目列表中包括所有的業務專案所包括的目標業務類型。在掃描獲取到業務專案列表後，可以將業務專案列表進行儲存。在本實施例中，可以定時對所有的業務專案進行掃描，例如，用戶可以透過前端介面來配置定時的時間間隔，可以以每小時/每天/每週/每月等作為時間間隔來進行定時，在啟動掃描後，則相應地啟動垃圾回收流程。可選地，可以透過用戶手動操作，在前端介面上進行操作，啟動掃描以完成垃圾回收流程。
S202、將掃描結果產生業務專案列表。
其中，業務項目列表中包括所有的業務專案所包括的 目標業務類型。
將對所有業務專案進行掃描後，經過掃描後，能獲取到掃描結果，其中掃描結果為每個業務專案所包括的業務類型，然後將掃描結果產生業務專案列表，也就是說，產生的業務項目列表中包括所有的業務專案所包括的目標業務類型。其中，產生的業務項目列表中包括業務專案的標識、目標業務類型的標識，以及業務專案與所包括的目標業務類型之間的對應關係。
S203、判斷業務專案列表中是否存在有新的目標業務類型。
具體地，將目前掃描後產生的專案業務列表與上一次掃描後產生的業務專案列表進行比較，以判斷目前項目業務類別中是否存在有新的目標業務類型，如果判斷結果為是，執行步驟204；否則執行步驟205。
S204、獲取與所述新的目標業務類型對應的新的目標回收元件。
在獲取到新的目標業務類型後，將與該新的目標業務類型對應的新的目標回收元件添加到用來管理回收元件的設備上。其中，新的目標回收元件在添加之前，需要管理人員根據該目標業務類型的垃圾回收邏輯來進行建構。
S205、根據業務專案列表中獲取每個業務專案已刪除的目標業務類型。
具體而言，將目前掃描產生的業務專案列表與上次掃描產生的業務專案列表進行比較，從而能夠確定出業務項 目列中每個業務專案已刪除的目標業務類型。
S206、針對每個業務專案，判斷已刪除的目標業務類型對應的目標回收元件是否被所述業務項目列表中其他的目標業務類型所複用。
針對每一個業務專案，當確定出已刪除的目標業務類型後，需要判斷該已刪除的目標業務類型對應的目標回收元件是否被業務專案列表中至少一個其他的目標目標業務類型所複用，此處將已刪除的目標業務類型對應的目標回收元件稱為待刪除的目標回收元件。如果待刪除的目標回收元件未被其他的業務類型所複用，則表明可以將待刪除的目標回收元件進行刪除，執行步驟207。
如果待刪除的目標回收元件被其他的目標業務類型所複用，則表明目前不能刪除該待刪除的目標回收元件，繼續維持該待刪除的目標回收元件，執行步驟208。
S207、將已刪除的目標業務類型對應的目標回收元件進行刪除。
將已刪除的目標業務類型對應的目標回收元件後，繼續執行步驟208。
S208、為業務項目列表中其他的目標業務類型確定與其對應的目標回收元件。
進一步地，還需要為業務專案列表中除該新的目標業務類型和已刪除的目標業務類型之外的其他的每個目標業務類型確定與其對應的目標回收元件。關於為目標業務類型確定與其對應的目標回收元件的相關內容，可參見上述 實施例中相關內容的記載，此次不再贅述。
S209、利用各目標回收元件對所對應的目標業務類型的垃圾進行回收。
在為所有的目標業務類型確定了對應的目標回收元件後，利用各目標回收元件對所對應的目標業務類型的垃圾進行回收，具體過程，可參見上述實施例中相關內容的記載，此次不再贅述。
在本實施例中，基於回收元件對垃圾進行回收，能適應現有大資料開放處理平臺中對大量異構類型垃圾回收的要求，基於回收元件具有的熱插拔功能，具有很強的動態擴展性，能夠對產生的新業務類型的垃圾有效支持，從而適用於大資料處理環境。
S210、在利用各目標回收元件對所對應的目標業務類型的垃圾進行回收的同時監控垃圾回收進度，並將監控到的垃圾回收進度作為一個檢查點。
S211、在垃圾回收的過程中出現中斷點後，利用與中斷點時間最近的所述檢查點進行中斷點恢復。
在本實施例中，為垃圾回收方法設置有快照功能，該快照功能定時地觸發。在利用回收元件回收各業務類型的垃圾的過程中，需要對垃圾回收進度進行監控，在觸發了快照功能後，就可以記錄當時時刻的垃圾回收進度，並將監控到的垃圾回收進度記為一個檢查點，並將該檢查點儲存在磁片中。當在垃圾回收的過程中，如果出現異常情況，導致垃圾回收的過程被中斷，可以根據最近的檢查點來進行中斷點恢復。
本實施例提供的垃圾回收方法可以由圖3所示的垃圾回收系統來完成。如圖3所示，該垃圾回收系統包括：前端、管理器(Manager)和處理器(Processor)。其中，該垃圾回收系統的前端可以為人機交互模組，用以提供人機交互介面，用戶可以基於該介面對該垃圾回收系統進行設置。例如，開始、關閉或者定時等。Manager中包括掃描模組(Scanner)、調度模組(Scheduler)和故障轉移模組(Failover)。Processor中包括多個節點(Worker)，每個Worker上設置回收元件。其中，Scanner對所有的業務專案進行掃描，能夠得到業務專案列表。Scheduler負責任務調度，可以獲取Scanner掃描的結果即業務專案列表，並將各業務項目中包括的業務類型作為任務分發給處理器中的對應的Worker，Scheduler還可以監控垃圾回收系統的運行狀態，並能夠獲取垃圾回收的結果。
Processor中的Worker在被分配到與回收元件相應的業務類型後，Worker可以執行設置的回收元件的具體回收邏輯。Worker可以為回收元件分配多個線程池，當線程池為多個時，可以並行地執行回收元件的回收邏輯，提高垃圾回收效率。
在對業務專案的垃圾回收的過程中，Manager中故障轉移模組會對垃圾回收進度進行監控，每隔一段時間將監控到的垃圾回收進度記為一個檢查點(Checkpoint)，透過該檢查點進行中斷點恢復。
為了更佳地理解本實施例提供的垃圾回收方法，舉例進行說明：業務項目包括：淘寶、阿里巴巴、高德和支付寶等。
業務類型包括：即時查詢、機器學習、流式計算、線上監控、離線計算等。
一個業務類型對應一個回收元件或者多個回收元件，各回收元件放置在垃圾回收系統中處理器的Worker上。例如，即時查詢對應一個回收元件，記為回收元件1，將該回收元件1設置在Worker1上。機器學習對應2個回收元件，分別記為回收元件2和回收元件3，將回收元件2和回收元件3分別設置在Worker2和Worker3上。流式計算對應一個回收元件，記為回收元件4，將回收元件4設置在Worker4上。線上監控對應一個回收元件，記為回收元件5，將回收元件4設置在Worker5上以及離線計算對應三個回收元件，記為回收元件6、回收元件7和回收元件8，將回收元件6、回收元件7和回收元件8分別設置在Worker6、Worker7和Worker8上。一個業務專案中包括多個目標業務類型，例如，高德業務項目包括即時查詢和流式計算等目標業務類型。淘寶業務項目包括即時查詢、流式計算和線上監控等目標業務類型。阿里巴巴業務專案包括業務類型即時查詢、機器學習以及流失計算等目標業務類型。支付寶業務項目包括：即時查詢、機器學習以及線上監控等目標業務類型。
當垃圾回收系統中的Scanner對所有的業務專案進行 掃描，得到每個業務專案包括的目標業務類型，將所有的業務專案掃描結果產生一個業務專案列表，Scheduler根據業務專案列表獲取與各業務專案相關的目標回收元件，然後將各業務專案中的目標業務類型作為任務分配到對應的Worker上，Worker基於目標回收元件的垃圾回收路基而對對應的業務類型進行垃圾回收。
例如，高德業務項目包括即時查詢和流式計算等目標業務類型，為了對該業務項目的垃圾進行回收，需要調用與其對應的目標回收元件，其中目標回收元件包括：回收元件1和回收元件4。基於回收元件1和回收元件4對該業務專案的垃圾進行回收。其中，回收元件1用於回收即時查詢的垃圾，而回收元件4回收流式計算的垃圾。該示例中，Worker可以為目標回收元件分配多個線程池，透過多個線程池並行地執行目標回收元件，用以提高垃圾回收效率。
淘寶業務項目包括即時查詢、流式計算和線上監控等目標業務類型，為了對該業務項目的垃圾進行回收，需要的目標回收元件包括：回收元件1、回收元件4和回收元件5。然後基於回收元件1、回收元件4和回收元件5對淘寶業務項目的垃圾進行回收。具體過程參見高德業務專案的處理過程，此處不再贅述。
當所有的業務專案中不再包括即時查詢目標業務類型時，Scheduler可以指示Worker1將對應的回收元件1進行刪除。當僅有一些業務專案不再包括即時查詢目標業務 類型時，該即時查詢目標業務類型對應的回收元件1不能被刪除。例如，當阿里巴巴業務專案不再包括即時查詢目標業務類型，而淘寶仍然包括該即時查詢目標業務類型，則該目標業務類型對應的回收元件1不能被刪除。
當增加了新的目標業務類型時，需要添加該新的目標業務類型相應的目標回收元件。例如增加新的目標業務類型為離線計算時，相應地增加該離線計算目標業務的回收元件6，將該回收元件6放置到對應點Worker上。
新增加的目標業務類型被用於淘寶業務專案上時，當掃描該淘寶業務專案時，就可以得到該淘寶業務項目包括即時查詢、流式計算、線上監控和離線計算，相應地目標回收元件：回收元件1、回收元件4、回收元件5和回收元件6。
在對業務項目的垃圾回收的過程中，Failover會對垃圾回收進度進行監控，每隔一段時間將監控到的垃圾回收進度記為一個檢查點，透過該檢查點進行中斷點恢復。例如，當在垃圾回收的過程中出現異常情況，導致垃圾回收過程被中斷，重新運行後，可以從檢查點中獲取到被中斷時刻的垃圾回收進度，從該進度下開始繼續回收垃圾，避免重複之前的操作。
實施例三
如圖4所示，其為本發明實施例三的垃圾回收裝置的結構示意圖。該垃圾回收裝置包括：建構模組10、獲取 模組11、確定模組12和回收模組13。
其中，建構模組10，用以在所述獲取模組獲取所有的業務專案所包括的業務類型之前，為不同的業務類型建構對應的回收元件，其中，一個業務類型至少對應一個回收元件。
在獲取所有的業務專案所包括的目標業務類型之前，為不同的業務類型建構與其對應的回收元件。具體而言，為每一個業務類型建構一個對應的回收元件，但是在實際應用中，有些業務類型的垃圾回收邏輯是相同，為了節省資源，具有相同垃圾回收邏輯的業務類型可以複用一個回收元件，建構模組10為不同業務類型建構對應的回收元件的過程，可參見上述實施例中相關內容的記載，此處不再贅述。
獲取模組11，用以獲取所有的業務專案所包括的目標業務類型；其中，不同的業務類型對應不同的回收元件。
為了滿足能夠動態地對垃圾類型可擴展的需求，在本實施例中，透過回收元件對垃圾回收邏輯進行封裝，回收元件具有可熱插拔的功能，基於回收元件就可以實現對垃圾類型進行靈活地擴展的目的。
進一步地，為了實現對大量異構的垃圾類型進行回收，在本實施例中，針對不同的業務類型建構不同的回收元件，一般情況下，一個業務類型對應至少一個回收元件。本實施例中以業務類型為粒度建構的回收元件，提高 通用性，能夠適用於大資料處理環境。
在本實施例中，獲取模組11對所有的業務專案進行掃描，獲取所有業務專案所包括的目標業務類型。
確定模組12，用以確定與各目標業務類型所對應的目標回收元件。
在獲取模組11獲取到所有業務專案所包括的目標業務類型後，由於每個業務類型對應至少一個回收元件，則確定模組12根據所包括的目標業務類型，確定與目標業務類型對應的目標回收元件。
回收模組13，用以利用各目標回收元件對所對應的目標業務類型的垃圾進行回收。
在獲取到目標回收元件後，回收模組13利用各目標回收元件對目標業務類型產生的垃圾進行回收。具體而言，將每個業務專案所包括的目標業務類型作為一個任務分配到對應的目標回收元件中，載入所有的目標回收元件，並為各目標回收元件分配所需的線程池，啟動所有的目標回收元件使用所分配的線程池執行垃圾回收邏輯，各目標回收元件對所對應的目標業務類型的垃圾進行回收。
本實施例提供的垃圾回收裝置，透過獲取所有的業務專案所包括的目標業務類型，確定與目標業務類型對應的目標回收元件，利用目標回收元件對目標業務類型的垃圾進行回收。本實施例中以業務類型為粒度建構的回收元件，為不同的業務類型對應不同的回收元件，基於這些元件進行垃圾回收，可以靈活地對業務類型進行擴展，可以實現對異構的業務類型的回收，通用性較高。
實施例四
如圖5所示，其為本發明實施例四的垃圾回收裝置的結構示意圖。該垃圾回收裝置除了包括上述實施例三中的建構模組10、獲取模組11、確定模組12和回收模組13之外，還包括：監控模組14和中斷點恢復模組15。
建構模組10，具體用以為具有相同的垃圾回收邏輯的所有的業務類型，建構一個與其對應的回收元件，為其他的每個業務類型分別建構與其對應的回收元件；其中，所述具有相同的垃圾回收垃圾的所有的業務類型複用與其對應的回收元件。
本實施例中獲取模組11一種可選地結構包括：掃描單元111和產生單元112。
其中，掃描單元111，用以對所有的業務專案進行掃描。
產生單元112，用以將掃描結果產生業務專案列表。
其中，所述業務項目列表中包括所有的業務項目所包括的所述目標業務類型。
本實施例中確定模組12一種可選地結構包括：判斷單元121、獲取單元122、刪除單元123和確定單元124。
其中，判斷單元121，用以判斷所述業務專案列表中是否存在有新的目標業務類型。
獲取單元122，用以在所述判斷單元判斷出存在有所述新的目標業務類型時，獲取與所述新的目標業務類型對應新的目標回收元件。
進一步地，獲取單元121，還用以在所述判斷單元判斷出未存在有所述新的目標業務類型時，根據所述業務專案列表中獲取每個業務專案已刪除的目標業務類型。
進一步地，判斷單元122，還用以判斷所述已刪除的目標業務類型對應的的目標回收元件是否被所述業務項目列表中其他的目標業務類型所複用。
刪除單元123，用以在所述判斷單元判斷所述已刪除的業務類型對應的目標回收元件未被複用時，將所述已刪除的業務類型對應的目標回收元件進行刪除。
確定單元124，用以為所述業務項目列表中其他的目標業務類型確定與其對應的目標回收元件，其中所述其他的目標業務類型為所述業務項目列表中除所述新的目標業務類型和已刪除的目標業務類型之外的目標業務類型。
本實施例中回收模組13一種可選地結構包括：分配單元131、載入單元132、線程分配單元133和執行單元134。
分配單元131，用以將每個業務專案所包括的目標業務類型作為一個任務分配到對應的所有目標回收元件中。
載入單元132，用以載入所有的目標回收元件。
線程分配單元133，用以為各目標回收元件分配所需的線程池。
執行單元134，用以啟動各目標回收元件使用所分配的所述線程池來執行所述垃圾回收邏輯對所對應的目標業務類型的垃圾進行回收。
監控模組14，用以在利用各目標回收元件對所對應的目標業務類型的垃圾進行回收的過程中，監控垃圾回收進度並將監控到的所述垃圾回收進度作為為一個檢查點。
中斷點恢復模組15，用以在垃圾回收的過程中出現中斷點後，利用與所述中斷點時間最近的所述檢查點進行中斷點恢復。
上述實施例一和實施例二提供的垃圾回收方法可以運行在如圖5所示的垃圾回收裝置中。
本實施例中以業務類型為粒度建構的回收元件，為不同的業務類型對應不同的回收元件，基於這些元件進行垃圾回收，可以靈活地對業務類型進行擴展，可以實現對異構的業務類型的回收，通用性較高。
在本實施例中，基於回收元件對垃圾進行回收，能適應現有大資料開放處理平臺中對大量異構類型垃圾回收的要求，基於回收元件具有的熱插拔功能，具有很強的動態擴展性，能夠對產生的新業務類型的垃圾有效支持，從而適用於大資料處理環境。當在垃圾回收的過程中，如果出現異常情況，導致垃圾回收的過程被中斷，可以根據最近的檢查點進行中斷點恢復。
實施例五
如圖6所示，其為本發明實施例五的垃圾回收裝置的結構示意圖。該垃圾回收裝置包括：掃描器21、調度器22和執行器23。
其中，掃描器21，用以獲取所有的業務專案所包括的目標業務類型；其中，不同的業務類型對應不同的回收元件。
調度器22，用以確定與各目標業務類型所對應的目標回收元件。
執行器23，用以利用各目標回收元件對所對應的目標業務類型的垃圾進行回收。
進一步地，執行器23，用以在所述掃描器獲取所有的業務項目所包括的業務類型之前，為不同的業務類型建構對應的回收元件，其中，一個業務類型至少對應一個回收元件。
執行器23，具體用以為具有相同的垃圾回收邏輯的所有的業務類型，建構一個與其對應的回收元件，為其他的每個業務類型分別建構與其對應的回收元件。
其中，所述具有相同的垃圾回收垃圾的所有的業務類型複用與其對應的回收元件。
掃描器21，具體用以對所有的業務專案進行掃描，將掃描結果產生業務專案列表；其中，所述業務項目列表中包括所有的業務項目所包括的所述目標業務類型。
調度器22，具體用以在所述掃描器產生所述業務項目列表後，用以判斷所述業務專案列表中是否存在有新的 目標業務類型，以及在判斷出存在有所述新的目標業務類型時，獲取與所述新的目標業務類型對應新的目標回收元件。
調度器22，還具體用以在判斷出未存在有所述新的目標業務類型時，根據所述業務專案列表中獲取每個業務專案已刪除的目標業務類型，以及判斷所述已刪除的目標業務類型對應的的目標回收元件是否被所述業務項目列表中其他的目標業務類型所複用，在判斷所述已刪除的業務類型對應的目標回收元件未被複用時，將所述已刪除的業務類型對應的目標回收元件進行刪除，以及為所述業務項目列表中其他的目標業務類型確定與其對應的目標回收元件，其中，所述其他的目標業務類型為所述業務項目列表中除所述新的目標業務類型和已刪除的目標業務類型之外的目標業務類型，並將每個業務專案所包括的目標業務類型作為一個任務分配給所述執行器。
執行器23，具體用以接收所述調度器分配的任務，將任務分配到對應的所有目標回收元件中，載入所有的目標回收元件，為各目標回收元件分配所需的線程池，以及啟動各目標回收元件使用所分配的所述線程池來執行所述垃圾回收邏輯對所對應的目標業務類型的垃圾進行回收。
該垃圾回收裝置還包括：故障處理器24。
故障處理器24，用以在利用各目標回收元件對所對應的目標業務類型的垃圾進行回收的過程中，監控垃圾回收進度並將監控到的所述垃圾回收進度作為為一個檢查 點。
故障處理器24，還用以在垃圾回收的過程中出現中斷點後，利用與所述中斷點時間最近的所述檢查點進行中斷點恢復。
上述實施例一和實施例二提供的垃圾回收方法可以運行在如圖5所示的垃圾回收裝置中。
在本實施例中，以業務類型為粒度建構的回收元件，為不同的業務類型對應不同的回收元件，基於這些元件進行垃圾回收，可以靈活地對業務類型進行擴展，可以實現對異構的業務類型的回收，通用性較高。
在本實施例中，基於回收元件對垃圾進行回收，能適應現有大資料開放處理平臺中對大量異構類型垃圾回收的要求，基於回收元件具有的熱插拔功能，具有很強的動態擴展性，能夠對產生的新業務類型的垃圾有效支持，從而適用於大資料處理環境。當在垃圾回收的過程中，如果出現異常情況，導致垃圾回收的過程被中斷，可以根據最近的檢查點進行中斷點恢復。
本領域普通技術人員可以理解：實現上述各方法實施例的全部或部分步驟可以透過程式指令相關的硬體來完成。前述的程式可以被儲存於一電腦可讀取儲存媒體中。該程式在執行時，執行包括上述各方法實施例的步驟；而前述的儲存媒體包括：ROM、RAM、磁碟或者光碟等各種可以儲存程式碼的媒體。
最後應說明的是：以上各實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的範圍。

Claims (24)

  1. 一種大資料開放處理平臺中的垃圾回收方法，其特徵在於，包括：獲取所有的大資料業務專案所包括的目標業務類型；其中，不同的業務類型對應不同的回收元件；確定與各目標業務類型所對應的目標回收元件；以及利用各目標回收元件對所對應的目標業務類型的垃圾進行回收，其中，透過該目標回收元件對垃圾回收邏輯進行封裝，該目標回收元件具有可熱插拔的功能，並且其中，該利用該目標回收元件對該目標業務類型的垃圾進行回收，包括：將每個業務專案所包括的目標業務類型作為一個任務而分配到對應的所有目標回收元件中；載入所有的目標回收元件；為各目標回收元件分配所需的線程池；以及為該業務專案列表中其他的目標業務類型確定與其對應的目標回收元件；其中，該其他的目標業務類型為該業務項目列表中除該新的目標業務類型和已刪除的目標業務類型之外的目標業務類型。
  2. 如請求項1所述的方法，其中，該獲取所有的業務項目所包括的業務類型之前，包括：為不同的業務類型建構對應的回收元件，其中，一個業務類型至少對應一個回收元件。
  3. 如請求項2所述的方法，其中，為不同的業務類型建構對應的回收元件，包括：為具有相同的垃圾回收邏輯的所有的業務類型，建構一個與其對應的回收元件；其中，該具有相同的垃圾回收垃圾的所有業務類型複用與其對應的回收元件；以及為其他的每個業務類型分別建構與其對應的回收元件。
  4. 如請求項1至3中任一項所述的方法，其中，該獲取所有的業務專案所包括的目標業務類型包括：對所有的業務專案進行掃描；以及將掃描結果產生業務專案列表；其中，該業務項目列表中包括所有的業務項目所包括的該目標業務類型。
  5. 如請求項4所述的方法，其中，該確定與該目標業務類型對應的目標回收元件，包括：判斷該業務專案列表中是否存在有新的目標業務類型；以及如果判斷結果為是，則獲取與該新的目標業務類型對應新的目標回收元件。
  6. 如請求項5所述的方法，其中，還包括：如果判斷結果為未存在有該新的目標業務類型，則根據該業務專案列表中獲取每個業務專案已刪除的目標業務類型； 判斷該已刪除的目標業務類型對應的的目標回收元件是否被該業務項目列表中其他的目標業務類型所複用；如果判斷結果為否，則將該已刪除的目標業務類型對應的目標回收元件進行刪除；以及為該業務專案列表中其他的目標業務類型確定與其對應的目標回收元件；其中，該其他的目標業務類型為該業務項目列表中除該新的目標業務類型和已刪除的目標業務類型之外的目標業務類型。
  7. 如請求項1所述的方法，其中，還包括：在利用各目標回收元件對所對應的目標業務類型的垃圾進行回收的過程中，監控垃圾回收進度並將監控到的該垃圾回收進度作為為一個檢查點。
  8. 如請求項7所述的方法，其中，該在利用各目標回收元件對所對應的目標業務類型的垃圾進行回收的過程中，監控垃圾回收進度並將監控到的該垃圾回收進度作為為一個檢查點之後，包括：在垃圾回收的過程中出現中斷點後，利用與該中斷點時間最近的該檢查點進行中斷點恢復。
  9. 一種大資料開放處理平臺中的垃圾回收裝置，其特徵在於，包括：獲取模組，用以獲取所有的大資料業務專案所包括的目標業務類型；其中，不同的業務類型對應不同的回收元件； 確定模組，用以確定與各目標業務類型所對應的目標回收元件；以及回收模組，用以利用各目標回收元件對所對應的目標業務類型的垃圾進行回收，其中，透過該目標回收元件對垃圾回收邏輯進行封裝，該目標回收元件具有可熱插拔的功能，並且其中，該回收模組包括：分配單元，用於將每個業務專案所包括的目標業務類型作為一個任務分配到對應的所有目標回收元件中；載入單元，用以載入所有的目標回收元件；線程分配單元，用以為各目標回收元件分配所需的線程池；以及執行單元，用以啟動各目標回收元件使用所分配的該線程池來執行該垃圾回收邏輯對所對應的目標業務類型的垃圾進行回收。
  10. 如請求項9所述的裝置，其中，還包括：建構模組，用以在該獲取模組獲取所有的業務專案所包括的業務類型之前，為不同的業務類型建構對應的回收元件，其中，一個業務類型至少對應一個回收元件。
  11. 如請求項10所述的裝置，其中，該建構模組，具體用以為具有相同的垃圾回收邏輯的所有的業務類型，建構一個與其對應的回收元件，為其他的每個業務類型分別建構與其對應的回收元件； 其中，該具有相同的垃圾回收垃圾的所有的業務類型複用與其對應的回收元件。
  12. 如請求項9至11中任一項所述的裝置，其中，該獲取模組包括：掃描單元，用以對所有的業務專案進行掃描；以及產生單元，用以將掃描結果產生業務專案列表；其中，該業務項目列表中包括所有的業務項目所包括的該目標業務類型。
  13. 如請求項12所述的裝置，其中，該確定模組包括：判斷單元，用以判斷該業務專案列表中是否存在有新的目標業務類型；以及獲取單元，用以在該判斷單元判斷出存在有該新的目標業務類型時，獲取與該新的目標業務類型對應新的目標回收元件。
  14. 如請求項13所述的裝置，其中，該獲取單元，還用以在該判斷單元判斷出未存在有該新的目標業務類型時，根據該業務專案列表中獲取每個業務專案已刪除的目標業務類型；該判斷單元，還用以判斷該已刪除的目標業務類型對應的的目標回收元件是否被該業務項目列表中其他的目標業務類型所複用；該確定模組，還包括：刪除單元，用以在該判斷單元判斷該已刪除的業務類 型對應的目標回收元件未被複用時，將該已刪除的業務類型對應的目標回收元件進行刪除；以及確定單元，用以為該業務項目列表中其他的目標業務類型確定與其對應的目標回收元件，其中，該其他的目標業務類型為該業務項目列表中除該新的目標業務類型和已刪除的目標業務類型之外的目標業務類型。
  15. 如請求項9所述的裝置，其中，還包括：監控模組，用以在利用各目標回收元件對所對應的目標業務類型的垃圾進行回收的過程中，監控垃圾回收進度並將監控到的該垃圾回收進度作為為一個檢查點。
  16. 如請求項15所述的裝置，其中，還包括：中斷點恢復模組，用以在垃圾回收的過程中出現中斷點後，利用與該中斷點時間最近的該檢查點進行中斷點恢復。
  17. 一種大資料開放處理平臺中的垃圾回收裝置，其特徵在於，包括：掃描器，用以獲取所有的大資料業務專案所包括的目標業務類型；其中，不同的業務類型對應不同的回收元件；調度器，用以確定與各目標業務類型所對應的目標回收元件；以及執行器，用以利用各目標回收元件對所對應的目標業 務類型的垃圾進行回收，其中，透過該目標回收元件對垃圾回收邏輯進行封裝，該目標回收元件具有可熱插拔的功能，並且其中，該執行器具體用以接收該調度器分配的任務，將任務分配到對應的所有目標回收元件中，載入所有的目標回收元件，為各目標回收元件分配所需的線程池，以及啟動各目標回收元件使用所分配的該線程池來執行該垃圾回收邏輯對所對應的目標業務類型的垃圾進行回收。
  18. 如請求項17所述的裝置，其中，該執行器，還用以在該掃描器獲取所有的業務項目所包括的業務類型之前，為不同的業務類型建構對應的回收元件，其中，一個業務類型至少對應一個回收元件。
  19. 如請求項18所述的裝置，其中，該執行器，具體用以為具有相同的垃圾回收邏輯的所有的業務類型，建構一個與其對應的回收元件，為其他的每個業務類型分別建構與其對應的回收元件；其中，該具有相同的垃圾回收垃圾的所有的業務類型複用與其對應的回收元件。
  20. 如請求項17至19中任一項所述的裝置，其中，該掃描器，具體用以對所有的業務專案進行掃描，將掃描結果產生業務專案列表；其中，該業務項目列表中包括所有的業務項目所包括的該目標業務類型。
  21. 如請求項20所述的裝置，其中，該調度器，具體用以在該掃描器產生該業務項目列表後，用以 判斷該業務專案列表中是否存在有新的目標業務類型，以及在判斷出存在有該新的目標業務類型時，獲取與該新的目標業務類型對應新的目標回收元件。
  22. 如請求項21所述的裝置，其中，該調度器，還具體用以在判斷出未存在有該新的目標業務類型時，根據該業務專案列表中獲取每個業務專案已刪除的目標業務類型，以及判斷該已刪除的目標業務類型對應的目標回收元件是否被該業務項目列表中其他的目標業務類型所複用，在判斷該已刪除的業務類型對應的目標回收元件未被複用時，將該已刪除的業務類型對應的目標回收元件進行刪除，以及為該業務項目列表中其他的目標業務類型確定與其對應的目標回收元件，其中，該其他的目標業務類型為該業務項目列表中除該新的目標業務類型和已刪除的目標業務類型之外的目標業務類型，並將每個業務專案所包括的目標業務類型作為一個任務分配給該執行器。
  23. 如請求項17所述的裝置，其中，還包括：故障處理器，用以在利用各目標回收元件對所對應的目標業務類型的垃圾進行回收的過程中，監控垃圾回收進度並將監控到的該垃圾回收進度作為為一個檢查點。
  24. 如請求項23所述的裝置，其中，該故障處理器，還用以在垃圾回收的過程中出現中斷點後，利用與該中斷點時間最近的該檢查點進行中斷點恢復。
TW106104934A 2016-03-17 2017-02-15 垃圾回收方法及裝置 TWI794158B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610154498.6 2016-03-17
CN201610154498.6A CN107203552B (zh) 2016-03-17 2016-03-17 垃圾回收方法及装置

Publications (2)

Publication Number Publication Date
TW201734900A TW201734900A (zh) 2017-10-01
TWI794158B true TWI794158B (zh) 2023-03-01

Family

ID=59852028

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106104934A TWI794158B (zh) 2016-03-17 2017-02-15 垃圾回收方法及裝置

Country Status (5)

Country Link
US (1) US11119911B2 (zh)
EP (1) EP3432159B1 (zh)
CN (1) CN107203552B (zh)
TW (1) TWI794158B (zh)
WO (1) WO2017157199A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10594991B1 (en) 2018-01-09 2020-03-17 Wm Intellectual Property Holdings, Llc System and method for managing service and non-service related activities associated with a waste collection, disposal and/or recycling vehicle
US10642680B2 (en) 2018-02-23 2020-05-05 International Business Machines Corporation Chronologically ordered log-structured key-value store from failures during garbage collection
US10635523B2 (en) * 2018-02-23 2020-04-28 International Business Machines Corporation Fast recovery from failures in a chronologically ordered log-structured key-value storage system
US11475416B1 (en) 2019-08-23 2022-10-18 Wm Intellectual Property Holdings Llc System and method for auditing the fill status of a customer waste container by a waste services provider during performance of a waste service activity
KR20210101982A (ko) * 2020-02-11 2021-08-19 삼성전자주식회사 스토리지 장치 및 메모리 컨트롤러의 동작 방법
US11386362B1 (en) 2020-12-16 2022-07-12 Wm Intellectual Property Holdings, L.L.C. System and method for optimizing waste / recycling collection and delivery routes for service vehicles
US11928693B1 (en) 2021-03-09 2024-03-12 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path analysis for a waste / recycling service vehicle
US11373536B1 (en) 2021-03-09 2022-06-28 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path and parcel data analysis for a waste / recycling service vehicle
US11488118B1 (en) 2021-03-16 2022-11-01 Wm Intellectual Property Holdings, L.L.C. System and method for auditing overages and contamination for a customer waste container by a waste services provider during performance of a waste service activity
US11977381B1 (en) 2022-04-01 2024-05-07 Wm Intellectual Property Holdings, L.L.C. System and method for autonomous waste collection by a waste services provider during performance of a waste service activity

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101903866A (zh) * 2007-11-21 2010-12-01 提琴存储器公司 非易失存储介质中的数据存储的方法和系统
CN102722417A (zh) * 2012-06-07 2012-10-10 腾讯科技（深圳）有限公司 一种扫描任务的分配方法和装置
CN104156414A (zh) * 2014-07-30 2014-11-19 珠海市君天电子科技有限公司 一种垃圾文件的清理方法、装置及终端
TWI544326B (zh) * 2013-03-18 2016-08-01 東芝股份有限公司 資訊處理系統、控制程式、及資訊處理裝置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6519594B1 (en) * 1998-11-14 2003-02-11 Sony Electronics, Inc. Computer-implemented sharing of java classes for increased memory efficiency and communication method
US6636242B2 (en) 1999-08-31 2003-10-21 Accenture Llp View configurer in a presentation services patterns environment
US7020697B1 (en) 1999-10-01 2006-03-28 Accenture Llp Architectures for netcentric computing systems
US6907546B1 (en) 2000-03-27 2005-06-14 Accenture Llp Language-driven interface for an automated testing framework
JP2004531780A (ja) 2000-06-22 2004-10-14 マイクロソフト コーポレーション 分散型コンピューティングサービスプラットフォーム
US7197565B2 (en) 2001-01-22 2007-03-27 Sun Microsystems, Inc. System and method of using a pipe advertisement for a peer-to-peer network entity in peer-to-peer presence detection
US6946715B2 (en) 2003-02-19 2005-09-20 Micron Technology, Inc. CMOS image sensor and method of fabrication
US7487509B2 (en) 2002-08-08 2009-02-03 Sun Microsystems, Inc. System and method for providing multiple embodiments of abstract software modules in peer-to-peer network environments
US7263560B2 (en) 2002-08-30 2007-08-28 Sun Microsystems, Inc. Decentralized peer-to-peer advertisement
US8204992B2 (en) 2002-09-26 2012-06-19 Oracle America, Inc. Presence detection using distributed indexes in peer-to-peer networks
US7206934B2 (en) 2002-09-26 2007-04-17 Sun Microsystems, Inc. Distributed indexing of identity information in a peer-to-peer network
US7657597B2 (en) 2002-09-26 2010-02-02 Sun Microsystems, Inc. Instant messaging using distributed indexes
US8037202B2 (en) 2002-10-31 2011-10-11 Oracle America, Inc. Presence detection using mobile agents in peer-to-peer networks
US7395536B2 (en) 2002-11-14 2008-07-01 Sun Microsystems, Inc. System and method for submitting and performing computational tasks in a distributed heterogeneous networked environment
US7533141B2 (en) 2003-01-24 2009-05-12 Sun Microsystems, Inc. System and method for unique naming of resources in networked environments
US7774495B2 (en) 2003-02-13 2010-08-10 Oracle America, Inc, Infrastructure for accessing a peer-to-peer network environment
CA2504333A1 (en) 2005-04-15 2006-10-15 Symbium Corporation Programming and development infrastructure for an autonomic element
EP1717706A1 (en) * 2005-04-29 2006-11-02 Alcatel Method to reduce the latency caused by garbage collection in a java virtual machine
US20070204078A1 (en) 2006-02-09 2007-08-30 Intertrust Technologies Corporation Digital rights management engine systems and methods
US8904359B2 (en) 2008-03-06 2014-12-02 International Business Machines Corporation On-demand monitoring of memory usage
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
WO2011149558A2 (en) 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
US9686255B2 (en) 2010-07-21 2017-06-20 Citrix Systems, Inc. Systems and methods for an extensible authentication framework
US8825720B1 (en) * 2011-04-12 2014-09-02 Emc Corporation Scaling asynchronous reclamation of free space in de-duplicated multi-controller storage systems
US10354258B2 (en) 2011-09-08 2019-07-16 Jack L. Marovets System, method, and apparatus for integrating real world and virtual world advertising and marketing, which includes a coupon exchange option
CN103324639A (zh) * 2012-03-23 2013-09-25 腾讯科技（深圳）有限公司 清理垃圾项目的方法及装置
CN103678349B (zh) * 2012-09-10 2017-09-26 腾讯科技（深圳）有限公司 一种垃圾数据过滤方法和装置
US20140115291A1 (en) * 2012-10-19 2014-04-24 Advanced Micro Devices, Inc. Numa optimization for garbage collection of multi-threaded applications
CN103336744B (zh) 2013-06-20 2015-11-04 华中科技大学 一种固态存储设备的垃圾回收方法及其系统
US9361224B2 (en) * 2013-09-04 2016-06-07 Red Hat, Inc. Non-intrusive storage of garbage collector-specific management data
CN103559443B (zh) * 2013-11-01 2017-07-14 北京奇虎科技有限公司 多核设备的病毒扫描方法和装置
CN103617023B (zh) 2013-11-20 2016-02-17 北京先进数通信息技术股份公司 一种系统垃圾资源的回收方法和装置
CN103927198B (zh) * 2014-03-19 2017-05-31 北京奇虎科技有限公司 一种软件清理方法及装置
US9032410B1 (en) * 2014-08-19 2015-05-12 Xamarin Inc. Non-precise garbage collection in non-cooperative systems
CN104408201B (zh) * 2014-12-16 2017-09-19 北京奇虎科技有限公司 垃圾文件的清理方法及装置
US9823994B2 (en) 2015-12-22 2017-11-21 International Business Machines Corporation Dynamically identifying performance anti-patterns
US10990518B1 (en) * 2016-03-31 2021-04-27 EMC IP Holding Company LLC Method and system for I/O parallel distributed garbage collection of a deduplicated datasets
US20180024964A1 (en) 2016-07-19 2018-01-25 Pure Storage, Inc. Disaggregated compute resources and storage resources in a storage system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101903866A (zh) * 2007-11-21 2010-12-01 提琴存储器公司 非易失存储介质中的数据存储的方法和系统
CN102722417A (zh) * 2012-06-07 2012-10-10 腾讯科技（深圳）有限公司 一种扫描任务的分配方法和装置
TWI544326B (zh) * 2013-03-18 2016-08-01 東芝股份有限公司 資訊處理系統、控制程式、及資訊處理裝置
CN104156414A (zh) * 2014-07-30 2014-11-19 珠海市君天电子科技有限公司 一种垃圾文件的清理方法、装置及终端

Also Published As

Publication number Publication date
EP3432159A1 (en) 2019-01-23
TW201734900A (zh) 2017-10-01
US20190196965A1 (en) 2019-06-27
EP3432159A4 (en) 2019-09-25
US11119911B2 (en) 2021-09-14
CN107203552A (zh) 2017-09-26
CN107203552B (zh) 2021-12-28
WO2017157199A1 (zh) 2017-09-21
EP3432159B1 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
TWI794158B (zh) 垃圾回收方法及裝置
US11474874B2 (en) Systems and methods for auto-scaling a big data system
CN106874084B (zh) 一种分布式工作流调度的方法、装置及计算机设备
US9477460B2 (en) Non-transitory computer-readable storage medium for selective application of update programs dependent upon a load of a virtual machine and related apparatus and method
WO2017088681A1 (zh) 一种网关设备故障处理方法及装置
US11334408B2 (en) Big data distributed processing and secure data transferring with fault handling
CN104461744A (zh) 一种资源分配方法及装置
US10924538B2 (en) Systems and methods of monitoring software application processes
WO2016101486A1 (zh) 一种故障修复方法、装置及计算机存储介质
US9838332B1 (en) Dynamically meeting slas without provisioning static capacity
US20190340026A1 (en) Periodic task execution in an automated context
CN115756783A (zh) 跨子系统的空间任务依赖调度方法与系统
CN109725916B (zh) 流处理的拓扑结构更新系统和方法
US20110225463A1 (en) Detecting and recovering from process failures
CN109597674B (zh) 一种共享虚拟资源池份额调度方法及系统
US11321430B2 (en) Big data distributed processing and secure data transferring with obfuscation
US20210211430A1 (en) Big Data Distributed Processing and Secure Data Transferring with Hyper Fencing
CN108154343B (zh) 一种企业级信息系统的应急处理方法及系统
JP6303486B2 (ja) 情報処理システム、監視方法、及び、プログラム
CN105740054A (zh) 一种虚拟机管理方法及装置
US20220198029A1 (en) Big Data Distributed Processing and Secure Data Transferring with Resource Allocation and Rebate
CN102221995A (zh) 地震数据处理作业的断点恢复方法
US20210049240A1 (en) Highly available policy agent for backup and restore operations
JP2009211654A (ja) メモリ管理装置、システム、方法、及び、プログラム
CN113010295A (zh) 流式计算方法、装置、设备以及存储介质