TWI829589B - 影像處理裝置及其方法 - Google Patents

Abstract

本發明提出一種影像處理裝置及其方法。影像處理裝置包括儲存裝置以及處理器。處理器接收原始影像，並對原始影像進行物件分類處理以產生修復位置資料。處理器對原始影像進行修復處理，以產生全物件修復影像。處理器將全物件修復影像疊加於修復位置資料，以產生對應設定值的修復部分影像。並且，處理器將修復部分影像疊加於原始影像，以產生修復影像。

Description

影像處理裝置及其方法

本發明是有關於一種影像處理，且特別是有關於一種影像處理裝置及其方法。

一般來說，由於從生產製造環境中的所擷取到的影像具有部分機密資訊(例如產品編號、文件號碼、特定資訊等)，因此生產製造環境影像的輸出以及上傳會有資料安全的疑慮。並且，非必要的物件影像包含在待處理影像中會影響影像判斷的準確度。同時，過度模糊影像中的所有物件，將導致影像無法進行後續處理與判斷，造成影像失真以及過於模糊的問題。

本發明提供一種影像處理裝置及其方法，可有效地根據設定值修復特定物件，並對全物件修復影像、修復位置資料以及原始影像進行疊加，以產生修復影像。

本發明的影像處理裝置包括儲存裝置以及處理器。儲存裝置儲存多個模組。處理器耦接儲存裝置，並執行多個模組，以進行以下影像處理。處理器接收原始影像。處理器對原始影像進行物件分類處理，以根據有關於物件的設定值產生修復位置資料。處理器對原始影像進行修復處理，以產生全物件修復影像。處理器將全物件修復影像疊加於修復位置資料，以產生針對對應設定值的指定物件所產生的修復部分影像。並且，處理器將修復部分影像疊加於原始影像，以產生修復影像。

本發明的影像處理方法包括以下步驟：接收原始影像；對原始影像進行物件分類處理，以產生修復位置資料；對原始影像進行修復處理，以產生全物件修復影像；將全物件修復影像、修復位置資料以及原始影像進行疊加，以產生修復影像。

基於上述，本發明的影像處理裝置及其方法可對原始影像進行物件分類處理以及修復處理，並且根據指定物件進行修復部分影像的生成，以分別通過不同的解碼器進行修復處理與物件分類處理，進而有效率地產生修復影像。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本揭示確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是本發明的一實施例的影像處理裝置的電路示意圖。參考圖1，影像處理裝置100包括處理器110以及儲存裝置120。處理器110耦接儲存裝置120。在本實施例中，儲存裝置120可儲存多個模組，所述多個模組包括影像處理模組、影像擷取模組、神經網路模組以及儲存模組。處理器110可執行這些模組，以實現影像處理與影像修復功能。在本實施例中，處理器110還可耦接外部的影像擷取裝置200。影像擷取裝置200可例如是一種影像擷取器、攝影機、相機等裝置。處理器110可透過這些影像擷取裝置取得原始影像(待處理影像)，並且對這些影像分別進行影像處理後，可產生修復影像。

在本實施例中，處理器110可例如包括圖形處理器(Graphics Processing Unit，GPU)、影像處理單元(Image Processing Unit，IPU)、影像信號處理器(Image Signal Processor，ISP)、中央處理單元(Central Processing Unit，CPU)、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)其他具有影像處理及運算功能的處理單元或其組合。在本實施例中，儲存裝置120可為記憶體(Memory)，其中記憶體可例如非易失性記憶體(Non-Volatile Memory，NVM)。儲存裝置120可儲存用於實現本發明各實施例的相關影像資料、程式、模組、系統或演算法，以供處理器110存取並執行而實現本發明各實施例所描述的相關影像處理、資料運算等功能及操作。

在本實施例中，影像處理裝置100以及影像擷取裝置200可例如是應用於工業製造環境中通過擷取包含焊道的影像，用於偵測與識別取焊道影像中的物件(例如文印、瑕疵、焊道等物件)以及各個物件的位置。對此，影像擷取裝置200可取得至少一張原始影像(例如包含焊道的影像)。處理器110可將原始影像進行修復處理以及物件分類處理，進而根據設定修復或抹除影像中的特定物件，以使修復後的影像可以進行後續影像處理流程，進而最大程度地保持原始影像中的資訊。然而，本發明的影像處理裝置100以及影像擷取裝置200的應用場景並不限於此。在一實施例中，影像處理裝置100以及影像擷取裝置200也可例如是應用於修復或抹除醫療影像中隱私資料或機密物件的處理。

圖2是本發明的一實施例的影像處理方法的流程圖。參考圖1以及圖2，影像處理裝置100可執行如以下步驟S210~S240。在步驟S210，處理器110接收原始影像。在一實施例中，原始影像由影像擷取模組所擷取。影像擷取模組可以是影像擷取裝置200，其中影像擷取裝置200可包括多個鏡頭。在另一實施例中，處理器110可執行通訊模組，以接收使用者通過電子裝置(例如具備通訊裝置的個人電腦、手機、平板等裝置)所輸入的原始影像。原始影像中可包括不同的多個物件(例如文印(即文字)、焊道、背景以及瑕疵)。

在步驟S220，處理器110對原始影像進行物件分類處理，以產生修復位置資料。在一實施例中，處理器110可根據儲存於儲存裝置120中的物件識別資料對原始影像進行物件分類處理，以產生需要進行修復(例如抹除或是模糊化處理)的位置資料(即修復位置資料)。

在另一實施例中，處理器110執行神經網路模組，以通過經訓練的神經網路模組對原始影像進行物件分類處理，進而產生修復位置資料。神經網路模組可以是深度神經網路學習模型。修復位置資料可以是有關於原始影像中特定物件的位置資訊。舉例而言，修復位置資料為原始影像中文字物件的位置資料(例如有關於影像中位置資訊的矩陣資料，或稱遮罩(mask)影像)。

在步驟S230，處理器110對原始影像進行修復處理，以產生全物件修復影像。具體來說，處理器110可根據神經網路模型對原始影像進行修復處理，以產生整張原始影像經過修復處理(例如模糊化處理、銳化處理以及影像校正處理)的影像(即全物件修復影像)。

在步驟S240，處理器110將全物件修復影像、修復位置資料以及原始影像進行疊加，以產生修復影像。在本實施例中，處理器110將修復位置資料以及原始影像進行疊加。值得說明的是，處理器110不僅限於透過疊加的方式，結合複數個影像。影像處理裝置100及其方法可以將修復位置資料以及全物件修復影像進行結合，以產生修復部分影像。在另一實施例中，處理器110可通過將兩個影像矩陣資料相乘以獲得修復部分影像。舉例而言，原始影像中包括物件A、物件B以及物件C。修復位置資料是有關於物件A在原始影像中的位置資料，並且其他物件的位置資料為零。舉例而言，物件A在原始影像中的位置矩陣為1，其他物件的位置矩陣為零。

如此，處理器110將修復位置資料以及全物件修復影像相結合後，可以獲得針對待修復物件的修復影像(例如僅包含物件A的修復影像)。並且，處理器110將僅包含特定物件(例如物件A)的修復影像與原始影像進行結合，以產生修復影像。如此一來，影像處理裝置100可以產生僅有特定物件進行修復處理，並且其餘部分為原始影像的修復影像。值得注意的是，影像處理裝置100所產生的修復影像只有特定物件採用全物件修復影像的畫面，其餘部分皆採用原始影像，因此影像處理裝置100及其方法所產生的修復影像達到最大程度地保留原始圖片，以保留影像的畫質以及清晰程度。

圖3是本發明的另一實施例的影像處理裝置的示意圖。參考圖1、圖2以及圖3，本實施例以編碼器以及解碼器的設置與影像的範例來更詳細說明本發明的影像處理裝置100及其方法。在對原始影像301進行物件分類處理以及修復處理的步驟中更包括以下步驟：處理器110對原始影像301進行卷積運算，以透過編碼器310以及第一解碼器320對原始影像301進行物件分類處理。如圖3所示，原始影像301中包含多個物件。上述多個物件可例如是文印物件3011、瑕疵物件3012以及焊道物件3013等物件或物體。

在一實施例中，儲存裝置120儲存有多個修復物件資料。如此，處理器110根據多個修復物件資料對原始影像301進行物件識別處理，以產生每一種物件(例如文印物件3011、瑕疵物件3012、焊道物件3013以及背景物件等)的位置資訊(即物件位置資訊)。並且，處理器110根據設定值以及物件位置資訊產生修復位置資料302。修復位置資料302是包括上述多個修復物件資料之中至少一個修復物件資料的位置資訊。在一實施例中，上述多個修復物件資料為影像中每一個物件的識別特徵值，本案不應以此為限。接著，處理器110可通過多個修復物件資料對原始影像301進行物件識別，以產生每一個物件的位置資訊。

在一實施例中，物件位置資訊為包括每一物件的位置矩陣資料。位置矩陣資料是透過矩陣的方式記錄每一物件在影像中的位置資訊。上述設定值為儲存於儲存裝置120或是由使用者輸入的指令。如此一來，處理器110可先對原始影像301進行物件識別，以獲得每一種物件的位置資料。接著，處理器110根據指令修復物件的設定值，產生被指令物件的位置資料(即修復位置資料302)。

值得注意的是，在執行修復處理的過程中，處理器110使用不同於第一解碼器320的第二解碼器330對原始影像301進行卷積運算以執行修復處理。也就是說，處理器110透過編碼器310以及第二解碼器330對原始影像301進行修復處理，以產生全物件修復影像。在一實施例中，處理器110通過經訓練的神經網路模組對原始影像301進行修復處理以產生原始影像301中全部物件的修復影像(即全物件修復影像)。處理器110將修復位置資料302以及全物件修復影像進行疊加，以產生修復部分影像。具體來說，修復位置資料可以是只有指令修復物件的區塊影像。並且，修復位置資料疊加於全物件修復影像(如圖5，501)後所獲得的修復部分影像為僅有指令修復物件的被修復後的影像。並且，處理器110將修復部分影像疊加於原始影像301，以產生修復影像303。在本實施例中，修復影像303為只有文印物件3011的區塊進行修復處理，其餘區塊為原始影像301的疊加影像。在一實施例中，編碼器310、第一解碼器320以及第二解碼器330可以採用ConvNeXt深度神經網路，但本案不以此為限。

圖4是本發明的一實施例的影像處理方法的訓練流程圖。圖5A是本發明的一實施例的包含修復位置資料的影像的示意圖。圖5B是本發明的一實施例的全物件修復影像的示意圖。影像處理裝置100的處理器110接收訓練資料以訓練深度神經網路學習模型。訓練資料包括多個原始訓練影像、多個修復訓練影像501以及多個物件位置影像500。

在一實施例中，多個原始訓練影像由影像擷取模組所擷取。並且，影像擷取模組為影像擷取裝置200。在另一實施例中，多個原始訓練影像、多個修復訓練影像501以及多個物件位置影像500由使用者通過通訊模組(例如收發器)輸入至處理器110中。

如圖1、圖4、圖5A以及圖5B所示，影像處理裝置100可執行如以下步驟S410以及步驟S420。在步驟S410，處理器110輸入多個物件位置影像500至深度神經網路學習模型(例如是編碼器310以及第一解碼器320)，以使深度神經網路學習模型學習物件識別處理。舉例而言，多個物件位置影像500包括第一物件區塊510、第二物件區塊511、第三物件區塊512、第四物件區塊513以及各區塊與物件對照數據。

舉例而言，各區塊與物件對照數據為第一物件區塊510為背景物件、第二物件區塊511為文印物件、第三物件區塊512為瑕疵物件以及第四物件區塊513為焊道物件。如此一來，處理器110通過將多個原始訓練影像以及對應的多個物件位置影像500輸入至深度神經網路學習模型，以使深度網路學習模型可識別出影像中的各個物件種類以及物件位置。

換言之，處理器110通過輸入多個物件位置影像500至深度神經網路學習模型中，以訓練深度神經網路學習模型。如此一來，經過訓練的深度神經網路學習模型可識別出影像中的物件種類，並且標記出物件的位置。在一實施例中，深度神經網路學習模型可通過匹配原始影像與物件的識別特徵值，進而進行物件的識別與標記，本案不應以此為限。

在步驟S420，處理器110輸入原始訓練影像以及對應的修復訓練影像至深度神經網路學習模型(例如是編碼器310以及第二解碼器330)，以使深度神經網路學習模型學習修復處理。在一實施例中，處理器110根據多個原始訓練影像以及對應的修復訓練影像訓練深度神經網路學習模型，以使深度神經網路學習模型產生多個修復物件資料。具體來說，多個修復訓練影像為多個全物件修復影像501的訓練影像，以使深度神經網路學習模型紀錄與學習影像的模糊化程度以及影像修復參數。在一實施例中，深度神經網路學習模型為卷積神經網路模型，進而使影像處理裝置100及其方法可接受各種尺寸的影像。

綜上所述，本發明的影像處理裝置及其方法可根據不同的解碼器分別對原始影像進行修復處理以及物件分類處理，進而提高處理效率。並且，在進行影像的處理過程中，可根據需求個別修復處理或是物件分類處理。如此一來，影像處理裝置100及其方法可有效地判斷影像中的各種物件，並且對指定的物件區塊進行抹除或模糊化處理。並且，通過同時進行修復處理以及物件分類處理以提高影像處理的效率以及可調整彈性。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本揭示確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

100:影像處理裝置 110:處理器 120:儲存裝置 200:影像擷取裝置 101:修復影像 310:編碼器 320:第一解碼器 330:第二解碼器 301:原始影像 3011:文印物件 3012:瑕疵物件 3013:焊道物件 302:修復位置資料 303:修復影像 500:物件位置資訊 510:第一物件區塊 511:第二物件區塊 512:第三物件區塊 513:第四物件區塊 501:修復訓練影像 S210~S240、S410、S420:步驟

圖1是本發明的一實施例的影像處理裝置的電路示意圖。 圖2是本發明的一實施例的影像處理方法的流程圖。 圖3是本發明的另一實施例的影像處理裝置的示意圖。 圖4是本發明的一實施例的影像處理方法的訓練流程圖。 圖5A是本發明的一實施例的包含修復位置資料的影像的示意圖。 圖5B是本發明的一實施例的全物件修復影像的示意圖。

S210~S240:步驟

Claims (20)

1. 一種影像處理裝置，包括： 一儲存裝置，儲存多個模組；以及 一處理器，耦接該儲存裝置，並且執行該些模組，以進行以下影像處理： 該處理器接收一原始影像； 該處理器對該原始影像進行物件分類處理，以產生一修復位置資料； 該處理器對該原始影像進行修復處理，以產生一全物件修復影像； 該處理器將該全物件修復影像、該修復位置資料以及該原始影像進行疊加，以產生一修復影像。
2. 如請求項1所述的影像處理裝置，其中該處理器將該原始影像輸入至一神經網路模組，以使該神經網路模組產生該修復位置資料以及該全物件修復影像； 其中該神經網路模組為一深度神經網路學習模型。
3. 如請求項1所述的影像處理裝置，其中該處理器對該原始影像進行卷積運算，以透過一編碼器以及一第一解碼器對原始影像進行該物件分類處理；以及 該處理器對該原始影像進行該卷積運算，以透過該編碼器以及一第二解碼器對該原始影像進行該修復處理。
4. 如請求項1所述的影像處理裝置，其中該處理器將該修復位置資料以及該全物件修復影像進行疊加，以產生一修復部分影像；以及 該處理器將該修復部分影像疊加於該原始影像，以產生該修復影像。
5. 如請求項1所述的影像處理裝置，其中該儲存裝置儲存有多個修復物件資料，其中該處理器根據該些修復物件資料對該原始影像進行物件識別處理，以產生物件位置資訊；以及 該處理器根據設定值以及該物件位置資訊產生該修復位置資料，其中該修復位置資料包括該些修復物件資料之中至少一修復物件資料的位置資訊。
6. 如請求項5所述的影像處理裝置，其中該物件位置資訊為包括每一物件的位置矩陣資料，其中該設定值是儲存於該儲存裝置以及由使用者輸入的至少其中之一。
7. 如請求項1所述的影像處理裝置，其中該原始影像以及多個原始訓練影像由一影像擷取模組所擷取，其中該影像擷取模組為一影像擷取裝置。
8. 如請求項1所述的影像處理裝置，其中該處理器接收訓練資料以訓練一深度神經網路學習模型，其中該訓練資料包括多個原始訓練影像、多個修復訓練影像以及多個物件位置影像。
9. 如請求項8所述的影像處理裝置，其中該處理器輸入該些物件位置影像至該深度神經網路學習模型，以使該深度神經網路學習模型學習物件識別處理； 該處理器輸入該些原始訓練影像以及該些修復訓練影像至該深度神經網路學習模型，以使該深度神經網路學習模型學習該修復處理。
10. 如請求項8所述的影像處理裝置，其中該處理器根據多個修復訓練影像訓練該深度神經網路學習模型，以使該深度神經網路學習模型產生多個修復物件資料，其中該深度神經網路學習模型為卷積神經網路模型。
11. 一種影像處理方法，包括： 接收一原始影像； 對該原始影像進行物件分類處理，以產生一修復位置資料； 對該原始影像進行修復處理，以產生一全物件修復影像； 將該全物件修復影像、該修復位置資料以及該原始影像進行疊加，以產生一修復影像。
12. 如請求項11所述的影像處理方法，其中對該原始影像進行該物件分類處理以及修復處理的步驟更包括：將該原始影像輸入至一神經網路模組，以使該神經網路模組產生該修復位置資料以及該全物件修復影像； 其中該神經網路模組為一深度神經網路學習模型。
13. 如請求項11所述的影像處理方法，其中對該原始影像進行該物件分類處理以及該修復處理的步驟更包括：對該原始影像進行卷積運算，以透過一編碼器以及一第一解碼器對原始影像進行該物件分類處理；以及 對該原始影像進行該卷積運算，以透過該編碼器以及一第二解碼器對該原始影像進行該修復處理。
14. 如請求項11所述的影像處理方法，其中將該全物件修復影像、該修復位置資料以及該原始影像進行疊加，以產生該修復影像的步驟包括： 將該修復位置資料以及該全物件修復影像進行疊加，以產生一修復部分影像；以及 將該修復部分影像疊加於該原始影像，以產生該修復影像。
15. 如請求項11所述的影像處理方法，其中一儲存裝置儲存有多個修復物件資料，其中對該原始影像進行該物件分類處理，以產生該修復位置資料的步驟包括： 根據該些修復物件資料對該原始影像進行物件識別處理，以產生物件位置資訊；以及 根據設定值以及該物件位置資訊產生該修復位置資料，其中該修復位置資料包括該些修復物件資料之中至少一修復物件資料的位置資訊。
16. 如請求項15所述的影像處理方法，其中該物件位置資訊為包括每一物件的位置矩陣資料，其中該設定值是儲存於該儲存裝置以及由使用者輸入的至少其中之一。
17. 如請求項11所述的影像處理方法，其中該原始影像以及多個原始訓練影像由一影像擷取模組所擷取，其中該影像擷取模組為一影像擷取裝置。
18. 如請求項11所述的影像處理方法，還包括： 接收訓練資料以訓練一深度神經網路學習模型，其中該訓練資料包括多個原始訓練影像、多個修復訓練影像以及多個物件位置影像。
19. 如請求項18所述的影像處理方法，其中訓練該深度神經網路學習模型的步驟包括： 輸入該些物件位置影像至該深度神經網路學習模型，以使該深度神經網路學習模型學習物件識別處理； 輸入該些原始訓練影像以及該些修復訓練影像至該深度神經網路學習模型，以使該深度神經網路學習模型學習該修復處理。
20. 如請求項18所述的影像處理方法，還包括以下步驟： 根據多個修復訓練影像訓練該深度神經網路學習模型，以使該深度神經網路學習模型產生多個修復物件資料， 其中該深度神經網路學習模型為卷積神經網路模型。