TWI793521B - 圖片識別與管理系統 - Google Patents

Abstract

本發明提供一種圖片識別與管理系統。圖片識別與管理系統包括操作單元、圖片分類單元、訓練單元以及管理單元。操作單元基於機台的操作劇本接收來自於機台所提供的未經過識別過的多個圖片樣本。圖片分類單元基於多個類別對所述多個圖片樣本進行分類。訓練單元對所述多個圖片樣本進行深度學習以產生學習結果。管理單元依據學習結果更新操作劇本。

Description

圖片識別與管理系統

本發明是有關於一種圖片識別與管理系統，且特別是有關於一種用於機台的圖片識別與管理系統。

現行的機台，例如生產設備或檢查設備，能夠對機台所偵測到的圖片進行識別與判斷。然而，如果機台偵測到未經過識別過的多個圖片時，機台依舊會對未經過識別過的多個圖片進行識別與判斷。機台對未經過識別過的多個圖片進行識別與判斷可能會發生錯誤，從而增加機台發生誤操作的風險。

本發明提供一種圖片識別與管理系統，能夠降低機台發生誤操作的風險。

本發明的圖片識別與管理系統包括操作單元、圖片分類單元、訓練單元以及管理單元。操作單元基於至少一機台的至少一操作劇本接收來自於所述至少一機台所提供的未經過識別過的 多個圖片樣本。圖片分類單元與操作單元進行通訊。圖片分類單元接收所述多個圖片樣本，並基於多個類別對所述多個圖片樣本進行分類。訓練單元與圖片分類單元進行通訊。訓練單元對被分類後的所述多個圖片樣本進行深度學習以產生所述多個圖片樣本的訓練結果，並將訓練結果提供至圖片分類單元。管理單元與操作單元以及圖片分類單元進行通訊。管理單元依據訓練結果更新所述至少一操作劇本。

基於上述，本發明的圖片識別與管理系統能夠在機台的運行中接收多個圖片中未經過識別過的多個圖片樣本，並對圖片樣本進行分類以及深度學習，並依據已完成深度學習的訓練結果更新操作劇本。如此一來，本發明可防止機台對未經過識別過的多個圖片進行識別與判斷所發生的錯誤，進而降低機台發生誤操作的風險。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100:圖片識別與管理系統

110:操作單元

120:圖片分類單元

130:訓練單元

140:管理單元

F1~F3:分類資料夾

IMG、IMG1:圖片樣本

IMG_C:被分類後的圖形樣本

IMG_T:訓練結果

L1:第一標記鍵

L2:第二標記鍵

M1~M3:機台

MD:模型資料夾

N1~N6:圖片樣本檔名

OSC:操作劇本

S110~S140:步驟

S121~S124:步驟

SUD:更新版本

圖1是依據本發明一實施例所繪示的圖片識別與管理系統與機台的配置示意圖。

圖2是依據本發明一實施例所繪示的圖片識別與管理系統的示意圖。

圖3是依據本發明一實施例所繪示的圖片識別與管理系統的操作流程圖。

圖4是依據本發明一實施例所繪示的圖片分類單元的操作流程圖。

圖5是依據本發明一實施例所繪示的操作介面示意圖。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的範例。

請參考圖1，圖1是依據本發明一實施例所繪示的圖片識別與管理系統與機台的配置示意圖。在本實施例中，圖片識別與管理系統100與機台M1~M3進行有線通訊或無線通訊。圖片識別與管理系統100可對機台M1~M3進行操作並且接收機台M1~M3在運作中所產生的多個訊息。舉例來說，圖片識別與管理系統100可對機台M1~M3進行自動化操作。此外，圖片識別與管理系統100也能經由機台M1~M3的人機介面、輸入裝置的操作以及螢幕的顯示以獲知機台M1~M3的操作狀況。在本實施例中，機台M1~M3分別可以是任意的生產設備或檢查設備。本發明的機台的數量可以是一個或多個，並不以本實施例為限。

請同時參考圖2以及圖3，圖2是依據本發明一實施例所繪示的圖片識別與管理系統的示意圖。圖3是依據本發明一實施例所繪示的圖片識別與管理系統的操作流程圖。在本實施例中，圖片識別與管理系統100包括操作單元110、圖片分類單元120、訓練單元130以及管理單元140。在步驟S110中，操作單元110基於機台(如，圖1所示的機台M1~M3的至少一者)的操作劇本OSC接收來自於機台所提供的未經過識別過的多個圖片樣本IMG。操作劇本OSC是機台本身的操作流程，或者是操作單元110對機台進行操作的操作流程。在步驟S110中，操作單元110會經由機台所顯示的影像接收來自於機台所提供的多個圖片樣本IMG。在本實施例中，圖片樣本IMG分別可以是機台所提供的多個圖片的至少一部分。也就是說，機台所提供的單一圖片可能包括多個圖片樣本IMG中的至少一者。舉例來說，操作單元110可以經由機台的顯示裝置以及人機介面的至少一者所顯示的影像接收到圖片樣本IMG。本發明的操作劇本OSC的數量可以是一個或多個，並不以本實施例為限。

圖片分類單元120與操作單元110進行有線通訊或無線通訊。在步驟S120中，圖片分類單元120接收來自於操作單元110的圖片樣本IMG，並基於不同的類別對圖片樣本IMG進行分類，進而產生被分類後的圖形樣本IMG_C。在本實施例中，圖片分類單元120基於不同的類別對圖片樣本IMG進行分類。在本實施例中，圖片分類單元120提供分類資料夾F1~F3。分類資料夾F1~F3 會對應於不同的類別。以晶圓廠為例，圖片樣本IMG可能是新的對準圖形(Alignment Key)、新的缺陷圖形、新的電極圖形(本發明並不以此實施例為限)。因此，分類資料夾F1可以是對應於對準圖形的分類資料夾。分類資料夾F1對應於對準圖形類別。分類資料夾F2可以是對應於缺陷圖形的分類資料夾。分類資料夾F2對應於缺陷圖形類別。分類資料夾F3可以是對應於電極圖形的分類資料夾。分類資料夾F3對應於電極圖形類別。也就是說，圖片分類單元120可對圖片樣本IMG進行分類以產生被分類後的圖形樣本IMG_C，並將分類後的圖形樣本IMG_C儲存在同一分類資料夾中。

訓練單元130與圖片分類單元120進行有線通訊或無線通訊。在步驟S130中，訓練單元130對多個被分類後的圖片樣本IMG_C進行深度學習以產生圖片樣本IMG的訓練結果IMG_T。訓練單元130可以採用現行的任何學習演算法對被分類後的圖片樣本IMG_C進行深度學習以產生訓練結果IMG_T。深度學習模型例如是由ResNet、MobileNet、SSD(Single Shot MultiBox Detector)、YOLO(You Only Look Once)等模型的其中之一來實施。深度學習可例如是由梯度下降法(Gradient descent)、Adagrad以及Adam的其中之一演算法來執行。本發明並不以深度學習的方式為限。在此值得一提的是。訓練單元130是對被分類後的圖形樣本IMG_C進行深度學習。因此，訓練單元130的深度學習效率會被提升。在本實施例中，當圖片樣本IMG都完成深度學習時， 訓練單元130將訓練結果IMG_T提供至圖片分類單元120。

管理單元140與圖片分類單元120以及操作單元110進行有線通訊或無線通訊。在步驟S140中，管理單元140接收訓練結果IMG_T，並依據訓練結果IMG_T更新操作單元110的操作劇本OSC。

在此值得一提的是，圖片識別與管理系統100能夠在機台的運行中接收多個圖片中未經過識別過的圖片樣本IMG，並對圖片樣本IMG進行分類並且深度學習以產生訓練結果IMG_T，並依據訓練結果IMG_T更新操作劇本OSC。如此一來，圖片識別與管理系統100可防止機台對未經過識別過的多個圖片進行識別與判斷所發生的錯誤，進而降低機台發生誤操作的風險。

應注意的是，管理單元140並不與訓練單元130進行通訊。管理單元140是透過圖片分類單元120與訓練單元130進行通訊。如此一來，管理單元140的資訊安全以及訓練單元130的資訊安全能夠被確保。

在一些實施例中，基於使用需求上的設計，圖片識別與管理系統100可包括多個操作單元110。本發明並不以本實施例的操作單元110的數量為限。

在本實施例中，操作單元110、圖片分類單元120、訓練單元130以及管理單元140分別被設置在機台的生產場域以及用以管控機台的控制場域的其中一者中。舉例來說，操作單元110以及管理單元140可以被設置在機台所在的生產場域中。圖片分 類單元120以及訓練單元130可以被設置在用以管控(或監控)機台的控制場域中。也就是說，圖片識別與管理系統100的上述所有操作(步驟S110~S140)都是在廠內進行。因此，圖片樣本IMG、分類資料夾F1~F3以及訓練結果IMG_T都不會外流到廠外(如廠外的雲端伺服器)。

在本實施例中，操作單元110、圖片分類單元120、訓練單元130以及管理單元140分別可以是由具有運算能力的電子裝置來實現，例如是桌上型電腦、內部伺服器等具有人工智慧運算功能之計算機。

在本實施例中，在操作劇本OSC被更新後，操作單元110基於被更新的操作劇本OSC對機台進行操作。

在本實施例中，圖片分類單元120對多個圖片樣本IMG進行分類以提供多個分類結果。舉例來說，第一分類結果對應於分類資料夾F1中的圖片樣本。第二分類結果對應於分類資料夾F2中的圖片樣本。第三分類結果對應於分類資料夾F3中的圖片樣本。在本實施例中，圖片分類單元120允許介入操作對分類結果進行標記。介入操作是在廠內進行。也就是說，標記操作是在廠內進行。因此，介入操作可以對分類結果進行進一步的確認以提高分類結果的正確性。在本實施例中，介入操作可以是由外部裝置或外部軟體所介入的判斷操作。

接下來舉例說明圖片分類單元120的實施細節。請同時參考圖2以及圖4，圖4是依據本發明一實施例所繪示的圖片分類 單元的操作流程圖。在本實施例中，圖片分類單元120會在步驟S121中對圖片樣本IMG進行分類，並將被分類後的圖形樣本IMG_C儲存到對應的資料夾。在步驟S122中，圖片分類單元120會判斷分類資料夾F1中的多個圖片樣本是否對應分類資料夾F1的類別。當分類資料夾F1中的第一圖片樣本對應分類資料夾F1的類別時，這表示圖片分類單元120在步驟S121中對第一圖片樣本的分類是正確的。因此，圖片分類單元120會在步驟S123中對第一圖片樣本進行第一標記。在一些實施例中，被進行第一標記的第一圖片樣本可以被移動到對應於分類資料夾F1的類別的確認分類資料夾。上述的確認分類資料夾所收集到的圖片樣本是被確認為對應分類資料夾F1的類別。

在另一方面，當分類資料夾F1中的第一圖片樣本並不是對應分類資料夾F1的類別時，這表示圖片分類單元120在步驟S121中對第一圖片樣本的分類是錯誤的。因此，圖片分類單元120會在步驟S124中對第一圖片樣本進行第二標記，以將第一圖片樣本移動到其他的分類資料夾(如分類資料夾F2、F3或者是不進行深度學習的分類資料夾)。

在本實施例中，圖片分類單元120對被分類後的圖片樣本IMG_C的數量進行計數。當被分類後的圖片樣本IMG_C的數量到達一預設值(例如是200或1000，本發明並不以此為限)時，圖片分類單元120將被分類後的圖片樣本IMG_C提供到訓練單元130。也就是說，當被分類後的圖片樣本IMG_C的數量累計到預 設值時，圖片分類單元120會一次性地將被分類後的圖片樣本IMG_C提供到訓練單元130。在本實施例中，預設值可以依據時技的需求被設定。如果預設值越高，被分類後的圖片樣本IMG_C的需求數量越多，訓練結果IMG_T會越精準。然而，訓練結果IMG_T的產生時間會越長。相對地，如果預設值越低，被分類後的圖片樣本IMG_C的需求數量越少，訓練結果IMG_T會可能較不精準。然而，訓練結果IMG_T的產生時間會越短。

另舉例來說明圖片分類單元120的實施細節，請同時參考圖2以及圖5，圖5是依據本發明一實施例所繪示的操作介面示意圖。本實施例的操作介面是由圖片分類單元120所提供。圖5所示的操作介面可允許使用者執行介入操作。在本實施例中，模型資料夾MD包括分類資料夾F1、F2。分類資料夾F1、F2分別被展開後，分類資料夾F1會顯示出圖片樣本檔名N1~N3。分類資料夾F2會顯示出圖片樣本檔名N4~N6。使用者可點選圖片樣本檔名N5以使操作介面顯示出對應於圖片樣本檔名N5的圖片樣本IMG1。使用者可判斷圖片樣本IMG1是否屬於分類資料夾F2的類別。如果圖片樣本IMG1屬於分類資料夾F2的類別，使用者可點選第一標記鍵L1以對圖片樣本IMG1進行第一標記。

在另一方面，如果圖片樣本IMG1不屬於分類資料夾F2的類別，使用者可點選第二標記鍵L2以對圖片樣本IMG1進行第二標記。因此，圖片樣本IMG1會被移動到其他的分類資料夾。圖片樣本檔名N5也不會顯示在分類資料夾F2中。

請回到圖2以及圖3的實施例。在本實施例中，管理單元140還會提供對應於訓練結果IMG_T的更新版本SUD，並選擇更新版本SUD以更新操作劇本OSC。舉例來說，管理單元140可依據不同時間點的所接收到的訓練結果IMG_T來產生多個更新版本SUD。管理單元140可儲存所述多個更新版本SUD。管理單元140可依據使用需求將所述多個更新版本SUD的其中一者提供到操作單元110。舉例來說，管理單元140可依據操作單元110內的操作劇本OSC將最新的更新版本SUD分派到操作單元110並更新操作劇本OSC。另舉例來說，圖片識別與管理系統100可具有多個操作單元110。管理單元140可依據多個操作單元110內的多個操作劇本OSC選擇出合適的至少一更新版本SUD，並將合適的更新版本SUD分派到對應的操作單元110。

在一些實施例中，管理單元140還會提供用以顯示多個更新版本SUD的操作介面。操作介面可允許使用者對多個更新版本SUD進行管理。舉例來說，使用者可選擇所述多個更新版本SUD的其中一者分派到操作單元110。

綜上所述，本發明的圖片識別與管理系統能夠在機台的運行中接收多個圖片中未經過識別過的多個圖片樣本，並對圖片樣本進行分類以及深度學習，並依據深度學習的訓練結果更新操作劇本。如此一來，本發明可防止機台對未經過識別過的多個圖片進行識別與判斷所發生的錯誤，進而降低機台發生誤操作的風險。管理單元是透過圖片分類單元與訓練單元進行通訊。如此一 來，管理單元的資訊安全以及訓練單元的資訊安全能夠被確保。圖片識別與管理系統可允許介入操作對被分類後的圖片樣本進行標記。如此一來，介入操作可以對分類結果進行進一步的確認以提高分類結果的正確性。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:圖片識別與管理系統

110:操作單元

120:圖片分類單元

130:訓練單元

140:管理單元

F1~F3:分類資料夾

IMG、IMG1:圖片樣本

IMG_C:被分類後的圖形樣本

IMG_T:訓練結果

OSC:操作劇本

SUD:更新版本

Claims (11)

1. 一種圖片識別與管理系統，包括：一操作單元，經配置以基於至少一機台的至少一操作劇本接收來自於該至少一機台所提供的未經過識別過的多個圖片樣本，其中該至少一操作劇本分別是該至少一機台本身的操作流程；一圖片分類單元，與該操作單元進行通訊，經配置以接收該些圖片樣本，並基於不同的多個類別對該些圖片樣本進行分類；一訓練單元，與該圖片分類單元進行通訊，經配置以對被分類後的該些圖片樣本進行一深度學習以產生該些圖片樣本的一訓練結果，並將該訓練結果提供至該圖片分類單元；以及一管理單元，與該操作單元以及該圖片分類單元進行通訊，經配置以依據該訓練結果更新該操作單元的該至少一操作劇本。
2. 如請求項1所述的圖片識別與管理系統，其中該操作單元經由該至少一機台的至少一顯示裝置以及至少一人機介面的至少一者所顯示的影像接收來自於至少一機台所提供的該些圖片樣本。
3. 如請求項1所述的圖片識別與管理系統，其中：該圖片分類單元還經配置以提供多個分類資料夾，該些分類資料夾對應於不同的該些類別，並且該些圖片樣本中相同類別的多個圖片樣本被儲存在該些分類資料夾中的同一分類資料夾中。
4. 如請求項3所述的圖片識別與管理系統，其中該圖片分類單元還經配置以對該些圖片樣本進行分類以提供多個分類結果，並允許一介入操作以對該些分類結果進行標記。
5. 如請求項4所述的圖片識別與管理系統，其中：該些分類結果中的一第一分類結果對應於該些分類資料夾中的一第一分類資料夾的多個圖片樣本，當儲存在該第一分類資料夾的一第一圖片樣本被判斷出是對應於該第一分類資料夾的類別時，對該第一圖片樣本進行一第一標記，並且該第一標記指示該第一圖片樣本是對應於該第一分類資料夾的類別。
6. 如請求項5所述的圖片識別與管理系統，其中當該第一圖片樣本被判斷出不是對應於該第一分類資料夾的類別時，對該第一圖片樣本進行一第二標記以將該第一圖片樣本移動到其他的分類資料夾。
7. 如請求項1所述的圖片識別與管理系統，其中該圖片分類單元還經配置以對被分類後的該些圖片樣本的數量進行計數，並且當被分類後的該些圖片樣本的數量到達一預設值時，將被分類後的該些圖片樣本提供到該訓練單元。
8. 如請求項1所述的圖片識別與管理系統，其中該操作單元還經配置以基於被更新的該至少一操作劇本對該至少一機台進行操作。
9. 如請求項1所述的圖片識別與管理系統，其中該深度學習由ResNet、MobileNet、SSD(Single Shot MultiBox Detector)、YOLO(You Only Look Once)等模型的其中之一來實施。
10. 如請求項1所述的圖片識別與管理系統，其中該操作單元、該圖片分類單元、該訓練單元以及該管理單元分別被設置在該至少一機台的生產場域以及用以管控該至少一機台的控制場域的其中一者中。
11. 如請求項1所述的圖片識別與管理系統，其中該管理單元還經配置以提供對應於該訓練結果的一更新版本，並選擇該更新版本以更新該至少一操作劇本。

Images