TWI684925B - 自動建立物件辨識模型的方法 - Google Patents

自動建立物件辨識模型的方法 Download PDF

Info

Publication number
TWI684925B
TWI684925B TW107136558A TW107136558A TWI684925B TW I684925 B TWI684925 B TW I684925B TW 107136558 A TW107136558 A TW 107136558A TW 107136558 A TW107136558 A TW 107136558A TW I684925 B TWI684925 B TW I684925B
Authority
TW
Taiwan
Prior art keywords
recognition model
object recognition
identification information
cloud server
sample images
Prior art date
Application number
TW107136558A
Other languages
English (en)
Other versions
TW202016797A (zh
Inventor
簡慧宜
Original Assignee
新漢智能系統股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新漢智能系統股份有限公司 filed Critical 新漢智能系統股份有限公司
Priority to TW107136558A priority Critical patent/TWI684925B/zh
Priority to CN201910238279.XA priority patent/CN111062404A/zh
Priority to US16/411,093 priority patent/US20200126253A1/en
Application granted granted Critical
Publication of TWI684925B publication Critical patent/TWI684925B/zh
Publication of TW202016797A publication Critical patent/TW202016797A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種自動建立物件辨識模型的方法。方法是經由影像擷取裝置對實體物件的外觀的不同視角進行拍攝以獲得多張樣本影像，設定多張樣本影像的識別資訊，依據供應商選擇操作選擇多個雲端服務供應商的其中之一，傳送多張樣本影像及識別資訊至所選擇的雲端訓練服務供應商的雲端伺服器以使雲端伺服器對多張樣本影像執行學習訓練，及自雲端伺服器接收對應識別資訊的物件辨識模型。本發明可大幅縮短開發時程，並大幅提升研發效率。

Description

自動建立物件辨識模型的方法
本發明是與方法有關，特別有關於自動建立物件辨識模型的方法。
於現有技術中，當欲對特定實體物件進行物件辨識時，研發人員必須經由反覆觀察實體物件來自行歸納用以辨識此實體物件的辨識規則，這會耗費大量開發時程，並大幅降的研發效率。
有鑑於此，目前極需一種可自動建立物件辨識模型的方法被提出。
本發明提供一種自動建立物件辨識模型的方法，可供使用者選擇適合的雲端服務供應商來自動產生物件辨識模型。
於一實施例中，一種自動建立物件辨識模型的方法，包括以下步驟：於訓練模式下經由第一影像擷取裝置對第一實體物件的外觀的不同視角進行拍攝以獲得多張樣本影像；設定多張樣本影像的識別資訊，其中識別資訊是用以描述第一實體物件；依據供應商選擇操作選擇多個雲端服務供應商的其中之一；傳送多張樣本影像及識別資訊至所選擇的雲端訓練服務供應商的雲端伺 服器以使雲端伺服器對多張樣本影像執行學習訓練；及，自雲端伺服器接收對應識別資訊的物件辨識模型。
本發明可基於機器學習來自動建立對實體物件的物件辨識模型，而可大幅縮短開發時程。並且，本發明可供開發人員選擇適合的雲端服務供應商，而可大幅提升研發效率。
10‧‧‧本地主機
11‧‧‧影像擷取裝置
111、112、113‧‧‧第一影像擷取裝置
12‧‧‧拍攝架
120‧‧‧旋轉裝置
121‧‧‧承載台
20‧‧‧網際網路
21‧‧‧雲端伺服器
30‧‧‧第一實體物件
31、32、33、34、35、36、37、38、39‧‧‧第二實體物件
4‧‧‧貨架
40、41、42、43‧‧‧區域
50、51、52、53、54‧‧‧第二影像擷取裝置
6‧‧‧人員
S10-S15‧‧‧第一建立步驟
S20-S24‧‧‧物件辨識步驟
S30-S31‧‧‧拍攝步驟
S400-S411‧‧‧第二建立步驟
圖1為本發明一實施例的物件辨識模型建立系統的架構圖。
圖2為本發明一實施例的拍攝實體物件的示意圖。
圖3為本發明一實施例的辨識實體物件的示意圖。
圖4為本發明第一實施例的自動建立物件辨識模型的方法的流程圖。
圖5為本發明第二實施例的辨識實體物件的流程圖。
圖6為本發明第三實施例的拍攝實體物件的流程圖。
圖7為本發明第四實施例的自動建立物件辨識模型的方法的流程圖。
茲就本發明的一較佳實施例，配合圖式，詳細說明如後。
本發明主要是提供一自動建立物件辨識模型的技術，可供使用者選擇合適的雲端服務供應商，並透過此雲端服務供應商所提供的機器學習服務來對指定的實體物件的影像進行訓練以產生用以辨識此指定的實體物件的物件 辨識模型。接著，使用者可使用此物件辨識模型來對生活中的實體物件進行物件辨識以判斷當前的實體物件是否為指定的實體物件。
具體而言，前述物件辨識模型為資料模型，並記錄有用以辨識對應的實體物件的多個辨識規則。電腦裝置(如後述的本地主機10)可依據前述多個辨識規則來判斷給定影像(如後述檢測影像)中是否包括對應的實體物件的影像。
更進一步地，本發明所產生的物件辨識模型可適用於無人商店、無人出租店、無人倉儲等應用。
請參閱圖1，為本發明一實施例的物件辨識模型建立系統的架構圖。本發明的物件辨識模型建立系統主要包括一或多個影像擷取裝置(圖1以一個影像擷取裝置11為例)、拍攝架12及連接上述裝置的本地主機10。
影像擷取裝置11用以拍攝放置於拍攝架12上的實體物件以取得樣本影像。於一實施例中，影像擷取裝置11可包括彩色追蹤攝影機(如RGB攝影機)。前述彩色追蹤攝影機用以取得拍攝架12(包括所放置的實體物件)的彩色樣本影像。
拍攝架12用以放置實體物件以供影像擷取裝置11進行拍攝。於一實施例中，拍攝架12可設置有旋轉裝置(如旋轉台或軌道裝置)。旋轉裝置可自動或由使用者推動來旋轉拍攝架12以使影像擷取裝置11可對拍攝架12上的實體物件的不同視角進行拍攝，但不以此限定。
於一實施例中，拍攝架12是固定設置，旋轉裝置可設置於影像擷取裝置11。旋轉裝置可自動或由使用者推動來使影像擷取裝置11繞行拍攝架12移動，而可對拍攝架12上的實體物件的不同視角進行拍攝。
本地主機10連接網際網路20，並可經由網際網路20連接不同雲端服務供應商的雲端伺服器21。本地主機10於訓練模式下可依據使用者操作將樣本 照片傳送至指定的雲端服務供應商以經由雲端機器學習獲得對應的物件辨識模型。
於一實施例中，本地主機10包括非暫態電腦可讀取媒體，並儲存有電腦程式，前述電腦程式記錄有電腦可讀取的程式碼。本地主機10的處理器可執行前述電腦程式來實現本發明各實施例的自動建立物件辨識模型的方法。
續請一併參閱圖4，為本發明第一實施例的自動建立物件辨識模型的方法的流程圖。本發明各實施例的自動建立物件辨識模型的方法可由圖1所示系統來加以實現。本實施例的自動建立物件辨識模型的方法包括以下步驟。
步驟S10：本地主機10於訓練觸發條件滿足時進入訓練模式。於一實施例中，前述訓練觸發條件可為收到特定使用者操作(如訓練模式啟用鍵被按下)或感測到特定狀態(如感測到實體物件被放置於拍攝架12)，不加以限定。
步驟S11：本地主機10控制影像擷取裝置11(即第一影像擷取裝置)對拍攝架12上的實體物件(即第一實體物件)的外觀的不同視角進行拍攝以獲得分別對應實體物件的不同視角的多張樣本影像。
於一實施例中，本地主機10可經由旋轉裝置控制影像擷取裝置11繞行實體物件，並於每繞行特定角度時控制各影像擷取裝置11拍攝實體物件的當前視角的一張樣本影像。
於一實施例中，本地主機10可經由旋轉裝置控制拍攝台12旋轉，並於每旋轉特定角度時控制各影像擷取裝置11拍攝實體物件的當前視角的一張樣本影像。
步驟S12：本地主機10對所產生的多張樣本影像設定識別資訊。具體而言，本地主機10可包括人機介面(如觸控螢幕、鍵盤、按鍵組、顯示器、其他輸入/輸出裝置或上述裝置任意組合)，使用者可經由人機介面來輸入用以描述當前拍攝的實體物件的識別資訊(如商品名稱、顏色、規格、型號、識別碼等等)。
步驟S13：本地主機10經由人機介面接受使用者的供應商選擇操作，並依據供應商選擇操作選擇多個雲端服務供應商的其中之一。
於一實施例中，本地主機10可經由人機介面(如顯示器)提供可選擇的雲端服務供應商的選項以供使用者依據需求進行選擇(如選擇使用者已完成註冊的雲端服務供應商、服務品質較佳的雲端服務供應商、費用較低廉的雲端服務供應商等等)。
於一實施例中，於使用者選擇雲端服務供應商後，本地主機10可進一步經由人機介面來接受使用者輸入的所選擇的雲端服務供應商的註冊資料(如使用者帳號及密碼)。
於一實施例中，雲端服務供應商可包括Microsoft Azure Custom Vision Service及/或Google Cloud AutoML Vision。
步驟S14：本地主機10傳送多張樣本影像及識別資訊至所選擇的雲端訓練服務供應商的雲端伺服器21。接著，雲端伺服器21對多張樣本影像執行學習訓練以產生一組物件辨識模型。
前述雲端伺服器21執行學習訓練來產生物件辨識模型屬於雲端處理技術領域的常見技術，其詳細實施方式於此不再贅述。
於一實施例中，本地主機10可進一步傳送註冊資料至雲端伺服器21，雲端伺服器21可先依據註冊資料進行驗證，並於判斷此註冊資料具有學習訓練權限(如學習訓練的可使用次數大於零)後才執行學習訓練。
步驟S15：雲端伺服器21完成學習訓練可通知本地主機10，本地主機10於收到通知後可自雲端伺服器21接收對應所上傳的識別資訊的物件辨識模型。前述物件辨識模型是用來辨識步驟S11所拍攝的實體物件。藉此，使用者可獲得一組實體物件的的物件辨識模型。
於一實施例中，使用者可將拍攝架12上的實體物件更換為另一實體物件，並操作本地主機10再次執行步驟S10-S15以取得另一種實體物件的另一物件辨識模型，以此類推。
藉此，使用者可經由本發明取得多種實體物件的多個物件辨識模型，而可實現多種實體物件的辨識。
本發明可基於機器學習來自動建立對實體物件的物件辨識模型，而可大幅縮短開發時程。並且，本發明可供開發人員選擇適合的雲端訓練服務供應商，而可大幅提升研發效率。
續請一併參閱圖5，為本發明第二實施例的辨識實體物件的流程圖。本實施例的自動建立物件辨識模型的方法包括用以實現物件辨識功能的以下步驟。
步驟S20：本地主機10於辨識觸發條件滿足時進入訓練模式。於一實施例中，前述辨識觸發條件可為收到特定使用者操作(如辨識模式啟用鍵被按下)。
於一實施例中，本地主機10於進入訓練模式後可自動載入所儲存的一或多個物件辨識模型，以致能所對應的一或多個實體物件的物件辨識。
步驟S21：本地主機10控制影像擷取裝置11(即第二影像擷取裝置)對實體物件(第二實體物件)進行拍攝以取得一張檢測影像。
於一實施例中，本地主機10於辨識模式下可偵測拍攝觸發條件是否滿足，並於拍攝觸發條件滿足時控制影像擷取裝置11進行拍攝。
於一實施例中，本地主機10於辨識模式下控制影像擷取裝置11持續進行拍攝檢測影像，並於拍攝觸發條件滿足時保留當前拍攝的檢測影像。
前述辨識觸發條件可為收到特定使用者操作(如辨識模式啟用鍵被按下)或感測到特定狀態(如感測到人員進入影像擷取裝置11的拍攝範圍或感測到第二實體物件被移動)，不加以限定。
步驟S22：本地主機10依據所載入的物件辨識模型對檢測影像執行物件辨識處理以判斷所拍攝的第二實體物件是否屬於任一所載入的物件辨識模型所對應的識別資訊。
於一實施例中，本地主機10是依據各物件辨識模型的多個辨識規則對檢測影像進行物件辨識處理以判斷檢測影像中是否包括對應此物件辨識模型的第一實體物件的影像。若檢測影像中包括對應的第一實體物件的影像，則本地主機10判斷所拍攝的第二實體物件屬於此物件辨識模型所對應的識別資訊(如第一實體物件與第二實體物件為相同商品，即用以描述第一實體物件的識別資訊可用來描述所拍攝的第二實體物件)。
步驟S23：本地主機10於取得所拍攝的第二實體物件的識別資訊後可依據識別資訊執行預設程序。
於一實施例中，以無人商店為例，本地主機10可依據識別資訊取得第二實體物件的商品資訊，並依據商品資訊執行加入購物車程序或自動結帳程序。
於一實施例中，以無人倉儲為例，本地主機10可依據識別資訊取得第二實體物件的貨品資訊，並依據貨品資訊執行入倉程序或出倉程序。
步驟S24：本地主機10判斷是否結束辨識(如判斷使用者是否關閉物件辨識功能，或者關閉影像擷取裝置11或本地主機10)。
若本地主機10判斷結束辨識，則離開辨識模式。否則，再次執行步驟S21至步驟S23以對另一第二實體物件進行物件辨識。
本發明可有效使用所產生的物件辨識模型來實現實體物件的自動辨識，而可省卻人力辨識的時間與成本。
值得一提的是，用以執行訓練模式的本地主機10與影像擷取裝置11可與用以執行辨識模式的本地主機10與影像擷取裝置11為相同裝置或不同裝置，不加以限定。
續請參閱圖3，為本發明一實施例的辨識實體物件的示意圖。圖3是以無人商店為例說明本發明所產生的物件辨識模型的一種實施方式。具體而言，無人商店的貨架4可包括區域40-43。區域40放置有第二實體物件31-33並設置有第二影像擷取裝置51，區域41放置有第二實體物件34-36並設置有第二影像擷取裝置52，區域42放置有第二實體物件37-39並設置有第二影像擷取裝置53、54。第二實體物件31-39分別對應不同的商品。
本地主機10於進入辨識模式後可載入第二實體物件31-39所分別對應的九組物件辨識模型以致能九種第二實體物件31-39的辨識功能。
於人員6進入感測區域43後，本地主機10可取得人員6的身份資料(如經由第二影像擷取裝置50進行臉部辨識或經由RFID讀取器感測人員6所攜帶的RFID標籤)。接著，當人員6拿取任一第二實體物件(以拿取第二實體物件31為例)後，本地主機10可經由第二影像擷取裝置50或區域40的第二影像擷取裝置51拍攝人員6所拿取的第二實體物件31的檢測影像，並使用所載入的物件辨識模型對檢測影像進行物件辨識。並且，於辨識成功後本地主機10可取得第二實體物件31的識別資訊(即辨識成功的物件辨識模型所對應的識別資訊)。
接著，本地主機10可取得對應此識別資訊的貨品資料，並連結貨品資料與人員6的身份資料(如將貨品資料加入人員6的身份資料所對應的購物車清單)。
藉此，本發明所產生的物件辨識模型可有效應用於無人商店之貨品辨識。
續請一併參閱圖2及圖6，圖2為本發明一實施例的拍攝實體物件的示意圖，圖6為本發明第三實施例的拍攝實體物件的流程圖。
本實施例的物件辨識模型建立系統包括固定設置的三組第一影像擷取裝置111-113。第一影像擷取裝置111用以拍攝第一實體物件30的上表面，第一影像擷取裝置112用以拍攝第一實體物件30的側表面，第一影像擷取裝置113用以拍攝第一實體物件的下表面。拍攝架12包括高透光的承載台121(如透明壓克力板)，並設置於旋轉裝置120(於本實施中為旋轉基座)而可受控制來進行旋轉。
相較於圖4的實施例所示的自動建立物件辨識模型的方法，本實施例的自動建立物件辨識模型的方法的步驟S11包括以下步驟。
步驟S30：於第一實體物件30被放置於承載台121且本地主機10進入訓練模式後，本地主機10經由旋轉裝置120控制拍攝架12轉動預設角度(如10度)以使第一實體物件30隨之轉動預設角度。
步驟S31：本地主機10控制第一影像擷取裝置111-113對第一實體物件30的不同視角進行拍攝以獲得三張不同視角的樣本影像。
步驟S32：本地主機10判斷是否結束拍攝，如是否已拍攝第一實體物件30的所有視角或旋轉裝置120累積的懸旋轉角度不小於臨界值(如360度)。
若本地主機10判斷結束拍攝，則執行步驟S12。否則，本地主機10重複執行步驟S30至步驟S31直到第一實體物件30的所有視角拍攝完成。
舉例來說，本地主機10經由旋轉裝置120控制拍攝架12再次轉動預設角度以使第一實體物件30的不同視角朝向第一影像擷取裝置111-113，並再次控制第一影像擷取裝置111-113對第一實體物件30的不同視角進行拍攝以獲得三張不同視角的樣本影像，以此類推。
藉此，本發明可取得第一實體物件30的所有視角的樣本影像。
續請一併參閱圖7，為本發明第四實施例的自動建立物件辨識模型的方法的流程圖。相較於圖4的實施例所示的自動建立物件辨識模型的方法，本實施例的自動建立物件辨識模型的方法更包括用以實現前置處理功能的步驟S404與步驟S405及用以實現精準度計算功能的步驟S407與步驟S408。本實施例的自動建立物件辨識模型的方法包括以下步驟。
步驟S400：本地主機10進入訓練模式。
步驟S401：本地主機10控制影像擷取裝置11對拍攝架12上的實體物件的不同視角進行拍攝以獲得分別對應實體物件的不同視角的多張樣本影像。
步驟S402：本地主機10經由人機介面來接收用以描述當前拍攝的實體物件的識別資訊。
步驟S403：本地主機10經由人機介面接受供應商選擇操作，並據以選擇多個雲端服務供應商的其中之一。
步驟S404：本地主機10依據所選擇的雲端服務供應商選擇一或多個前置處理。
具體而言，由於各服務雲端服務供應商對於可接受的樣本影像的格式或影像內容略有不同，本發明可預先依據各服務雲端服務供應商對於上傳影像的要求編寫多個不同的前置處理程式，並將前置處理程式儲存於本地主機10。前述各前置處理程式於被執行後可對樣本影像執行對應的前置處理。
於一實施例中，前述多個前置處理可包括底色抽換處理及物件框選處理。
舉例來說，若所選擇的雲端服務供應商係Microsoft Azure Custom Vision Service，則本地主機10可選擇底色抽換處理。
於另一例子中，若所選擇的雲端服務供應商係Google Cloud AutoML Vision，則本地主機10可選擇物件框選處理。
步驟S405：本地主機10對多張樣本影像執行所選擇的前置處理。
以底色抽換處理為例，本地主機10可自動修改樣本影像的背景顏色來使各樣本影像具有不同的背景顏色。
以物件框選處理為例，本地主機10可自動識別各樣本影像中的實體物件的影像，並對所識別出的影像執行框選處理(如以包圍框標示實體物件的影像，或者保留實體物件的影像並刪除其他部分)。
步驟S406：本地主機10傳送處理後的多張樣本影像及識別資訊至所選擇的雲端訓練服務供應商的雲端伺服器21以使雲端伺服器21對多張樣本影像執行學習訓練並產生一組物件辨識模型。
步驟S407：於物件辨識模型產生後，本地主機10可控制雲端伺服器21使用所產生的物件辨識模型對所上傳的多張樣本影像執行物件辨識處理以判斷各樣本影像是否屬於識別資訊(即樣本影像符合此物件辨識處理的辨識規則)。
步驟S408：本地主機10可控制雲端伺服器21依據多張樣本影像的物件辨識計算此物件辨識模型的精準度。
於一實施例中，本地主機10依據屬於識別資訊的多張樣本影像的數量計算精準度。更進一步地，本地主機10可將屬於識別資訊的多張樣本影像的數量除以多張樣本影像的總數量以獲得前述精準度。
步驟S409：本地主機10判斷所計算出的精準度是否不低於預設精準度(如60%)。
若精準度不低於預設精準度，則本地主機10判斷此物件辨識模型符合需求，而不需再次進行學習訓練，並執行步驟S410。若精準度低於預設精 準度，則本地主機10判斷此物件辨識模型精準度不足，需再次進行學習訓練，並執行步驟S411。
步驟S410：本地主機10自雲端伺服器21下載此物件辨識模型。
於一實施例中，本地主機10自雲端伺服器21下載此物件辨識模型的深度學習套件。
於一實施例中，前述深度學習套件可為Caffe、TensorFlow、CoreML、CNTK或ONNX。
若精準度低於預設精準度，則本地主機10執行步驟S411：本地主機10選擇不屬於識別資訊的樣本影像。
接著，本地主機10再次執行步驟S406至步驟S409，以將所選擇的不屬於識別資訊的樣本影像及識別資訊傳送至相同雲端服務供應商的雲端伺服器21以使雲端伺服器對不屬於識別資訊的樣本影像再次執行學習訓練並產生重新訓練後的物件辨識模型。
本發明經由於自動計算精準度並於精準度不足時重複執行學習訓練，可有效確保獲得的物件辨識模型具有高精準度，進而提升後續物件辨識的正確率。
以上所述僅為本發明的較佳具體實例，非因此即侷限本發明的專利範圍，故舉凡運用本發明內容所為的等效變化，均同理皆包含於本發明的範圍內，合予陳明。
S10-S15‧‧‧第一建立步驟

Claims (9)

  1. 一種自動建立物件辨識模型的方法，包括以下步驟：a)於一訓練模式下經由一第一影像擷取裝置對一第一實體物件的外觀的不同視角進行拍攝以獲得多張樣本影像；b)設定該多張樣本影像的一識別資訊，其中該識別資訊是用以描述該第一實體物件；c)依據一供應商選擇操作選擇多個雲端服務供應商的其中之一；d)依據所選擇的該雲端服務供應商選擇多個前置處理的至少其中之一，其中該多個雲端服務供應商分別對應不同的該多個前置處理；e)對該多張樣本影像執行所選擇的該前置處理；f)傳送處理後的該多張樣本影像及該識別資訊至所選擇的該雲端訓練服務供應商的一雲端伺服器以使該雲端伺服器對該多張樣本影像執行一學習訓練；及g)自該雲端伺服器接收對應該識別資訊的一物件辨識模型。
  2. 如請求項1所述的自動建立物件辨識模型的方法，其中更包括以下步驟：i1)於一辨識模式下經由一第二影像擷取裝置拍攝一第二實體物件以取得一檢測影像；及i2)依據該物件辨識模型對該檢測影像執行一物件辨識處理以判斷該第二實體物件是否屬於該識別資訊。
  3. 如請求項1所述的自動建立物件辨識模型的方法，其中該步驟a)包括以下步驟：a1)進入該訓練模式； a2)控制放置該第一實體物件的一拍攝架轉動一預設角度；a3)控制固定設置的各該第一影像擷取裝置拍攝該第一實體物件以獲得該樣本影像；及a4)重複執行該步驟a2)至該步驟a3)直到該實體物件的所有該視角拍攝完成。
  4. 如請求項1所述的自動建立物件辨識模型的方法，其中該多個前置處理包括一底色抽換處理及一物件框選處理。
  5. 如請求項1所述的自動建立物件辨識模型的方法，其中該多個雲端服務供應商包括Microsoft Azure Custom Vision Service及Google Cloud AutoML Vision。
  6. 如請求項1所述的自動建立物件辨識模型的方法，其中於該步驟g)之前更包括以下步驟：j1)依據該物件辨識模型對該多張樣本影像分別執行一物件辨識處理以判斷各該樣本影像是否屬於該識別資訊；及j2)依據屬於該識別資訊的該多張樣本影像的數量計算一精準度。
  7. 如請求項6所述的自動建立物件辨識模型的方法，其中於更包括一步驟k)於該精準度低於一預設精準度時，將不屬於該識別資訊的該樣本影像及該識別資訊傳送至該雲端伺服器以使該雲端伺服器對不屬於該識別資訊的該樣本影像再次執行該學習訓練。
  8. 如請求項6所述的自動建立物件辨識模型的方法，其中該步驟g)係於該精準度不低於該預設精準度時，自該雲端伺服器下載該物件辨識模型。
  9. 如請求項1所述的自動建立物件辨識模型的方法，其中該步驟g)係自該雲端伺服器下載該物件辨識模型的一深度學習套件，該深度學習套件為Caffe、TensorFlow、CoreML、CNTK或ONNX。
TW107136558A 2018-10-17 2018-10-17 自動建立物件辨識模型的方法 TWI684925B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107136558A TWI684925B (zh) 2018-10-17 2018-10-17 自動建立物件辨識模型的方法
CN201910238279.XA CN111062404A (zh) 2018-10-17 2019-03-27 自动建立物件辨识模型的方法
US16/411,093 US20200126253A1 (en) 2018-10-17 2019-05-13 Method of building object-recognizing model automatically

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107136558A TWI684925B (zh) 2018-10-17 2018-10-17 自動建立物件辨識模型的方法

Publications (2)

Publication Number Publication Date
TWI684925B true TWI684925B (zh) 2020-02-11
TW202016797A TW202016797A (zh) 2020-05-01

Family

ID=70279627

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107136558A TWI684925B (zh) 2018-10-17 2018-10-17 自動建立物件辨識模型的方法

Country Status (3)

Country Link
US (1) US20200126253A1 (zh)
CN (1) CN111062404A (zh)
TW (1) TWI684925B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325273A (zh) * 2020-02-19 2020-06-23 杭州涂鸦信息技术有限公司 一种基于用户自主标定的深度学习模型的建立方法及系统
US11568578B2 (en) 2020-12-28 2023-01-31 Industrial Technology Research Institute Method for generating goods modeling data and goods modeling data generation device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7372076B2 (ja) * 2019-08-07 2023-10-31 ファナック株式会社 画像処理システム
TWI743777B (zh) * 2020-05-08 2021-10-21 國立勤益科技大學 具智能圖像辨識的商品搜尋輔助系統
CN111881187A (zh) * 2020-08-03 2020-11-03 深圳诚一信科技有限公司 一种自动建立数据处理模型的方法及相关产品
CN114282586A (zh) * 2020-09-27 2022-04-05 中兴通讯股份有限公司 一种数据标注方法、系统和电子设备
US11960569B2 (en) * 2021-06-29 2024-04-16 7-Eleven, Inc. System and method for refining an item identification model based on feedback

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170083558A1 (en) * 2015-05-26 2017-03-23 Commvault Systems, Inc. Replication using deduplicated secondary copy data
US9632874B2 (en) * 2014-01-24 2017-04-25 Commvault Systems, Inc. Database application backup in single snapshot for multiple applications
TW201828253A (zh) * 2016-12-02 2018-08-01 經緯航太科技股份有限公司 航拍影像自動物體偵測之方法及系統

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494909B2 (en) * 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
US10366445B2 (en) * 2013-10-17 2019-07-30 Mashgin Inc. Automated object recognition kiosk for retail checkouts
TWI564820B (zh) * 2015-05-13 2017-01-01 盾心科技股份有限公司 影像辨識與監控系統及其實施方法
US10410043B2 (en) * 2016-06-24 2019-09-10 Skusub LLC System and method for part identification using 3D imaging
JP7071054B2 (ja) * 2017-01-20 2022-05-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN107045641B (zh) * 2017-04-26 2020-07-28 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
TWM558943U (zh) * 2017-11-22 2018-04-21 Aiwin Technology Co Ltd 運用深度學習技術之智慧影像資訊及大數據分析系統
CN107833365A (zh) * 2017-11-29 2018-03-23 武汉市哈哈便利科技有限公司 一种重力感应和图像识别双控的无人售货系统
CN208027472U (zh) * 2018-02-06 2018-10-30 合肥美的智能科技有限公司 售货柜
CN108596137A (zh) * 2018-05-02 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于图像识别算法的商品扫描录入方法
CN108647671B (zh) * 2018-06-28 2023-12-22 武汉市哈哈便利科技有限公司 一种光学标识视觉识别方法及基于该方法的无人售货柜

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9632874B2 (en) * 2014-01-24 2017-04-25 Commvault Systems, Inc. Database application backup in single snapshot for multiple applications
US20170083558A1 (en) * 2015-05-26 2017-03-23 Commvault Systems, Inc. Replication using deduplicated secondary copy data
TW201828253A (zh) * 2016-12-02 2018-08-01 經緯航太科技股份有限公司 航拍影像自動物體偵測之方法及系統

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mathew SalvarisDanielle DeanWee Hyong Tok, "Cognitive Services and Custom Vision," Deep Learning with Azure pp 99-128,2018-08-25. https://link.springer.com/chapter/10.1007%2F978-1-4842-3679-6_5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325273A (zh) * 2020-02-19 2020-06-23 杭州涂鸦信息技术有限公司 一种基于用户自主标定的深度学习模型的建立方法及系统
US11568578B2 (en) 2020-12-28 2023-01-31 Industrial Technology Research Institute Method for generating goods modeling data and goods modeling data generation device

Also Published As

Publication number Publication date
TW202016797A (zh) 2020-05-01
US20200126253A1 (en) 2020-04-23
CN111062404A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
TWI684925B (zh) 自動建立物件辨識模型的方法
US11720871B2 (en) Low-cost computerized kiosks for remote collection of electronic devices for value
US20230282055A1 (en) Low-cost apparatus and method for distributed remote collection of electronic devices for value
US11176597B2 (en) Associating shoppers together
CN110033293B (zh) 获取用户信息的方法、装置及系统
JP7379677B2 (ja) 自動ユーザー識別用電子デバイス
CN106101540B (zh) 对焦点确定方法及装置
CN107918767B (zh) 目标检测方法、装置、电子设备及计算机可读介质
CN112200631B (zh) 一种行业分类模型的训练方法及装置
JP2015225630A (ja) 作業管理装置、作業管理システムおよび作業管理方法
JP2023526196A (ja) ユーザの自動識別のための電子デバイス
US20220148051A1 (en) Machine learning based method of recognising flooring type and providing a cost estimate for flooring replacement
CN110677580A (zh) 拍摄方法、装置、存储介质及终端
EP4203456A1 (en) Apparatus and method for photographing object
CN109242601A (zh) 商品信息查询方法和系统
CN109660712A (zh) 选择视频序列的帧的方法、系统和装置
JP2020046998A (ja) 認証装置、認証方法および認証プログラム
KR20240052544A (ko) 상품의 결제 정보를 생성하는 전자 디바이스 및 전자 디바이스의 동작 방법
CN113297887A (zh) 称重方法、装置及系统
CN118042074A (zh) 目标识别方法、目标识别系统、装置、设备和存储介质
CN114092130A (zh) 市场推荐零售价的确定方法、装置、终端及介质
TW202213213A (zh) 結帳暨訓練資料產生方法及結帳系統
US20140258038A1 (en) Systems and Methods for Identifying Information about Objects