TW202115645A - 自助結帳系統的後端商品上架方法 - Google Patents

Abstract

一種自助結帳系統的後端商品上架方法，運用於具有處理器及資料庫的後端伺服器，其中資料庫儲存有預先訓練完成的卷積神經網路(Convolutional Neural Networks, CNN)模型及由複數照片構成的識別包裹，並且包括下列步驟：拍攝欲上架的商品的商品照片；依據預設參數對商品照片進行變形處理，以產生多張仿真照片；通過CNN模型將商品照片及多張仿真照片分別與資料庫中的識別包裹進行比對並得到辨識率；於辨識率符合門檻值時將商品照片加入識別包裹中以完成商品的上架動作；及，於辨識率不符合門檻值時請求重新拍攝商品照片。

Description

自助結帳系統的後端商品上架方法

本發明涉及一種自助結帳系統，尤其涉及一種運用於自助結帳系統的後端商品上架方法。

隨著時代的進步，越來越多的商店導入了不需要工作人員進行結帳的自助結帳系統。更甚者，目前亦有部分國家佈署了完全不需要工作人員的無人商店，以期降低營運成本。

一般來說，自助結帳系統是預先於資料庫中儲存大量的商品照片，並且於結帳時由消費者通過自助結帳系統上的相機擷取要購買的商品的影像，再經由系統比對後得到商品的相關資訊(例如商品名稱及售價等)，進而執行結帳動作。

如上所述，為了能進行有效的比對，自助結帳系統中必須儲存大量的商品照片，而這些商品照片主要都是由商品的廠商在上架商品之前所拍攝，並且儲存至自助結帳系統中的。一般來說，一個商品的商品照片的數量越多，此商品的辨識準確率就會越高。然而，數量過多的商品照片實會造成記憶容量上的不足，進而導致自助結帳系統的硬體成本上升。

另外，上述商品照片主要是由商品的提供廠商通過人工方式來進行拍攝與標記(即，標記每一張照片代表何種商品)，若要求廠商對每一個要上架的商品皆拍攝大量的照片(例如500張、1000張)，將會相當費時。如此一來，一個新商品的上架時程可能需要耗費數天至數星期的時間，這對於自助結帳系統的使用來說實造成了很大的困擾。

再者，由於商品照片的拍攝與標記動作都需仰賴人力資源，因此若所需的商品照片的數量龐大，則商品上架所需的成本也將會隨之提高。

本發明之主要目的，在於提供一種自助結帳系統的後端商品上架方法，係可協助使用者僅藉由少量的商品照片即將新的商品上架到自助結帳系統中。

為了達成上述之目的，本發明的後端商品上架方法主要是運用於具有一處理器及一資料庫的一後端伺服器，其中該資料庫儲存有預先訓練完成的一CNN模型及由複數照片構成的一識別包裹，並且包括下列步驟：拍攝欲上架的一商品的一商品照片；該處理器依據預設參數對該商品照片進行一變形處理，以產生該商品照片的多張仿真照片；該處理器通過該CNN模型將該商品照片及該多張仿真照片分別與該資料庫中的該識別包裹進行比對，並依據比對結果得到一辨識率；該處理器於該辨識率符合一門檻值時將該商品照片加入該識別包裹中以完成該商品的上架動作；及，該處理器於該辨識率不符合該門檻值時請求使用者重新拍攝該商品照片。

本發明相對於相關技術所能達到的技術功效在於，藉由處理器自動生成的仿真照片來執行自我驗證程序，能夠模擬使用者所拍攝的大量商品照片。如此一來，使用者只需要拍攝少量的商品照片即可令一個商品具有高辨識率，而將商品上架到自助結帳系統。藉此，本發明有效省去了商品上架到自助結帳系統中的麻煩，並且大幅縮短了商品上架所需耗費的時間與成本。

茲就本發明之一較佳實施例，配合圖式，詳細說明如後。

參閱圖1及圖2，圖1為本發明的拍攝示意圖的第一具體實施例，圖2為本發明的上架系統的方塊圖的第一具體實施例。本發明揭露了一種自助結帳系統的後端商品上架方法(後面將於說明書中簡稱為上架方法)，所述上架方法主要應用於自助結帳系統後端的上架系統1。

如圖1與圖2所示，所述上架系統1主要包括後端伺服器2、影像擷取單元3及顯示單元4。於一實施例中，後端伺服器2與影像擷取單元3以及顯示單元4設置於相同地點，並且通過纜線與影像擷取單元3及顯示單元4電性連接。

於另一實施例中，後端伺服器2可通過各式無線傳輸形式與影像擷取單元3及顯示單元4進行無線連接。例如，後端伺服器2可為系統開發者提供的雲端伺服器，而影像擷取單元3及顯示單元4可設置於使用者(例如商品的提供廠商)的辦公室內。藉此，使用者可於遠端連接後端伺服器2，以使用本發明的上架方法。

如圖2所示，後端伺服器2至少具有處理器21及與處理器21電性連接的資料庫22，資料庫22中儲存有預先訓練完成的卷積神經網路(Convolutional Neural Networks, CNN)模型221，以及由複數照片構成的識別包裹222。本發明中，處理器21主要是通過CNN模型221與識別包裹222來執行商品的上架程序(容後詳述)。

所述CNN模型221的原理與訓練方法為本領域的常用技術手段，於此不再贅述。

請同時參閱圖3A，為本發明的第一商品上架示意圖。圖3A揭露了上架系統1可在顯示單元4上顯示的第一上架頁面41。如圖3A所示，於所述第一上架頁面41中，使用者可清楚看到目前已經上架的所有商品的商品資訊。於一實施例中，所述商品資訊至少包括商品編號(ID)、條碼、商品名稱、價格及已儲存的照片數量等，但不加以限定。當使用者觸發了第一上架頁面41上的添加商品按鍵時，即可添加欲上架的商品的相關資訊，藉此進行商品的上架程序。

具體地，要完成一個商品的上架程序，必須拍攝一或多張的商品照片，並且商品照片的內容及數量需要達到令CNN模型221足以辨識的程度(例如於圖3A的實施例中，洋芋片的照片數量為5張、麵包的照片數量為8張、飲料的照片數量為3張)。當一個商品完成上架後，這些商品照片都會被添加至識別包裹111中。換句話說，本發明的識別包裹222是由複數已上架的商品的商品照片所構成的，並且已上架的商品的數量越多，識別包裹222中的照片的數量也越多，兩者成正比關係。

於一實施例中，處理器21是通過CNN模型221對識別包裹222中的照片進行壓縮處理，以產生多筆可識別的向量值(vector)。換句話說，識別包裹222中儲存的可以是複數照片及／或已經過壓縮處理的多筆向量值，不加以限定。

如圖1所示，當使用者要上架一個新的商品5時，可通過影像擷取單元3來拍攝商品5的商品照片。處理器21可將此商品照片與所述識別包裹222中的複數照片進行比對，並藉由比對結果的辨識率(Confident rate)來判斷是否可完成此商品5的上架程序，或是需要使用者拍攝商品5的其他照片。本發明中，所述辨識率指的是商品5的商品照片可從識別包裹222中被辨識出來的機率。

值得一提的是，於一實施例中，處理器21是通過CNN模型221對影像擷取單元3所拍攝的商品照片進行壓縮處理，以產生對應的向量值。並且，處理器21主要是將此商品5對應的向量值與識別包裹222中儲存的多筆向量值進行比對，以得到所述辨識率。惟，上述僅為本發明的其中一個實施範例，不應以此為限。

續請同時參閱圖3B，為本發明的第二商品上架示意圖。於使用者要拍攝商品5的照片時，處理器21可通過顯示單元4顯示第二上架頁面42，並且於第二上架頁面42上顯示商品5於影像擷取單元3的擷取範圍內的建議擺放位置421。於此實施例中，使用者可將商品5置於所述建議擺放位置421上，再通過影像擷取單元3拍攝商品5的照片，藉此令所拍攝的照片更符合上架系統1的需求。

於一實施例中，所述影像擷取單元3的擷取範圍可設置為目前用以裝載商品5的拖盤50的尺寸大小，但不以此為限。

於一實施例中，處理器21還可依據各項參數(例如商品的形狀、商品的類別、辨識難易度等)來設定所需的商品照片的數量。當使用者拍攝了一張商品照片後，處理器21可判斷目前的商品照片的數量是否已經符合預設數量(例如5張)。若商品照片的數量尚未達到預設數量，處理器21可依設定在所述第二上架頁面42上顯示下一個建議擺放位置421，以引導使用者拍攝與上一張商品照片具有差異性的第二張商品照片，直到商品照片的數量符合預設數量為止。

續請同時參閱圖3C，為本發明的第三商品上架示意圖。當使用者要進行一個新商品5的上架程序時，上架系統1可在顯示單元4上顯示第三上架頁面43。如圖3C所示，使用者可於第三上架頁面43的左半部欄位輸入商品5的商品編號(ID)、條碼、商品名稱、價格等商品資訊，並且於第三上架頁面43的右半部欄位匯入所述商品5的商品照片6。

於匯入了商品5的商品照片6後，使用者可觸發第三上架頁面43上的下一步按鍵，以令上架系統1對商品照片6執行自我驗證程序。當所述自我驗證程序通過後，上架系統1即可將商品照片6添加至資料庫22的識別包裹222中以更新識別包裹222，藉此完成新商品5的上架程序。

具體地，上述的自我驗證程序主要是用來確認在將新的商品照片6加入既有的識別包裹222中之後，識別包裹222是否仍處於穩定狀態，而CNN模型221在基於識別包裹222進行各項商品的辨識動作時是否仍能得到高於門檻值的辨識率(容後詳述)。

續請參閱圖4，為本發明的商品上架流程圖的第一具體實施例。圖4主要用以揭露本發明的上架方法的具體執行步驟。

如圖4所示，要對一個商品進行上架程序，首先使用者需將欲上架的商品5放置於一個拍攝位置(例如圖1所示的拖盤50上)，並且通過上架系統1的影像擷取單元3拍攝商品5的至少一張商品照片6(步驟S10)。具體地，於步驟S10中，後端伺服器2的處理器21可於顯示單元4上顯示商品5於影像擷取單元3的擷取範圍內的建議擺放位置421，以引導使用者將商品5擺放在所述建議擺放位置421以利於影像擷取單元3拍攝商品照片6。

值得一提的是，所述商品照片6可經由前述第三上架頁面43的設定而記錄有對應的商品5的商品編號(ID)、商品名稱、條碼、價格等商品資訊，但不加以限定。

本發明中，處理器21可依據商品的形狀、類別、辨識難易度等參數設定所需的商品照片的預設數量。於步驟S10後，處理器21判斷目前已拍攝的商品照片6的數量是否符合預設數量(步驟S12)。若商品照片6的數量不符合預設數量，則處理器21回到步驟S10，請求使用者拍攝下一張商品照片6。

於本實施例中，增加商品照片6的數量之目的在於預測商品5的不同樣貌，因此處理器21需確保不同的商品照片6彼此具有內容上的差異。舉例來說，當處理器21回到步驟S10後，可經由顯示單元4來顯示商品5於影像擷取單元3的擷取範圍內的下一個建議擺放位置421，藉此引導使用者拍攝出內容不同的商品照片6。

當使用者拍攝了商品5的多張商品照片6，並且商品照片6的數量符合所述預設數量後，處理器21可同時採用多張商品照片6來執行後續步驟S14的變形處理以及步驟S16自我驗證程序，藉此提昇於步驟S20中得到的辨識率。

於另一實施例中，所述商品照片的預設數量為一張。於此實施例中，步驟S12可不必然存在。為了便於瞭解，下面將以拍攝單一張商品照片為例，進行說明。

接著，後端伺服器2取得所拍攝的商品照片6，並且依據資料庫22中預儲存的預設參數223對商品照片6進行變形處理，以產生多張仿真照片(步驟S14)。於一實施例中，所述預設參數223可包括所述商品5的大小、擺放位置、旋轉角度、光影狀態、陰影位置、反光效果及商品特徵等的至少其中之一，但不加以限定。

請同時參閱圖5A至圖5E，其中，圖5A為本發明的商品照片示意圖，圖5B至圖5E分別為本發明的仿真照片示意圖的第一具體實施例至第四具體實施例。

圖5A顯示了使用者於前述步驟S10中所拍攝的商品照片6(圖5A中以麵包為例)，而於前述步驟S14中，處理器21會依據預設參數223對商品照片6進行變形處理，以自動產生如圖5B至圖5E所示的多張仿真照片61-64。

於第一實施例中，處理器21是藉由改變麵包上的商品特徵(例如芝麻粒)的數量、分佈方式或位置而產生如圖5B所示的仿真照片61。於第二實施例中，處理器21是藉由改變麵包的旋轉角度而產生如圖5C所示的仿真照片62。於第三實施例中，處理器21是藉由改變麵包的陰影位置而產生如圖5D所示的仿真照片63。於第四實施例中，處理器21是藉由改變麵包的反光效果而產生如圖5E所示的仿真照片64。

上述僅為本發明的具體實施範例，為了提高辨識準確度，處理器21可依據不同的參數而為單一張商品照片6產生五百至一千張左右的仿真照片61-64，但不以上述數量為限。

本發明的其中一個技術特徵在於，除了使用者通過影像擷取單元3所拍攝的商品照片6外，處理器21還會同時自動產生的多張仿真照片61-64來執行所述自我驗證程序。更明確地說，本發明是通過自動生成的仿真照片61-64模擬傳統以人工方式對商品5拍攝的大量商品照片6。

通過上述技術特徵，使用者只需要拍攝極少量的商品照片6即可令一個新的商品5在識別包裹222中具有高於門檻值的辨識率，而可完成新的商品5的上架程序(於較佳情況下，僅需拍攝單一張商品照片6即可完成商品5的上架程序)。藉此，可以有效節省商品的上架成本，並且大幅縮短上架所需的時間。

回到圖4。步驟S14後，處理器21執行所述自我驗證程序，以通過CNN模型221將商品照片6以及多張仿真照片61-64分別與資料庫22中的識別包裹222進行比對(步驟S16)。於一實施例中，CNN模型221是將商品照片6以及多張仿真照片61-64分別與識別包裹222中記錄的複數照片進行比對。於另一實施例中，CNN模型221是將商品照片6以及多張仿真照片61-64分別壓縮成可識別的向量值，並且將這些向量值分別與識別包裹222中的複數向量值進行比對。

舉例來說，若識別包裹222中儲存了兩千張照片，而處理器21為一張商品照片6產生了五百張仿真照片61-64，則於本發明中，處理器21會將這五百零一張照片6、61-64分別與識別包裹222中的兩千張照片逐一進行比對。於比對過程中，處理器21持續判斷比對是否完成(步驟S18)，於比對完成前持續執行步驟S16，並且於比對完成後，依據比對結果產生一個辨識率(步驟S20)。

本實施例中，上述辨識率指的是所述商品照片6／仿真照片61-64在資料庫22目前既有的識別包裹222中可被成功辨識出來的機率。具體地，所述辨識率越高，代表商品照片6越不容易與識別包裹222中的其他照片(即，其他商品)造成混淆。反之，辨識率越低，代表商品照片6越容易與識別包裹222中的其他照片(即，其他商品)造成混淆。

接著，處理器21判斷所述辨識率是否大於預設的一個門檻值(步驟S22)。當辨識率大於門檻值(例如95%)時，表示商品照片6不會與識別包裹222中的其他照片造成混淆，即使將商品照片6添加至識別包裹222中，識別包裹222的辨識率仍可維持穩定。因此，處理器21可將商品照片6添加至識別包裹222中，以對識別包裹222的內容進行更新(步驟S24)。

反之，若辨識率未大於所述門檻值，表示目前取得的商品照片6可能會與識別包裹222中的其他照片造成混淆，若將商品照片6添加至識別包裹222中，將會影響識別包裹222的表現(即，辨識精確度)。於此情況下，處理器21會判斷所述商品照片6無法使用，因而刪除已拍攝的商品照片6，並且通過顯示單元4發出請求使用者重新拍攝商品照片6的指示訊息(步驟S26)。

值得一提的是，若有任一張商品照片6或仿真照片61-64無法被成功辨識，處理器21可判斷為CNN模型221產生辨識問題。此時，處理器21可對後端伺服器2的負責人進行錯誤回報，並且遞交無法辨識的商品照片6及／或仿真照片61-64。藉此，負責人可藉由所述商品照片6／仿真照片61-64對CNN模型221執行進一步的訓練，以對CNN模型221進行微調(fine tune)。

如上所述，本發明是在添加了新的商品5的一或多張商品照片6至識別包裹222中，而且不會影響識別包裹222的辨識率時(即，辨識率大於門檻值)，允許並完成商品5的上架程序(步驟S28)。並且，由於本發明將商品照片6添加至識別包裹222前的自我驗證程序是藉由自動產生的多張仿真照片61-64來實現的，因此可以有效省卻使用者自行拍攝大量的商品照片6所需耗費的時間以及人力成本。

如上所述，本發明的影像擷取單元3主要是針對整個擷取範圍進行拍攝，因此所拍攝的照片中會同時包含前景(例如一或多個商品5)以及背景(例如拖盤51)的影像。若要取得CNN模型221可以用來進行比對的商品照片6，則於部分情況下，處理器21需先對影像擷取單元3所拍攝的照片執行前景分離程序，以擷取出商品5的具體影像後，再以此具體影像做為前述的商品照片6。

於一實施例中，處理器21主要可藉由顯著性模型(Saliency Model)及深度分割演算法(Depth Segmentation Algorithm)來執行所述前景分離程序。所述顯著性模型與深度分割演算法為本領域的常用技術手段，於此不再贅述。

續請參閱圖6及圖7，圖6為本發明的前景分離流程圖的第一具體實施例，圖7為本發明的影像處理示意圖的第一具體實施例。圖6用以進一步說明本發明的處理器21如何擷取商品5的具體影像。

本實施例中，在處理器21取得了影像擷取單元3所拍攝的商品照片6後，首先於商品照片6中辨識一個物件(即，商品5)的輪廓(步驟S40)，並且依據所述輪廓產生商品5的遮罩71，以對商品5進行定位(步驟S42)。通過遮罩71的產生，處理器21可獲得商品5在商品照片6中的位置。

具體地，如圖7所示，所述遮罩71是沿著商品照片6中的商品5的輪廓所產生的，用以描述商品5的輪廓在整張商品照片6中的位置。上述演算法可以獲得遮罩71的位置，並且擷取遮罩71內的影像以產生商品5的具體影像(步驟S44)。

於本實施例中，處理器21是以步驟S44中產生的具體影像來更新所述商品照片6。於前述圖4的步驟S14與步驟S16中，處理器21是依據更新後的商品照片6來生成多張仿真照片61-64，並且與識別包裹222進行比對。藉此，處理器21可以得到更精確的比對結果。

於一實施例中，處理器21更進一步依據所述遮罩71來產生並顯示一個可以完整覆蓋商品5的標示框72(步驟S46)。所述標示框72可為多邊形框(例如方形、三角形或菱形等)。通過標示框72的產生與顯示，使用者可以在顯示單元4上快速且清楚地從商品照片6中確認商品5的位置，以更有效率地進行後續的處理動作。

如前文中所述，當廠商要上架一個新的商品5時，主要是將商品5的商品資訊及商品照片6上傳至後端伺服器2，並且最終將商品照片6添加至識別包裹222中以完成商品5的上架程序。而當一個商店將商品5正式上架後，前台的自助結帳系統(如圖8所示的自助結帳系統1)可以通過網路連接至後端伺服器2，以藉由後端伺服器2中的CNN模型221及識別包裹222來實現自助結帳程序所需的辨識動作。

於另一實施例中，使用者亦可將CNN模型221以及識別包裹222預先匯入所述自助結帳系統1中。藉此，自助結帳系統1不需經由網路連接後端伺服器2，即可自行實現自助結帳程序。值得一提的是，當有新的商品5上架且後端伺服器2更新了識別包裹222後，使用者必須依據更新後的識別包裹222來對自助結帳系統1進行更新，以令自助結帳系統1可支援新上架的商品5。

續請參閱圖8及圖9，圖8為本發明的自助結帳系統示意圖的第一具體實施例，圖9為本發明的自助結帳流程圖的第一具體實施例。

如圖8及圖9所示，當一個消費者在商店中通過自助結帳系統8購買一個購買商品84時，主要可將購買商品84放置在自助結帳系統8所配置的相機81下方，以藉由相機81來擷取購買商品84的待辨識影像85(步驟S50)。接著，自助結帳系統8對所取得的待辨識影像85執行前景分離程序(步驟S52)。

本實施例中，自助結帳系統8主要是依據與前述圖6相近的方式對待辨識影像85進行前景分離程序。具體地，自助結帳系統8首先於待辨識影像85中辨識出購買商品84的輪廓，接著依據輪廓產生購買商品84的遮罩(例如圖7所示的遮罩71)以對購買商品84進行定位。並且，自助結帳系統8再擷取遮罩內的影像，以產生完全焦距在購買商品84上的購買商品影像。最後，自助結帳系統8再依據所述購買商品影像來更新所述待辨識影像85，以令後續的辨識動作可焦距於購買商品84上，進而提高辨識準確率。

值得一提的是，若相機81所拍攝的待辨識影像85中同時包含多個購買商品84，則自助結帳系統8於步驟S52中會分別為各個購買商品84產生所述遮罩以分別對各個購買商品84進行定位，並且於更新後產生多個待辨識影像85。藉此，自助結帳系統8可通過相機81來同時辨識多個購買商品84，藉此加速自助結帳程序的進行。

如圖8所示，自助結帳系統8可將更新後的待辨識影像85顯示於螢幕82上，以令消費者進行查看。並且，自助結帳系統8於執行所述前景分離程序時還可依據所述遮罩來產生可完整覆蓋購買商品84的標示框72，並且於螢幕82上同時顯示待辨識影像85以及標示框72。藉此，消費者可以更快速且清楚地查看購買商品84。

回到圖9，於步驟S52後，自助結帳系統8通過所述CNN模型221將待辨識影像85與資料庫22中的識別包裹222進行比對，並且產生一個比對結果(步驟S54)。於一實施例中，自助結帳系統8是通過CNN模型221將待辨識影像85與識別包裹222中的複數照片進行直接比對。於另一實施例中，自助結帳系統8是通過CNN模型221將待辨識影像85壓縮成可識別的向量值，並且將此向量值與識別包裹222中的複數向量值進行比對。

如前文圖3C所示，每一張添加至識別包裹222中的商品照片6都至少記錄有對應的商品5的商品編號(ID)。於步驟S54後，自助結帳系統8可以取得一個比對結果，而所述比對結果記錄了識別包裹222中與所述待辨識影像85最為相近的一或多張照片。因此，於步驟S54後，自助結帳系統8可以依據比對結果取得辨識相符的照片所對應的商品編號(步驟S56)，藉此完成對所述購買商品84的辨識動作。

步驟S56後，自助結帳系統8可依據商品編號取得購買商品84的條碼、商品名稱及價格等商品資訊(步驟S58)，並且將商品資訊傳輸至前台的銷售終端(Point of Sale, PoS)機83，以經由PoS機83將商品資訊顯示在螢幕82上供消費者進行確認，並且通過PoS機83來執行結帳動作(步驟S60)。如此一來，消費者即可完成自助結帳作業，相當便利。

於另一實施例中，自助結帳系統8可在步驟S56後取得購買商品84對應的商品編號，並且直接將商品編號以PoS機83可讀的資料格式傳送至PoS機83，藉此模擬傳統PoS機83從條碼掃描器(Barcode Scanner)直接取得商品編號／代碼的技術方案。於本實施例中，PoS機83可以在接收商品編號／代碼後，再依據商品編號／代碼來搜尋內部資料庫，以取得並顯示購買商品84的商品名稱、價格等商品資訊。

通過上述實施方式，店家不需要改變傳統PoS機83的軟硬體架構，而可有效降低成本。再者，自助結帳系統8由商品照片6的比對結果取得購買商品84的商品資訊並且再傳送至PoS機83的處理方式，可模擬為傳統商店藉由條碼掃描器取得購買商品84的商品資訊並且再傳送至PoS機83的處理方式，使得PoS機83可用以對不具備有條碼的商品(例如麵包)的結賬動作，進而提昇便利性。

如前文所述，本發明依據一張商品照片來自動生成大量的仿真照片，藉此使用者只需要拍攝少量的商品照片即可令一項商品具有高辨識率而成功地完成商品的上架程序。如此一來，可有效節省商品上架所需的時間及人力成本。

以上所述僅為本發明之較佳具體實例，非因此即侷限本發明之專利範圍，故舉凡運用本發明內容所為之等效變化，均同理皆包含於本發明之範圍內，合予陳明。

1:上架系統

2:後端伺服器

21:處理器

22:資料庫

221:卷積神經網路模型

222:識別包裹

223:預設參數

3:影像擷取單元

4:顯示單元

41:第一上架頁面

42:第二上架頁面

421:建議擺放位置

43:第三上架頁面

50:拖盤

5:商品

6:商品照片

61~64:仿真照片

71:遮罩

72:標示框

8:自助結帳系統

81:相機

82:螢幕

83:銷售終端機

84:購買商品

85:待辨識影像

86:商品資訊

S10~S28:上架步驟

S40~S46:前景分離步驟

S50~S60:結帳步驟

圖1為本發明的拍攝示意圖的第一具體實施例。

圖2為本發明的上架系統的方塊圖的第一具體實施例。

圖3A為本發明的第一商品上架示意圖。

圖3B為本發明的第二商品上架示意圖。

圖3C為本發明的第三商品上架示意圖。

圖4為本發明的商品上架流程圖的第一具體實施例。

圖5A為本發明的商品照片示意圖。

圖5B為本發明的仿真照片示意圖的第一具體實施例。

圖5C為本發明的仿真照片示意圖的第二具體實施例。

圖5D為本發明的仿真照片示意圖的第三具體實施例。

圖5E為本發明的仿真照片示意圖的第四具體實施例。

圖6為本發明的前景分離流程圖的第一具體實施例。

圖7為本發明的影像處理示意圖的第一具體實施例。

圖8為本發明的自助結帳系統示意圖的第一具體實施例。

圖9為本發明的自助結帳流程圖的第一具體實施例。

S10~S28:上架步驟

Claims (10)

1. 一種自助結帳系統的後端商品上架方法，運用於一後端伺服器，該後端伺服器至少具有一處理器及一資料庫，其中該資料庫儲存有預先訓練完成的一卷積神經網路模型，以及由複數照片構成的一識別包裹，該後端商品上架方法包括： a)通過一影像擷取單元拍攝欲上架的一商品的一商品照片，其中該商品照片記錄有對應至該商品的一商品編號； b)由該處理器依據一預設參數對該商品照片進行變形處理以產生多張仿真照片； c)由該處理器執行一自我驗證程序以通過該神經網路模型將該商品照片以及該多張仿真照片分別與該資料庫中的該複數照片進行比對，並依據比對結果產生一辨識率； d)於該處理器判斷該辨識率符合一門檻值時將該商品照片加入該識別包裹以完成該商品的上架程序；及 e)於該處理器判斷該辨識率不符合該門檻值時發出重新拍攝該商品照片的一指示訊息。
2. 如請求項1所述的自助結帳系統的後端商品上架方法，其中該步驟a)後更包括下列步驟： a11)對該商品照片執行一前景分離程序以由該商品照片中擷取出該商品的一具體影像；及 a12)依據該具體影像更新該商品照片。
3. 如請求項2所述的自助結帳系統的後端商品上架方法，其中該步驟a11)是藉由一顯著性模型及一深度分割演算法執行該前景分離程序。
4. 如請求項2所述的自助結帳系統的後端商品上架方法，其中該步驟a11)包括下列步驟： a111)於該商品照片中辨識該商品的一輪廓； a112)依據該輪廓產生該商品的一遮罩以對該商品進行定位；及 a113)擷取該遮罩內的影像以產生該具體影像。
5. 如請求項4所述的自助結帳系統的後端商品上架方法，其中該步驟a11)更包括一步驟a114)：依據該遮罩產生可覆蓋該商品的一標示框。
6. 如請求項2所述的自助結帳系統的後端商品上架方法，其中該步驟a)之前更包括一步驟a01)：通過一顯示單元顯示該商品於該影像擷取單元的擷取範圍內的一建議擺放位置。
7. 如請求項6所述的自助結帳系統的後端商品上架方法，其中更包括下列步驟： f)由該處理器判斷該商品照片的數量是否符合一預設數量；及 g)於該商品照片的數量不符合該預設數量時，通過該顯示單元顯示該商品的下一個建議擺放位置，並且再次執行該步驟a)。
8. 如請求項1所述的自助結帳系統的後端商品上架方法，其中該預設參數包括該商品的大小、擺放位置、旋轉角度、光影狀態、陰影位置、反光效果及商品特徵的至少其中之一。
9. 如請求項1所述的自助結帳系統的後端商品上架方法，其中更包括下列步驟： h)由前台的一自助結帳系統通過一相機擷取一購買商品的一待辨識影像； i)該自助結帳系統通過該神經網路模型將該待辨識影像與該資料庫中的該複數照片進行比對並產生一比對結果； j)依據該比對結果取得辨識相符的一張照片所對應的該商品編號，以完成對該購買商品的辨識動作； k)依據該商品編號取得對應的該商品的一商品名稱及一價格；及 l)將該商品名稱及該價格傳遞至前台的一PoS機以進行一結帳動作。
10. 如請求項9所述的自助結帳系統的後端商品上架方法，其中該步驟h)後更包括下列步驟： h1)辨識該待辨識影像中的該購買商品的一輪廓； h2)依據該輪廓產生該購買商品的一遮罩以對該購買商品進行定位； h3)擷取該遮罩的影像以產生一購買商品影像； h4)依據該遮罩產生並顯示可覆蓋該購買商品的一標示框；及 h5)依據該購買商品影像更新該待辨識影像。

Images