TWI652634B

TWI652634B - 自助結帳方法及其系統

Info

Publication number: TWI652634B
Application number: TW107103383A
Authority: TW
Inventors: 潘建銘
Original assignee: 緯創資通股份有限公司
Priority date: 2018-01-31
Filing date: 2018-01-31
Publication date: 2019-03-01
Also published as: US20190231094A1; US10617237B2; CN110097714A; TW201935350A; CN110097714B

Abstract

一種自助結帳方法，包含有由一影像辨識系統對置放於一輸送帶上之至少一商品進行一第一辨識流程以自一商品資料庫取得對應於該至少一商品之一品項資訊；當該影像辨識系統以該第一辨識流程對該至少一商品之一第一商品辨識不成功時，以一第二辨識流程對該第一商品進行定位，以判斷該第一商品相對於輸送帶之一位置；當判斷該第一商品之該位置後，控制一指示燈顯著地標示該第一商品，並暫停該輸送帶運轉；以及當該第一商品被移除或並無以該第一辨識流程無法辨識之商品時，重新運轉該輸送帶。

Description

自助結帳方法及其系統

本發明係指一種自助結帳方法及其相關系統，尤指一種基於影像辨識的自助結帳方法及其相關系統。

隨著科技的發展與進步，各式電子設備的自動化或自助化以減少人力來降低人事成本，已成為科技發展的主要趨勢。現有的自助結帳的主要技術係由使用者透過條碼掃描器(barcode scanner)或者無線射頻辨識(Radio Frequency Identification，RFID)，逐一讀取商品資訊以進行結帳。然而，現有的條碼掃描器必須逐樣且對準條碼來掃描商品才能進行結帳，不僅延長結帳時間，當條碼掃描器因故無法正確讀取商品資訊時，易造成使用者於自助結帳的不便。無線射頻辨識系統雖然可一次掃描已讀取多樣商品資訊，然而，在此情形下，每樣商品皆需增加無線射頻辨識標籤，導致成本大幅提升，因此，不易實現於現有的自助結帳系統中。因此，現有的自助結帳系統確實有改進的必要。

因此，本發明提供一種基於影像辨識的自助結帳方法及其相關系統，以提升自助結帳的方便性，進而提供使用者更佳的使用情境。

本發明揭露一種自助結帳方法，包含有由一影像辨識系統對置放於一輸送帶上之至少一商品進行一第一辨識流程以自一商品資料庫取得對應於該至少一商品之一品項資訊；當該影像辨識系統以該第一辨識流程對該至少一商品之一第一商品辨識不成功時，以一第二辨識流程對該第一商品進行定位，以判斷該第一商品相對於輸送帶之一位置；當判斷該第一商品之該位置後，控制一指示燈顯著地標示該第一商品，並暫停該輸送帶運轉；以及當該第一商品被移除或並無以該第一辨識流程無法辨識之商品時，重新運轉該輸送帶。

本發明另揭露一種自助結帳系統，包含有一輸送帶，用來置放並輸送至少一商品；一影像辨識系統，用來對置放於該輸送帶之該至少一商品進行一第一辨識流程以自該商品資料庫中取得對應該至少一商品之一商品品項資訊，以及當該影像辨識系統以該第一辨識流程對該至少一商品中之一第一商品無法辨識成功時，以一第二辨識流程對該第一商品進行定位；一指示燈，用以發出可見光；以及一控制器，耦接於該輸送帶、影像辨識系統及指示燈，至少用來於當該影像辨識系統判斷該第一商品之位置後，控制該指示燈顯著地照射該第一商品，並暫止該輸送帶運轉，以及當該第一商品被移除或並無無法辨識成功之商品時，重新運轉該輸送帶。

10‧‧‧自助結帳系統

102‧‧‧輸送帶

104‧‧‧指示燈

106‧‧‧影像擷取裝置

108‧‧‧影像辨識單元

110‧‧‧控制器

DB‧‧‧商品資料庫

P1~PN‧‧‧商品

Px‧‧‧第一商品

RZ‧‧‧辨識區域

20、40‧‧‧流程

202、204、206、208、210、212、214、216、402、404、406、408、410、412、414、416、418‧‧‧步驟

第1圖為本發明實施例一自助結帳系統之示意圖。

第2圖為本發明實施例之一自助結帳流程之示意圖。

第3圖為本發明實施例之自助結帳系統之一俯視示意圖。

第4圖為本發明實施例的另一自助結帳流程的示意圖。

請參考第1圖，第1圖為本發明其一實施例的自助結帳系統10之示意圖。自助結帳系統10包含一輸送帶102、一指示燈104、一影像擷取裝置106、一影像辨識單元108、一控制器110及一商品資料庫DB。自助結帳系統10可為一商店的結帳收銀設備，並結合為一影像辨識系統而具有商品影像辨識功能。使用者可將商品P1~PN置放於輸送帶102(商品P1~PN中的N可為任意正整數，以表示具有N個商品)，於輸送帶102運轉時執行自助結帳，因而可節省人力需求，並提升效率。影像擷取裝置106用來對置放於輸送帶102之商品P1~PN中進入辨識區域之其一或多個商品進行商品外觀影像的擷取後透過影像辨識單元108進行一第一辨識流程。在一實施例中，自助結帳系統10可在輸送帶102上定義有固定的一辨識區域RZ，當商品P1~PN中一個或多個商品在輸送帶102輸送下進入辨識區域RZ時，影像辨識系統可一次性地同時擷取與辨識辨識區域RZ中的一個或多個商品，因此，使用者不需要刻意地尋找商品P1~PN上的條碼，以逐一用掃描器對準與掃瞄商品P1~PN。當影像辨識系統以第一辨識流程對商品P1~PN中任一商品Px進行辨識失敗時，則影像辨識系統將以一第二辨識流程對商品Px之位置進行辨識，亦即由控制器110藉由商品Px相對於辨識區域RZ之相對位置而判斷出商品Px之絕對位置後，控制指示燈104標示商品Px，並暫停輸送帶102運轉，以及當商品Px被移除而並無無法辨識成功的商品存在該辨識區域RZ時，重新運轉輸送帶102。其中，上述影像辨識系統的第一辨識流程可以是一彩色影像的辨識方法，而第二辨識流程可以是一灰階影像的辨識方法。採用灰階影像的辨識方法的原因之一在於當要定位商品的位置時可以不需要真實地辨識商品表面的圖案/文字而只需要標示出該商品形狀在辨識區域RZ的相對位置即可，故可以大幅降低辨識運算的負擔而增快定位速度。但在本案其它實施例中亦不排除第二辨識流程也同樣採用彩色影像的辨識方法，也就是都只使用單一的彩色影像的辨識方法。甚至在本案其他實施例中，第一辨識流程也不排除採用灰階影像的辨識方法來辨識商品外觀。總而言之，第一辨識流程用於辨識商品外觀的形狀、圖案、文字細節的商品品項資訊而第二辨識流程用於辨識商品的位置。如此一來，自助結帳系統10透過影像擷取裝置106擷取商品P的外觀影像進行第一辨識流程，以作為判斷商品品項的依據，並於第一辨識流程無法成功辨識商品Px時，進行第二辨識流程後再以指示燈104標示商品Px來提醒使用者將無法辨識的商品Px移除，以順利地繼續進行自助結帳。

上述範例僅概略性地說明本發明之自助結帳系統係基於影像辨識系統對商品進行商品品項與位置的辨識流程，以提升使用者進行自助結帳的便利性。需注意的是，本領域具通常知識者可根據不同系統需求適當設計自助結帳系統。舉例來說，根據不同需求，可增加自助結帳系統使用的影像擷取裝置的數量以及位置，或者，影像辨識系統於商品辨識失敗時，也不受限於以照明方式來標示商品，亦可以其它聲音、光線、振動等方式達成。上述實施例可根據使用者或製造商的指示或電腦系統的設定來調整，而不限於此，皆屬本發明之範疇。

請繼續參考第2圖，第2圖為本發明實施例之一自助結帳流程20之示意圖。自助結帳流程20可應用於自助流程系統10以提供使用者進行自助結帳，自助結帳流程20包含下列步驟：

步驟202：開始。

步驟204：由影像辨識系統對置放於輸送帶102上之商品P1~PN進行第一辨識流程，判斷是否可成功辨識取得商品品項資訊。

步驟206：當影像辨識系統以第一辨識流程對商品P1~PN中之某一或某些商品Px無法辨識成功時，以第二辨識流程對商品Px進行辨識與定位。

步驟208：當影像辨識系統判斷商品Px之位置後，控制器110控制指示燈104顯著地標示商品Px，並暫停輸送帶102運轉。

步驟210：當商品Px被移除或並無以第一辨識流程無法辨識之商品時，重新運轉輸送帶102。

步驟212：當影像辨識系統以第一辨識流程辨識商品P1~PN之任一商品成功時，由控制器110自商品資料庫DB取得對應於該商品之售價。

步驟214：當控制器110接收到一結帳訊號時，累計商品之售價總和，以進行結帳作業。

步驟216：結束。

由上述可知，自助結帳流程20可有效且便利地幫助使用者進行自助結帳。在一實施例中，當使用者將商品P1~PN置於輸送帶102上，並且透過輸送帶102依序使商品P1~PN進入辨識區域RZ中。此時，於步驟204，影像辨識系統判斷辨識區域RZ中的商品P1~PN是否以第一辨識流程皆可逐一辨識出商品品項成功。若否，則執行步驟206，也就是說，當影像辨識系統以第一辨識流程對商品P1~PN中的商品Px無法辨識成功時，則將以第二辨識流程對商品Px進行辨識與定位。

在一實施例中，影像辨識系統於執行第二辨識流程時，影像辨識系統可以根據商品Px在辨識區域RZ中之相對關係，判斷商品Px之位置。舉例來說，請參考第3圖，第3圖為本發明實施例之自助結帳系統10之一俯視示意圖。如第3圖所示，當影像擷取裝置106以第一辨識流程辨識商品Px失敗時，影像辨識系統將採用第二辨識流程，辨識與取得商品Px的影像在辨識區域RZ中之相對關係，控制器110即可判斷商品Px的絕對位置。同時，因指示燈104位置係固定且位於辨識區域RZ之上方，故控制器110亦已知指示燈104相對於辨識區域RZ之相對位置而獲知指示燈104之絕對位置。

於步驟208，當影像辨識系統判斷商品Px之位置後，控制器110根據影像辨識系統所判斷的商品Px的位置標示商品Px，並暫停輸送帶102運轉。在一實施例中，控制器110可透過指示燈104發出可見光線聚焦或閃爍於商品Px之位置以顯著地標示商品Px。或者，控制器110藉由移動輸送帶102將商品Px移動至指示燈104之位置處以顯著地指示商品Px，從而指示使用者移除或是翻轉商品Px。也就是說，使用者於進行自助結帳的過程中，當影像辨識系統無法成功地辨識商品Px時，指示燈104將照射該無法辨識之商品Px，以提醒使用者移除或翻轉商品Px，或提醒使用者檢查商品是否存有缺損，而導致無法進行第一辨識流程(商品品項辨識)。接著，於步驟210中，當商品Px被移除或翻轉後，控制器110發現並無無法辨識之商品時則重新運轉輸送帶102，並回到步驟204以繼續對下一個商品進行第一辨識流程。值得注意的是，在一實施例中，指示燈104可由排成一列或多列之複數個LED燈所組成，如第3圖的實施例所示係以12顆LED燈排成一列組成指示燈104為例說明。當影像辨識系統判斷商品Px之位置後，控制器110根據影像該商品Px的位置開啟對應於商品Px投影面積內的第7~10顆LED燈以顯著地標示以第一辨識流程辨識不成功的商品Px。然而，用來實現指示燈104的態樣不限於此，其他例如採用可轉動照射方向的投射燈等型態的指示燈，亦適用於本發明。

前述步驟為自助結帳系統10的影像辨識系統無法成功地辨識商品Px所執行的流程步驟。相反地，當步驟204中的影像擷取裝置106成功地以第一辨識流程辨識商品P1~PN時，則執行步驟212。在步驟212中，控制器110自商品資料庫DB取得對應於商品P1~PN之售價，也就是說，控制器110可根據商品資料庫DB中所儲存的商品P1~PN各自的商品名稱、製造商、形狀、顏色、大小、材質、售價、外觀影像等等之商品品項資訊，在辨識出商品P1~PN之任一商品後自對應的品項資訊取得該商品的售價。在另一實施例中，影像辨識系統可同時辨識多個商品，以提升自助結帳的效率，而不限於此。

最後，當影像辨識系統成功地以第一辨識流程辨識所有商品P1~PN，則於步驟214中，當控制器110接收到一結帳訊號時，累計所有商品P1~PN之售價總和，以進行結帳。該結帳訊號可以許多不同的方式產生，在一實施例中可以計時器產生，舉例來說，當商品P1~PN知其一或多個或全部成功地以第一辨識流程辨識出其對應的商品售價後，例如在5秒內，並無任何其他商品進入辨識區域RZ時，則計時器發出結帳訊號給控制器110表示一批商品以辨識完畢，因此控制器110將累計商品之售價總和，以進行結帳作業。在另一實施例中，在輸送帶上商品之後可放置例如棒狀的特定指示物，當該特定指示物進入辨識區域RZ中被辨識出或被偵測器偵測出時則產生結帳訊號告知控制器110可以進行結帳作業。再又一實施例中，則提供一實體按鈕或是一觸控螢幕供使用者觸壓以產生結帳訊號。如此一來，本發明之自助結帳系統10可與現有的結帳軟體及硬體環境結合，透過影像辨識系統判斷每一商品P1~PN的售價，並於無法成功辨識商品Px時，指示使用者移除無法辨識的商品Px，進而提升自助結帳的方便性與使用情境。

上述之商品資料庫DB可為一本機端或一雲端以用來儲存商品資料，而控制器110可藉由辨識比對結果自商品資料庫DB取得每一商品P1~PN的售價，以進行累計所有商品P1~PN的售價，以及控制輸送帶102的運轉或停止，或控制指示燈104標示無法以第一辨識流程成功進行辨識的商品Px。值得注意的是，在另一實施例中，商品資料庫DB、控制器110可再與影像擷取裝置106及影像辨識單元108整合成一個影像辨識系統。

根據不同應用及設計理念，自助結帳系統10可以各式各樣的方式實現。舉例來說，請參考第4圖，第4圖為本發明實施例的另一自助結帳流程40的示意圖。自助結帳流程40可實際應用於商店以提供使用者進行自助結帳，自助結帳流程40的步驟包含有：

步驟402：開始。

步驟404：影像擷取裝置106確認輸送帶102是否具有任一商品。

步驟406：由影像辨識系統對置放於輸送帶102上之商品P1~PN進行第一辨識流程，判斷是否可成功辨識取得商品品項資訊。

步驟408：當影像辨識系統以第一辨識流程對商品P1~PN中之某一或某些商品Px無法辨識成功時，以第二辨識流程對商品Px進行辨識與定位。

步驟410：當影像辨識系統判斷商品Px之位置後，控制器110控制指示燈104顯著地標示商品Px，並暫停輸送帶102運轉。

步驟412：當商品Px被移除或並無以第一辨識流程無法辨識之商品時，重新運轉輸送帶102。

步驟414：當影像辨識系統以第一辨識流程辨識商品P1~PN之任一商品成功時，由控制器110自商品資料庫DB取得對應於該商品之售價。

步驟416：當控制器110接收到一結帳訊號時，累計商品之售價總和，以進行結帳作業。

步驟418：結束。

與前述第2圖之自助結帳流程20不同的地方在於，自助結帳流程40於步驟404中，於影像辨識系統以第一辨識流程進行辨識商品P1~PN前，先確認輸送帶102上的是否有任一商品，以決定是否第2圖的啟動自助結帳流程20。如此一來，根據自助結帳流程40，使用者於進行自助結帳之前，不需另外執行啟動自助結帳的步驟，僅需將商品至於輸送帶102上，即可啟動自助結帳的功能，進而提升使用者執行自助結帳的使用情境。

需注意的是，前述實施例係用以說明本發明之精神，本領域具通常知識者當可據以做適當之修飾，而不限於此。根據不同應用及設計理念，自助結帳系統10可以各式各樣的方式實現。在一實施例中，自助結帳系統10可配置多個影像擷取裝置106以於不同處，對準辨識區域RZ，以避免死角產生，進而提升影像辨識及自助結帳的效率，例如，於辨識區域RZ之正上方、前方與後方各安裝一個影像擷取裝置106，或是於辨識區域RZ相對於輸送帶102的同一個垂直面上以門架或隧道方式安裝多個影像擷取裝置106。或者，可另採用一3D影像擷取裝置對商品P1~PN進行辨識，以於商品P1~PN的狀態異常(例如，傾倒或包裝不完全)時，仍可正確地辨識商品P1~PN的項目，進而提升自助結帳的正確性與效率。又或者，可另增設防呆機制以於商品P1~PN的狀態異常(例如，傾倒或包裝不完全)時，透過聲音、照明或震動等的方式提醒使用者重新擺放商品P1~PN，而不限於此，皆屬本發明之範疇。

綜上所述，本發明提供一種自助結帳方法及其相關系統，尤指一種基於影像辨識的自助結帳方法及其相關系統，以提升自助結帳的方便性，進而提供使用者更佳的使用情境。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims

一種自助結帳方法，包含有：由一影像辨識系統對置放於一輸送帶上之至少一商品進行一第一辨識流程以自一商品資料庫取得對應於該至少一商品之一品項資訊；當該影像辨識系統以該第一辨識流程對該至少一商品之一第一商品辨識不成功時，以一第二辨識流程對該第一商品進行定位，以判斷該第一商品相對於輸送帶之一位置；當判斷該第一商品之該位置後，一控制器控制一指示燈顯著地標示該第一商品，並暫停該輸送帶運轉；以及當該第一商品被移除或並無以該第一辨識流程無法辨識之商品時，該控制器重新運轉該輸送帶。
如請求項1所述之自助結帳方法，其另包含：當該影像辨識系統以該第一辨識流程成功地辨識該第一商品時，自該商品資料庫取得對應於該第一商品之售價；以及當接受到一結帳訊號時，累計在接收到該結帳訊號之前之所有該至少一商品之售價總和，以進行結帳作業。
如請求項2所述之自助結帳方法，其中當該至少一商品之其一或數個成功地以該第一辨識流程辨識出後在一預定時間內並無任何其他商品被辨識出時，則由一計時器發出該結帳訊號。
如請求項2所述之自助結帳方法，其中當該輸送帶上之一指示物被辨識或偵測出時則發出該結帳訊號。
如請求項1所述之自助結帳方法，其中在該輸送帶上定義有一辨識區域，該影像辨識系統係對進入該辨識區域之該至少一商品進行該第一辨識流程與該第二辨識流程。
如請求項1所述之自助結帳方法，其中該第一辨識流程係採用一彩色影像辨識方法，該第二辨識流程係採用一灰階影像辨識方法。
如請求項1所述之自助結帳方法，其中該控制該指示燈顯著地標示該第一商品之步驟包含：控制該指示燈發出可見光照射該第一商品。
如請求項7所述之自助結帳方法，其中該控制該指示燈發出可見光照射該第一商品的步驟包含：轉動該指示燈之方向以照射該第一商品。
如請求項7所述之自助結帳方法，其中該控制該指示燈發出可見光照射該第一商品的步驟包含：控制該輸送帶移動以將該第一商品移至該指示燈照射範圍。
如請求項7所述之自助結帳方法，其中該控制該指示燈發出可見光照射該第一商品的步驟包含：該指示燈包含有複數個LED燈並且只開啟對應於該第一商品之一投影面積內之其中一或數個該LED燈以照射該第一商品。
如請求項1所述之自助結帳方法，其中該由該影像辨識系統對置放於該輸送帶上之該至少一商品進行該第一辨識流程之前還包含：確認該輸送帶上是否有該至少一商品存在。
一種自助結帳系統，包含有：一輸送帶，用來置放並輸送至少一商品；一影像辨識系統，用來對置放於該輸送帶之該至少一商品進行一第一辨識流程以自該商品資料庫中取得對應該至少一商品之一商品品項資訊，以及當該影像辨識系統以該第一辨識流程對該至少一商品中之一第一商品無法辨識成功時，以一第二辨識流程對該第一商品進行定位；一指示燈，用以發出可見光；以及一控制器，耦接於該輸送帶、影像辨識系統及指示燈，至少用來於當該影像辨識系統判斷該第一商品之位置後，控制該指示燈顯著地照射該第一商品，並暫止該輸送帶運轉，以及當該第一商品被移除或並無無法辨識成功之商品時，重新運轉該輸送帶。
如請求項12所述之自助結帳系統，其中該商品資料庫包含有該多個商品之商品影像以及與之對應之售價，該影像辨識系統進行該第一辨識流程後，該控制器可取得對應於該至少一商品之一售價。
如請求項13所述之自助結帳系統，其中當該控制器接收到一結帳訊號時，累計在接受到該結帳訊號之前之所有該至少一商品之售價總和，以進行結帳作業。
如請求項14所述之自助結帳系統，其中尚包含有一計時器，當該至少一商品之其一或數個成功地以該第一辨識流程辨識出後在一預定時間內並無任何其他商品被辨識出時，該計時器發出該結帳訊號。
如請求項14所述之自助結帳系統，其中尚包含有一指示物放置在該輸送帶上，當該指示物被辨識或偵測出時則發出該結帳訊號。
如請求項14所述之自助結帳系統，其中在該輸送帶上定義有一辨識區域，該影像辨識系統係對進入該辨識區域之該至少一商品進行該第一辨識流程與該第二辨識流程。
如請求項17所述之自助結帳系統，其中該第一辨識流程係採用一彩色影像辨識方法，該第二辨識流程係採用一灰階影像辨識方法。
如請求項12所述之自助結帳系統，其中該控制器控制轉動該指示燈之方向以照射該第一商品。
如請求項12所述之自助結帳系統，其中該控制器控制該輸送帶移動以將該第一商品移至該指示燈照射範圍。
如請求項12所述之自助結帳系統，其中該指示燈包含有複數個LED燈，該控制器控制只開啟對應於該第一商品之一投影面積內之其中一或數個該LED燈以照射該第一商品。
如請求項17所述之自助結帳系統，其中該影像辨識系統包含有至少二個影像擷取裝置對準該辨識區域。