TWI710968B - 商品影像辨識與數量監控系統 - Google Patents
商品影像辨識與數量監控系統 Download PDFInfo
- Publication number
- TWI710968B TWI710968B TW108111337A TW108111337A TWI710968B TW I710968 B TWI710968 B TW I710968B TW 108111337 A TW108111337 A TW 108111337A TW 108111337 A TW108111337 A TW 108111337A TW I710968 B TWI710968 B TW I710968B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- product
- signal
- block
- unit
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本發明提供一種商品影像辨識與數量監控系統，其包含相互耦接之一影像擷取模組及一終端辨識模組。影像擷取模組設於一實體店家，並朝向商品進行攝像，以產生一商品影像訊號；終端辨識模組具有一圖像學習單元、一影像辨識單元及一數量監控單元，圖像學習單元儲存有對應商品之一商品特徵圖像，影像辨識單元依據商品影像訊號，並演算取得對應商品特徵圖像，接著將商品特徵圖像與商品影像訊號利用類神經網路演算法進行演算比對，以輸出一商品類別訊號，數量監控單元依據商品特徵圖像之比對次數，以計算出一存貨數量；藉此，本發明運用影像偵測技術，達到有效地精準管理商品的存貨數量之功效。
Description
本發明為一種商品判斷系統之技術領域，尤指一種商品影像辨識與數量監控系統。
按，隨著市場實體經濟及互聯網的智慧化發展，目前零售業逐漸地由傳統人工管理商店模式轉型成無人商店模式，其中，無人商店模式能夠大幅減少人事成本，還能提升商店的購物效率，進而達到增強商業零售的效率及減少運營成本的功效。
目前無人商店係運用RFID技術進行監控商品出售狀況，如中國大陸發明專利公開號CN107571268A，揭示一種無人便利店的智慧型機器人，其能夠在商店空間中移動，且無人便利店的智慧型機器人包括機械臂，機械臂上設有置物架，置物架內設有商品RFID標籤讀取區塊，當顧客進行購物結算時，商品RFID標籤讀取區塊能夠讀取顧客所購物商品上的RFID標籤，進而提升商店營運效率之功效。
然而，習知無人便利店的智慧型機器人無法精準地管理存貨數量的問題，如專利說明書第[0030]段記載：「門禁監控區塊8包括紅外傳感處理區
塊81、RFID監控區塊83...RFID監控區塊83用於監測未付款商品...」，經由上述說明，習知無人便利店的智慧型機器人僅能夠在商店空間中監控未付款的商品，並未揭露能夠用來計算未付款商品的存貨數量之特徵，因此，當商品的存貨數量不足時，習知無人便利店的智慧型機器人根本無法立即回報商品補貨資訊，如此一來，補貨人員需要定期清點置物架上的商品數量，進而影響補貨效率之困擾。
本發明之主要目的，在於解決習知無人商店無法計算商品存貨數量的問題，因而產生影響補貨效率之困擾，據此本發明提供一種商品影像辨識與數量監控系統，其透過影像偵測技術用來監控商品數量的功效。
為達到所述目的，本發明提供一種商品影像辨識與數量監控系統，其包含一影像擷取模組及一終端辨識模組。影像擷取模組設於一實體店家，影像擷取模組具有一第一攝影單元朝向多種商品進行攝像，產生一商品影像訊號，影像擷取模組具有一發送區塊用於發送商品影像訊號；終端辨識模組耦接於影像擷取模組，終端辨識模組具有一圖像學習單元、一影像辨識單元及一數量監控單元，圖像學習單元具有一圖像資料區塊，圖像資料區塊儲存有對應各種商品之一商品特徵圖像，影像辨識單元具有一影像演算區塊及一分類處理區塊，影像演算區塊接收商品影像訊號，並演算取得對應商品特徵圖像，分類處理區塊將商品特徵圖像與商品影像訊號利用類神經網路演算法進行比對，以輸出一商品類別訊號，數量監控單元具有一數量計算區塊，數量計算區塊依據商品特徵圖像之比對次數，以計算出一存貨數量。
藉此，當終端辨識模組接收商品影像訊號時，數量監控單元能夠依據商品特徵圖像之比對次數，立即計算出商品之存貨數量，藉以運用影像偵測技術，達到有效地精準管理商品的存貨數量，提升商品營運效率之功效。
1:商品
10:影像擷取模組
11:第一攝影單元
12:發送單元
13:第二攝影單元
20:終端辨識模組
21:圖像學習單元
211:圖像資料區塊
2111:商品特徵圖像
212:圖像標記區塊
22:影像辨識單元
221:影像演算區塊
221a:第一影像處理模式
221b:第二影像處理模式
222:分類處理區塊
222a:分類運算模式
222b:下載模式
23:數量監控單元
231:數量計算區塊
232:監控區塊
233:訊號發射區塊
24:顯示單元
30:管理伺服器
31:訊號接收單元
A:商品影像訊號
A1:第一處理特徵圖
A2:第二處理特徵圖
a:網格
X:第一偵測標定框
Y:第二偵測標定框
圖1係為本發明之使用架構示意圖。
圖2係為本發明之系統架構圖。
圖3係為本發明之功能架構圖。
圖4係為本發明之辨識商品示意圖(一)，表示第一攝影單元對商品拍攝取得商品影像訊號。
圖5係為本發明之辨識商品示意圖(二)，表示終端辨識模組將商品影像訊號處理成第一處理特徵圖。
圖6係為本發明之學習圖像示意圖，表示終端辨識模組之圖像學習單元儲存有對應商品的商品特徵圖像，並對商品特徵圖像進行特徵學習。
圖7係為本發明之辨識商品示意圖(三)，表示終端辨識模組對第一處理特徵圖與商品特徵圖像進行演算比對，以判斷所偵測的商品類別訊號。
圖8係為本發明之辨識商品示意圖(四)，表示第二攝影單元對使用者拿取的商品進行拍攝，並透過顯示單元呈現對應商品特徵圖像及商品資料。
圖9係為本發明之辨識商品示意圖(五)，表示終端辨識模組對目標影像訊號處理成第二處理特徵圖，並將第二處理特徵圖與商品特徵圖像進行演算比對。
為便於說明本發明於上述發明內容一欄中所表示的中心思想，茲以具體實施例表達。實施例中各種不同物件係按適於列舉說明之比例，而非按實際元件的比例予以繪製，合先敘明。
如在此所使用，在描述與主張本發明時，不定冠詞「一」或「一個」意謂「至少一個」，並且除了明確地相反指出，不應該被侷限在「僅一個」，除非本文清楚地指出，否則「一商品」應包括具有一種或更多種商品。
請參閱圖1至圖9所示，本發明提供一種商品影像辨識與數量監控系統，商品影像辨識與數量監控系統包含一影像擷取模組10、一終端辨識模組20及一管理伺服器30，其中，影像擷取模組10、終端辨識模組20與管理伺服器30彼此相互耦接。
影像擷取模組10，其朝向一商品1進行攝像，產生一商品影像訊號A；請配合圖2及圖5所示，影像擷取模組10係設於一實體店家，影像擷取模組10具有相互耦接之一第一攝影單元11及一發送單元12，於本實施例中，第一攝影單元11係為攝影機，其朝向置物架上的多種商品1進行攝像，使得第一攝影單元11產生商品影像訊號A，發送單元12用於發送商品影像訊號A。
終端辨識模組20，其具有相互耦接之一圖像學習單元21、一影像辨識單元22及一數量監控單元23，圖像學習單元21具有一圖像資料區塊211及一圖像標記區塊212，圖像資料區塊211提供建立及儲存對應各種商品1之一商品特徵圖像2111，例如商品1為瓶裝飲料，此時圖像資料區塊211則預先儲存對應瓶裝飲料之商品特徵圖像2111，使得商品特徵圖像2111與商品1的特徵及形狀相互符合，圖像標記區塊212用於提供標記對應商品特徵圖像2111之一商品資料，其
中，商品資料係為商品名稱、商品價格及商品優惠訊號。
影像辨識單元22具有一影像演算區塊221及一分類處理區塊222，影像演算區塊221包含一第一影像處理模式221a，第一影像處理模式221a接收商品影像訊號A，並將商品影像訊號A處理成一第一處理特徵圖A1；請配合圖5所示，第一處理特徵圖A1係由複數網格a所組成，網格a為複數條經線及複數條緯線所交叉組成，此時第一影像處理模式221a依據商品特徵圖像2111之形狀特徵，進而演算取得對應商品特徵圖像2111，接著將商品特徵圖像2111疊合在第一處理特徵圖A1之部分網格a，形成一第一疊合資訊，並且在第一疊合資訊周圍形成有一第一偵測標定框X，使得第一疊合資訊封閉設於第一偵測標定框X中，其中，第一偵測標定框X作為提供分類處理區塊222用來判斷第一疊合資訊的偵測範圍。
分類處理區塊222具有一分類運算模式222a，分類運算模式222a設定有一信心標準值，分類運算模式222a對第一偵測標定框X中的第一疊合資訊進行計算一信心水準值，進一步來說，分類運算模式222a將商品特徵圖像2111與商品影像訊號A利用類神經網路演算法進行演算比對，並計算產生信心水準值，進而判斷信心水準值是否大於信心標準值，若信心水準值大於信心標準值時，表示商品影像訊號A的特徵及形狀符合商品特徵圖像2111，因此，分類運算模式222a能夠輸出一對應各種商品1的商品類別訊號。
請配合參閱圖3至圖7所示，數量監控單元23具有一數量計算區塊231、一監控區塊232及一訊號發射區塊233，數量計算區塊231依據商品特徵圖像2111之比對次數，以計算出各種商品1之一存貨數量，舉例來說，當影像辨識單元22取得可樂商品特徵圖像2111，並與商品影像訊號A進行演算比對3次時，
此時數量計算區塊231能夠計算出目前置物架上可樂飲料係為3瓶的存貨數量；換句話說，當置物架上的商品1數量減少時，數量計算區塊231能夠依據商品特徵圖像2111與商品影像訊號A的比對次數進行計算存貨數量，達到即時控管商品1之存貨數量的功效。
監控區塊232設定有一補貨警告數量，監控區塊232用於判斷存貨數量與補貨警告數量的落差值，當存貨數量少於補貨警告數量時，監控區塊232判斷產生一補貨訊號，表示置物架上的商品1數量不足，訊號發射區塊233用於傳送補貨訊號至管理伺服器30。
管理伺服器30，其具有一訊號接收單元31，訊號接收單元31無線連接於訊號發射區塊233，訊號接收單元31用於接收訊號發射區塊233所傳送的補貨訊號，此時管理人員可透過數量監控單元23的存貨數量管控，進而達到即時對應商品1進行補貨作業的功效，以提升營運效率之目的。
值得說明的是，本發明影像擷取模組10具有一第二攝影單元13，終端辨識模組20具有一顯示單元24，影像演算區塊221更具有一第二影像處理模式221b，分類處理區塊222具有一下載模式222b，進而提供使用者即時顯示商品資料的功能，其中，第二攝影單元13為攝影機或是行動裝置之攝影鏡頭，顯示單元24為顯示螢幕。
請配合參閱圖3、圖8及圖9所示，於實際使用時，首先拿取置物架上的商品1，諸如K飲料，第二攝影單元13用於對離開置物架之商品1進行攝像，以產生一目標影像訊號，接著，第二影像處理模式221b處理影像方式與第一影像處理模式221a相同，當第二演算處理模式接收到目標影像訊號時，第二演算處理模式將目標影像訊號處理成一第二處理特徵圖A2，且第二影像處理模
式221b依據商品特徵圖像2111之形狀及特徵對應疊合於第二處理特徵圖A2上，而形成一第二疊合資訊，且在第二疊合資訊周圍形成一第二偵測標定框Y，使得第二疊合資訊封閉設於第二偵測標定框Y中。
最後，分類處理區塊222之分類運算模式222a對第二偵測標定框Y中的第二疊合資訊進行演算比對，若信心水準值大於信心標準值時，進而判斷目標影像訊號的特徵及形狀符合商品特徵圖像2111，因此判斷輸出一對應使用者拿取所述商品1之目標商品訊號，此時分類處理區塊222之下載模式222b接收目標商品訊號，並下載商品特徵圖像2111之商品資料，接著傳輸至顯示單元24進行呈現，如此一來，使用者若要了解商品1的相關訊息，即可將商品1對著第二攝影單元13進行拍攝，進而提供使用者顯示商品資料的功效，達到即時了解商品1的實用性。
藉此，本發明具有下列功效：
1.本發明藉以運用影像偵測技術，達到有效地精準管理各種商品1的存貨數量，提升商品1營運效率之功效，而且，當數量監控單元23判斷存貨數量少於補貨警告數量時，進而產生補貨訊號並傳送至管理伺服器30，提供即時對應商品1進行補貨作業的功效，達到提升營運效率之目的。
2.此外，使用者若要了解商品1的相關訊息，即可將商品1對著第二攝影單元13進行拍攝，進而提供使用者顯示商品資料的功效，達到即時了解商品1的實用性。
以上所舉實施例僅用以說明本發明而已，非用以限制本發明之範圍。舉凡不違本發明精神所從事的種種修改或變化，俱屬本發明意欲保護之範疇。
| 影像擷取模組10 | |
| 第一攝影單元11 | |
| 發送單元12 | |
| 第二攝影單元13 | |
| 終端辨識模組20 | |
| 圖像學習單元21 | |
| 影像辨識單元22 | |
| 數量監控單元23 | |
| 顯示單元24 | |
| 管理伺服器30 | |
| 訊號接收單元31 |
Claims (6)
- 一種商品影像辨識與數量監控系統，其包含：一影像擷取模組，其具有一第一攝影單元朝向置物架上的多種商品進行攝像，產生一商品影像訊號，該影像擷取模組更具有一發送單元用於傳送該商品影像訊號；一終端辨識模組，其耦接於該影像擷取模組，該終端辨識模組具有一圖像學習單元、一影像辨識單元及一數量監控單元，該圖像學習單元具有一圖像資料區塊，該圖像資料區塊儲存有對應各種商品之一商品特徵圖像，該影像辨識單元具有一影像演算區塊及一分類處理區塊，該影像演算區塊接收該商品影像訊號，並將該商品特徵圖像與該商品影像訊號進行演算，其中，該影像演算區塊具有一第一影像處理模式，該第一影像處理模式將該商品影像訊號處理成一第一處理特徵圖，該第一處理特徵圖係由複數網格所組成，該第一影像處理模式依據該商品特徵圖像之形狀及特徵，而對應疊合於該第一處理特徵圖之部分網格，形成一第一疊合資訊及一第一偵測標定框，該第一疊合資訊封閉設於該第一偵測標定框中，該分類處理區塊將該商品特徵圖像與該商品影像訊號利用類神經網路演算法進行比對，以輸出一商品類別訊號，該數量監控單元具有一數量計算區塊、一監控區塊及一訊號發射區塊，該數量計算區塊依據該商品特徵圖像之比對次數，以計算出一存貨數量，該監控區塊設定有一補貨警告數量，該監控區塊用於判斷該存貨數量與該補貨警告數量的落差值，於該存貨數量少於該補貨警告數量時，該監控區塊判斷產生一補貨訊號，該訊號發射區塊用於傳送該補貨訊號；以及一管理伺服器，其耦接於該終端辨識模組，該管理伺服器具有一訊號接收單元，該訊號接收單元無線連接於該訊號發射區塊，該訊號接收單元用於接收該訊 號發射區塊所傳送的該補貨訊號。
- 如請求項1所述之商品影像辨識與數量監控系統，其中，該影像擷取模組更具有一第二攝影單元，該第二攝影單元用於攝像離開置物架之所述商品，以產生一目標影像訊號。
- 如請求項1所述之商品影像辨識與數量監控系統，其中，該分類處理區塊具有一分類運算模式，該分類運算模式設定有一信心標準值，該分類運算模式對該第一偵測標定框中的該第一疊合資訊進行計算一信心水準值，並判斷該信心水準值是否大於該信心標準值，進而輸出該商品類別訊號。
- 如請求項2所述之商品影像辨識與數量監控系統，其中，該影像演算區塊具有一第二影像處理模式，該第二影像處理模式將該目標影像訊號處理成一第二處理特徵圖，該第二影像處理模式依據該商品特徵圖像之形狀及特徵，而對應疊合於該第二處理特徵圖，形成一第二疊合資訊及一第二偵測標定框，該第二疊合資訊封閉設於該第二偵測標定框中。
- 如請求項4所述之商品影像辨識與數量監控系統，其中，該圖像學習單元更具有一圖像標記區塊，該圖像標記區塊用於提供標記對應該商品特徵圖像之一商品資料。
- 如請求項5所述之商品影像辨識與數量監控系統，其中，該分類處理區塊具有一分類運算模式及一下載模式，該分類運算模式設定有一信心標準值，該分類運算模式對該第二偵測標定框中的該第二疊合資訊進行計算一信心水準值，並判斷該信心水準值是否大於該信心標準值，進而輸出一目標商品訊號，該下載模式依據該目標商品訊號而下載該商品資料，該終端辨識模組具有用於接收及呈現該商品資料之一顯示單元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108111337A TWI710968B (zh) | 2019-03-29 | 2019-03-29 | 商品影像辨識與數量監控系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108111337A TWI710968B (zh) | 2019-03-29 | 2019-03-29 | 商品影像辨識與數量監控系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202036374A TW202036374A (zh) | 2020-10-01 |
| TWI710968B true TWI710968B (zh) | 2020-11-21 |
Family
ID=74090939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108111337A TWI710968B (zh) | 2019-03-29 | 2019-03-29 | 商品影像辨識與數量監控系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI710968B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201433992A (zh) * | 2013-02-22 | 2014-09-01 | Xue Si Xing Digital Marketing Co Ltd | 存貨管理與行銷之圖像辨識系統 |
| TWI618916B (zh) * | 2016-09-23 | 2018-03-21 | 啟碁科技股份有限公司 | 貨架庫存估測方法與系統 |
| CN109214751A (zh) * | 2018-02-01 | 2019-01-15 | 贺桂和 | 一种基于库存位置变化的智能库存管理系统 |
-
2019
- 2019-03-29 TW TW108111337A patent/TWI710968B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201433992A (zh) * | 2013-02-22 | 2014-09-01 | Xue Si Xing Digital Marketing Co Ltd | 存貨管理與行銷之圖像辨識系統 |
| TWI618916B (zh) * | 2016-09-23 | 2018-03-21 | 啟碁科技股份有限公司 | 貨架庫存估測方法與系統 |
| CN109214751A (zh) * | 2018-02-01 | 2019-01-15 | 贺桂和 | 一种基于库存位置变化的智能库存管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202036374A (zh) | 2020-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11315262B1 (en) | Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras | |
| US11087130B2 (en) | Simultaneous object localization and attribute classification using multitask deep neural networks | |
| US11783613B1 (en) | Recognizing and tracking poses using digital imagery captured from multiple fields of view | |
| US11030442B1 (en) | Associating events with actors based on digital imagery | |
| WO2019144690A1 (zh) | 基于影像监测的货品感知系统及货品感知方法 | |
| US20190244055A1 (en) | Method and apparatus for checkout based on image identification technique of convolutional neural network | |
| JP6549558B2 (ja) | 売上登録装置、プログラム及び売上登録方法 | |
| US11861927B1 (en) | Generating tracklets from digital imagery | |
| US11284041B1 (en) | Associating items with actors based on digital imagery | |
| CN108364047B (zh) | 电子价签、电子价签系统及数据处理方法 | |
| JP2014531636A (ja) | 物体を識別する方法及び機構 | |
| US11488126B2 (en) | Cashier fraud detecting system and method and product image selection generation for artificial neural network learning related applications | |
| US11798380B2 (en) | Identifying barcode-to-product mismatches using point of sale devices | |
| JP2013238973A (ja) | 購買情報管理システム、商品移動検出装置および購買情報管理方法 | |
| US20230037427A1 (en) | Identifying barcode-to-product mismatches using point of sale devices and overhead cameras | |
| US11941604B2 (en) | Automatic payment system | |
| TW201619918A (zh) | 自動售貨機及自動售貨系統 | |
| CN111428743B (zh) | 商品识别方法、商品处理方法、装置及电子设备 | |
| CN109035558B (zh) | 一种用于无人售货柜的商品识别算法在线学习系统 | |
| WO2021233058A1 (zh) | 监控货架上的物品的方法、计算机和系统 | |
| CN111507792A (zh) | 一种自助购物方法、计算机可读存储介质及系统 | |
| TWI710968B (zh) | 商品影像辨識與數量監控系統 | |
| CN109389341B (zh) | 一种无人售货便利店机器视觉识别系统 | |
| JP2016062564A (ja) | 情報処理装置及び情報処理プログラム | |
| WO2021030924A1 (zh) | 货架物品识别方法、装置及系统 |